Talent Pool - Data & AI Engineer - DWH Transformation
Job description
Wir suchen Data & AI Engineers zur Unterstützung bei der Migration und Modernisierung groß angelegter Data-Warehouse-Umgebungen mithilfe LLM-gestützter Workflows. Die Rolle verbindet angewandtes Machine Learning, Data Engineering und Software Engineering mit einem starken Fokus auf die Entwicklung zuverlässiger, produktionsreifer LLM-basierter Systeme für Datentransformation, Validierung und Automatisierung.
Es handelt sich hierbei nicht um eine Forschungsrolle. Der Erfolg wird daran gemessen, robuste Systeme zu entwickeln und in den produktiven Einsatz zu bringen, die reale Workflows auf Datenplattformen verbessern und automatisieren. Wir freuen uns, Dich für zukünftige spannende Data-Engineering/LLM-Projekte in der Schweiz in unseren Talentpool aufzunehmen.
Die Projekte werden sich in absehbarer Zeit weiter konkretisieren und bieten Dir die Möglichkeit, wertvolle praktische Erfahrungen im zukunftsorientierten Bereich der LLM-Technologien zu sammeln. Hauptaufgaben Konzeption und Entwicklung LLM-gestützter Systeme zur Unterstützung von Data-Warehouse-Migrations- und Transformationsprozessen Entwicklung interner Tools und Workflows unter Einsatz von LLMs für die Generierung und Übersetzung von Datenflüssen (z.
B. SQL, Spark, Flink, Kafka, dbt), Schema-Übersetzung und Datenvalidierung Konzeption und Implementierung von Evaluierungsframeworks für LLM-generierte Ergebnisse, z. B. ausführungsbasierte Prüfungen, Assertions und diff-basierte Validierung Aufbau und Betreuung von Datenpipelines und Orchestrierungs-Workflows in produktiven Umgebungen Optimierung und Fehleranalyse groß angelegter Datenverarbeitungssysteme in verteilten Umgebungen Einsatz von agentenbasierten Ansätzen und Tool-Use-Patterns, wo sinnvoll, mit Fokus auf zuverlässige und kontrollierte Ausführung Zusammenarbeit mit Data Engineers und Platform Teams zur Modernisierung bestehender Legacy-Data-Warehouse-Systeme Profil Nachweisbare Erfahrung in der Entwicklung von ML-/LLM-basierten Produkten oder internen Tools; Erfahrung mit dem produktiven Einsatz solcher Systeme ist zwingend erforderlich .
Fundierte Kenntnisse in Machine Learning oder Statistik, einschließlich Feature Engineering, Evaluierungsmethoden und Versuchsdesign. Praktische Erfahrung mit Data-Warehouse- oder Big-Data-Systemen, z.B. Snowflake, Databricks, Big. Query, Redshift, Teradata, Oracle, Spark oder Kafka Analyse von Legacy-Quellen (COBOL, SAS, JCL, DB2) mit LLM-Unterstützung; Interesse an Legacy-Code vorausgesetzt Erfahrung im operativen Einsatz von Tools zur Orchestrierung von Datenpipelines, z.
B. Airflow oder Dagster Sehr gute SQL-Kenntnisse und Erfahrung mit mindestens einem weiteren Framework zur Datenverarbeitung (z.B. Spark, Flink, dbt) sowie ein gutes Verständnis der Prinzipien des Analytics Engineering Erfahrung mit Best Practices im Software Engineering, insbesondere: Git-based workflows CI/CD pipelines Infrastructure-as-code concepts Vertrautheit mit LLM-Workflows: Prompt Engineering Verarbeitung und Parsing strukturierter Ausgaben Token- und Kostenmanagement Auswahl geeigneter Modelle und Abwägung von Vor- und Nachteilen Entwicklung robuster Evaluierungsstrategien Sehr gute Deutsch- und Englischkenntnisse
More jobs at Callista
Senior Test & Data Quality Engineer (Azure Databricks)
Callista· Frankfurt, GermanySenior Delivery Lead / Projektleiter/-in Data & Analytics (Azure Databricks)
Callista· Frankfurt, GermanySenior Data Engineer (Azure Databricks)
Callista· Frankfurt, GermanySenior Power BI Developer / BI Engineer (Azure Databricks)
Callista· Frankfurt, GermanySenior Solution / Data Architect (Azure Databricks)
Callista· Frankfurt, Germany
More jobs in Zuerich
Talent pipeline: Junior Business Development Manager
Anapaya· ZurichIntern – Blended Finance Team (6-9 months)
Blueorchard· ZurichSenior Software Engineer (Full Stack), Fleet Management
Advertima Vision· Zurich, SwitzerlandBusiness Development Manager, Europe and Asia - Lifestyle and Consumer Divisions
Reech Corporations Group· Zürich, ZurichPrivate Banking Assistant
Alpen Partners· Zurich / Freienbach