Senior Azure Databricks Experte / Solution Architect für Aufbau einer Lakehouse-Datenplattform
📅 Start: ASAP | ⏳ Dauer: 2 Monate mit Verlängerung | 🕐 Auslastung: nach Absprache | 📍 Einsatzort: (Remote möglich)
Ausgangslage Die Data-Abteilung plant den Einsatz von DataBricks (Azure Databricks) und sucht dafür eine erfahrene DataBricks-Expertin bzw. einen erfahrenen DataBricks-Experten auf Freelance-Basis, um die initiale Lernphase zu verkürzen und von Anfang an eine passende Infrastruktur aufzubauen.
Ihre Aufgaben
• 1. Ist-Analyse & Anforderungskatalog
• Aufgabe: Analyse der bestehenden Datenprozesse der Data-Abteilung (Datenquellen, aktuelle Tools/Architektur, Workflows, Pain Points) und Ableitung der fachlichen und technischen Anforderungen an den DataBricks-Einsatz. Die Datenlandschaft wird künftig deutlich diverser – genau das hat die Entscheidung für DataBricks motiviert. Die Analyse berücksichtigt daher auch bereits absehbare zukünftige Datenquellen und Prozesse.
• Ergebnis: Ein Anforderungsdokument, das als gemeinsam abgestimmte Grundlage für die weitere Umsetzung dient (u. a. funktionale/nicht-funktionale Anforderungen, Priorisierung, Abgrenzung).
• 2. Umsetzungs- und Architekturvorschlag
• Aufgabe: Entwicklung eines Umsetzungsvorschlags für die DataBricks-seitigen Anforderungen (u. a. Workspace-Architektur, Unity Catalog / Governance, Cluster- bzw. Compute-Strategie, CI/CD-Ansatz, Kostenmodell) in enger Zusammenarbeit mit den internen DevOps Engineers. Alle Infrastruktur-Themen werden durch die DevOps Engineers begleitet und umgesetzt; sie benötigen dafür fundierte Aussagen zur DataBricks-Architektur und zu den daraus resultierenden Anforderungen an die Infrastruktur.
• Ergebnis: Ein Design- bzw. Architekturvorschlag, der als Vorlage für das tatsächliche Aufsetzen der Infrastruktur durch die internen DevOps Engineers genutzt werden kann.
• 3. Prototypische Umsetzung
• Der Freelancer übernimmt dabei die Rolle eines erfahrenen Architekten, Coaches und technischen Sparringspartners. Wesentliche Architektur- und Implementierungsentscheidungen werden gemeinsam mit dem internen Team erarbeitet. Für relevante technische Entscheidungen sind Alternativen, Vor- und Nachteile sowie die jeweilige Empfehlung nachvollziehbar darzustellen.
• Der Schwerpunkt liegt auf dem Wissenstransfer und der Vermittlung praxiserprobter Vorgehensweisen, nicht auf einer isolierten Umsetzung durch den Freelancer
Anforderungen
• Databricks
• PySpark
• Azure Data Lake Storage Gen2
• Nice to have