Data Ingénieur Spark

Description du poste

En tant que Data Engineer Senior, vous interviendrez sur l’ensemble du cycle de vie de la donnée.

 Tâches à réaliser :

• Concevoir, développer et maintenir des pipelines d’ingestion batch et streaming

• Implémenter des traitements Data robustes, industrialisés et observables

• Participer à la construction d’une architecture Lakehouse moderne

• Garantir la qualité, la traçabilité et la fiabilité des données

• Contribuer à l’industrialisation (CI/CD, DataOps, automatisation)

• Collaborer étroitement avec les Data Architects, Platform Engineers, Product Owners et équipes métier

• Appliquer les bonnes pratiques de sécurité by design et de conformité

• Participer à la documentation et au transfert de connaissances

Compétences recherchées :

Obligatoires :

• Traitements & Data : Spark (batch / streaming), Python, SQL

• Streaming : Kafka

• Accès & Query : Trino (Starburst en étude)

• DevOps / DataOps : Git, CI/CD, conteneurisation (Docker, Kubernetes)

• Observabilité & Qualité : monitoring, lineage, data quality

• Environnement On-Prem / Cloud privé / Hybride

Optionnelles :

• Stockage / Lakehouse : S3 / MinIO, Iceberg

• Accès & Query : Trino

Expérience nécessaire : minimum 8 années d'expérience sur la Data avec des enjeux d'alimentation de données

• Méthodologie  : Agile