Data Ingénieur Spark

Description du poste

ans le cadre d’un programme de transformation Data mené au sein d’une grande organisation, une équipe projet pluridisciplinaire travaille à la mise en place d’une nouvelle plateforme Data.
Nous recherchons un Data Engineer senior disposant d’une expérience confirmée sur les traitements de données en Spark et Python, capable d’intervenir sur l’ensemble de la chaîne de valeur de la donnée.

En tant que Data Engineer Senior, vous serez amené à :

• Concevoir, développer et faire évoluer des pipelines d’ingestion de données en batch et en temps réel

• Mettre en œuvre des traitements Data fiables, industrialisés et facilement observables

• Participer à la définition et à la construction d’une architecture Lakehouse moderne

• Assurer la qualité, la traçabilité et la cohérence des données tout au long de leur cycle de vie

• Contribuer aux démarches d’industrialisation et d’automatisation (CI/CD, DataOps)

• Travailler en étroite collaboration avec les architectes Data, les équipes plateforme, les responsables produit et les métiers

• Appliquer les principes de sécurité by design et veiller au respect des exigences de conformité

• Produire la documentation technique et participer au partage de connaissances au sein des équipes

• Traitement de données : Spark (batch et streaming), Python, SQL

• Streaming : Kafka

• Accès et requêtage : Trino

• DevOps / DataOps : Git, pipelines CI/CD, conteneurisation (Docker, Kubernetes)

• Qualité & observabilité : monitoring, traçabilité des données (lineage), contrôle de la qualité

• Environnements : On-Premise, Cloud privé ou architectures hybrides

• Stockage / Lakehouse : S3, MinIO, Iceberg

• Moteurs de requêtage : Trino (ou solutions équivalentes)