Data Engineer Python / Scala / CloudContexte
Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data.
La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international.
Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux.
MissionsDéveloppement et maintenance de pipelines de données en Python et Scala
Conception et évolution d’une architecture data scalable et modulaire
Gestion et optimisation des flux de données
Mise en place de processus de data quality et validation des données
Optimisation des performances des ingestions de données
Participation aux rituels agiles et aux revues de code
Documentation des choix techniques et de l’architecture
Python
Scala / Spark
Cloud : AWS et Azure
AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB
Streaming : Kafka, Kinesis, EventHub, EventGrid
API REST
Git
CI/CD
Big Data Architecture
Connaissance de Langchain ou Langgraph appréciée.
Profil recherchéMinimum 8 ans d’expérience en développement data
Expérience solide en :
Python
Scala / Spark
architectures data cloud
data pipelines et data quality
Capacité à travailler dans un environnement international.
Anglais professionnel requis.
Créé en avril 2011 par 4 recruteurs expérimentés, Gentis Recruitment est maintenant un des principaux leaders du marché dans le secteur du recrutement. Des contrats sur mesure : Le département RH expérimenté de Gentis vous aide dans toutes vos missions de recrutement permanent, pour vos services de payroll ou pour vos contrats temporaires de project sourcing. Services permanents : Nous proposons à nos clients et à nos candidats un accès à nos vastes réseaux dans une multitude de secteurs. Temporaire, permanent et toutes les variantes : Vous souhaitez un renfort temporaire ou permanent ? Vous désirez commencer par tester notre candidat dans le cadre d’un contrat de project sourcing ? Tout est possible. Recrutement sur site : À vous de choisir si vous confiez l’ensemble de votre procédure de recrutement ou certains aspects seulement au talent de nos recruteurs.