Data Engineer

Description du poste

La Direction Technique du client pilote des projets transverses en collaboration étroite avec l’ensemble des directions métiers, et en particulier avec la Direction Data.

L'équipe est composée d’un Product Owner, de trois Data Stewards et de deux Data Engineers.

L’environnement technique repose principalement sur les technologies suivantes : Python, Spark, SQL, BigQuery, Dataplex (pour la qualité des données), Airflow (pour l’orchestration des traitements), ainsi que Terraform et Terragrunt pour l’industrialisation. D’autres services de la Google Cloud Platform complètent cette stack.

L’équipe a pour objectif de :

1. Déployer des datasets normés au sein d’un ou plusieurs data domains ;

2. Accompagner les utilisateurs dans l’exploitation de ces datasets ;

3. Mettre en œuvre et maintenir les contrôles de qualité des données.

Dans une première phase, la mission consistera à :

• Concevoir et implémenter les contrôles qualité des données de la plateforme Data, en s’appuyant sur Dataplex Universal Catalog ;

• Industrialiser ces contrôles à l’aide de Terraform et Terragrunt ;

• Définir et produire les indicateurs nécessaires au pilotage de la qualité des données ;

• Mettre en place la remontée de ces indicateurs dans le data catalog Collibra.

En parallèle de ces objectifs de livraison et en étroite collaboration avec l’équipe, la mission inclura également :

• La participation active aux phases de conception, de planification et de réalisation des travaux ;

• La contribution aux initiatives de gouvernance des données, notamment via le développement de contrôles qualité ;

• La conception, le développement et la maintenance de pipelines data robustes et scalables ;

• L’accompagnement des équipes dans l’exploitation et le requêtage des données ;

• L’organisation et la structuration des espaces de stockage des données ;

• La mise en place et la maintenance d’infrastructures scalables, capables de répondre à la croissance rapide des volumes de données ;

• La construction et la maintenance des workflows CI/CD ;

• Le partage des bonnes pratiques avec les autres Data Engineers ;

• La garantie de l’évolutivité, de la sécurité et de la stabilité des environnements ;

• La participation aux différentes instances et communautés de Data Engineers ;

• La contribution à la rédaction et à la mise à jour de la documentation ;

• Une veille technologique active dans le domaine de la data.

Pour mener à bien cette prestation, les compétences suivantes sont attendues :

• Minimum 5 ans d’expérience en tant que Data Engineer dans un environnement data ;

• Solides compétences en structures de données, développement et architecture ;

• Expérience avérée dans la conception et l’industrialisation de pipelines data ;

• Expérience confirmée sur Google Cloud Platform (GCP) ;

• Maîtrise de BigQuery et de Dataplex Universal Catalog ;

• Maîtrise des langages Python et SQL ;

• Expérience avec Spark ;

• Expérience d’intégration avec l’API Collibra ;

• Maîtrise de Terraform et Terragrunt ;

• Expérience avec GitLab et GitLab CI/CD ;

• Pratique des méthodologies Agile (Scrum ou Kanban) ;

• Capacité à vulgariser et à communiquer efficacement sur des sujets techniques complexes.