DATA ENGINEER / INGENIEUR DATA

Description du poste

Contexte

Dans le cadre de l'accélération de sa transformation Data, un grand groupe international renforce son équipe Data Europe afin de développer des plateformes de données et des produits Data répondant aux besoins opérationnels et décisionnels des différentes entités européennes.

L'équipe intervient dans un environnement en pleine évolution, où certaines plateformes Data globales sont encore en cours de déploiement. Afin de répondre rapidement aux besoins métiers, des solutions régionales sont développées tout en respectant les standards d'architecture du Groupe et en garantissant leur intégration future dans l'écosystème cible.

Dans ce contexte, nous recherchons un Senior Data Engineer capable de concevoir, développer et industrialiser des solutions Data robustes, évolutives et performantes.

En tant que Senior Data Engineer, vous participerez à toutes les étapes de la chaîne de valeur Data, de la conception jusqu'à la mise en production.

• Concevoir des architectures Data évolutives et maintenables.

• Définir les différentes couches de données (Raw, Curated, Consumption/Data Mart).

• Garantir l'alignement des solutions avec les standards d'architecture Data de l'entreprise.

• Participer aux choix techniques et aux évolutions de la plateforme.

Vous serez responsable de la conception, du développement et de l'optimisation des pipelines de données.

À ce titre, vous devrez :

• Développer des pipelines ETL / ELT industrialisés.

• Concevoir des flux de chargement batch et incrémentaux.

• Mettre en œuvre des traitements réutilisables et évolutifs.

• Assurer la fiabilité et la maintenabilité des traitements.

• Optimiser les performances des pipelines.

Vous participerez à la conception du modèle décisionnel.

Vos responsabilités comprendront :

• La modélisation dimensionnelle.

• La création de tables de faits et de dimensions.

• La conception de Data Marts orientés métier.

• La standardisation des jeux de données destinés au reporting et aux KPI.

Vous serez garant de la performance de la plateforme Data.

Vous interviendrez notamment sur :

• L'optimisation des requêtes SQL.

• L'amélioration des performances des traitements.

• L'optimisation des ressources de calcul et de stockage.

• La réduction des coûts d'exploitation.

Vous contribuerez à garantir la qualité et la fiabilité des données.

Vous mettrez en œuvre :

• Des règles de contrôle qualité.

• Des mécanismes de validation des données.

• Des procédures de suivi des incidents.

• Des outils de supervision et d'observabilité.

Vous appliquerez les bonnes pratiques de gouvernance des données.

Vos missions incluront notamment :

• La gestion des droits d'accès (RBAC).

• La documentation des flux de données.

• Le respect des normes de sécurité.

• La gestion du cycle de vie des données.

• La traçabilité des données (Data Lineage).

Vous développerez et maintiendrez les workflows d'orchestration.

Vous serez amené à :

• Concevoir des DAGs Airflow.

• Gérer les dépendances entre traitements.

• Mettre en place des mécanismes de reprise sur incident.

• Superviser les traitements automatisés.

Vous travaillerez en étroite collaboration avec :

• les Business Analysts ;

• les Product Owners ;

• les équipes BI et Analytics ;

• les équipes techniques ;

• les parties prenantes métier.

Vous participerez aux ateliers de conception, aux cérémonies Agile et aux phases de recette.

Vous produirez une documentation claire et maintenable portant sur :

• l'architecture des solutions ;

• les pipelines développés ;

• les modèles de données ;

• les procédures d'exploitation ;

• les transferts de connaissances.

Le consultant interviendra sur la production des livrables suivants :

• Schémas d'architecture Data.

• Documentation technique.

• Cartographie des flux de données.

• Mapping Source → Cible.

• Pipelines ETL/ELT prêts pour la production.

• Workflows Airflow.

• Modèles dbt.

• Frameworks d'ingestion.

• Scripts SQL.

• Modèles dimensionnels.

• Tables de faits et dimensions.

• Data Marts certifiés.

• Jeux de données destinés au reporting.

• Règles de contrôle.

• Scripts de validation.

• Tableaux de bord de supervision.

• Rapports de qualité.

• Documentation des accès.

• Data Lineage.

• Standards de développement.

• Documentation de conformité.

• Optimisation SQL.

• Optimisation des performances.

• Optimisation des coûts.

• Recommandations d'amélioration.

• Jeux de données destinés aux outils BI.

• Interfaces avec les applications consommatrices.

• Documentation des échanges de données.

• Tests unitaires.

• Tests d'intégration.

• Support aux phases de recette.

• Validation avant mise en production.

• Refactoring des traitements.

• Automatisation des processus.

• Propositions d'évolution de la plateforme.

• Snowflake

• dbt

• Apache Airflow

• AWS

• SQL avancé

• Git

• CI/CD

• Agile / Scrum

• Jira

• Confluence

• Lucid

Vous justifiez d'au moins 8 années d'expérience en Data Engineering sur des environnements Cloud modernes.

Vous possédez une solide expérience dans :

• la conception d'architectures Data ;

• le développement de pipelines ETL/ELT ;

• la modélisation dimensionnelle (Star Schema, Data Marts) ;

• Snowflake ;

• dbt ;

• Apache Airflow ;

• SQL avancé ;

• les environnements Cloud, idéalement AWS ;

• les pratiques DevOps (Git, CI/CD) ;

• la gouvernance et la qualité des données.

Vous êtes reconnu pour votre capacité à développer des solutions robustes, performantes et évolutives, tout en collaborant efficacement avec des équipes pluridisciplinaires dans un contexte international.

• Excellente capacité d'analyse et de résolution de problèmes.

• Esprit d'initiative et autonomie.

• Sens de l'organisation et rigueur.

• Orientation résultats et qualité.

• Capacité à vulgariser des sujets techniques auprès d'interlocuteurs métiers.

• Aisance dans le travail en équipe et dans des environnements internationaux.

• Force de proposition et volonté d'amélioration continue.