Data Engineer (Databricks /Azure)

Description du poste

Contexte

Au sein de la Direction des SI Mutualisés, l'équipe DataLab intervient sur les périmètres Data et Analytics, dans le cadre du programme de transformation du SI du Groupement Les Mousquetaires.

Vous intégrerez la Data Factory, un dispositif réunissant les équipes Data de la Stime et des métiers. Sa mission : concevoir et déployer des produits Analytics innovants destinés aux fonctions support, aux équipes logistiques, aux magasins, ainsi qu'aux consommateurs.

Après les premiers succès et des attentes de plus en plus fortes, nous passons désormais à l'échelle avec une nouvelle organisation Agile en Domaine/Tribu/Squad et la nécessité d'industrialiser nos pratiques pour accélérer la livraison des produits, tout en capitalisant mieux sur le patrimoine de données constitué.

Vous rejoindrez l'une de nos squads, en charge du développement de cas d'usage BI, Analytics et Data Science sur notre plateforme Data Cloud Azure/Databricks.

Le contexte vous plaît ? Découvrez votre quotidien au sein de votre future équipe.

En tant que Data Engineer, vous interviendrez sur le cycle complet de création de produits Data :

Conception \& Analyse

• Participer aux ateliers de définition et de maturation des besoins avec les Product Owners et les métiers.

Développement \& Intégration

• Construire des pipelines Data pour la collecte, la transformation et le traitement des données dans notre Data Lake Azure.


• Développer des notebooks de traitements avancés sur Databricks (langues : SQL, Scala ou PySpark).


• Concevoir et modéliser les données au sein du Data Lake (formats Parquet, Delta).

Qualité, CI/CD \& Documentation

• Réaliser les tests unitaires, d'assemblage et d'intégration.


• Rédiger la documentation technique (DAT, release notes...).


• Préparer les packages de livraison en CI/CD en lien avec les équipes DataOps.

Run \& Amélioration Continue

• Assurer la maintenance corrective et évolutive des produits data développées.


• Participer aux cérémonies Agiles (Sprint Planning, Daily, Review, Demo...).


• Contribuer à l'animation de la communauté Data : groupes de travail, meetups (Microsoft, Databricks...), partages de bonnes pratiques.