Data EngineerPrestations attendues :
Dans un premier temps, la prestation consiste à :
• Concevoir et réaliser les contrôles qualité sur les données de la plateforme Data, en exploitant Dataplex Universal Catalog
• Industrialiser ces contrôles grâce à Terraform et Terragrunt
• Concevoir et réaliser les indicateurs nécessaires au pilotage de la qualité des données
• Concevoir et réaliser la remontée de ces indicateurs dans notre data catalog Collibra
En marge de l’objectif de livraison de livraison précédent et en interaction avec les membres de l’équipe, la suite de la mission consiste à :
• Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe
• Participer aux initiatives de gouvernance des données en développant les contrôles de qualité des données
• Construire et maintenir de pipelines data robustes et scalables
• Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
• Organiser et structurer le stockage des données
• Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données
• Construire et maintenir les workflows de la CI/CD
• Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
• Assurer l’évolutivité, la sécurité, la stabilité des environnements
• Participer aux différentes instances des data ingénieurs
• Contribuer et veiller à la mise à jour de la documentation
• Faire de la veille technologique active dans le domaine
Expertises demandées pour la réalisation de la prestation :
• Au moins 5 ans d’expérience en tant que Data Ingénieur dans un environnement data
• Compétences solides en data : structures de données, code, architecture
• Expériences dans la conception et la réalisation de pipelines data
• Expériences dans un environnement du cloud Google (GCP)
• Expériences intégrant BigQuery et Dataplex Universal Catalog
• Expériences intégrant les langages Python et SQL
• Expériences intégrant Spark
• Expériences intégrant des flux avec l’API Collibra
• Expériences intégrant Terraform et Terragrunt
• Expériences intégrant Gitlab et Gitlab CI/CD
• Expériences intégrant les méthodologies Agile : Scrum ou Kanban
• Capacité à vulgariser et à communiquer sur des aspects purement techniques
La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques.
La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision.
Au sein de l’équipe, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, de 3 data stewards et de 2 data ingénieurs.
Notre stack technique est principalement constitué de Python, Spark, SQL, BigQuery, Dataplex pour la qualité des données, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation.
La stack inclut aussi d’autres services de la Google Cloud Platform.
Prestation de cette équipe
1. Déployer les datasets normés sur un ou plusieurs des data domain
2. Accompagner les utilisateurs des datasets normés dans leurs usages
3. Mettre en place le contrôle qualité sur ces datasets
Sous l’impulsion de Luc Podrzycki, ingénieur et entrepreneur, QosmiQ Networks est né il y a plus de 15 ans de la volonté d’experts du monde des Télécoms et des Services digitaux, spécialistes des projets de transformation IT complexes et critiques, de valoriser la data et renforcer la confiance dans le digital. Si l’innovation est au cœur de notre ADN, c’est avant tout l’Humain qui reste au centre de nos activités. Il est le centre de notre démarche pour que la transformation soit vraiment utile et à son service. Il est au centre du jeu car une transformation réussie passe par une organisation humaine tendue vers cet objectif. Notre valeur ajoutée : une approche et un accompagnement sur mesure, depuis la réflexion stratégique et marketing, jusqu’à la mise en œuvre opérationnelle, en passant par la transformation et la formation. Le développement des compétences est un pilier de notre approche, pour accompagner de manière pertinente les équipes de nos clients, mais également nos propres projets. La valeur de nos consultants repose sur de solides acquis techniques, mais nous nous attachons à valoriser la dimension humaine de notre approche chez nos clients et ce qui fait de chacun de nos consultants quelqu’un d’unique.