Data Engineer Python - Dax

Description du poste

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science.

Expérience attendue : 3 à 8+ ans en ingénierie Data.

Vous correspondez au/à la Data Engineer que nous recherchons si :

• Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers

• Vous faites preuve d’un fort esprit analytique et d’une grande rigueur

• Vous êtes autonome, proactif et doté d’un solide sens des responsabilités

• Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques

• Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements

• Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier

• Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse

• Vous avez déjà travaillé sur des plateformes Data modernes (Cloud)

• Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …)

• Vous disposez d’un bagage en software engineering, vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python

• Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage

• Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code)

• Vous êtes à l’aise avec les outils de versioning (Git) et les workflows collaboratifs associés

• Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Tu corresponds au/à la Data Engineer Python/DBT que nous recherchons si : 

• Tu possèdes une expérience significative en développement Python appliqué à l'ingénierie de données (+3 ans)

• Tu maîtrises dbt (data build tool) et as une expérience concrète dans l'implémentation de transformations de données avec cet outil

• Tu possèdes une solide expérience en SQL et en modélisation de données relationnelles et dimensionnelles

• Tu as une bonne connaissance de Databricks ou d'une plateforme de données moderne similaire (Snowflake, BigQuery)

• Tu maîtrises au moins un Cloud Provider (AWS, Azure, GCP) et leurs services data (S3, ADLS, BigQuery, etc.)

• Tu as de l'expérience avec les outils d'orchestration (Airflow, Prefect, ou équivalent)

• Tu maîtrises les bonnes pratiques DevOps : Git, CI/CD, tests unitaires, et déploiement automatisé

• Tu connais les principes de l'architecture médaillon (Bronze/Silver/Gold) et les data design patterns

• Tu es sensible à la qualité des données et aux pratiques de data testing

• Tu sais travailler en équipe dans un contexte Agile/Scrum et communiquer efficacement avec les parties prenantes

• Tu es rigoureux, autonome, et soucieux de la documentation de tes développements

• Tu as un esprit analytique et sais proposer des améliorations techniques
  

Ton quotidien chez Komeet sera rythmé par : 

• Développement et maintenance des pipelines de données en Python sur la stack Databricks

• Implémentation des transformations de données avec dbt (modèles, tests, documentation)

• Création et optimisation de requêtes SQL complexes pour les transformations de données

• Mise en œuvre des flux d'ingestion de données batch et streaming depuis diverses sources

• Implémentation des couches Bronze, Silver et Gold selon l'architecture médaillon

• Développement et maintenance des tests de qualité de données (dbt tests, Great Expectations)

• Monitoring et debugging des pipelines de données, résolution des incidents

• Collaboration avec les Data Analysts et Data Scientists pour comprendre leurs besoins

• Rédaction de documentation technique et fonctionnelle des développements

• Participation aux code reviews et à l'amélioration continue des pratiques d'équipe

• Optimisation des performances des requêtes et des pipelines pour réduire les coûts

• Mise en place et amélioration des processus CI/CD pour les projets data

• Support et formation des utilisateurs métiers sur l'utilisation des données transformées

Qui sommes-nous ?

•       Komeet Technologies est née de l’envie de créer un Kollectif résolument dirigé vers l’excellence, au service de nos clients et de nos collaborateurs. L’ensemble des Komeeters crée le prochain champion du conseil et de l’intégration Data.

•       Rejoindre notre Kollectif c’est l’assurance de travailler aux côtés d’experts data ayant à cœur de partager leurs connaissances sur toute la chaine de valeur de la donnée, en interne et en externe. Cela s’illustre par exemple par cinq jours communautaires dé-staffés dédiés à l’échange, organisés et planifiés par les Komeeters eux-mêmes.

•       Rejoindre Komeet Technologies c’est adherer à la notion d’engagement : celle des fondateurs envers tous les Komeeters et celle de l’ensemble du Kollectif vers nos clients et la réussite de leurs projets.

•       Les notions d’équilibre et de partage sont au cœur des valeurs de Komeet Technologies. Depuis sa création, une part des bénéfices est redistribuée à ses salariés à part égale et une semaine de congé supplémentaire est mise en place pour l’ensemble des collaborateurs.

•       Komeet Technologies, créée en 2021, vous permettra de vivre la croissance et le développement d’une jeune ESN tout en y apportant votre contribution !

Notre métier :

-          Stratégie et Gouvernance Data

o    Concevoir la stratégie data la plus appropriée à votre organisation en phase avec vos objectifs métiers.

o    Décliner opérationnellement cette stratégie pour mettre en place l’organisation, les compétences et les processus associés.

-          Pilotage & Agilité

o    Accompagner vos métiers et vos équipes en tant que Scrum Master et Product Owner.

o    Piloter vos projets, vos centres de services et de compétences Data.

-          Data Platform

o    Concevoir, construire et industrialiser les plateformes Data dans une démarche DevOps.

o    Garantir la qualité et la sécurité de vos données

-          Data Valorisation

o    Exploiter vos données pour en tirer de la valeur.

o    Mettre en place des solutions d’Analytics et d’IA pour répondre aux enjeux de vos métiers.

Environnement technologique

• Databricks

• dbt

• Qlik Talend

• Les services Data des Cloud providers (AWS, Azure, GCP et OVH)

• Power BI, Tableau

• Snowflake

• Microsoft Fabric

• DuckDB

• Dlt

Votre package sera constitué :

• Une rémunération fixe + variable en fonction de votre profil

• Tickets restaurant

• Mutuelle à 100%

• 5 jours de congés en plus des 25 légaux

• Un « Package Kollaborateur » de 1000 € pour vous équiper en télétravail

• Un accord d’intéressement pour partager collectivement la réussite de l’entreprise

Si vous vous reconnaissez dans cette description ou si vous souhaitez tout simplement en savoir plus, n’hésitez pas à postuler !