Data Engineer GCP - dbt/BigQuery/Airflow, Terraform/Terragrunt, déploiement de datasets normés

Description du poste

Bonjour,

Nous recherchons pour notre client grand compte un Data Engineer GCP.

Nous étudions — prioritairement — les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes :

• Argumentaire écrit répondant de façon ciblée au besoin ci-dessous

• CV à jour au format Word

• Date de prochaine disponibilité et mobilité sur site client

• Tarif journalier

• Merci d’indiquer la référence MDE/DATA/4901 dans l’objet de votre message

Définition du besoin

Une Direction numérique mène des projets transverses en collaboration avec d’autres directions, dont une Direction Data créée pour faire de la donnée un levier de croissance des offres numériques. La Direction Data a trois missions :

• Maximiser la collecte de données dans le respect des réglementations en vigueur,

• Développer la connaissance et l’expérience utilisateurs,

• Mettre à disposition des équipes internes des outils de pilotage et d’aide à la décision

La prestation s’effectue au sein d’une équipe Data dédiée (composée d’un Product Owner, d’un Data Steward et d’un Data Engineer) et en collaboration avec les autres équipes Data, au cœur de la plateforme Data.

Stack technique principale : Python, Spark, SQL, dbt, BigQuery, Airflow (orchestration), Terraform et Terragrunt (industrialisation), ainsi que d’autres services Google Cloud Platform (GCP).

Prestations attendues

1. Déployer des datasets normés sur un ou plusieurs data domains : Utilisateurs, Comportements, Référentiels.

2. Accompagner les utilisateurs dans leurs usages.

3. Mettre en place le contrôle qualité sur ces datasets

En interaction avec les membres de l’équipe, la prestation consiste à :

• Participer aux phases de conception, planification et réalisation des tâches,

• Construire et maintenir des pipelines data robustes et scalables,

• Accompagner l’équipe dans l’exploitation et le requêtage des données,

• Organiser et structurer le stockage des données,

• Mettre en place et maintenir des infrastructures scalables adaptées à l’accroissement des volumes,

• Contribuer à la gouvernance des données en assurant qualité, fiabilité, intégrité,

• Construire et maintenir les workflows CI/CD,

• Partager les bonnes pratiques avec les autres Data Engineers,

• Assurer l’évolutivité, la sécurité et la stabilité des environnements,

• Participer aux instances des Data Engineers,

• Contribuer et maintenir la documentation,

• Assurer une veille technologique active

• ≥ 3 ans d’expérience en tant que Data Engineer dans un environnement data

• Compétences solides en structures de données, code, architecture

• Expérience en conception et réalisation de pipelines

• Expérience GCP, incluant BigQuery et Dataplex Universal Catalog

• Maîtrise des langages Python et SQL

• Expérience Spark

• Expérience dbt

• Expérience Terraform et Terragrunt

• Expérience GitLab & GitLab CI/CD

• Pratique des méthodologies Agile (Scrum ou Kanban)

• Capacité de vulgarisation et communication sur des sujets techniques

• Rythme & présence : présence sur site requise en fonction des besoins, et a minima 50% du temps de prestation

• Matériel à fournir par le prestataire (poste performant)