Data Engineer GCPContexte de la mission
Dans le cadre de l’évolution de ses plateformes data sur Google Cloud Platform, nous recherchons un Data Engineer expérimenté afin d’améliorer la qualité, la performance et l’optimisation des datasets BigQuery.
La mission s’inscrit dans un contexte de forte croissance des volumes de données avec des enjeux majeurs autour de :
la maîtrise des coûts cloud (FinOps),
la fiabilité des données,
la performance des pipelines,
et la préparation des données pour les usages IA.
Réduire les coûts liés aux traitements et aux requêtes BigQuery.
Améliorer la qualité et l’observabilité des données.
Optimiser les pipelines d’ingestion et de transformation.
Accompagner les projets IA via des datasets fiables et industrialisés.
Analyser les logs et identifier les requêtes coûteuses ou peu performantes.
Mettre en œuvre les bonnes pratiques BigQuery :
partitionnement,
clustering,
optimisation des schémas,
gestion des tables matérialisées et des vues.
Réduire les volumes de données scannées et améliorer les performances globales.
Optimiser les pipelines d’ingestion et de traitement des données.
Renforcer la robustesse des flux (gestion des erreurs, retry, montée en charge).
Participer à l’industrialisation des traitements via Terraform et les pratiques DataOps.
Déployer un framework de monitoring et de tests automatisés.
Définir les indicateurs de qualité :
fraîcheur des données,
cohérence des schémas,
volumétrie,
validité des données.
Mettre en place des alertes proactives en cas d’anomalies.
Collaborer avec les équipes IA/ML pour fournir des datasets exploitables.
Participer à l’intégration des services GCP liés à l’IA (BigQuery, Vertex AI, etc.).
Être force de proposition sur les usages Data & IA.
Expertise BigQuery.
Très bonne maîtrise de SQL et Python.
Expérience confirmée sur Google Cloud Platform.
Bonne maîtrise de Terraform.
Expérience en optimisation de coûts cloud / FinOps.
Connaissance des problématiques de Data Quality et Data Observability.
Forte capacité d’analyse et d’audit technique.
Approche orientée performance et amélioration continue.
Curiosité autour des sujets IA et innovation Data.
Autonomie et capacité à évoluer dans des environnements complexes.
Rapport d’audit des coûts et recommandations d’optimisation.
Dashboard de monitoring de la qualité des données.
Documentation technique des optimisations mises en place.
Amélioration mesurable des performances et des coûts BigQuery.
Environnement : GCP / BigQuery / Terraform / Python.
Anglais professionnel requis.
Contexte agile et collaboratif.
Démarrage : ASAP.
Le Groupe Esenca réunit des expertises complémentaires autour d'une idée unique : la quête de l'excellence. Conseil, Recrutement, Portage salarial ou de Développement de business : notre métier depuis 2004, c'est de répondre aux défis du numérique et d'apporter à nos clients les meilleurs profils sur leurs projets IT. Notre démarche est entièrement basée sur un engagement : proposer à nos clients grands comptes régionaux les tops profils tout en assurant à chaque consultant un suivi attentif de son évolution. Un engagement porté par nos valeurs de confiance et d'innovation qui nous valent la confiance de nombreux talents des principaux acteurs économiques de la région.