Description du poste
4. Description de la prestation et des missions attenduesLe/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes :
🔹 Conception, développement et optimisation des pipelines de données (GCP)- Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles.
- Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables.
- Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données.
- Optimiser les performances des pipelines ainsi que la consommation des ressources GCP.
🔹 Modélisation et gestion des données- Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers.
- Garantir la qualité, la cohérence et l'intégrité des données.
- Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données.
🔹 Run opérationnel, maintenance et support N2/N3- Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur).
- Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance).
- Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données.
- Gérer les incidents en collaboration avec les équipes internes et l'éditeur.
- Participer à la qualification des livraisons de patchs éditeur impactant les flux de données.
- Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi.
🔹 Monitoring, logging et alerting- Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio).
- Définir et implémenter des alertes permettant la détection proactive des anomalies.
- Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier.
🔹 Infrastructure as Code (IaC)- Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform.
- Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod).
🔹 Collaboration et conseil- Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers.
- Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering.
- Participer aux rituels Agile/Kanban de l'équipe produit.
5. Compétences et expériences requises5.1 Expertise technique- Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog).
- Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés).
- Scripting : Excellente maîtrise de Bash (indispensable pour le run).
- Systèmes : Bonne maîtrise des environnements Linux (RedHat).
- IaC : Solide expérience avec Terraform.
- CI/CD : Maîtrise d'un outil comme GitLab CI.
- Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio.
- Versioning : Git (GitLab).
- Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall).
- Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming.
5.2 Environnement technique TOPASE NLS- OS : RedHat Enterprise 9.4
- Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines)
- CI/CD : GitLab CI
- IaC : Terraform
- Monitoring : Looker Studio, GANTI, Grafana, ELK
- Bases : Oracle, BigQuery
- Langage : Bash
5.3 Méthodologies et soft skills- Expérience en environnement Agile (Scrum, Kanban).
- Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident.
- Autonomie, proactivité et sens de l'amélioration continue.
- Bonnes compétences de communication (français courant, anglais technique).
- Esprit d'équipe et partage des connaissances.
- Sens des responsabilités, notamment en environnement de production.
5.4 Expérience- Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP.
- Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.
4. Missions
Intégré(e) à l'équipe produit TOPASE NLS, le/la Data Engineer interviendra sur :
Data Engineering (GCP)
- Concevoir, développer et maintenir des pipelines de données (ingestion, transformation, chargement) depuis diverses sources vers BigQuery.
- Orchestrer les traitements via Dataflow, Dataproc, Composer/Airflow, Pub/Sub, Cloud Storage.
- Automatiser les flux, gérer les dépendances et optimiser les performances/coûts.
Data Management
- Participer à la modélisation des données avec les équipes métiers.
- Garantir la qualité, la cohérence et le cycle de vie des données.
Run & Support N2/N3
- Assurer le maintien en conditions opérationnelles (GCP + solution éditeur).
- Développer des scripts Bash et requêtes SQL (BigQuery, Oracle) pour exploitation, analyse et diagnostic.
- Gérer les incidents, suivre les tickets éditeur et qualifier les patchs.
Monitoring & IaC
- Mettre en place supervision, alerting et dashboards (Stackdriver, Grafana, Looker).
- Déployer les infrastructures via Terraform et garantir la reproductibilité des environnements.
Collaboration
- Travailler avec Data Analysts, Data Scientists et métiers.
- Participer aux rituels Agile et être force de proposition.
5. Compétences
Techniques
- GCP : BigQuery, Dataflow, Composer, Pub/Sub, Cloud Storage.
- SQL avancé, BigQuery, Oracle (autres BDD appréciées).
- Bash, Linux (RedHat), Terraform, GitLab CI.
- Monitoring (Grafana, ELK, Looker).
- Bonne maîtrise des concepts Data (ETL/ELT, DWH, streaming).
Soft skills
- Esprit analytique, autonomie, rigueur.
- Capacité à gérer des incidents critiques.
- Bon relationnel (FR + anglais technique).
Expérience
- 3+ ans en Data Engineering (idéalement sur GCP).
- Contexte à forte volumétrie et exigence de performance.
Le présent Appel d'Offres a pour objectif de sélectionner un prestataire externe (société de conseil, freelance) capable de mettre à disposition un(e) Data Engineer GCP Medium ayant une expertise avérée dans la conception, le développement, la maintenance et l'optimisation de pipelines de données (ETL/ELT), la gestion d'infrastructures de données sur Google Cloud Platform (GCP), et la mise en place de solutions de reporting et d'analyse.
Le ou la candidat(e) devra démontrer de solides compétences opérationnelles, notamment en scripting Bash et en requêtes SQL complexes, spécifiquement pour le produit TOPASE NLS.
La prestation attendue s'inscrit dans une démarche d'industrialisation des flux de données, d'amélioration de la qualité des données et de support opérationnel continu, en étroite collaboration avec les équipes produit, développement et métier.
A propos de l'entreprise
Huxley est une société experte en recrutement pour les secteurs IT et Banque, Finance et Assurance reconnue comme l’un des leaders du marché dans ces branches. Nous travaillons avec des entreprises de toutes tailles opérant dans divers domaines d’activités.
Nos équipes offrent des solutions de recrutement pour des emplois en CDI, CDD, en assistance technique et prestation de services, de dirigeants et le conseil en gestion de talents. En effet, nous mettons en contact les professionnels avec les meilleures opportunités de l'industrie pour leur permettre d'atteindre leurs objectifs.
Notre vaste réseau donne accès aux meilleurs professionnels et nos consultants spécialisés offrent une solution sur mesure en s’adaptant à vos besoins.
Consultant Data Engineer GCP