Data Engineer QA / Data Quality Engineer — Cloud Platform Paiement

Description du poste

RÉSUMÉ EXPRESS

Data Quality Engineer senior (4 ans+, Bac+5) pour garantir la fiabilité des données d'une plateforme cloud de paiement à fort volume transactionnel. Il conçoit et implémente un framework de Data Quality automatisé, intègre les tests dans les pipelines Databricks/Spark et les pipelines CI/CD, met en place la data observabilité en production et évangélise les bonnes pratiques QA auprès de l'équipe Data Platform. Profil hybride rare : expertise data engineering + culture QA appliquée à la donnée. Expérience fintech ou paiement fortement appréciée.

2 jours de TT par semaine / Anglais professionnel opérationnel (B2) obligatoire.

MISSIONS PRINCIPALES

Framework de Data Quality

• Concevoir et implémenter un framework de validation des données couvrant les dimensions classiques : complétude, cohérence, unicité, précision, fraîcheur

• Développer des règles de validation custom en Python (Great Expectations, Soda Core, Pandera, dbt tests ou équivalent) et les intégrer dans les pipelines en production

• Définir et faire respecter les data contracts entre producteurs et consommateurs de données (schémas, SLAs, sémantiques)

Tests Automatisés Data

• Concevoir et implémenter des tests unitaires pour les transformations Spark/Python (pytest, fixtures data), des tests d'intégration pour les pipelines et des tests de régression sur les sorties

• Intégrer les tests de qualité dans les pipelines CI/CD (GitLab CI) comme gates qualité automatiques avant déploiement

• Appliquer les pratiques QA software à la donnée — shift-left quality dès la phase de développement

Data Observabilité & Monitoring Production

• Mettre en place le monitoring de la qualité des données en production : alerting sur anomalies, détection de data drift, tableaux de bord de santé des données

• Définir les seuils d'alerte et les mécanismes de détection d'anomalies sur les flux transactionnels

• Intervenir sur les incidents de qualité en production (données manquantes, pipeline en retard, données corrompues)

Validation Databricks / Spark à l'Échelle

• Intégrer des checks de qualité dans les pipelines Spark/Databricks (Delta Live Tables, Jobs) sans dégrader les performances

• Gérer la validation de schémas Delta Lake, les assertions sur les données et le logging des erreurs de qualité à grande échelle

Évangélisation & Shift-Left

• Promouvoir les bonnes pratiques QA auprès des data engineers : tests intégrés dès le développement, data contracts, documentation des règles de qualité

• Former et accompagner l'équipe Data Platform dans l'adoption des pratiques de qualité

PROFIL RECHERCHÉ

• Bac+5, 4 ans minimum en data engineering ou data quality engineering

• Profil ayant évolué de data engineer vers une spécialisation data quality : parcours le plus naturel et le plus pertinent

• Expérience sur des plateformes data en production avec des contraintes de fiabilité élevées : fintech, paiement, santé ou e-commerce critique

• Connaissance des outils émergents de data observability (Great Expectations, Soda, Monte Carlo ou équivalent)

• Anglais upper-intermediate opérationnel (B2) : réunions, documentation et code reviews avec des équipes internationales au quotidien

COMPÉTENCES REQUISES

• Python Data Quality (++) : Great Expectations, Soda Core, Pandera, dbt tests ou équivalent ; création de règles de validation custom ; tests unitaires avec pytest et fixtures data

• SQL Avancé (++) : Requêtes complexes pour la validation des données : réconciliation entre tables, détection de doublons, vérification de cohérence référentielle, comparaison de distributions

• Databricks / Spark (++) : Intégration des checks de qualité dans Delta Live Tables et Jobs Databricks, validation de schémas Delta Lake, gestion des performances lors des contrôles à grande échelle

• Tests Automatisés Data (+++) : Tests unitaires sur les transformations, tests d'intégration pour les pipelines, tests de régression sur les sorties — culture QA software appliquée à la donnée

• Data Observabilité (+++) : Monitoring des métriques de qualité en production, détection d'anomalies et de data drift, tableaux de bord de santé des données (Monte Carlo, Anomalo, ou solutions custom CloudWatch)

• CI/CD Data & AWS : Intégration des tests de qualité dans GitLab CI, gates qualité automatiques ; S3, Glue, CloudWatch pour le monitoring, IAM pour la sécurité des données

• Data Contracts : Définition et implémentation des contrats entre producteurs et consommateurs (schémas, SLAs, sémantiques) — Soda, dbt contracts ou custom

CONTEXTE & OBJECTIF DU POSTE

Le client est un acteur majeur du secteur du paiement en transformation vers un modèle software & services. Les données de transactions alimentent des décisions business critiques et des modèles ML — une donnée corrompue ou incohérente a des conséquences directes sur la fiabilité des paiements, la conformité réglementaire et la qualité des modèles.

Le Data Quality Engineer recherché est le garant de la fiabilité des données en production. C'est un profil hybride : il combine la culture data engineering (pipelines, Spark, Databricks, AWS) avec une expertise QA appliquée à la donnée (tests automatisés, frameworks de validation, data observability, data contracts). Il embarque la qualité directement dans les pipelines, dès la conception.

Trois enjeux concrets :

• Concevoir et implémenter un framework de Data Quality automatisé couvrant l'ensemble de la plateforme, intégré dans les pipelines Databricks et les pipelines CI/CD

• Mettre en place une data observabilité en production : monitoring des anomalies, détection du data drift, alerting — dans un contexte de données de paiement en évolution constante

• Évangéliser les bonnes pratiques QA auprès des data engineers et promouvoir le shift-left quality dans l'équipe Data Platform