Data Engineer – Cloudera CDP & Data Services (OpenShift)Description du poste
Dans le cadre de la mise en place et de l’évolution de sa plateforme data, l’entreprise
recherche un Data Engineer spécialisé sur l’écosystème CDP, évoluant dans
un environnement conteneurisé OpenShift.
Au sein de l’équipe data, le collaborateur conçoit, développe et optimise les pipelines
de traitement de données. Il intervient sur l’ensemble du cycle de vie de la donnée,
depuis son ingestion jusqu’à sa mise à disposition pour les usages analytiques et
métiers.
Il contribue activement à la fiabilité, à la performance et à la scalabilité des traitements
dans un environnement distribué.
Le Data Engineer conçoit et développe des pipelines de données robustes et
performants en s’appuyant sur les services CDP et les frameworks de
traitement distribué.
Il met en œuvre des processus d’ingestion de données provenant de différentes sources
(bases de données, APIs, flux temps réel) et garantit leur qualité.
Il développe et optimise des traitements batch et streaming à l’aide d’outils tels que
Spark, Hive ou autres composants de l’écosystème Hadoop.
Il exploite les CDP Data Services, notamment Data Engineering et Data Warehouse,
pour industrialiser les traitements et faciliter l’accès aux données.
Il collabore avec les équipes data science, BI et métiers afin de comprendre les besoins
et de proposer des solutions adaptées.
Il participe à la structuration et à la modélisation des données en définissant des
schémas optimisés pour l’analyse.
Il veille à la qualité des données en mettant en place des contrôles, des tests et des
mécanismes de monitoring.
Le Data Engineer développe des workflows de traitement dans un environnement
CDP Private Cloud (PVC) en s’appuyant sur des outils comme Spark et Hive.
Il déploie et exécute ses traitements dans un environnement OpenShift via les CDP Data
Services, en garantissant leur bon fonctionnement et leur scalabilité.
Il optimise les performances des jobs en travaillant sur la gestion des ressources, le
partitionnement des données et l’optimisation des requêtes.
Il met en œuvre des bonnes pratiques de développement (versioning, tests,
documentation) et participe à l’automatisation des déploiements.
Il assure la gestion des dépendances et l’orchestration des traitements à l’aide d’outils
adaptés.
Le candidat possède une expérience significative en data engineering, idéalement dans
un environnement CDP.
Il maîtrise les frameworks de traitement distribué, notamment Apache Spark, ainsi que
les outils de requêtage comme Hive ou Impala.
Il a une bonne compréhension des architectures big data et des systèmes distribués.
Il est à l’aise avec les environnements conteneurisés, notamment OpenShift ou
Kubernetes.
Il maîtrise au moins un langage de programmation utilisé en data engineering (Python,
Scala ou Java).
Il possède des compétences en modélisation de données et en optimisation des
performances.
Une connaissance des pratiques DevOps et des outils d’intégration continue constitue
un atout.
Le poste s’adresse à un profil curieux, autonome et orienté solution, capable de
travailler dans un environnement technique exigeant.
Le candidat sait faire preuve de rigueur dans la gestion de la qualité des données et
possède un bon esprit d’équipe.
Il est capable de communiquer efficacement avec des interlocuteurs techniques et
métiers.
CDP Private Cloud (PVC)
CDP Data Services (Data Engineering, Data Warehouse)
OpenShift / Kubernetes
Apache Spark, Hive, Impala / Hadoop ecosystem (HDFS) / Python / Scala / Java
Outils d’orchestration et de CI/CD / Linux
Le poste s’adresse à un profil curieux, autonome et orienté solution, capable de
travailler dans un environnement technique exigeant.
Le candidat sait faire preuve de rigueur dans la gestion de la qualité des données et
possède un bon esprit d’équipe.
Il est capable de communiquer efficacement avec des interlocuteurs techniques et
métiers.
Réinventer l’avenir : l’innovation humaine au cœur de la technologie 🚀 Quelques chiffres clés 30+ clients accompagnés 25+ experts data & IA 2.6 M€ de chiffre d’affaires 2 centres d’expertise 100+ formations par an 15% du CA investi en R&D 🧠 Notre mission Placer l’humain au cœur de la donnée pour créer des solutions intelligentes, responsables et à impact, en alliant expertise technologique, innovation et agilité. 🧩 Nos domaines d'expertise Stratégie data & gouvernance Transformation & qualité de la donnée Ingénierie Big Data Science des données & IA DevOps & automatisation Formation & acculturation data 💡 Nos services Diagnostic de maturité Roadmap IA & data IA générative & éthique Automatisation intelligente Analyse prédictive Data visualisation & UX Gouvernance & qualité des données Architecture cloud & CI/CD 👥 Notre équipe 25+ experts data 10+ spécialistes en stratégie data 5 PhD R&D 5 formateurs certifiés 🧬 Notre méthodologie Customer-centric : solutions co-construites avec nos clients Approche Agile & itérative Expertise sur toute la chaîne de valeur data Autonomisation des équipes métiers 🔁 Cycle de vie de la donnée Collecte multi-source Qualité & préparation Visualisation & dataviz Analyse prédictive & IA Déploiement automatisé (CI/CD) 🎓 Craftmandata Académie Formations inter/intra-entreprise Distanciel ou présentiel Modules sur l’IA, Cloud, DataViz... Formation de "champions métiers" 🧪 Craftmandata Lab – L’innovation concrète 15% du CA dédié à la R&D Projets internes : IA de qualité de données Détection de fraude Classification automatique NLP sur verbatims clients Suivi de la mixité & égalité Calcul de bilan carbone numérique 🛠 Notre écosystème technologique Cloud & microservices Big Data & NoSQL Machine Learning & Deep Learning VueJS, Redis, API, ELT/ETL Outils low/no-code Datalake, Data Catalog, DataViz 🌍 Nos clients & secteurs Banque | Assurance | Industrie | Énergie | Retail | Télécom | Transport