Data Engineer Spark / Scala – Datalake (H/F)QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale.
QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé.
Description :
Pour le compte de l’un de nos clients grands compte, nous sommes à la recherche d’un Data Engineer Spark / Scala – Datalake (H/F)
Localisation
Puteaux
Mode de travail multisite (Teams / M365)
Missions
En tant que Data Engineer Spark / Scala, vos principales responsabilités seront :
Participer à l’estimation de la complexité technique, notamment dans le cadre de la montée de version Spark 3.4
Concevoir et développer des traitements data (CDC, fichiers plats, événements Kafka)
Implémenter des pipelines de transformation, agrégation et consolidation de données
Rédiger les documents de conception et la documentation technique
Concevoir et exécuter les tests unitaires et d’intégration
Réaliser des revues de code croisées
Contribuer à l’installation et au déploiement des composants
Assurer le support et la résolution des incidents de production
Participer activement aux rétrospectives et à l’amélioration continue
Environnement Technique
Backend / Big Data
Apache Spark (Scala)
HDFS, Hive
Kafka
Mesos, YARN
Oozie
Bases de données
MongoDB
Oracle
CI/CD & Qualité
GitLab CI
Maven
Sonar
Liquibase
Outils
GitLab
IntelliJ / VS Code
Jira / Confluence
Microsoft Teams / M365
Contexte & Équipe
Au sein du pôle Événementiel & Plateformes de Données (EPLD), vous rejoindrez l’équipe en charge du Datalake, au cœur des enjeux data du Groupe.
L’équipe PESD est composée de 7 collaborateurs internes :
1 Responsable de projet
1 Chef de projet
6 Data Engineers (dont 2 Tech Leads)
Vous interviendrez sur des plateformes critiques alimentant des systèmes décisionnels, réglementaires et analytiques (Datawarehouse Groupe).
QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transformer digitale afin de gagner les défis du marché. QODEXIA s'est spécialisée dans le digital, BI et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé.