Expertise Spark Data

Description du poste

Dans le cadre d’un besoin interne, nous recherchons un Expert Data Engineer spécialisé Spark.
La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH.

Volumétrie cible :

• 350 bases de données

• 5 000 requêtes par seconde

• 1 To de données par an

Tâches à réaliser :

• Réalisation d’une analyse technique et d’un état des lieux de l’existant

• Élaboration de recommandations d’amélioration :

  • Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure

  • Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel

  • Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données

• Rédaction d’un document d’architecture cible accompagné des préconisations associées

Apache Spark

MongoDB

OVH Cloud

Kafka / Kafka Connect

Déploiement Apache Spark sur Kubernetes

Réalisation d’une analyse technique et d’un état des lieux de l’existant

• Élaboration de recommandations d’amélioration :

  • Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure

  • Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel

  • Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données

• Rédaction d’un document d’architecture cible accompagné des préconisations associées