[FBO] Data Engineer Expert Elastic Search (5 années d'expérience) - Guyancourt - 1178Confirmé (Au moins 5 ans d’expérience)
Secteur : Bancaire
La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l’essor de nos infrastructures et l’évolution des technologies associées, ou encore l’automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l’organisation du client et de ses Clients (équipes applicatives et socles multiples et dispersées).
Prenant en compte ce cadre, vos missions seront plus spécifiquement :
- Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs
- Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Stratégie Data
- Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d’automatiser les pipelines d’ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …)
- Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données
Contexte technique
- Kafka
- Scripting Python/SQL/Java
- Suite Elastic (ElasticSearch/Kibana)
- Apache Flink / LogStash
- Agent de collecte (Elastic ou autre Open-Source)
Attendus. Pour réaliser la mission, vous serez à même de :
- Participer à la conception des solutions techniques et fonctionnelles
- Gérer les données de l’entreprise (flux : collecte, traitement, stockage et leur cycle de vie)
- Rédiger les documents fonctionnels et techniques, d’exploitation, en veillant au respect des normes existantes
- Mettre en œuvre en mode DevOps (CI/CD)
- Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes
- Être en relation avec les équipes opérationnelles de l’entreprise pour prise en compte des flux de données
- Développer les cas d’usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs
Compétences requises
- Connaissances en infrastructure : réseau / système
- Connaissance indispensable en SGBD et langage de requêtage
- Connaissance forte en streaming
- Architecture d’Entreprise, plus particulièrement en base de données, flux de données
- Conception et mise en place de solution de stockage et ingestion de données
- Méthodologie Agile / DevOps, maitrise des outils associés
- Gouvernance de la donnée
- Maitrise de divers langages de programmation (Java/Python)
- Anglais