Ingénieur Support et Exploitation Plateformes Data

Description du poste

Descriptif du poste

Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur IKS (Kubernetes IBM) et bientôt sur OpenShift :

• Apache Spark

• Apache Airflow/Astronomer

• Starburst (trino)

Dans le cadre du renforcement de notre capacité de support sur la nouvelle offre "DATAHUB V2", nous recherchons des prestataires spécialisés dans l'exploitation et le support de ces plateformes.

La prestation visera à :

• Assurer le maintien en condition opérationnelle en production des plateformes (Airflow, Spark, Starburst)

• Intervenir dans la gestion des incidents, l'analyse des root causes et la résolution

• Participer à l'optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst

• Accompagner les équipes métiers dans l'utilisation efficace et sécurisée des plateformes

• Contribuer à la documentation et à l'amélioration continue de l'écosystème d'exploitation

• Expérience DATA en PROD

• Maîtrise des environnements Kubernetes, Spark, Airflow, Starburst (à minima 2 technos)

• Support sur des services Kubernetes/helm charts

• Solide expérience en support de production, monitoring, observabilité (logs, métriques), investigation d'incidents (technos Dynatrace, Kibana, Grafana)

• Bonnes pratiques d'exploitation de traitements data distribués

• Connaissances en tuning Spark, gestion des ressources, profiling applicatif

• Capacités rédactionnelles pour formaliser les procédures d'exploitation et de diagnostic

• Compétences en scripting (Ansible, Python, Bash...) appréciées

• Maîtrise chaîne CI/CD (Git, Jenkins, Gitlab CI, …)

• Connaissances Hashicorp Vault Secrets + PKI

• Français/Anglais

VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data.

Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT.