Senior Data Engineer AWS Nous recherchons un Lead Data Engineer chevronné pour rejoindre un acteur majeur de la Tech Parisienne. Au sein d'une équipe dynamique, votre mission sera de piloter l'acquisition de données à grande échelle et d'orchestrer une migration technologique stratégique.
Votre Mission
En tant que garant technique de l'acquisition de données, vous intervenez sur l'ensemble de la chaîne de valeur, du cleaning à l'enrichissement. Vos responsabilités principales incluent :
Architecture & Design : Concevoir et refondre des pipelines de données robustes dans le cadre d'une migration majeure de GCP vers AWS.
Ingestion Massive : Gérer l'ingestion de types de données variés (Listing, etc.) et assurer leur qualité.
Optimisation : Assurer le nettoyage et l'enrichissement des données pour les rendre exploitables par les équipes consommatrices.
Snowflake : Exposer les données de manière optimale.
Compétences Techniques Requises
Cloud : Maîtrise avancée de l'écosystème AWS (tous services) et idéalement une expérience de migration depuis GCP.
Data Processing : Expertise sur Spark / PySpark pour le traitement de données volumineuses.
Infrastructure : Solides compétences en Terraform (IaC).
Langages : Maîtrise de Python.
Data : Connaissance de Snowflake pour la partie consommation.
AWS : Expérience pratique approfondie des services AWS, incluant S3, ECS, etc., et tout particulièrement Lambda et Glue.
Python : Compétences avancées en Python pour la manipulation de données, le scripting et le développement de pipelines.
PySpark : Forte expérience dans la construction de pipelines de données distribués et scalables avec PySpark.
SQL : Maîtrise du SQL pour interroger et transformer de grands ensembles de données.
Terraform : Expérience dans la création et la gestion d'infrastructures utilisant Terraform. La connaissance de Terragrunt est un plus.
Circle CI : Aisance dans la configuration et la maintenance de pipelines pour soutenir l'automatisation et les workflows de déploiement.
Snowflake : Expérience avec Snowflake pour l'entreposage de données (data warehousing), y compris le chargement, la transformation et l'interrogation de données à grande échelle.
DataDog : Connaissance de DataDog pour la surveillance, les alertes et la création de tableaux de bord.
You are fluent in English 🇬🇧
Mission longue basée sur Paris intramuros
3 jours de télétravail / semaine
Terraform, Python, Pyspark, Snowflake, GCP, AWS, IAC
Celexio est une jeune structure qui a pour ambition de s’imposer comme interlocuteur de référence dans le conseil, la digitalisation et le sourcing. Celexio c’est, avant tout, une équipe de passionnés de nouvelles technologies, une équipe regroupée autour d’une seule et même conviction "produire un service de qualité". Nous valorisons nos ressources humaines et technologiques pour apporter des solutions innovantes, efficaces et pérennes.