DATA ENGINEER GCP/Big data

Description du poste

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers.
Vos missions :

• Conception et développement:
  

• Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses).
  

• Concevoir et développer des pipelines de données automatisés (ETL).
  

• Optimiser les performances des traitements de données.

Technologies:

• Maîtrise des langages de programmation : Python, Scala, SQL.
  

• Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka.
  

• Connaissance des bases de données relationnelles et NoSQL.
  

• Expérience avec les clouds (GCP)

Collaboration:

• Travailler en étroite collaboration avec les équipes métiers.
  

• Participer à la définition de la roadmap data.
  

Profil recherché :

Nous recherchons un(e) Data Engineer disposant de solides compétences en traitement de données massives et en conception de pipelines data performants.

Compétences attendues :

• Bonne connaissance des technologies Hadoop, Spark et des processus ETL

• Excellentes compétences en SQL, Python et/ou Scala

• Expérience sur des environnements Cloud, idéalement GCP (Dataproc, BigQuery)

• Capacité à concevoir, développer et optimiser des Data Pipelines

• Curiosité, rigueur et forte capacité d’analyse et de résolution de problèmes complexes

• Bon relationnel, esprit d’équipe et bonnes compétences en communication

Mots-clés : Data Engineer, Big Data, Hadoop, Spark, SQL, Python, Scala, DBT, Airflow, Cloud, Dataproc, BigQuery, Data Pipeline, ETL.

Environnement de travail :

• Technologies : DBT, Airflow, Pyspark, Spark, SQL, Python, Scala

• Plateforme Cloud : GCP (Dataproc, BigQuery)

• Développement et orchestration de Data Pipelines / ETL

• Méthodologies Agile / Scrum

• Collaboration étroite avec les équipes Data, DevOps et Métiers

• Contexte orienté performance, industrialisation et traitement de données à grande échelle