Databricks Data EngineerDescriptif du poste
Expert reconnu en plateforme de données et architecture Lakehouse, incluant :
Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster).
Politiques de cluster, configuration de cluster et pool, et optimisation des coûts.
Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs.
APIs REST et CLI pour l'automatisation.
Expert reconnu en utilisation de Delta Lake, incluant :
Pipelines d'ingestion et de transformation (Bronze–Silver–Gold).
Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration).
Structured streaming et traitement incrémental.
Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction).
Expert reconnu en :
Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging.
SQL (SQL analytique, window functions, SQL Databricks).
Spark / PySpark pour le traitement distribué et l'optimisation.
Expert reconnu en utilisation de Unity Catalog, incluant :
Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage).
Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions).
Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII).
Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant :
Databricks Repos et intégration Git / Gitflow.
Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD.
Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production.
Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates.
Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI.
Maîtrise avancée de MLflow (experiment tracking, model registry, model serving).
Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering.
Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents.
Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent.
Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.
Profil recherché
Anglais technique avancé obligatoire (toutes les spécifications fonctionnelles et techniques sont en anglais).
Français courant.
Maîtrise avancée de l'autonomie, résolution de problèmes, esprit critique, communication et attention aux détails.
Connaissance pratique de la surveillance continue des technologies et des meilleures pratiques du secteur.
Connaissance pratique du secteur des médias et de l'audiovisuel.
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit, le développement et la data.
Dans le cadre de nos projets clients, nous recherchons un Databricks Data Engineer
VISIAN, filiale d'un grand groupe technologique de plus de 6500 personnes, est une société de conseil spécialisée dans l'innovation, la conception de produits et la data. Ses consultants technophiles allient compréhension des enjeux digitaux et vision produit. De la structuration des DSI à la conception de produits digitaux en passant par la valorisation de la data, VISIAN concrétise les objectifs de ses clients en faisant converger ambition et faisabilité. Fondée par des consultants, VISIAN connait une croissance rapide pour atteindre 14 millions de CA cette année et renforce ses partenariats avec de nombreux clients grands-comptes sur Paris et Marseille.