Ingénieur/e Big Data Pyspark – Services Publics – Bordeaux

Description du poste

La communauté Data du vertical Services Publics de Sopra Steria accompagne les organismes, les administrations et autres entités de la sphère publique sur des grands programmes de transformation et de maintenance dans le domaine de l’informatique décisionnelle, de la datavisualisation, de la datascience, de l’IA ainsi que des technologies et architectures Big Data (Datalake, Lakehouse).

Notre présence globale dans l’écosystème depuis de nombreuses années et la connaissance approfondie des métiers de nos clients sont un atout majeur pour répondre aux grands enjeux de transformation impliqués par les réformes de l’Etat :

• Souveraineté ;
• Move to Cloud ;
• Mise en place de plateforme de données ;
• Gestion des données à caractère personnel ou sensibles ;
• Modernisation de socle technologique ;
• Maitrise des coûts SI ;
• Gestion de la dette technique.

En tant qu’Ingénieur Data, vous intégrerez une communauté d’experts au service de la valorisation de donnée de nos clients. En fonction de votre spécialisation et/ou appétence dans les métiers de la Data parmi la BI (informatique décisionnelle), la datavisualisation, le Big Data, la data science, vous serez amené à travailler sur les activités suivantes :

• Collecte de Données – Vous aurez la charge de collecter des données à partir de diverses sources internes et externes. Cela peut inclure des bases de données, des fichiers, des API, des flux de données en continu, etc.
• Extraction, Transformation et Chargement – Vous effectuerez des opérations de type ETL pour extraire les données des sources, les transformer en fonction des besoins (nettoyage, normalisation, agrégation, enrichissement, etc.) et les charger dans les entrepôts de données ou magasins du système décisionnel ou dans des formats optimisés pour le Big Data.
• Intégration des Données Structurées et Non Structurées – Vous gèrerez à la fois des données structurées (bases de données relationnelles, fichiers CSV, etc.) et des données non structurées (textes, images, vidéos) et les intégrerez sur une plateforme de donnée
• Gestion des Flux de Données en Continu – Vous traiterez les flux de données en continu provenant de sources telles que les capteurs IoT ou les journaux d'événements en temps réel, en garantissant leur disponibilité et leur intégrité
• Sécurité des Données – Vous veillerez à ce que les données collectées et intégrées soient sécurisées, en appliquant des mécanismes de chiffrement, de contrôle d'accès et de gestion des identités lorsque cela est nécessaire.
• Restitution des données – Vous construirez pour les analystes des solutions d’exposition (API), de reporting et de visualisation des données consolidées dans les datamarts métiers à l’aide d’outils ou de librairies de datavisualisation .
• Gestion des Métadonnées – Vous documenterez et gèrerez les métadonnées associées aux sources de données, aux transformations effectuées et aux schémas de données, en vue de faciliter la compréhension des données pour les Data Scientists et les analystes.
• Performance et Évolutivité – Vous optimiserez les processus d'intégration des données pour garantir des performances élevées et une évolutivité afin de gérer des volumes de données en croissance constante.
• Collaboration avec les autres équipes – Vous collaborerez étroitement avec les Data Scientists, les experts fonctionnels, les Architectes Data et les autres membres de l'équipe pour répondre aux besoins spécifiques de chaque projet.
• Gestion des accès aux données – Vous veillerez à ce que chaque profil utilisateur ait accès aux données adéquates, en conformité avec le système d’habilitations en place. Vous sécuriserez les transferts de fichiers entrants et sortants de l’environnement de travail afin de garantir la confidentialité des données sensibles.
• Planification et Automatisation – Vous planifierez les tâches d'intégration des données en fonction des besoins métier et mettrez en place des mécanismes d'automatisation pour réduire les délais et minimiser les erreurs humaines.
• Maintenance et Surveillance – Vous assurerez la maintenance continue des pipelines d'intégration des données et surveillerez les flux de données pour détecter et résoudre rapidement les problèmes.

Environnement technique :

• Big Data : Sqoop, Spark, Nifi, Hadoop, Cloudera, Hive, HDFS, S3, MinIO, Parquet, Ranger, Atlas, Kerberos, Yarn, Iceberg, Dremio, Trino, Keycloak, Kubernetes, Airflow
• Data science : Python (et librairies), PySpark, R (et packages), SAS, Dataiku, Jupyter, Spark MLlib, FastAPI, Flask
• BI / datavisualisation : Shell, SQL, PL/SQL, Oracle, PostgreSQL, Talend, MicroStrategy, DataStage, Microsoft SSIS, PowerBI, Qlik, DigDash, Suadeo, SuperSet, R Shiny
• Transverse : Gitlab, JIRA, Confluence, Linux, DevOps

Informations supplémentaires

• Un accord télétravail pour télétravailler jusqu'à 2 jours par semaine selon vos missions.
• Un package avantages intéressants : des titres restaurants, accès aux subventions des activités sociales & culturelles.
•  Des centaines de formations pour développer vos compétences et évoluer au sein du Groupe
•  Des plateformes de formations en autonomie pour vous accompagner votre développement personnel 
• La possibilité de s'engager auprès de notre fondation ou de notre partenaire « Vendredi ».
•  De très nombreuses opportunités en CDI peuvent vous attendre à l’issue du stage.

Employeur inclusif et engagé, notre société œuvre chaque jour pour lutter contre toute forme de discrimination et favoriser un environnement de travail respectueux. C’est pourquoi, attachés à la mixité et à la diversité, nous encourageons toutes les candidatures et tous les profils.

https://www.soprasteria.fr/nous-connaitre/nos-engagements

Diplômé(e) d'une école d'Ingénieurs ou formation équivalente, vous avez déjà participé à un projet Data (Big Data, BI, data science) et vous avez une expérience de minimum 3 ans sur un poste similaire.

• Vous savez rechercher des solutions innovantes, en comprenant les problématiques de votre client et plus largement sur les projets. Vous proposez systématiquement des solutions pour les surmonter.
• Vous accordez une importante particulière au développement de vos compétences sur plusieurs technologies (formation, certification)
• Vous avez le sens du service client, en veillant à bien comprendre ses besoins afin notamment d'assurer la production de solutions conformes à ses attentes.
• Vous avez le sens du relationnel, en veillant à assurer une bonne communication avec vos interlocuteurs, à bien vous faire comprendre, à adapter votre discours, etc.