Data Engineer
Socomec · Ben Arous
Nous recherchons un Data Engineer motivé, capable de concevoir, développer et industrialiser les pipelines permettant d’alimenter notre Data Platform à partir des différents systèmes d’information du Groupe.
Vous contribuerez directement à rendre les données accessibles, fiables et exploitables pour répondre aux besoins Analytics, reporting, Data Science et IA de l’entreprise.
Rattaché(e) à l’équipe Data, vous participez à la construction et à l’évolution de notre Data Platform basée sur Databricks, en collaboration avec les équipes IT, BI, Data Science et les équipes métiers.
Responsabilités
Concevoir, développer et maintenir les pipelines d’ingestion et de transformation permettant d’alimenter la Data Platform à partir de différentes sources : ERP, bases de données, API, fichiers et applications métiers.
Participer à l’intégration progressive des données des différentes entités et régions du Groupe dans la Data Platform.
Développer des traitements de données fiables, performants, maintenables et réutilisables.
Transformer et structurer les données afin de les rendre exploitables pour les usages Analytics, reporting, Data Science et IA.
Mettre en œuvre les contrôles nécessaires pour garantir la qualité, la cohérence et la traçabilité des données.
Participer à l’industrialisation des pipelines : gestion des environnements, versioning, tests, déploiement et monitoring.
Contribuer à la définition et au respect des standards de développement de la Data Platform.
Participer à l’amélioration continue des performances, de la fiabilité et de l’industrialisation de la plateforme.
Collaborer avec les équipes BI, Data Science, Intégration, IT et métiers afin de comprendre les besoins et proposer les solutions techniques adaptées.
Documenter les pipelines, les transformations et les données mises à disposition.
Qualifications
Ingénieur en informatique, Data Engineering ou formation équivalente.
Expérience de 2 à 3 ans en Data Engineering, développement de pipelines de données ou intégration de données.
Bonne maîtrise de SQL et Python.
Bonne compréhension des problématiques d’ingestion, de transformation et de modélisation des données.
Expérience avec des outils ETL/ELT ou des plateformes modernes de traitement de données.
Connaissance des principes de développement logiciel : Git, tests, CI/CD et gestion des environnements.
Bonne compréhension des architectures Data modernes et des environnements Cloud.
Maîtrise du français et de l’anglais.
Les plus qui pourraient vous rendre unique
Une expérience sur Databricks.
Une connaissance de Spark / PySpark.
Une expérience avec Delta Lake et les architectures Lakehouse.
Une connaissance de Microsoft Azure.
Une expérience avec des outils d’orchestration de pipelines de données.
Une connaissance des problématiques de gouvernance, catalogue et lineage des données, notamment Unity Catalog.
Une expérience dans l’intégration de données provenant d’ERP ou de systèmes industriels.
Une sensibilité aux enjeux de Data Quality et d’observabilité des pipelines.
Parce que votre profil ne se résume pas qu’à des compétences techniques
Vous aimez comprendre les données et les processus métiers qui se trouvent derrière les développements techniques.
Vous avez l’habitude de travailler en méthodologie Agile.
Vous avez un bon esprit d’analyse et aimez résoudre des problématiques complexes.
Vous savez travailler dans un environnement international et avec des équipes pluridisciplinaires.
Vous avez le sens de l’écoute, un esprit de collaboration et êtes force de proposition.
Vous êtes organisé(e), rigoureux(se), autonome et fiable.
Vous souhaitez participer à la construction d’une Data Platform Groupe et contribuer concrètement à la transformation Data de l’entreprise.
#LI-OHI
Vous souhaitez rejoindre une équipe Data & IT dynamique et contribuer au développement de la Data Platform du Groupe ?