ILLUIN - Data Engineer H/F

En tant que Data Engineer, votre rôle sera d’industrialiser des solutions d’IA scalables, de développer des pipelines d’ingestion et de transformation de données à gros volume ainsi que de mettre en place des architectures data dans le cloud ou on-premise (data warehouses, data lakes, …). Ces solutions s’inscrivent dans le cadre de projets sur-mesure pour nos clients ou pour répondre aux besoins en data engineering de nos produits. Parallèlement à ces activités de conception, vous participerez également à faire grandir l’activité de Data Engineering / ML Ops.

Vos responsabilités

• Participer à la conception et l’optimisation des applications et architectures traitant un gros volume de données et répondant aux besoins des utilisateurs/clients

• Participer au pilotage d’une équipe expérimentée de data engineers

• Perfectionner ses compétences et chercher constamment à améliorer les outils et les méthodes employées (veille technologique, R&D, échanges de bonnes pratiques, hackathons)

• Participer à des code reviews avec les membres de votre équipe, challenger les implémentations, partager votre expertise et faire grandir les illuiners juniors autour de vous

• Prendre part aux cérémonies et sprint reviews en lien direct avec le client / nos équipes produits

• Participer à l’évolution de notre stack technique de ML Ops

• Participer à l’évolution de notre pôle de Data Engineering en épaulant ponctuellement l’équipe commerciale grâce à votre expertise technique

• Participer au développement de projets internes transverses : recherche, OPS, sécurité, formations, etc…

Compétences clés :

• Connaissance avancée d’au moins un langage de programmation (Java / Kotlin / Scala / Python)

• Maîtrise avancée de SQL

• Bonne compréhension des solutions de processing de données (queueing, streaming, batch processing, caching)

• Bonne compréhension des solutions de stockage données (bases de données SQL / NoSQL, data warehouse, data lake, data lakehouse)

• Expérience avec Git et des outils d’intégration continue

• Expérience avec Docker

Nice to Have :

• Certification de solutions cloud de data engineering (Azure, GCP, AWS, Databricks, Snowflake)

• Utilisation de solutions de MLOps / ML Engineering (Bento ML, Zen ML, ClearML, MLFlow, Dvc, …)

• Expérience en OPS (Kubernetes, Terraform, Ansible, …)

• Bonne compréhension du fonctionnement du Web

• Tests unitaires, d’intégration et de charge

• Expérience avec un framework back-end (Spring, Symfony, …)

• Connaissances en IA / data science (machine learning, deep learning, NLP)

• Connaissances de base UNIX & Bash

• Appétence pour gérer la relation client