Data Engineer ( KLNWX) (H/F) | Ariana

À propos de Bestlab

Bestlab est un éditeur de logiciels spécialisé dans l’intelligence artificielle, la Data Science et le développement de solutions technologiques innovantes.

Nous concevons et développons des produits et des solutions fondés sur la donnée et l’IA, destinés à répondre à des enjeux variés. Nous accompagnons également les entreprises dans l’identification, l’analyse et la résolution de problématiques métier complexes grâce à des approches technologiques performantes et adaptées à leurs besoins.

Dans le cadre du renforcement de notre équipe R&D, composée de docteurs, de Data Scientists, de Data Engineers et de profils juniors, nous recherchons un(e) Data Engineer motivé(e) par les défis techniques, souhaitant évoluer dans un environnement stimulant, collaboratif et axé sur l’innovation.

Votre mission

En tant que Data Engineer, vous contribuerez à la conception, au développement et à l’optimisation des infrastructures et des pipelines de données indispensables à la réalisation de nos projets Data & IA. Vous veillerez à garantir la fiabilité, la qualité, la disponibilité et la performance des données, tout en facilitant leur exploitation par les équipes techniques et scientifiques.

À ce titre, vos principales responsabilités seront les suivantes :

• Analyse des besoins : comprendre les exigences métier et techniques afin de concevoir des solutions Data adaptées aux objectifs des projets.
• Conception et développement des pipelines : concevoir, développer et maintenir des pipelines de données robustes, fiables, évolutifs et performants.
• Collecte et intégration des données : connecter et intégrer des données issues de sources hétérogènes.
• Développement des processus ETL/ELT : mettre en œuvre les mécanismes d’extraction, de transformation et de chargement des données.
• Préparation et valorisation des données : nettoyer, transformer, enrichir et structurer les données afin de les rendre exploitables.
• Architecture et modélisation des données : concevoir et maintenir des architectures et des modèles de données répondant aux besoins des projets.
• Automatisation des traitements : développer et orchestrer des processus automatisés pour assurer l’efficacité et la reproductibilité des flux de données.
• Traitements batch et temps réel : mettre en place et optimiser des traitements adaptés aux différents besoins de traitement et de disponibilité des données.
• Qualité et gouvernance des données : garantir la cohérence, la traçabilité, l’intégrité et la disponibilité des données tout au long de leur cycle de vie.
• Gestion des infrastructures Data : contribuer à la conception, à l’évolution et à l’optimisation des bases de données et des Data Warehouses.
• Supervision et monitoring : mettre en place des mécanismes de surveillance, de contrôle et de détection des anomalies au niveau des pipelines.
• Optimisation des performances : améliorer l’efficacité des traitements et maîtriser les coûts liés aux infrastructures et aux opérations Data.
• Collaboration avec les équipes : travailler en étroite collaboration avec les Data Scientists, les développeurs, les ingénieurs et les chercheurs afin de fournir des données fiables et adaptées aux besoins des projets Data & IA.
• Industrialisation et déploiement : participer à la mise en production, à l’industrialisation et à l’amélioration continue des solutions Data.
• Documentation technique : documenter les architectures, les pipelines, les processus et les choix technologiques afin de faciliter la maintenance et le partage des connaissances.
• Veille technologique : suivre les évolutions des outils, des technologies et des architectures Data afin d’identifier de nouvelles opportunités d’innovation et d’amélioration.

Compétences techniques recherchées1. Programmation et traitement des données

• Excellente maîtrise de Python et bonne maîtrise de SQL.
• Maîtrise des principales bibliothèques Python dédiées à la manipulation et à l’analyse des données, notamment Pandas et NumPy, ou d’outils équivalents.
• Bonne compréhension des structures de données, des algorithmes et des techniques d’optimisation.
• Capacité à produire un code propre, structuré, maintenable, testé et documenté.
• La connaissance de Java, Scala ou d’autres langages adaptés au traitement distribué constitue un atout.

2. Bases de données

Bonne maîtrise des bases de données relationnelles et compréhension des principes de fonctionnement des bases de données NoSQL.

Une expérience avec des technologies telles que PostgreSQL, MySQL et MongoDB est appréciée.

Vous maîtrisez ou connaissez les concepts suivants :

• Conception et modélisation des bases de données.
• Normalisation et dénormalisation des données.
• Indexation et optimisation des requêtes SQL.
• Gestion des transactions et de la cohérence des données.
• Partitionnement et gestion de grands volumes de données.
• Optimisation des performances et de l'accès aux données.

3. ETL/ELT et pipelines de données

Vous disposez de connaissances solides en conception, développement et maintenance de pipelines de données, notamment sur les aspects suivants :

• Extraction, transformation et chargement des données (ETL/ELT).
• Ingestion de données provenant de sources multiples.
• Transformation, nettoyage et enrichissement des données.
• Orchestration des traitements et gestion des dépendances.
• Gestion des erreurs et mécanismes de reprise automatique.
• Contrôle de la qualité des données.
• Automatisation et planification des workflows.

La connaissance d'outils d'orchestration tels qu'Apache Airflow, Prefect, Dagster ou de solutions équivalentes constitue un avantage.

4. Big Data et traitement distribué

Une bonne compréhension des enjeux liés au traitement distribué et à la gestion de grands volumes de données est souhaitée.

La connaissance de technologies telles qu'Apache Spark, PySpark, Hadoop, Kafka ou des systèmes de stockage distribués constitue un plus.

Une expérience dans le développement, l'optimisation et la mise à l'échelle de traitements distribués sera particulièrement appréciée.

5. Data Warehouse, Data Lake et architectures modernes

Vous comprenez les principes de conception et de fonctionnement des architectures modernes de données, notamment :

• Data Warehouse, Data Lake et Data Lakehouse.
• Modélisation dimensionnelle et organisation des données analytiques.
• Architectures distribuées et évolutives.
• Ingestion et traitement de données structurées, semi-structurées et non structurées.

La connaissance de plateformes telles que Snowflake, Google BigQuery, Databricks, Amazon Redshift ou de solutions équivalentes constitue un atout.

6. Cloud et infrastructures

Une première expérience avec au moins un environnement Cloud est appréciée, notamment :

• Amazon Web Services (AWS).
• Microsoft Azure.
• Google Cloud Platform (GCP).

La connaissance des services Cloud dédiés au stockage, au calcul, aux bases de données et au traitement des données représente un avantage.

7. DevOps et industrialisation

Des connaissances en industrialisation et en déploiement de solutions logicielles sont appréciées, notamment dans les domaines suivants :

• Docker et technologies de conteneurisation.
• Git et gestion de versions.
• Intégration et déploiement continus (CI/CD).
• APIs et architecture microservices.
• Environnements Linux.
• Automatisation des déploiements et des workflows.
• Monitoring, journalisation et supervision des traitements.

La maîtrise ou la connaissance de Kubernetes constitue un plus.

8. Data Engineering pour l'IA et le Machine Learning

Dans le cadre de vos missions, vous collaborerez étroitement avec les équipes Data Science et IA. Une compréhension des besoins spécifiques à ces domaines est donc appréciée, notamment en matière de :

• Préparation et transformation des données pour le Machine Learning.
• Feature engineering et construction de jeux de données exploitables.
• Gestion et versionnement des datasets.
• Conception de pipelines dédiés au Machine Learning.
• Stockage et traitement de données non structurées.
• Gestion des données produites ou exploitées par les modèles et applications d'IA.
• Préparation des données pour des applications de NLP, de Computer Vision et d'IA générative.

Une connaissance des pratiques et outils MLOps constitue un avantage.

9. Qualité, sécurité et gouvernance des données

La fiabilité et la qualité des données sont essentielles à la réussite des projets Data & IA. Vous serez amené(e) à contribuer à leur contrôle, leur sécurisation et leur gestion tout au long de leur cycle de vie.

À ce titre, vous pourrez intervenir sur :

• La mise en place de règles et de contrôles de qualité des données.
• La détection, l'analyse et la correction des incohérences.
• La traçabilité des données et des transformations appliquées.
• La gestion des erreurs et des anomalies dans les pipelines.
• La documentation des sources, des flux et des traitements.
• La sécurisation des accès et la gestion des droits et permissions.
• L'application des bonnes pratiques de gouvernance des données.

Le profil que nous recherchons

Au-delà des compétences techniques, nous recherchons une personne dotée d'un solide esprit analytique, d'une bonne culture informatique et d'une réelle capacité à résoudre des problématiques complexes.

Vous êtes capable d'analyser un besoin métier ou scientifique, d'identifier les sources de données pertinentes, de concevoir une architecture adaptée et de développer des pipelines fiables permettant de transformer des données brutes en données structurées, de qualité et directement exploitables par les équipes Data & IA.

Vous faites preuve de rigueur dans la conception de vos solutions et cherchez constamment à améliorer leur fiabilité, leurs performances et leur maintenabilité.

Qualités et compétences comportementales

Esprit analytique et résolution de problèmes

Vous savez analyser une problématique, identifier les causes d'un dysfonctionnement et proposer des solutions techniques pertinentes, efficaces et durables.

Rigueur et souci de la qualité

Vous accordez une importance particulière à la fiabilité, à la cohérence, à la sécurité et à la maintenabilité des données, du code et des pipelines développés.

Curiosité et veille technologique

Vous vous intéressez aux nouvelles technologies et aux évolutions des architectures Data, Cloud et Big Data. Vous êtes motivé(e) par l'apprentissage continu et l'expérimentation de nouvelles approches.

Autonomie et esprit d'initiative

Vous êtes capable de prendre en charge des sujets techniques, de formuler des propositions pertinentes et d'identifier de manière proactive les axes d'amélioration.

Esprit d'équipe et collaboration

Vous appréciez le travail en équipe et savez collaborer avec des interlocuteurs aux expertises variées, notamment des Data Scientists, développeurs, ingénieurs, chercheurs et équipes métier.

Organisation et gestion des priorités

Vous savez planifier vos activités, structurer votre travail et assurer un suivi rigoureux des différentes étapes d'un projet.

Sens de l'innovation

Vous êtes motivé(e) par la conception de solutions technologiques performantes, évolutives et adaptées aux nouveaux enjeux de la Data et de l'intelligence artificielle.

Formation et expérience

Vous êtes titulaire d'une formation supérieure en Data Engineering, informatique, Big Data, Data Science, génie logiciel, mathématiques appliquées ou dans un domaine connexe.

Un diplôme de Master, un diplôme d'ingénieur ou un doctorat dans l'un de ces domaines constitue une formation adaptée au poste.

Une première expérience professionnelle, un stage significatif ou un projet académique en lien avec le développement de pipelines de données, les bases de données, les systèmes distribués ou les architectures Cloud représente un atout.

Nous restons ouverts aux profils juniors disposant de solides fondamentaux techniques, d'une bonne capacité d'apprentissage et d'une réelle motivation à évoluer dans le domaine du Data Engineering.

Pourquoi rejoindre Bestlab ?

Rejoindre Bestlab, c'est intégrer un environnement de R&D dynamique où la donnée et l'intelligence artificielle occupent une place centrale dans le développement de solutions innovantes.

Vous aurez l'opportunité de :

• Contribuer à des projets innovants en participant à la conception de solutions Data au service de problématiques métier, scientifiques et technologiques concrètes.
• Collaborer avec des experts complémentaires, notamment des docteurs, Data Scientists, Data Engineers, développeurs et chercheurs.
• Approfondir vos compétences techniques en travaillant sur des architectures modernes, des pipelines de données et des problématiques d'industrialisation.
• Participer à l'ensemble du cycle de vie des solutions Data, de l'analyse des besoins à la mise en production, en passant par la conception, le développement et l'optimisation.
• Évoluer dans un environnement stimulant, favorisant le partage des connaissances, l'autonomie, la curiosité technique et l'amélioration continue.

Chez Bestlab, nous valorisons avant tout la capacité à comprendre les enjeux, à raisonner de manière structurée et à concevoir des solutions robustes et évolutives. Au-delà de la maîtrise des outils, nous recherchons des profils capables d'apprendre, de collaborer et de contribuer activement à l'innovation technologique.