Data Engineer ( KLNWX)

À propos de BestLab

BestLab est une entreprise spécialisée dans l'édition de logiciels et le développement de solutions technologiques innovantes dans les domaines de l'Intelligence Artificielle (IA), de la Data Science et de l'ingénierie des données.

Nous accompagnons les entreprises dans leur transformation digitale en développant des solutions intelligentes et performantes, capables de valoriser pleinement le potentiel des données et des technologies avancées. Grâce à notre expertise, nous répondons à des problématiques métier complexes en proposant des solutions fiables, évolutives et adaptées aux besoins de nos clients.

Dans le cadre du développement de notre activité R&D, nous souhaitons renforcer notre équipe pluridisciplinaire, composée notamment de docteurs, de Data Scientists, de Data Engineers et d'ingénieurs spécialisés.

Nous recherchons un(e) Data Engineer motivé(e), curieux(se) et passionné(e) par les technologies de la donnée, désireux(se) de participer à des projets innovants et de contribuer à la conception d'infrastructures Data performantes.

Vos missions et responsabilités

Au sein de notre équipe R&D, vous contribuerez à la conception, au développement, à l'intégration et à l'optimisation de nos architectures et infrastructures Data.

À ce titre, vos principales responsabilités seront les suivantes :

Analyser les besoins fonctionnels et techniques des projets afin de proposer des solutions Data adaptées.

Concevoir, développer et maintenir des pipelines de données fiables, robustes et évolutifs.

Collecter, intégrer et traiter des données provenant de sources multiples et hétérogènes.

Développer et optimiser des processus ETL/ELT (Extraction, Transformation et Chargement).

Assurer le nettoyage, la transformation, l'enrichissement et la structuration des données.

Concevoir et faire évoluer les architectures ainsi que les modèles de données.

Automatiser et orchestrer les flux de traitement des données.

Mettre en œuvre des traitements de données en batch et en temps réel (streaming).

Garantir la qualité, la cohérence, l'intégrité et la traçabilité des données.

Participer à l'administration et à l'optimisation des bases de données et des Data Warehouses.

Mettre en place des solutions de supervision, de monitoring et de détection des anomalies.

Améliorer les performances des pipelines et optimiser les infrastructures Data.

Collaborer avec les Data Scientists, les développeurs, les ingénieurs et les chercheurs dans le cadre des projets R&D.

Participer à l'industrialisation, au déploiement et à la mise en production des solutions Data.

Rédiger et maintenir la documentation technique des architectures et des processus développés.

Assurer une veille technologique sur les outils, frameworks et architectures émergents dans le domaine de la Data Engineering.

Votre profil

Nous recherchons une personne rigoureuse, autonome et dotée d'un bon esprit d'analyse, capable de travailler en équipe et de s'adapter à des environnements techniques évolutifs.

Vous souhaitez évoluer dans un environnement R&D stimulant et contribuer au développement de solutions innovantes dans les domaines de la Data et de l'Intelligence Artificielle.

1. Compétences techniques recherchées
Programmation et traitement des données

Excellente maîtrise de Python et bonne maîtrise de SQL.

Bonne connaissance des bibliothèques de traitement et d'analyse de données, notamment Pandas et NumPy.

Solides compétences en structures de données, algorithmique et optimisation des traitements.

Capacité à concevoir un code propre, structuré, performant, maintenable et documenté.

La connaissance de Java, Scala ou d'autres langages adaptés au traitement distribué constitue un atout.

Bases de données et systèmes de stockage

Bonne maîtrise des bases de données relationnelles et connaissance des solutions NoSQL.

Expérience avec PostgreSQL, MySQL et MongoDB.

Maîtrise des concepts de conception et de modélisation des bases de données.

Connaissance des techniques de normalisation, dénormalisation et indexation.

Capacité à optimiser les requêtes SQL et à gérer les transactions.

Compréhension du partitionnement et de la gestion des données à grande échelle.

Sensibilité aux enjeux de performance, de cohérence et de disponibilité des données.

ETL/ELT et pipelines de données

Bonne compréhension des processus ETL/ELT (Extraction, Transformation et Chargement).

Capacité à concevoir et développer des pipelines de données provenant de sources multiples.

Maîtrise des opérations de nettoyage, transformation, enrichissement et validation des données.

Connaissance des mécanismes d'orchestration et de gestion des dépendances entre les traitements.

Mise en place de mécanismes de gestion des erreurs et de reprise automatique.

Automatisation et planification des workflows de données.

La connaissance d'outils tels qu'Apache Airflow, Prefect ou Dagster est appréciée.

Big Data et traitement distribué

Compréhension des architectures distribuées et des enjeux liés au traitement de grands volumes de données.

Connaissance des technologies Apache Spark, PySpark, Hadoop et Kafka.

Capacité à développer et optimiser des traitements distribués.

Compréhension des mécanismes de scalabilité et de gestion des ressources dans les environnements Big Data.

Une expérience pratique avec ces technologies constitue un avantage important.

Data Warehouse et architectures modernes

Bonne compréhension des architectures Data Warehouse, Data Lake et Data Lakehouse.

Connaissance de la modélisation dimensionnelle et des architectures analytiques.

Capacité à concevoir et exploiter des architectures Data évolutives.

Maîtrise des principes de gestion des données structurées, semi-structurées et non structurées.

La connaissance de Snowflake, Google BigQuery, Databricks ou Amazon Redshift constitue un plus.

Cloud et infrastructures

Une première expérience avec au moins un environnement Cloud est souhaitée :

Amazon Web Services (AWS).

Microsoft Azure.

Google Cloud Platform (GCP).

La connaissance des services Cloud dédiés au stockage, au calcul, aux bases de données et au traitement des données sera particulièrement appréciée.

DevOps et industrialisation

Bonne connaissance de Docker et des technologies de conteneurisation.

Maîtrise de Git et des outils de gestion de versions.

Compréhension des pratiques CI/CD (intégration et déploiement continus).

Connaissance des API REST et des architectures microservices.

Familiarité avec les environnements Linux.

Capacité à automatiser les déploiements et les workflows.

Connaissance des outils de monitoring, de journalisation et de supervision.

La maîtrise de Kubernetes constitue un avantage.

Data Engineering appliqué à l'IA et au Machine Learning

Préparation, nettoyage et transformation des données destinées aux modèles de Machine Learning.

Connaissance du Feature Engineering et de la construction de jeux de données.

Gestion et versionnement des datasets.

Conception de pipelines adaptés aux projets de Machine Learning.

Stockage et traitement des données non structurées.

Préparation des données pour des applications de NLP, Computer Vision et IA générative.

Compréhension des pratiques MLOps et de l'industrialisation des modèles.

Qualité, sécurité et gouvernance des données

Mise en place de contrôles pour garantir la qualité et la fiabilité des données.

Détection, analyse et correction des anomalies et incohérences.

Garantie de la traçabilité des données et des transformations effectuées.

Gestion des erreurs et des incidents liés aux pipelines.

Documentation des sources, des flux et des processus de traitement.

Sécurisation des accès et gestion des droits et permissions.

Connaissance des bonnes pratiques en matière de gouvernance et de protection des données.

2. Profil recherché

Nous recherchons un(e) Data Engineer disposant de solides fondamentaux en informatique, d'un excellent esprit analytique et d'un réel intérêt pour les technologies liées au Data Engineering.

Le candidat devra être capable d'analyser des problématiques métier ou scientifiques, d'identifier les sources de données pertinentes et de concevoir des solutions techniques adaptées.

Il/Elle devra également savoir transformer des données brutes en données structurées, fiables et exploitables par les équipes Data Science et Intelligence Artificielle.

3. Qualités et compétences comportementales

Esprit analytique : capacité à comprendre des problématiques complexes, identifier les dysfonctionnements et proposer des solutions pertinentes.

Rigueur et sens du détail : attention particulière à la qualité des données, à la cohérence des traitements et à la fiabilité du code.

Curiosité technique : intérêt pour les nouvelles technologies et volonté d'apprentissage continu dans les domaines Data, Cloud et Big Data.

Autonomie et initiative : capacité à organiser son travail, prendre en charge des problématiques techniques et proposer des améliorations.

Esprit d'équipe : aptitude à collaborer avec des profils multidisciplinaires, notamment des Data Scientists, développeurs, ingénieurs et chercheurs.

Organisation : capacité à gérer les priorités, respecter les délais et assurer un suivi efficace des missions.

Créativité et innovation : aptitude à concevoir des solutions technologiques performantes, évolutives et adaptées aux besoins.

4. Formation et expérience

Diplôme supérieur en informatique, Data Engineering, Big Data, Data Science, génie logiciel, mathématiques appliquées ou domaine équivalent.

Diplôme d'ingénieur, Master ou Doctorat apprécié.

Une première expérience professionnelle, un stage significatif ou des projets académiques en Data Engineering constituent un avantage.

Une expérience dans le développement de pipelines de données, la gestion de bases de données, les systèmes distribués ou les infrastructures Cloud sera appréciée.

Les profils juniors sont également les bienvenus, à condition de disposer de solides bases techniques, d'une bonne capacité d'apprentissage et d'une réelle motivation pour les débutants