Hs Mittweida
Stage en data science - Traitement Automatique des Langues F/H
Hs Mittweida, Iowa, Louisiana, United States, 70647
Votre rôle
Sujet de stage : Combinaison de modèles de langue pour l'apprentissage modulaire
Les modèles de langue les plus performants aujourd'hui sont capables de réaliser de très nombreuses tâches avec une très bonne qualité. Cependant, ces modèles sont très volumineux (on parle alors de Large Language Models, ou LLM) et leur entraînement et leur utilisation à l'inférence nécessitent des ressources qui demeurent un frein pour un usage responsable de l'intelligence artificielle. À l'autre bout du spectre, il existe des modèles dédiés à des tâches élémentaires et qui, pour ces tâches, obtiennent des performances comparables aux gros modèles tout en étant beaucoup plus petits. La combinaison de tels modèles (ou model merging) constitue une piste de recherche avec de nombreux enjeux à la fois scientifiques et opérationnels.
Dans des travaux précédents nous avons montré qu'il est possible de combiner des modèles dédiés à des tâches pour créer un modèle capable de réaliser toutes les tâches couvertes par ces modèles sans réapprentissage, et ce avec des garanties théoriques. Cela nous amène naturellement à la question suivante:
Est-il possible de combiner des modèles dédiés de manière à créer un modèle capable de réaliser une nouvelle tâche jusqu'ici alors inconnue ?
Ce problème est référencé aujourd'hui dans la littérature sous la notion d'apprentissage modulaire et certains résultats préliminaires semblent répondre positivement à cette problématique. Cependant où sont les limites de cette approche ? Quelles conditions doivent remplir deux modèles donnés pour que leur combinaison permette de faire émerger de nouvelles compétences ?
Répondre à cette problématique nécessitera de mieux comprendre la géométrie de l'espace dans lequel vivent ces modèles de plusieurs milliards de paramètres. Une problématique complexe à laquelle peu de réponses concrètes ont été apportées aujourd'hui.
Votre profil Stage de fin d'études de master ou d'école d'ingénieur (Bac+5) en informatique ou mathématiques appliquées
Appétence pour une démarche orientée recherche
Compétences en deep learning
Appétence pour le traitement automatique des langues
Compétences Linux, Shell, Python, Slurm
Le plus de l'offre Ce sujet de stage est au cœur d'un sujet actuellement stratégique : le fonctionnement des modèles de langue. Dans le cadre d'un environnement pointu tel que les laboratoire de recherche d'Orange, il ouvre ainsi beaucoup de perspectives de carrière.
Entité La direction Data & IA, au sein de l'entité Orange Innovation, a pour ambition de développer l'usage de la Data et de l'Intelligence Artificielle, en étroite collaboration avec les pays sur leurs cas d'usages et leurs besoins métier, tout en maintenant son niveau d'expertise élevé grâce à la recherche.
Dans cette direction, l'équipe DESKIN développe des produits et des services à base de technologies d'Intelligence Artificielle (IA), et d'IA Générative pour le traitement automatique du langage naturel.
Plus précisément, les missions de l'équipe DESKIN sont :
Développer des outils d'IA multilingues, concevoir des solutions complètes de traitement, de manipulation, d'évaluation et visualisation de données textuelles à destination des directions métiers d'Orange, en utilisant les dernières technologies et modèles d'IA Génératives
Accompagner les équipes métiers pays dans l'analyse de données textuelles et conversationnelles, pour des besoins Orange ou des besoins de clients externes
Mener des travaux de recherche et d'anticipation pour développer ou adapter de nouvelles technologies d'IA adaptées aux contenus textuels
L'équipe rassemble des compétences et métiers complémentaires : chercheur.e, doctorant.e, architecte, ingénieur.e logiciel, data scientist, intégrateur.
Contrat Stage
Durée : 6 mois
Date souhaitée de prise de poste : 01 févr. 2026
Niveau d'études préparé pendant le stage Indemnité brute selon école Bac+5 de 1621 € à 2162 € / mois
#J-18808-Ljbffr
Les modèles de langue les plus performants aujourd'hui sont capables de réaliser de très nombreuses tâches avec une très bonne qualité. Cependant, ces modèles sont très volumineux (on parle alors de Large Language Models, ou LLM) et leur entraînement et leur utilisation à l'inférence nécessitent des ressources qui demeurent un frein pour un usage responsable de l'intelligence artificielle. À l'autre bout du spectre, il existe des modèles dédiés à des tâches élémentaires et qui, pour ces tâches, obtiennent des performances comparables aux gros modèles tout en étant beaucoup plus petits. La combinaison de tels modèles (ou model merging) constitue une piste de recherche avec de nombreux enjeux à la fois scientifiques et opérationnels.
Dans des travaux précédents nous avons montré qu'il est possible de combiner des modèles dédiés à des tâches pour créer un modèle capable de réaliser toutes les tâches couvertes par ces modèles sans réapprentissage, et ce avec des garanties théoriques. Cela nous amène naturellement à la question suivante:
Est-il possible de combiner des modèles dédiés de manière à créer un modèle capable de réaliser une nouvelle tâche jusqu'ici alors inconnue ?
Ce problème est référencé aujourd'hui dans la littérature sous la notion d'apprentissage modulaire et certains résultats préliminaires semblent répondre positivement à cette problématique. Cependant où sont les limites de cette approche ? Quelles conditions doivent remplir deux modèles donnés pour que leur combinaison permette de faire émerger de nouvelles compétences ?
Répondre à cette problématique nécessitera de mieux comprendre la géométrie de l'espace dans lequel vivent ces modèles de plusieurs milliards de paramètres. Une problématique complexe à laquelle peu de réponses concrètes ont été apportées aujourd'hui.
Votre profil Stage de fin d'études de master ou d'école d'ingénieur (Bac+5) en informatique ou mathématiques appliquées
Appétence pour une démarche orientée recherche
Compétences en deep learning
Appétence pour le traitement automatique des langues
Compétences Linux, Shell, Python, Slurm
Le plus de l'offre Ce sujet de stage est au cœur d'un sujet actuellement stratégique : le fonctionnement des modèles de langue. Dans le cadre d'un environnement pointu tel que les laboratoire de recherche d'Orange, il ouvre ainsi beaucoup de perspectives de carrière.
Entité La direction Data & IA, au sein de l'entité Orange Innovation, a pour ambition de développer l'usage de la Data et de l'Intelligence Artificielle, en étroite collaboration avec les pays sur leurs cas d'usages et leurs besoins métier, tout en maintenant son niveau d'expertise élevé grâce à la recherche.
Dans cette direction, l'équipe DESKIN développe des produits et des services à base de technologies d'Intelligence Artificielle (IA), et d'IA Générative pour le traitement automatique du langage naturel.
Plus précisément, les missions de l'équipe DESKIN sont :
Développer des outils d'IA multilingues, concevoir des solutions complètes de traitement, de manipulation, d'évaluation et visualisation de données textuelles à destination des directions métiers d'Orange, en utilisant les dernières technologies et modèles d'IA Génératives
Accompagner les équipes métiers pays dans l'analyse de données textuelles et conversationnelles, pour des besoins Orange ou des besoins de clients externes
Mener des travaux de recherche et d'anticipation pour développer ou adapter de nouvelles technologies d'IA adaptées aux contenus textuels
L'équipe rassemble des compétences et métiers complémentaires : chercheur.e, doctorant.e, architecte, ingénieur.e logiciel, data scientist, intégrateur.
Contrat Stage
Durée : 6 mois
Date souhaitée de prise de poste : 01 févr. 2026
Niveau d'études préparé pendant le stage Indemnité brute selon école Bac+5 de 1621 € à 2162 € / mois
#J-18808-Ljbffr