Orange SA
Stage en data science - Traitement Automatique des Langues F/H
Orange SA, Iowa, Louisiana, United States, 70647
about the role
Sujet de stage : Combinaison de modèles de langue pour l'apprentissage modulaire Les modèles de langue les plus performants aujourd’hui sont capables de réaliser de très nombreuses tâches avec une très bonne qualité. Cependant, ces modèles sont très volumineux (on parle alors de Large Language Models, ou LLM) et leur entraînement et leur utilisation à l’inférence nécessitent des ressources qui demeurent un frein pour un usage responsable de l’intelligence artificielle. À l’autre bout du spectre, il existe des modèles dédiés à des tâches élémentaires et qui, pour ces tâches, obtiennent des performances comparables aux gros modèles tout en étant beaucoup plus petits. La combinaison de tels modèles (ou model merging) constitue une piste de recherche avec de nombreux enjeux à la fois scientifiques et opérationnels. Dans des travaux précédents nous avons montré qu’il est possible de combiner des modèles dédiés à des tâches pour créer un modèle capable de réaliser toutes les tâches couvertes par ces modèles sans réapprentissage, et ce avec des garanties théoriques. Cela nous amène naturellement à la question suivante:
Est-il possible de combiner des modèles dédiés de manière à créer un modèle capable de réaliser une nouvelle tâche jusqu’ici inconnue ?
Ce problème est référencé aujourd’hui dans la littérature sous la notion d’apprentissage modulaire et certains résultats préliminaires semblent répondre positivement à cette problématique. Cependant où sont les limites de cette approche ? Quelles conditions doivent remplir deux modèles donnés pour que leur combinaison permette de faire émerger de nouvelles compétences ? Répondre à cette problématique nécessitera de mieux comprendre la géométrie de l’espace dans lequel vivent ces modèles de plusieurs milliards de paramètres. Une problématique complexe à laquelle peu de réponses concrètes ont été apportées aujourd’hui. about you
Stage de fin d’études de master ou d’école d’ingénieur (Bac+5) en informatique ou mathématiques appliquées Appétence pour une démarche orientée recherche Compétences en deep learning Appétence pour le traitement automatique des langues Compétences Linux, Shell, Python, Slurm
#J-18808-Ljbffr
Sujet de stage : Combinaison de modèles de langue pour l'apprentissage modulaire Les modèles de langue les plus performants aujourd’hui sont capables de réaliser de très nombreuses tâches avec une très bonne qualité. Cependant, ces modèles sont très volumineux (on parle alors de Large Language Models, ou LLM) et leur entraînement et leur utilisation à l’inférence nécessitent des ressources qui demeurent un frein pour un usage responsable de l’intelligence artificielle. À l’autre bout du spectre, il existe des modèles dédiés à des tâches élémentaires et qui, pour ces tâches, obtiennent des performances comparables aux gros modèles tout en étant beaucoup plus petits. La combinaison de tels modèles (ou model merging) constitue une piste de recherche avec de nombreux enjeux à la fois scientifiques et opérationnels. Dans des travaux précédents nous avons montré qu’il est possible de combiner des modèles dédiés à des tâches pour créer un modèle capable de réaliser toutes les tâches couvertes par ces modèles sans réapprentissage, et ce avec des garanties théoriques. Cela nous amène naturellement à la question suivante:
Est-il possible de combiner des modèles dédiés de manière à créer un modèle capable de réaliser une nouvelle tâche jusqu’ici inconnue ?
Ce problème est référencé aujourd’hui dans la littérature sous la notion d’apprentissage modulaire et certains résultats préliminaires semblent répondre positivement à cette problématique. Cependant où sont les limites de cette approche ? Quelles conditions doivent remplir deux modèles donnés pour que leur combinaison permette de faire émerger de nouvelles compétences ? Répondre à cette problématique nécessitera de mieux comprendre la géométrie de l’espace dans lequel vivent ces modèles de plusieurs milliards de paramètres. Une problématique complexe à laquelle peu de réponses concrètes ont été apportées aujourd’hui. about you
Stage de fin d’études de master ou d’école d’ingénieur (Bac+5) en informatique ou mathématiques appliquées Appétence pour une démarche orientée recherche Compétences en deep learning Appétence pour le traitement automatique des langues Compétences Linux, Shell, Python, Slurm
#J-18808-Ljbffr