RNTI

MODULAD
BioSTransformers: Modèles de langage pour l'apprentissage sans exemple dans des textes biomédicaux
In EGC 2023, vol. RNTI-E-39, pp.409-416
Résumé
L'entraînement de modèles transformeurs de langages sur des données biomédicales a permis d'obtenir des résultats prometteurs. Cependant, ces modèles de langage nécessitent pour chaque tâche un affinement (fine-tuning) sur des données supervisées très spécifiques qui sont peu disponibles dans le domaine biomédical. Nous proposons d'utiliser des modèles neuronaux siamois (sentence transformers) qui plongent des textes à comparer dans un espace vectoriel pour deux tâches: la classification d'articles scientifiques et les réponses aux questions biomédicales. Nos modèles optimisent une fonction objectif d'apprentissage contrastif auto-supervisé sur des articles issus de la base de données bibliographique MEDLINE associés à leurs mots-clés MeSH (Medical Subject Headings). Les résultats obtenus sur plusieurs benchmarks montrent que les modèles proposés permettent de résoudre ces tâches sans exemples (zero-shot) et sont comparables à des modèles transformeurs biomédicaux affinés sur des données supervisés spécifiques aux problèmes traités 1.