Expérimentations autour des architectures d'apprentissage par transfert pour l'extraction de relations biomédicales
Résumé
L'extraction de relations (ER) consiste à identifier et à structurer automatiquement
des relations à partir de textes. Récemment, BERT a permis
d'améliorer les performances de plusieurs tâches de TAL, dont l'ER. Cependant,
la meilleure façon d'utiliser BERT, dans une architecture d'apprentissage
automatique avec une stratégie par transfert reste une question ouverte, car elle
dépend à la fois de la tâche et du domaine d'application. Dans ce travail, nous
explorons diverses architectures d'ER qui s'appuient sur BERT et deux stratégies
de transfert (gel des poids ou réglage fin) sur deux corpus biomédicaux.
Parmi les architectures et stratégies de transfert testées, *BERT-segMCNN avec
réglage fin atteint des performances supérieures à l'état de l'art sur les deux
corpus (amélioration absolue de 1,73% et 32,77% sur ChemProt et PGxCorpus
respectivement). Nos expériences illustrent l'intérêt attendu du réglage fin avec
BERT, et de façon plus originale l'intérêt d'ajouter aux représentations de BERT
une information structurelle en considérant la segmentation des phrases.