DEFT'07 : une campagne d'évaluation en fouille d'opinion
Résumé
Depuis 2005, les campagnes nationales d'évaluation « DEFT » proposent
des thématiques de recherche exploratoires axées sur la fouille de texte.
L'édition 2007 a porté sur la classification de textes d'opinion : la tâche consistait
à attribuer une classe d'opinion à chaque texte d'un corpus, parmi 2 ou 3 classes
allant d'un jugement défavorable à un jugement favorable. Quatre corpus ont été
mis à la disposition des participants : débats parlementaires sur un projet de loi,
critiques de jeux vidéos, critiques de films et de livres, et relectures d'articles
de conférences. Dans cet article, nous décrivons d'abord la phase préparatoire
de la campagne, avec la collecte des corpus, la définition des mesures d'évaluation,
et des tests humains de la tâche. Nous présentons ensuite une analyse des
résultats des participants, et les remarques qui en découlent concernant les différents
types de corpus. Enfin, nous faisons un bilan synthétique des méthodes
proposées à l'évaluation.