RNTI

MODULAD
DEFT'07 : une campagne d'évaluation en fouille d'opinion
In FDO 2009, vol. RNTI-E-17, pp.1-24
Abstract
Depuis 2005, les campagnes nationales d'évaluation « DEFT » proposent des thématiques de recherche exploratoires axées sur la fouille de texte. L'édition 2007 a porté sur la classification de textes d'opinion : la tâche consistait à attribuer une classe d'opinion à chaque texte d'un corpus, parmi 2 ou 3 classes allant d'un jugement défavorable à un jugement favorable. Quatre corpus ont été mis à la disposition des participants : débats parlementaires sur un projet de loi, critiques de jeux vidéos, critiques de films et de livres, et relectures d'articles de conférences. Dans cet article, nous décrivons d'abord la phase préparatoire de la campagne, avec la collecte des corpus, la définition des mesures d'évaluation, et des tests humains de la tâche. Nous présentons ensuite une analyse des résultats des participants, et les remarques qui en découlent concernant les différents types de corpus. Enfin, nous faisons un bilan synthétique des méthodes proposées à l'évaluation.