Apprentissage incrémental anytime d'un classifieur Bayésien naïf pondéré
Abstract
Nous considérons le problème de classification supervisée pour des
flux de données présentant éventuellement un très grand nombre de variables
explicatives. Le classifieur Bayésien naïf se révèle alors simple à calculer et
relativement performant tant que l'hypothèse restrictive d'indépendance des variables
conditionnellement à la classe est respectée. La sélection de variables et
le moyennage de modèles sont deux voies connues d'amélioration qui reviennent
à déployer un prédicteur Bayésien naïf intégrant une pondération des variables
explicatives. Dans cet article, nous nous intéressons à l'estimation directe d'un
tel modèle Bayésien naïf pondéré. Nous proposons une régularisation parcimonieuse
de la log-vraisemblance du modèle prenant en compte l'informativité de
chaque variable. La log-vraisemblance régularisée obtenue étant non convexe,
nous proposons un algorithme de gradient en ligne qui post-optimise la solution
obtenue afin de déjouer les minima locaux. Les expérimentations menées
s'intéressent d'une part à la qualité de l'optimisation obtenue et d'autre part aux
performances du classifieur en fonction du paramétrage de la régularisation.