Construction de noyaux pour l'apprentissage supervisé à partir d'arbres aléatoires
Abstract
Nous montrons qu'un ensemble d'arbres de décision avec une composante
aléatoire permet de construire un noyau efficace destiné à l'apprentissage
supervisé. Nous étudions théoriquement les propriétés d'un tel noyau et montrons
que sous des conditions très souvent rencontrées en pratique, il existe une
séparabilité linéaire entre exemples de classes distinctes dans l'espace induit par
celui-ci. Parallèlement, nous observons également que le classique vote à la majorité
d'un ensemble d'arbres est un hyperplan (sans garantie d'optimalité) dans
l'espace induit par le noyau. Enfin, comme le montrent nos expérimentations,
l'utilisation conjointe d'un ensemble d'arbres et d'un séparateur à vaste marge
(SVM) aboutit à des résultats extrêmement encourageants.