Dans cet article, nous présentons un modèle de fouille des usages de la vidéo pour améliorer la qualité de l'indexation. Nous proposons une approche basée sur un modèle à deux niveaux représentant le comportement des utilisateurs exploitant un moteur de recherche vidéo. Le premier niveau consiste à modéliser le comportement lors de la lecture d'une vidéo unique (comportement intra vidéo), le second à modéliser le comportement sur l'ensemble d'une session (comportement inter video). A partir de cette représentation, nous avons développé un algorithme de regroupement, adapté à la nature particulière de ces données. L'analyse des usages de la vidéo nous permet d'affiner l'indexation vidéo sur la base de l'intérêt des utilisateurs.