Les modèles Transformeurs créent des plongements différents pour la même entrée, un à chaque couche de leur architecture. Diverses études ont déjà tenté d'identifier les plongements qui contribuent le plus au succès des tâches de classification supervisée. En revanche, la même analyse des performances n'a pas encore été réalisée dans le cadre non supervisé. Dans cet article, nous évaluons l'efficacité des modèles Transformeurs sur l'importante tâche de classification non supervisée de documents. Nous présentons une approche clustering ensemble qui exploite toutes les couches du réseau. Des expériences menées sur des ensembles de données réels avec différents modèles montrent l'efficacité de la méthode proposée par rapport à plusieurs stratégies habituellement utilisées. Cet article est une restitution du papier (Ait-Saada et al., 2021).