Nous étudions dans cet article les apports respectifs de différentes représentations de mots, de la méthode ensembliste et d'un transformer spécialisé que nous appelons CamemBERT judiciaire, sur la tâche de recherche d'entités nommées dans les décisions de justice françaises. Nous comparons les performances des modèles BiLSTM-CRFs entre eux, individuellement ou constitués en ensembles, et avec le modèle de Ngompé et al. (2019) pris comme référence à battre. Les résultats obtenus montrent une amélioration.