FlauBERT et CamemBERT ont établi une nouvelle performance de pointe pour la compréhension de la langue française. Récemment, SBERT a transformé l'utilisation de BERT, afin de réduire l'effort de calcul des encastrements de phrases, tout en maintenant la précision de BERT. Cependant, ces modèles ont été entraînés sur des textes non spécifiques de la langue française, ce qui ne permet pas une représentation fine des textes de domaines spécifiques, comme le domaine de l'éducation et de la formation professionnelle. Dans cet article, nous présentons BERTEPro, un modèle basé sur FlauBERT, dont l'apprentissage a été étendu sur des textes du domaine de l'éducation et de la formation professionnelle, avant d'être affiné sur des tâches NLI et STS. L'évaluation des performances de BERTEPro sur des tâches STS, ainsi que sur des tâches de classification, ont confirmé que la méthodologie proposée bénéficie d'avantages significatifs par rapport aux autres méthodes de l'état de l'art.