Dans de nombreuses applications critiques, les modèles d'apprentissage automatique doivent non seulement prédire l'étiquette de classe avec précision, mais aussi fournir la probabilité que la prédiction soit correcte. Cette probabilité détermine si l'on peut faire confiance ou non à la prédiction. Dans cet article, nous présentons une nouvelle approche pour calibrer les probabilités des modèles d'apprentissage automatique via une étape de post-traitement. Le point de départ de ce travail est l'observation que la calibration est plutôt meilleure sur un petit nombre de catégories ou de sous-ensembles de classes que sur un grand nombre de classes. L'approche de calibration que nous proposons, appelée JCPC, est basée sur la révision probabiliste des croyances et calibre les probabilités prédites sur les classes en utilisant les probabilités prédites sur les catégories. Notre étude expérimentale sur plusieurs jeux de données et modèles d'apprentissage automatique montre des résultats très prometteurs.