RNTI

MODULAD
ÉPI-ATTENTION : Une attention contextuelle adaptative pour la pertinence dynamique des caractéristiques dans les réseaux de neurones
In EGC 2025, vol. RNTI-E-41, pp.183-194
Résumé
Dans cet article, nous introduisons l'Épi-Attention, un mécanisme d'attention contextuelle qui ajuste dynamiquement la pertinence des caractéristiques dans les réseaux de neurones en fonction d'informations externes. Contrairement aux méthodes classiques, l'Épi-Attention permet au modèle de moduler l'importance des caractéristiques en fonction du contexte, améliorant ainsi la capture des propriétés spécifiques aux classes. Nous présentons deux variantes : l'Épi-Attention à Produit Scalaire Réduit et l'Auto-Épi-Attention, qui ajustent la pertinence des caractéristiques selon des informations externes ou internes. L'Épi-Attention améliore l'interprétabilité des modèles, avec des résultats probants sur des jeux de données commeWisconsin Breast Cancer, Bank Marketing et ABIDE-II.