ÉPI-ATTENTION : Une attention contextuelle adaptative pour la pertinence dynamique des caractéristiques dans les réseaux de neurones
Résumé
Dans cet article, nous introduisons l'Épi-Attention, un mécanisme
d'attention contextuelle qui ajuste dynamiquement la pertinence des caractéristiques
dans les réseaux de neurones en fonction d'informations externes. Contrairement
aux méthodes classiques, l'Épi-Attention permet au modèle de moduler
l'importance des caractéristiques en fonction du contexte, améliorant ainsi la
capture des propriétés spécifiques aux classes. Nous présentons deux variantes
: l'Épi-Attention à Produit Scalaire Réduit et l'Auto-Épi-Attention, qui ajustent
la pertinence des caractéristiques selon des informations externes ou internes.
L'Épi-Attention améliore l'interprétabilité des modèles, avec des résultats probants
sur des jeux de données commeWisconsin Breast Cancer, Bank Marketing
et ABIDE-II.