Demander un devis Devis

Mécanisme d’attention

Aussi : attention · self-attention

Calcul par lequel un modèle pondère, pour chaque token, l’influence de tous les autres tokens du texte qu’il traite.

Pour représenter le mot « avocat », le modèle regarde le reste de la phrase : « plaider » tire le sens d’un côté, « mûr » de l’autre. Le mécanisme attribue à chaque paire de tokens un score, recalculé à chaque couche. C’est la brique centrale de l’architecture Transformer, et ce qui permet de résoudre un pronom ou une ambiguïté à partir du contexte.

Ce calcul ne porte que sur ce qui se trouve dans la fenêtre de contexte. Si un passage est récupéré seul, les indices restés dans le reste de la page n’existent plus pour le modèle : le pronom sans antécédent, le « ce produit » sans nom de produit, le chiffre sans unité ni date restent indéterminés. C’est la raison technique de la règle d’écriture du passage autonome.

Le sujet, traité en entier

Source Vaswani et al. — Attention Is All You Need (arXiv 1706.03762)

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.