Transformer
Aussi : architecture Transformer
Architecture de réseau de neurones fondée sur le mécanisme d’attention, sur laquelle reposent les modèles de langage actuels.
Elle a été présentée en 2017 dans l’article « Attention Is All You Need », de Vaswani et ses coauteurs : un réseau fondé uniquement sur des mécanismes d’attention, sans récurrence ni convolution. Au lieu de lire un texte mot après mot, le modèle met chaque token en relation avec tous les autres en même temps, ce qui se prête au calcul parallèle et à l’entraînement sur de très grands corpus.
BERT, que Google emploie dans son classement, et les modèles de type GPT en sont deux déclinaisons : le premier encode un texte pour le représenter, les seconds en génèrent la suite. Pour qui publie, l’architecture explique une chose : le modèle pondère les mots d’un passage les uns par rapport aux autres. Une phrase dont le sujet est explicite lui donne de quoi travailler ; un pronom dont l’antécédent est resté hors du passage, non.
Source Vaswani et al. — Attention Is All You Need (arXiv 1706.03762)