Modèle autorégressif
Aussi : prédiction du token suivant · next-token prediction
Modèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent.
C’est le fonctionnement des LLM qui rédigent : le modèle calcule une distribution de probabilité sur le token suivant, en retient un, l’ajoute au texte et recommence. La documentation d’Anthropic décrit ainsi le pré-entraînement de ses modèles : prédire le mot suivant à partir du contexte qui précède. La réponse n’est donc pas extraite d’une base ; elle est construite pas à pas.
Deux conséquences. Le modèle ne revient pas sur ce qu’il a déjà écrit : une erreur en début de réponse oriente la suite. Et une phrase fluide n’est pas un indice d’exactitude, puisque le critère de génération est la vraisemblance du texte. Vérifier une réponse générée qui parle de vous revient à contrôler les faits un par un, pas le ton.