Demander un devis Devis

Pré-entraînement

Aussi : pretraining

Première phase d’entraînement d’un modèle, sur un très grand corpus non étiqueté, où il acquiert ses capacités générales.

La documentation d’Anthropic le décrit ainsi pour ses modèles : un modèle autorégressif est pré-entraîné à prédire le mot suivant à partir du contexte qui précède, sur un grand corpus de texte non étiqueté. Aucune annotation humaine n’est nécessaire, puisque le texte fournit lui-même la bonne réponse. C’est à cette étape que le modèle acquiert la langue, les faits courants et les associations entre les mots.

Un modèle seulement pré-entraîné répond mal aux questions : il prolonge du texte. Le fine-tuning et le RLHF en font ensuite un assistant. Ce qui compte pour une marque se joue pourtant ici : la façon dont un modèle en parle sans recherche reflète les textes où elle figurait dans ce corpus, leur concordance et leur date. On n’agit pas sur un pré-entraînement passé ; on agit sur ce que le prochain lira.

Source Anthropic — Glossary, entrée « Pretraining »

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.