Tokenisation
Aussi : tokenization
Découpage d’un texte en tokens, première opération qu’un modèle de langage applique à tout ce qu’il reçoit.
Un programme, le tokeniseur, applique des règles apprises sur un corpus : les suites de caractères fréquentes deviennent un token unique, les autres sont fragmentées. Un mot courant reste entier ou presque ; un néologisme, une référence produit ou un nom propre rare sont coupés en plusieurs morceaux. Chaque token est ensuite remplacé par un identifiant numérique, et c’est cette suite de nombres que le modèle traite.
La documentation d’Anthropic résume l’arbitrage : des tokens plus longs rendent le traitement plus efficace, des tokens plus courts permettent de gérer les mots rares ou jamais vus. À ne pas confondre avec la tokenisation d’un moteur classique, qui découpe en mots pour construire un index inversé, souvent après suppression des mots vides et lemmatisation.