Demander un devis Devis

Tokenisation

Aussi : tokenization

Découpage d’un texte en tokens, première opération qu’un modèle de langage applique à tout ce qu’il reçoit.

Un programme, le tokeniseur, applique des règles apprises sur un corpus : les suites de caractères fréquentes deviennent un token unique, les autres sont fragmentées. Un mot courant reste entier ou presque ; un néologisme, une référence produit ou un nom propre rare sont coupés en plusieurs morceaux. Chaque token est ensuite remplacé par un identifiant numérique, et c’est cette suite de nombres que le modèle traite.

La documentation d’Anthropic résume l’arbitrage : des tokens plus longs rendent le traitement plus efficace, des tokens plus courts permettent de gérer les mots rares ou jamais vus. À ne pas confondre avec la tokenisation d’un moteur classique, qui découpe en mots pour construire un index inversé, souvent après suppression des mots vides et lemmatisation.

Source Anthropic — Glossary, entrée « Tokens »

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.