Fenêtre de contexte
Aussi : context window
Quantité maximale de texte, comptée en tokens, qu’un modèle peut prendre en compte en une fois : consignes, conversation, documents et réponse.
Tout ce que le modèle a sous les yeux au moment de répondre doit y tenir : le prompt système, l’historique de la conversation, les passages récupérés, les résultats d’outils et la réponse en cours. La documentation d’Anthropic la distingue du corpus d’entraînement : c’est le texte auquel le modèle peut se reporter pendant qu’il génère. Sa taille varie d’un modèle à l’autre et change à chaque génération.
Une grande fenêtre ne signifie pas qu’une page y entre entière, ni qu’elle y est exploitée de façon égale. Les systèmes de recherche n’y placent qu’une sélection de fragments, par souci de coût et de précision. Votre contenu y est en concurrence avec celui des autres sources récupérées : ce qui compte est le passage retenu, pas la longueur de la page.