Apprentissage en contexte
Aussi : in-context learning · ICL
Capacité d’un modèle à adapter sa réponse aux exemples et aux documents présents dans son prompt, sans modification de ses paramètres.
Rien n’est acquis durablement : le modèle utilise ce qui se trouve dans sa fenêtre de contexte le temps d’une réponse, et n’en garde rien ensuite. Le few-shot en est le cas d’école, mais le mécanisme est plus large : un passage récupéré et placé dans le contexte modifie la réponse de la même façon. C’est ce qui rend le RAG possible.
La notion aide à départager deux voies d’influence souvent confondues. Ce qui est dans les paramètres vient de l’entraînement, change lentement et ne se corrige pas de l’extérieur. Ce qui est dans le contexte vient d’une récupération faite à l’instant, et change dès que la page change. Quand un assistant consulte le web, votre contenu agit par la seconde voie : une correction publiée aujourd’hui peut se retrouver dans une réponse dès que la page est de nouveau récupérée.