Inférence
Phase d’utilisation d’un modèle entraîné : il reçoit une entrée et calcule une sortie, sans que ses paramètres soient modifiés.
Tout appel à un assistant est une inférence. Le modèle ne retient rien de l’échange dans ses paramètres : ce qu’il semble apprendre d’une conversation tient à ce que le produit réinjecte dans le contexte, pas à une modification du modèle. L’inférence a un coût, lié au nombre de tokens lus et produits, et un temps de réponse ; ces deux contraintes pèsent sur la conception des produits.
C’est une raison de ne remettre au modèle qu’une sélection de passages plutôt que des pages entières. L’opposition utile est celle de l’entraînement et de l’inférence : un contenu peut peser par l’un — avoir été lu avant la date de coupure — ou par l’autre — être récupéré au moment de la question. Seule la seconde voie réagit vite à ce que vous publiez.