Demander un devis Devis

LLM juge

Aussi : LLM-as-a-judge

Emploi d’un modèle de langage pour noter les sorties d’un autre modèle, à la place ou en complément d’une évaluation humaine.

On fournit au juge la question, la réponse à évaluer, une grille de critères, parfois une réponse de référence ; il rend une note ou un verdict motivé. La méthode permet d’évaluer en série ce qu’une relecture humaine ne traiterait que par échantillon. L’article de Zheng et ses coauteurs, en 2023, lui trouve un bon accord avec les préférences humaines et recense ses biais : la position des réponses comparées, la prime à la verbosité, la complaisance d’un modèle envers ses propres sorties.

Les outils de suivi de visibilité y recourent pour classer les réponses collectées : la marque est-elle mentionnée, recommandée, citée comme source, sur quel ton. Ce sont des jugements de modèle, pas des comptages. Avant de s’y fier, on en contrôle un échantillon à la main, et on vérifie que la grille du juge correspond à la règle de comptage qu’on s’est donnée.

Source Zheng et al. — Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv 2306.05685)

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.