Demander un devis Devis

Benchmark

Aussi : banc d’essai

Jeu d’épreuves standardisé, assorti d’une méthode de notation, qui sert à comparer des modèles sur une même tâche.

Chaque benchmark mesure une compétence délimitée : répondre à des questions, résoudre des problèmes de code, raisonner sur des documents. Les éditeurs publient leurs scores à la sortie d’un modèle, et des classements publics les agrègent. Trois réserves : un modèle peut avoir rencontré les épreuves pendant son entraînement ; un benchmark connu finit par être saturé ; et une bonne note sur une tâche générale ne prédit pas le résultat sur la vôtre.

Le mot a un second sens en marketing — la comparaison avec des concurrents — qu’il faut tenir à l’écart du premier. Le rapprochement utile est ailleurs : l’article qui a donné son nom au GEO repose sur un banc d’essai construit par ses auteurs, et ses résultats valent pour ce banc. Avant de reprendre un chiffre tiré d’un benchmark, regardez ce qu’il mesurait, sur quelles données et à quelle date.

Source Aggarwal et al. — GEO: Generative Engine Optimization (arXiv 2311.09735)

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.