Garde-fous
Aussi : guardrails
Ensemble des mécanismes qui encadrent ce qu’un modèle accepte de traiter et de produire : filtres, consignes, contrôles en entrée et en sortie.
Ils opèrent à plusieurs niveaux : l’entraînement, qui conduit le modèle à refuser certaines demandes ; le prompt système, qui fixe des règles propres au produit ; des classifieurs qui examinent la demande avant le modèle et la réponse après lui. Aucun n’est étanche, ce qui explique qu’on les empile.
Ils ont un effet visible sur les réponses. Sur la santé, la finance ou le droit, un assistant peut nuancer, renvoyer vers un professionnel ou s’abstenir de recommander. Les éditeurs ne publient pas le détail de ces règles : on les constate en relevant les réponses, on ne les contourne pas. Côté production, les garde-fous d’une chaîne de contenu sont de votre ressort : sources imposées, contrôle des chiffres, validation humaine avant publication.