Cross-encoder
Modèle qui lit ensemble une requête et un passage pour noter leur adéquation, par opposition au bi-encoder, qui les encode séparément.
Un bi-encoder transforme la requête et chaque passage en vecteurs indépendants, que l’on compare ensuite par similarité cosinus : les vecteurs des passages se calculent à l’avance, la recherche est rapide. Un cross-encoder traite la paire d’un seul tenant ; il capte des relations fines entre les mots de l’une et de l’autre, mais doit refaire le calcul pour chaque paire. L’article Sentence-BERT, en 2019, décrit ce surcoût et propose, pour y remédier, de produire des embeddings de phrases comparables par similarité cosinus.
D’où la répartition des rôles dans une chaîne de récupération : le bi-encoder présélectionne dans tout le corpus, le cross-encoder reclasse les candidats restants. Le premier explique qu’un passage au sujet voisin remonte ; le second, qu’il soit écarté s’il ne répond pas précisément. Les deux mots viennent de la recherche ; les éditeurs de moteurs ne disent pas quels modèles ils emploient.