Distillation
Aussi : distillation de modèle
Technique qui entraîne un petit modèle à reproduire les sorties d’un grand, afin d’en conserver l’essentiel des capacités à moindre coût.
Le nom vient d’un article de 2015, de Hinton, Vinyals et Dean, qui prolonge des travaux antérieurs sur la compression de modèles : transférer dans un modèle unique le savoir-faire d’un ensemble de modèles trop lourd à déployer. Le petit modèle, dit élève, apprend à imiter les réponses du grand, dit professeur, plutôt qu’à repartir des seules données brutes.
C’est une des voies par lesquelles on obtient des modèles rapides et peu coûteux. L’élève hérite des connaissances et des travers du professeur, avec moins de finesse sur les sujets rares. Un modèle léger chargé de tâches à fort volume — reformuler, résumer, répondre vite — a moins mémorisé qu’un grand. Sur un sujet de niche, c’est une raison de plus de ne pas compter sur ce que le modèle a mémorisé et de soigner ce que la recherche lui apportera.
Source Hinton, Vinyals et Dean — Distilling the Knowledge in a Neural Network (arXiv 1503.02531)