Modèle de fondation
Aussi : foundation model
Modèle entraîné sur des données larges et variées, puis adapté à de nombreuses tâches qu’il n’a pas apprises une à une.
Le terme vient d’un rapport déposé en 2021 par le centre de recherche de Stanford consacré à ces modèles. Il désigne un modèle entraîné à grande échelle sur des données larges et adaptable à un large éventail de tâches. Les auteurs ont choisi « fondation » pour dire à la fois son rôle central et son caractère inachevé : il sert de base à autre chose.
Un LLM est un modèle de fondation pour le texte ; il en existe pour l’image, le son, la vidéo. Conséquence pratique : un petit nombre de modèles alimente un grand nombre de produits. L’assistant d’un site marchand, un outil de rédaction et un moteur de réponse peuvent reposer sur le même modèle, avec les mêmes angles morts et la même date de coupure.
Source Bommasani et al. — On the Opportunities and Risks of Foundation Models (arXiv 2108.07258)