GPT
Aussi : Generative Pre-trained Transformer
Sigle de Generative Pre-trained Transformer : famille de modèles de langage d’OpenAI et, par extension, nom d’usage de ce type de modèle.
Les trois mots décrivent la recette : un Transformer, pré-entraîné sur un grand corpus de texte, employé pour générer. OpenAI désigne ses modèles sous ce nom et l’a repris dans celui de son assistant, ChatGPT. L’article qui présentait GPT-3, en 2020, a montré qu’un tel modèle pouvait accomplir une tâche à partir de quelques exemples donnés dans le prompt, sans réentraînement.
Le sigle sert souvent, à tort, de nom commun pour tout assistant. Or un modèle n’est pas un produit : le même modèle se comporte autrement selon qu’il est interrogé par API, sans recherche, ou dans un assistant qui consulte le web. Un relevé de visibilité précise donc la surface et le mode, pas seulement « GPT ».
Source Brown et al. — Language Models are Few-Shot Learners (arXiv 2005.14165)