Modèle multimodal
Aussi : multimodalité · multimodal
Modèle capable de traiter ou de produire plusieurs types de contenus — texte, image, son, vidéo — au sein d’un même échange.
Un tel modèle lit une photo, une capture d’écran, un PDF mis en page ou une piste audio, et en parle dans une réponse textuelle ; certains produisent aussi des images ou de la voix. Les différents types d’entrée sont ramenés à des représentations que le modèle traite ensemble, ce qui lui permet de relier une question écrite à ce que montre une image.
Pour un site, cela change le statut des contenus non textuels : un tableau publié en image, un schéma, une vidéo peuvent en principe être lus. En principe seulement : les éditeurs ne documentent pas ce que leurs robots de recherche extraient des images d’une page, et le texte reste la voie sûre. La recommandation de Google pour ses fonctions génératives va dans ce sens : rendre le contenu important disponible sous forme de texte. Un texte alternatif précis et une transcription restent donc nécessaires.