Accueil > Lexique IA > Large Language Model

Catégorie(s) :

Qu'est-ce qu'un grand modèle de langage (LLM) en NLP ?

Un grand modèle de langage pré-entraîné sur des milliards de documents servant à sa base de connaissances
Un grand modèle de langage pré-entraîné sur des milliards de documents servant à sa base de connaissances
Portrait de l'auteur de l'article, Julien Gourdon

Article écrit par Julien Gourdon
ancien journaliste et consultant SEO depuis 2015



Publié le :
Dernière modification :
⏱ Environ 4 minutes


Les Large Language Models (LLM) sont des modèles de traitement automatique du langage naturel qui ont révolutionné la façon dont les machines peuvent comprendre et générer du langage naturel (on parle dans ce cas d'intelligence artificielle générative).

Il s'agit de réseaux de neurones profonds qui ont été entraînés sur de vastes corpus de données textuelles, tels que des articles de journaux, des livres, des pages web ou encore des conversations en ligne. L'entraînement de ces modèles consiste à prédire le mot ou la phrase suivante dans un texte donné en se basant sur le contexte précédent. Cette approche est appelée "pré-entraînement" et permet aux modèles d'apprendre à représenter la structure et la sémantique du langage naturel.

Quand sont apparus les grands modèles de langage (LLM) ?

Les premiers LLM ont été développés dans les années 2010. Mais l'un des premiers à avoir attiré l'attention du public est le modèle "GPT" (Generative Pre-trained Transformer) développé par OpenAI en 2018. GPT a été formé sur un très grand corpus de données textuelles et a été en mesure de générer des textes de haute qualité dans une variété de styles et de sujets. Depuis lors, de nombreux autres LLM ont été développés, notamment GPT-2 et GPT-3, également développés par OpenAI, BERT (Bidirectional Encoder Representations from Transformers) développé par Google, XLNet développé par Carnegie Mellon University et Google Brain (un projet de recherche en deep learning commencé en 2011), et T5 (Text-to-Text Transfer Transformer) également développé par Google.

Quels sont les avantages des Large Language Models ?

Les avantages des LLM sont nombreux. Tout d'abord, ils sont capables de comprendre et de générer du langage naturel de manière impressionnante. Ils peuvent être utilisés pour de multiples tâches telles que la traduction automatique, la réponse à des questions, la génération de textes techniques ou créatifs, la reconnaissance de la parole ou encore la classification de textes.

En outre, les LLM ont un impact significatif sur l'efficacité et la qualité des interactions homme-machine. Par exemple, les chatbots basés sur des LLM tels que ChatGPT sont capables de répondre aux questions et aux demandes des utilisateurs de manière plus naturelle et précise que les chatbots traditionnels.

Quels sont les inconvénients ?

Mais les LLM présentent également des inconvénients. Nous pouvons en citer 4 principaux :

Quelles solutions pour remédier au knowledge cutoff ?

Il existe plusieurs solutions pour remédier à la problématique du knowledge cutoff. La 1ère d'entre elle consiste dans le fine-tuning (affinage), qui est une phase de formation supervisée où des paires de questions-réponses sont fournies pour étendre et mettre à jour la connaissance interne du LLM, ou pour l'affiner sur une tâche spécifique. Ce fune-tuning demande cependant des connaissances spécifiques et ne pourra pas être réalisé par le commun des mortels.

Une autre solution se trouve dans ce qu'on appelle la génération augmentée par récupération (retrieval-augmented generation). Cette architecture consiste à connecter en temps réel un LLM à des sources externes qui sont vectorisées, puis à effectuer une recherche par similarité vectorielle pour répondre aux questions posées (le prompt de l'utilisateur étant lui-même transformé en vecteurs numériques). C'est typiquement ce que font Gemini, le chatbot de Google, qui est directement connecté au moteur de recherche, Bing Chat, ou encore Perplexity AI. Mais la manière dont les informations sont récupérées et traitées dépend entièrement de la façon dont le grand modèle est conçu et entraîné, et peut générer une fois encore des erreurs et des hallucinations.

Conclusion sur les LLM

Les Large Language Models sont des modèles de traitement automatique du langage naturel avancés qui permettent aux machines de comprendre et de générer du langage naturel. Ils ont de nombreux avantages potentiels, mais aussi des inconvénients à prendre en compte. Dans l'ensemble, ils représentent une évolution majeure dans le domaine de l'intelligence artificielle et ont le potentiel de transformer de nombreux aspects de la vie quotidienne et du monde du travail. Certains spécialistes disent même, en parlant de GPT-4, qu'ils sont les prémices d'une intelligence artificielle forte, c'est à dire capable de résoudre des problèmes complexes dans de nombreux domaines de manière autonome, au moins aussi bien que les être humains.


Ecoutez la définition du terme Large Language Models en intelligence artificielle :


Cette définition vous a plu ? Découvrez d'autres termes SEO en lien avec les algorithmes et l'intelligence artificielle en cliquant sur les boutons ci-dessous :

Avenir du SEO Prompt engineering Rankbrain Transformeur