C'est quoi un LLM, et comment en est-on arrivé aux IA d'aujourd'hui ?

Il y a quelques années, parler à un ordinateur en langage courant et obtenir une réponse sensée relevait de la science-fiction. Aujourd'hui, des millions de personnes demandent chaque jour à une IA de rédiger un e-mail, de résumer un document ou d'expliquer une facture.

Ce n'est pas arrivé d'un coup. Derrière ces outils, il y a une technologie précise, le LLM, et soixante-dix ans de tâtonnements. Comprendre les deux aide à savoir ce qu'on peut vraiment attendre de ces outils, et ce qu'il vaut mieux ne pas leur demander.

Un LLM, en une phrase

Un LLM est un programme qui a lu une quantité gigantesque de textes et qui a appris à prédire le mot suivant.

LLM signifie large language model, grand modèle de langage. C'est le moteur de ChatGPT, Claude, Mistral, Gemini et des autres.

L'image la plus simple : la saisie automatique de votre téléphone. Quand vous tapez « Je suis en », elle propose « retard » ou « route ». Un LLM fait la même chose, mais en beaucoup, beaucoup plus fort. Il ne se contente pas de deviner un mot : il tient compte de tout ce qui précède, de la question posée, du ton, du sujet, et il recommence mot après mot jusqu'à produire une réponse complète.

Exemple : si vous écrivez « La capitale de l'Espagne est », le modèle sait que la suite la plus probable est « Madrid ». Il ne l'a pas cherché dans une encyclopédie : il l'a vu écrit des milliers de fois pendant son apprentissage.

Pourquoi « large » ?

Parce que tout y est démesuré.

• Les textes d'apprentissage. Des livres, des articles, des sites web, du code informatique… l'équivalent de millions de livres.
• Les paramètres. Un modèle est fait de milliards de petits réglages, ajustés pendant l'apprentissage. On peut les voir comme des boutons de réglage : chacun ne fait presque rien, mais ensemble, ils encodent la grammaire, les faits, les tournures, les raisonnements courants.
• La puissance de calcul. Entraîner un grand modèle mobilise des milliers de processeurs spécialisés pendant des semaines, pour un coût qui se compte en dizaines, voire en centaines de millions d'euros.

C'est cette taille qui fait la différence. Les chercheurs ont constaté qu'en grossissant le modèle et les données, de nouvelles capacités apparaissent : traduire, résumer, écrire du code, suivre des consignes, sans qu'on les ait programmées une par une.

Comment un LLM apprend

La fabrication d'un modèle comme ceux qu'on utilise aujourd'hui se fait en deux grandes étapes.

Le pré-entraînement. On montre au modèle des phrases dont on cache la fin, et il doit deviner le mot suivant. Quand il se trompe, on corrige légèrement ses paramètres. On répète l'exercice des milliers de milliards de fois. À la fin, le modèle « connaît » énormément de choses sur la langue et sur le monde, mais il n'est pas encore un bon assistant : il complète du texte, sans vraiment répondre aux questions.

L'ajustement. On lui montre ensuite des exemples de bonnes conversations, et des personnes notent ses réponses : celle-ci est utile, celle-là est hors sujet, cette autre est dangereuse. Le modèle apprend à répondre poliment, à suivre des consignes, à refuser certaines demandes. C'est cette étape qui transforme un « compléteur de texte » en assistant avec qui on peut discuter.

Comment on en est arrivé là

Années 1950-1960 : l'idée et les premiers chatbots

En 1950, le mathématicien Alan Turing pose la question : une machine peut-elle penser ? Le terme « intelligence artificielle » apparaît en 1956.

En 1966 naît ELIZA, le premier chatbot célèbre. Il imite un psychothérapeute en reformulant les phrases de son interlocuteur : « Je suis triste » devient « Pourquoi êtes-vous triste ? ». Il ne comprend rien, il applique des règles écrites à la main. Pourtant, certains utilisateurs s'y attachent déjà.

Années 1970-1990 : les règles, puis les déceptions

Pendant longtemps, l'approche dominante consiste à écrire des règles : « si le patient a de la fièvre et une toux, alors… ». Ce sont les systèmes experts. Ça marche dans des domaines très étroits, mais le langage humain est trop riche et trop ambigu pour être mis en règles. Les promesses déçoivent, les financements s'effondrent : on parle des « hivers de l'IA ».

En 1997, l'ordinateur Deep Blue bat le champion d'échecs Garry Kasparov. Impressionnant, mais il s'agit de calcul brut sur un jeu aux règles fixes, pas de langage.

Années 2000-2010 : apprendre plutôt que programmer

Le changement de cap est profond : au lieu d'écrire des règles, on laisse la machine apprendre à partir d'exemples. C'est l'apprentissage automatique, et en particulier les réseaux de neurones, une idée ancienne qui devient enfin praticable grâce à deux choses : Internet, qui fournit des montagnes de données, et les cartes graphiques des jeux vidéo, qui se révèlent parfaites pour faire ces calculs.

En 2012, un réseau de neurones écrase la concurrence dans un concours de reconnaissance d'images. C'est le début de l'« apprentissage profond ». Pour le texte, on apprend à représenter chaque mot par une liste de nombres qui capture son sens, les fameux embeddings.

2017 : l'invention qui change tout

Des chercheurs de Google publient un article au titre devenu célèbre : Attention Is All You Need. Ils y décrivent une nouvelle architecture, le Transformer.

Son idée clé : au lieu de lire une phrase mot par mot, dans l'ordre, le modèle regarde tous les mots en même temps et repère lesquels sont liés entre eux. Dans « Le chat n'a pas mangé sa pâtée parce qu'il était malade », il comprend que « il » désigne le chat, pas la pâtée.

Surtout, cette architecture se prête très bien au calcul en parallèle : on peut enfin l'entraîner sur des quantités de textes énormes. Le « T » de ChatGPT, c'est lui : Generative Pre-trained Transformer.

2018-2020 : la course à la taille

Les modèles grossissent très vite. GPT-2, en 2019, écrit des paragraphes crédibles. GPT-3, en 2020, compte 175 milliards de paramètres et surprend tout le monde : on peut lui demander de traduire, de résumer ou d'écrire du code simplement en le lui expliquant, sans l'avoir entraîné pour ça. Mais il reste réservé aux spécialistes.

Fin 2022 : ChatGPT, et tout le monde s'y met

Le 30 novembre 2022, OpenAI ouvre ChatGPT au grand public. La technologie n'est pas radicalement nouvelle : ce qui change, c'est l'étape d'ajustement décrite plus haut, et une interface de discussion que n'importe qui peut utiliser. En deux mois, l'outil dépasse les 100 millions d'utilisateurs, du jamais vu.

2023 à aujourd'hui : une accélération continue

Depuis, tout va très vite :

• La concurrence s'installe. Anthropic lance Claude, Google lance Gemini, et en France, Mistral AI devient l'un des acteurs majeurs.
• Les modèles à poids ouverts se multiplient. Meta (Llama), Mistral, et d'autres publient des modèles qu'on peut télécharger et faire tourner chez soi. C'est ce qui rend possible l'IA en local.
• Les modèles voient et entendent. Ils lisent des images, des PDF scannés, des tableaux, comprennent la voix.
• Ils lisent beaucoup plus d'un coup. La quantité de texte qu'on peut leur fournir en une fois est passée de quelques pages à des centaines.
• Ils « réfléchissent » avant de répondre. Les modèles dits de raisonnement prennent le temps de décomposer un problème en étapes avant de donner leur réponse, ce qui améliore nettement les résultats en mathématiques, en code ou en analyse.
• Ils agissent. Avec les agents, le modèle ne se contente plus de répondre : il utilise des outils, consulte des données, enchaîne des tâches.

Ce qu'un LLM n'est pas

Toute cette histoire explique aussi les limites de ces outils.

• Ce n'est pas une base de données. Le modèle ne stocke pas des fiches qu'il retrouverait à la demande : il produit ce qui lui semble le plus probable. D'où les hallucinations, ces réponses sûres d'elles mais inventées.
• Ses connaissances s'arrêtent à une date. Il connaît ce qu'il a lu pendant son entraînement, pas ce qui s'est passé après, ni vos documents internes, sauf si on les lui fournit.
• Il n'a pas de mémoire. D'une conversation à l'autre, il repart de zéro. Les applications qui semblent « se souvenir » lui renvoient l'historique à chaque fois.
• Il ne comprend pas comme nous. Il manipule le langage avec une habileté étonnante, mais il n'a ni expérience du monde, ni intentions. Le débat sur ce qu'il « comprend » vraiment reste ouvert, mais en pratique, il faut le traiter comme un collaborateur brillant, rapide… et à relire.

En résumé