Les grands modèles de langage — Introduction à l'intelligence artificielle

Table des matières

Une seule tâche : prédire la suite

Un grand modèle de langage — souvent désigné par le sigle anglais LLM — fait une chose et une seule : étant donné une suite de mots, prédire ce qui vient ensuite.

Cette description paraît réductrice au regard de ce que ces systèmes produisent. Elle est pourtant exacte. Résumer un document, traduire, rédiger du code, répondre à une question : toutes ces tâches se ramènent à « produire la suite la plus probable » d'un texte qui contient l'énoncé du problème.

Les tokens

Le modèle ne manipule pas des mots mais des tokens : des fragments de texte, généralement plus courts qu'un mot.

En français, un token représente en moyenne trois à quatre caractères. « anticonstitutionnellement » se découpe en plusieurs tokens, tandis que « le » n'en occupe qu'un. Ce découpage permet de traiter n'importe quel mot, y compris inconnu, à partir d'un vocabulaire fini de quelques dizaines de milliers d'entrées.

La tarification des services d'IA et la limite de contexte se comptent en tokens, pas en mots. Un ordre de grandeur utile pour le français : environ 750 mots pour 1 000 tokens.

Le mécanisme d'attention

Mécanisme d'attention : le jeton actif pondère les autres mots du contexte — L'attention permet à chaque jeton de pondérer le reste de la séquence (vue simplifiée).

L'innovation décisive du Transformer est l'attention. Pour traiter chaque token, le modèle pondère l'importance de tous les autres tokens du contexte.

Dans la phrase « le chat que le chien a poursuivi était noir », l'attention permet de rattacher « était noir » à « chat » et non à « chien », bien que ce dernier soit plus proche. Le modèle apprend ces relations, il ne les reçoit pas.

L'attention pondère la contribution de chaque token du contexte, indépendamment de sa distance.

Cette pondération se calcule pour tous les tokens simultanément, ce qui rend l'architecture parallélisable — la raison pour laquelle elle a supplanté les réseaux récurrents, qui devaient parcourir le texte mot après mot.

Les trois étapes de l'entraînement

Pré-entraînement — le modèle ingère un corpus de très grande taille et apprend à prédire le token suivant. Cette phase consomme l'essentiel du coût : plusieurs semaines sur des milliers de processeurs graphiques. Elle produit un modèle qui manipule bien la langue mais ne sait pas se comporter en assistant.

Affinage supervisé — on lui présente des exemples de dialogues bien conduits, rédigés par des humains. Il apprend le format attendu : répondre à la question posée, structurer, refuser ce qui doit l'être.

Alignement — des humains classent plusieurs réponses possibles par ordre de préférence. Ces classements entraînent le modèle par renforcement à privilégier les réponses jugées utiles, honnêtes et inoffensives.

Le modèle n'interroge aucune base de données au moment de répondre. Tout ce qu'il « sait » est encodé dans ses poids, figés à la fin de l'entraînement. D'où deux conséquences directes : ses connaissances s'arrêtent à une date, et il ne peut pas citer ses sources — il ne les a pas conservées.

La fenêtre de contexte

La fenêtre de contexte est la quantité de texte que le modèle peut prendre en compte simultanément : la question, les documents fournis, et l'historique de la conversation.

Au-delà de cette limite, les éléments les plus anciens sortent du champ. C'est pourquoi une longue conversation finit par « oublier » son début.

Une grande fenêtre de contexte ne garantit pas que tout y soit exploité avec la même acuité. Les informations situées au milieu d'un très long contexte sont statistiquement moins bien prises en compte que celles placées au début ou à la fin. Pour un document volumineux, mieux vaut cibler l'extrait pertinent que soumettre l'ensemble.

Ce qu'un modèle de langage ne fait pas

Il ne calcule pas de manière fiable : il prédit la suite d'une expression numérique, ce qui n'est pas la même chose que l'évaluer.
Il ne vérifie rien : aucune confrontation à une source n'a lieu, sauf si un outil externe la lui fournit.
Il n'a ni intention ni opinion : le style assuré de la réponse ne traduit aucune certitude interne.
Il ne retient rien d'une session à l'autre, à moins qu'un mécanisme de mémoire n'ait été ajouté par l'application.

Adapter un modèle à un usage métier

Trois approches, par coût croissant :

Approche	Principe	Quand la retenir
Ingénierie de requête	formuler précisément la demande, donner des exemples	premier réflexe, coût nul
RAG (génération augmentée par récupération)	rechercher les documents pertinents et les fournir dans le contexte	faire répondre le modèle sur vos propres documents, à jour
Affinage (fine-tuning)	poursuivre l'entraînement sur vos données	imposer un format, un ton ou un vocabulaire très spécifique

Le RAG répond à la grande majorité des besoins d'entreprise, et il est très souvent confondu avec l'affinage. L'affinage enseigne une manière de répondre ; il n'injecte pas de connaissance fiable. Pour que le modèle réponde sur vos documents — et qu'il puisse les citer —, c'est le RAG qu'il faut mettre en place.

Choisir entre RAG et affinage : la décision en pratique

Pipeline RAG : question, recherche documentaire, contexte, génération LLM — RAG : récupérer des documents pertinents avant de générer — le modèle lit, il n'invente pas la source.

C'est la question la plus fréquemment mal tranchée dans les projets d'entreprise. Les deux approches répondent à des besoins différents, et les confondre coûte cher.

Critère	RAG	Affinage
Ce que ça apporte	des connaissances à jour et citables	un format, un ton, un vocabulaire
Mise à jour du contenu	immédiate, on change le document	nouvel entraînement
Citation des sources	native	impossible
Coût initial	modéré	élevé
Coût par requête	plus élevé — le contexte est plus long	inchangé
Contrôle d'accès	possible, au niveau du document	impossible une fois entraîné

Le dernier point est décisif et souvent découvert trop tard : une information intégrée par affinage ne peut plus être cloisonnée. Si le modèle a été entraîné sur des documents confidentiels, tout utilisateur y a potentiellement accès. Avec le RAG, le filtrage se fait à la récupération, donc par utilisateur.

Retenez la formule : le RAG enseigne quoi répondre, l'affinage enseigne comment répondre. La grande majorité des besoins d'entreprise relève du premier. L'affinage se justifie quand la forme compte plus que le fond : respecter un format de sortie strict, adopter un vocabulaire métier très spécifique, ou réduire la taille du modèle nécessaire.

Anatomie d'un système RAG

Un système de génération augmentée par récupération comporte cinq étapes, dont trois déterminent la qualité du résultat :

Découpage — les documents sont fractionnés en passages. Trop courts, ils perdent leur contexte ; trop longs, ils diluent l'information pertinente. C'est le réglage le plus influent, et le plus négligé.
Vectorisation — chaque passage est converti en une représentation numérique qui capture son sens.
Recherche — la question est vectorisée à son tour, et les passages les plus proches sont retrouvés.
Assemblage — les passages retenus sont insérés dans le contexte, avec la question.
Génération — le modèle répond à partir de ces éléments.

Quand un système RAG répond mal, le problème vient presque toujours de la recherche, pas du modèle. Vérifiez d'abord si les bons passages ont été récupérés : si l'information n'est pas dans le contexte, aucun modèle ne pourra la restituer. Journaliser les passages retenus à chaque requête est la première mesure à mettre en place.

Ce qu'un déploiement coûte réellement

Le coût d'un service conversationnel se calcule en tokens, entrants et sortants, ces derniers étant généralement plus chers. Trois facteurs pèsent bien plus que le choix du modèle :

La longueur du contexte. Un système RAG qui injecte dix passages à chaque requête multiplie le coût d'entrée par rapport à une question seule.
L'historique de conversation. Renvoyer tout l'échange à chaque tour fait croître le coût de façon quadratique sur une longue session.
Les tentatives. Un système qui réessaie automatiquement en cas d'échec double ou triple silencieusement la facture.

Un test réussi sur cinquante requêtes ne dit rien de la facture à cinquante mille. Estimez le coût unitaire réel, mesuré et non supposé, puis multipliez par le volume cible avant l'industrialisation. C'est la source d'abandon la plus banale des projets d'IA générative : un service qui fonctionne mais dont le coût d'exploitation n'avait pas été chiffré.

Fenêtre de contexte et coût

Un LLM ne « lit » pas un livre d'un coup de baguette magique : il consomme un budget de tokens (fenêtre de contexte). Dépasser ce budget impose de tronquer, résumer ou récupérer des extraits (RAG). Chaque token d'entrée et de sortie a aussi un coût monétaire et énergétique : concevoir des prompts verbeux « au cas où » nature le budget sans garantir la qualité.

Contexte long ≠ mémoire infaillible. Placez les faits critiques tôt, structurez le prompt, et vérifiez les citations quand la décision est sensible.

Pipeline RAG : indexation, récupération et génération — Le RAG injecte des passages récupérés dans le prompt pour ancrer la réponse du LLM.

Affinage, adapters et politiques

Le fine-tuning (affinage) adapte un modèle de base à un domaine ou à un style. Les LoRA / adapters réduisent le coût en n'entraînant qu'une fraction des paramètres. Dans tous les cas, l'affinage peut aussi apprendre des comportements indésirables présents dans le corpus maison : secrets, ton toxique, procédures obsolètes.

Les politiques d'alignement (RLHF, préférences, filtres) ne sont pas une garantie morale absolue. Elles réduisent certaines classes d'échecs, tout en en laissant d'autres — notamment les hallucinations fluides.

Évaluer un LLM autrement qu'au feeling

Jeux de questions métier avec réponses de référence et critères de notation.
Tests de régression : les prompts critiques ne doivent pas régresser après une mise à jour.
Mesures de fidélité au contexte RAG (le modèle cite-t-il vraiment le passage ?).
Red teaming léger : injections de prompt, demandes de contournement, données sensibles.

Versionnez prompts, index et modèle comme un seul bundle déployable. Sinon personne ne saura reproduire un incident.

Quand ne pas utiliser un LLM

Recherche exacte sur base structurée, calcul réglementaire déterministe, et workflows où une erreur rare est inacceptable sans contrôle humain : préférez règles, SQL, calculateurs ou modèles discriminatifs évalués. Le LLM excelle à reformuler, synthétiser et outiller — pas à être la source de vérité unique.

Prédiction du prochain token, conséquences pratiques

Un LLM apprend à prédire la suite probable d’un texte. Il ne « vérifie » pas le monde. D’où les hallucinations fluides : la forme est correcte, le fond peut être faux. Cette propriété explique aussi pourquoi le modèle est excellent pour reformuler, résumer, traduire, générer des brouillons — tâches où la plausibilité linguistique aide.

Pour les faits critiques (juridique, médical, financier), imposez une vérification externe : RAG sur sources internes, outils, citation obligatoire, validation humaine.

Contexte, fenêtre, et oubli

La fenêtre de contexte limite ce que le modèle « voit » à un instant T. Au-delà, l’information doit être résumée, indexée ou récupérée. Allonger la fenêtre coûte cher et n’élimine pas les erreurs de raisonnement. Concevez vos prompts et vos architectures autour de cette contrainte, plutôt que d’espérer un contexte infini magique.

Prompting utile vs théâtre

Des consignes claires, des exemples, un format de sortie structuré (JSON schéma) améliorent la fiabilité opérationnelle. Les formules magiques virales aident peu face à une mauvaise spécification de tâche. Mesurez : A/B sur un jeu de cas métier vaut mieux que des impressions subjectives.

Le prompt n’est pas une stratégie de gouvernance. C’est un levier d’interface.

RAG, fine-tuning, agents : quand choisir quoi

Le RAG branche le modèle sur vos documents pour ancrer les réponses. Le fine-tuning adapte le comportement ou le style quand vous avez assez d’exemples stables. Les agents enchaînent outils et étapes pour des workflows. Chaque couche ajoute de la puissance et de la surface d’attaque. Commencez par le plus simple qui atteint l’objectif mesurable.

Coût, latence, confidentialité

Les API cloud sont rapides à démarrer, mais exposent données et budgets. Les modèles locaux ou dédiés aident sur la confidentialité, au prix de l’ops. Calculez le coût par requête utile (pas par token théorique) et le coût d’une erreur. C’est ce ratio qui décide.

Journalisez les prompts et réponses en production avec masquage PII. Sans traces, vous ne pourrez ni auditer ni améliorer.

Évaluation LLM au-delà du vibe check

Construisez un jeu de cas métier : questions fréquentes, cas limites, interdits, formats de sortie. Mesurez exactitude factuelle (avec source), respect du format, taux de refus pertinents, latence et coût. Faites relire un échantillon par des experts métier. Sans ce banc d’essai, chaque changement de prompt ou de modèle est un saut dans le vide.

Comparez toujours à une baseline non-LLM (recherche full-text, règles, ancien chatbot). Si le LLM n’apporte pas un gain mesurable, ne l’imposez pas.

Hallucinations : mitigations qui tiennent en production

Combinez retrieval (RAG) avec citation obligatoire des passages, température basse pour les tâches factuelles, formats structurés, et refus explicite si les sources manquent. Ajoutez une couche de vérification pour les entités critiques (SIRET, montants, références d’articles). Mesurez le taux d’invention sur un panel hostile.

Le fine-tuning n’élimine pas les hallucinations ; il peut même les styliser. Traitez-le comme un ajustement de comportement, pas comme une base de connaissance absolue.

Preferez « je ne trouve pas dans la base » à une réponse plausible non ancrée.

L'essentiel à retenir

Un grand modèle de langage prédit le token suivant, et rien d'autre : toutes ses capacités apparentes en découlent. Le mécanisme d'attention pondère chaque token du contexte indépendamment de sa distance, ce qui rend l'architecture parallélisable. L'entraînement se fait en trois temps — pré-entraînement, affinage supervisé, alignement. Le modèle n'interroge aucune base : ses connaissances sont figées dans ses poids, d'où le recours au RAG pour l'ancrer sur des documents à jour et citables.

Questions fréquentes

Comment fonctionne un grand modèle de langage ?

Un grand modèle de langage prédit le token suivant d'une séquence de texte, et rien d'autre. Résumer, traduire ou rédiger du code se ramènent tous à produire la suite la plus probable d'un texte qui contient l'énoncé du problème.

Qu'est-ce qu'un token ?

Un token est un fragment de texte, généralement plus court qu'un mot. En français, il représente en moyenne trois à quatre caractères. Ce découpage permet de traiter n'importe quel mot, même inconnu, à partir d'un vocabulaire fini. Comptez environ 750 mots pour 1 000 tokens.

Quelle est la différence entre RAG et fine-tuning ?

Le RAG récupère des documents pertinents et les fournit au modèle dans son contexte : les connaissances restent à jour et citables. Le fine-tuning poursuit l'entraînement du modèle et lui enseigne une manière de répondre, sans injecter de connaissance fiable. Pour répondre sur vos documents, c'est le RAG qu'il faut.

Qu'est-ce que le mécanisme d'attention ?

L'attention permet au modèle de pondérer l'importance de chaque token du contexte lorsqu'il en traite un autre, quelle que soit la distance qui les sépare. C'est ce qui permet de rattacher un accord à un mot éloigné dans la phrase. Ce calcul s'effectue en parallèle sur toute la séquence.

Pourquoi un modèle de langage ne peut-il pas citer ses sources ?

Parce que ses connaissances sont encodées dans ses poids, figés à la fin de l'entraînement, et que les documents d'origine ne sont pas conservés. Obtenir des sources fiables exige un mécanisme externe comme le RAG, qui fournit les documents au moment de la réponse.

Qu'est-ce que la fenêtre de contexte ?

La fenêtre de contexte est la quantité de texte que le modèle peut prendre en compte simultanément : la question, les documents fournis et l'historique de la conversation. Au-delà de cette limite, les éléments les plus anciens sortent du champ, ce qui explique qu'une longue conversation oublie son début.

Un modèle de langage sait-il calculer ?

Pas de manière fiable. Il prédit la suite d'une expression numérique, ce qui n'équivaut pas à l'évaluer. Pour un calcul exact, il faut lui adjoindre un outil externe qui effectue réellement l'opération.

Que signifie l'alignement d'un modèle ?

L'alignement est la phase finale de l'entraînement, où des humains classent plusieurs réponses possibles par ordre de préférence. Ces classements entraînent le modèle par renforcement à privilégier les réponses jugées utiles, honnêtes et inoffensives.

Progression sauvegardée dans votre navigateur.

Quiz de validation

Quiz indisponible (données invalides).

Vos projets IA sont-ils sécurisés ? Audit LLM, conformité AI Act, red teaming — devis sous 48h.

Devis gratuit