Données d'instruction et de préférence

Pourquoi ce chapitre est le plus utile

Un fine-tuningFine-tuningIAAjustement des poids d'un modèle pré-entraîné sur un jeu de données spécifique pour adapter son comportement à un domaine ou une tâche cible.Voir dans le glossaire échoue rarement à cause de l'algorithme d'optimisation. Il échoue à cause des donnéesdonnéesIAEnsemble d'informations structurées ou non utilisées pour entraîner, évaluer ou alimenter un modèle. La qualité, la quantité et la représentativité des données sont les facteurs décisifs pour les performances en apprentissage automatique.Voir dans le glossaire. Un jeu d'entraînement mal structuré, contaminé ou mal calibré produit un modèle qui régurgite un style incohérent, désapprend des capacités qu'il possédait avant l'adaptation, ou optimise pour des préférences qui ne sont pas celles qu'on croit lui avoir données.

Ce chapitre couvre les deux régimes de données qui alimentent l'adaptation d'un modèle de langagegrand modèle de langageIAModèle entraîné à prédire le token suivant d'une séquence de texte. Toutes ses capacités apparentes — résumer, traduire, coder — découlent de cette unique tâche.Voir dans le glossaire : les données d'instruction, utilisées en apprentissage superviséapprentissage superviséIAMéthode où chaque exemple d'entraînement est accompagné de la réponse attendue. C'est la famille la plus employée en entreprise, mais elle exige des données étiquetées — souvent le poste de coût principal.Voir dans le glossaire (SFT), et les données de préférence, utilisées en alignement par comparaison (DPO et ses variantes). Comprendre leur anatomie, leurs pièges et leurs contraintes de provenance conditionne tout le reste de la formation : aucune méthode d'entraînement, aussi élégante soit-elle, ne compense un jeu de données défaillant.

Les deux régimes de données : instruction et préférence

Le fine-tuningaffinageIAPoursuite de l'entraînement d'un modèle existant sur des données propres à un usage. Il enseigne une manière de répondre, non des connaissances fiables — d'où la préférence pour le RAG en entreprise.Voir dans le glossaire supervisé (SFT, Supervised Fine-Tuning) et l'optimisation directe de préférence (DPO, Direct Preference Optimization) reposent sur des structures de données fondamentalement différentes, alignées sur des objectifs différents.

En SFT, chaque exemple est une paire promptpromptIAConsigne ou contexte fourni à un modèle de langage pour orienter sa réponse. La qualité du prompt conditionne souvent la qualité du résultat.Voir dans le glossaire → réponse. Le modèle apprend à reproduire la distribution de réponses démontrées : c'est un apprentissage par imitation. En DPO, chaque exemple est un triplet prompt → réponse préférée → réponse rejetée. Le modèle n'apprend pas à imiter une réponse unique, mais à augmenter l'écart de probabilité entre deux réponses concurrentes pour un même prompt.

Dans l'écrasante majorité des pipelines de production, le SFT précède le DPO. Le SFT installe le format de réponse et la capacité à suivre une instruction ; le DPO affine ensuite les nuances de ton, de sécurité ou de qualité perçue à partir d'une base déjà fonctionnelle. Faire du DPO directement sur un modèle de base non instruit produit des résultats instables.

<line x1="480" y1="130" x2="290" y2="190" stroke="#34d399" stroke-width="2"/>
<line x1="480" y1="130" x2="670" y2="190" stroke="#f87171" stroke-width="2"/>

<rect x="90" y="192" width="380" height="140" rx="8" fill="#052e1f" stroke="#34d399" stroke-width="2.5"/>
<text x="280" y="222" text-anchor="middle" font-size="14" font-weight="700" fill="#d1fae5">Réponse choisie (chosen)</text>
<text x="280" y="248" text-anchor="middle" font-size="12" fill="#a7f3d0">précise, sourcée, nuances</text>
<text x="280" y="266" text-anchor="middle" font-size="12" fill="#a7f3d0">les limites juridiques réelles</text>
<text x="280" y="284" text-anchor="middle" font-size="12" fill="#a7f3d0">signale l'incertitude quand</text>
<text x="280" y="302" text-anchor="middle" font-size="12" fill="#a7f3d0">elle existe</text>

<rect x="490" y="192" width="380" height="140" rx="8" fill="#2e0b0b" stroke="#f87171" stroke-width="2.5"/>
<text x="680" y="222" text-anchor="middle" font-size="14" font-weight="700" fill="#fecaca">Réponse rejetée (rejected)</text>
<text x="680" y="248" text-anchor="middle" font-size="12" fill="#fca5a5">affirmative, générique,</text>
<text x="680" y="266" text-anchor="middle" font-size="12" fill="#fca5a5">ignore les variations</text>
<text x="680" y="284" text-anchor="middle" font-size="12" fill="#fca5a5">selon la juridiction,</text>
<text x="680" y="302" text-anchor="middle" font-size="12" fill="#fca5a5">ton faussement assuré</text>

<text x="480" y="365" text-anchor="middle" font-size="12" fill="#64748b">Le modèle apprend à écarter les probabilités des deux réponses, pas à copier la meilleure</text>

Anatomie d'un jeu de données d'instruction

Un exemple SFT bien formé comporte généralement trois éléments : un message système (contextefenêtre de contexteIAQuantité de texte qu'un modèle peut prendre en compte simultanément : question, documents fournis et historique. Au-delà, les éléments les plus anciens sortent du champ.Voir dans le glossaire, rôle, contraintes), un message utilisateur (l'instruction ou la question) et un message assistant (la réponse démontrée). Le format JSON Lines (un objet JSON par ligne) domine largement, chaque ligne encodant une conversation complète sous forme de liste de tours.

Trois propriétés déterminent la qualité d'un jeu SFT au-delà de sa taille brute :

• Diversité des instructions — types de tâches (rédaction, résumé, code, raisonnement, refus), longueurs, registres de langue, domaines métier
• Cohérence du style cible — un ton, une structure de réponse et un niveau de détail stables à travers tout le jeu, sinon le modèle apprend un mélange incohérent
• Couverture des cas limites — instructions ambiguës, hors périmètre, demandes à refuser ; leur absence produit un modèle qui répond systématiquement, même quand il devrait décliner

{"messages": [
  {"role": "system", "content": "Tu es un assistant technique pour développeurs Python."},
  {"role": "user", "content": "Pourquoi ma fonction récursive dépasse la limite de pile ?"},
  {"role": "assistant", "content": "Python limite la profondeur de récursion à 1000 appels par défaut..."}
]}

Chaque ligne du fichier .jsonl constitue un exemple d'entraînement indépendant.

L'étude LIMA (2023) a montré qu'un millier d'exemples soigneusement sélectionnés et rédigés peut égaler, sur certains critères de qualité perçue, des jeux d'entraînement cent fois plus volumineux mais bruités. Ce résultat ne dispense pas de volume dans l'absolu — il déplace le curseur : au-delà d'un socle de couverture, la qualité de chaque exemple pèse davantage que le nombre total d'exemples.

Construire des paires de préférence pour DPO

Une paire de préférence exprime un jugement relatif — « cette réponse est meilleure que celle-là pour ce prompt » — pas un jugement absolu de qualité. C'est cette relativité qui rend le signal exploitable même quand aucune réponse n'est parfaite.

Trois sources de comparaisons coexistent en production :

1. AnnotationannotationIAProcessus d'étiquetage manuel des données d'entraînement par des experts humains. La qualité de l'annotation conditionne directement les performances du modèle d'apprentissage supervisé.Voir dans le glossaire humaine directe — des évaluateurs comparent deux réponses générées par le modèle et indiquent laquelle ils préfèrent, généralement selon une grille (exactitude, utilité, sécurité, ton)
2. RLAIF (Reinforcement Learning from AI Feedback) — un modèle plus capable ou spécialisé sert de juge, à moindre coût que l'annotationétiquetageIATravail consistant à associer à chaque exemple la réponse attendue. C'est presque toujours le poste le plus coûteux d'un projet d'apprentissage supervisé.Voir dans le glossaire humaine mais avec le risque d'hériter des biais de ce modèle juge
3. Comparaisons synthétiques dérivées — génération de plusieurs réponses à température élevée pour un même prompt, puis classement automatique ou semi-automatique selon des critères explicites

Les évaluateurs humains comme les modèles juges ont une tendance mesurée et récurrente à préférer les réponses plus longues, indépendamment de leur pertinence réelle. Sans contrôle explicite de cette variable pendant l'annotation ou pendant l'entraînement, un modèle DPO tend à devenir progressivement plus verbeux sans gain de qualité. La parade consiste à normaliser la longueur des paires comparées et à intégrer un signal de concision dans la grille d'annotation.

Le DPO se distingue du RLHF classique (PPO sur un modèle de récompense séparé) par sa simplicité d'implémentation : il élimine l'entraînement d'un modèle de récompense intermédiaire et optimise directement la politique à partir des paires de préférence, via une reformulation mathématique de l'objectif RLHF. Cette simplicité a un coût : le DPO reste plus sensible à la qualité individuelle de chaque paire, puisqu'il n'y a pas de modèle de récompense pour lisser les jugements incohérents entre annotateurs.

Qualité des données : les pièges silencieux

La plupart des dégradations de performance après fine-tuning ne viennent pas d'un défaut visible, mais d'un défaut systémique dans le jeu de données, souvent indétectable à l'inspection manuelle d'un échantillon.

• Contamination du jeu de testjeu de testIAPartie des données réservée à l'évaluation finale, à n'utiliser qu'une seule fois. Ajuster le modèle d'après ses résultats sur ce jeu lui ôte toute valeur de mesure indépendante.Voir dans le glossaire — des exemples d'évaluation se retrouvent, parfois reformulés, dans le jeu d'entraînement ; les métriques post-entraînement deviennent alors optimistes de façon trompeuse
• Duplication quasi-exacte — des variantes très proches d'un même exemple sur-représentent certains motifs et biaisent l'apprentissage vers ces cas au détriment de la diversité réelle
• Instructions ambiguës sans contexte suffisant — une instruction que deux lecteurs humains interprètent différemment produit un signal d'entraînement bruité, quelle que soit la qualité de la réponse associée
• DérivedériveIADégradation progressive des performances d'un modèle après son déploiement, causée par l'évolution des comportements ou du contexte. Elle impose surveillance et réentraînement.Voir dans le glossaire de style entre annotateurs — sur un jeu construit par plusieurs rédacteurs ou équipes, l'absence de guide de style unifié produit un modèle qui alterne des registres incohérents
• Oubli catastrophique non anticipé — un jeu trop spécialisé sur une tâche unique dégrade des capacités générales préexistantes, sans qu'aucun signal d'alerte n'apparaisse dans les métriques ciblées sur cette tâche

La déduplication et la décontamination ne sont pas des étapes optionnelles de nettoyage : ce sont des conditions de validité des métriques d'évaluation. Un modèle évalué sur des données qu'il a vues en entraînement, même reformulées, ne mesure pas ce qu'on croit mesurer.

Licences et provenance : la dette juridique invisible

La provenance d'un jeu de données constitue un risque souvent sous-estimé au moment de la constitution du corpus, et coûteux à corriger une fois le modèle entraîné et déployé.

Plusieurs contraintes se superposent :

• Licence des données sources — un corpus sous licence CC-BY-NC ne peut légalement pas alimenter un modèle destiné à un usage commercial ; un corpus ODC-BY impose une attribution que peu de pipelines de fine-tuning tracent correctement
• Conditions d'utilisation des sorties de modèles tiers — de nombreux fournisseurs de modèles propriétaires interdisent contractuellement l'utilisation de leurs sorties pour entraîner un modèle concurrent ; un jeu de préférence généré via l'API d'un tel fournisseur peut être en infraction, même si chaque réponse individuelle semble anodine
• Données personnelles et scraping — un corpus collecté par extraction web contient presque systématiquement des données personnelles non consenties ; leur présence dans un jeu d'entraînement engage des obligations distinctes selon les juridictions (RGPDRGPDConformitéRèglement européen sur la protection des données personnelles. Il s'applique dès qu'un système d'IA traite de telles données, et se cumule avec l'AI Act.Voir dans le glossaire en particulier)
• Empreinte de contenu protégé — texte, code ou images sous droit d'auteur intégrés sans licence explicite exposent à un risque de reproduction du contenu source par le modèle fine-tuné

Traçabilité obligatoire. Un jeu de données d'entraînement doit être accompagné d'une fiche de provenance : source de chaque sous-corpus, licence associée, date de collecte, méthode de filtrage appliquée. Sans cette traçabilité, il devient impossible de répondre à une demande de retrait, une contestation de droits ou un audit, une fois le modèle déjà distribué.

Filtrage, déduplication et curation

Un pipeline de curation robuste applique plusieurs passes indépendantes plutôt qu'un filtre unique, chaque passe ciblant un défaut spécifique.

Checklist minimale avant tout entraînement :

• Déduplication exacte et quasi-exacte (par exemple par hachage MinHash ou empreintes n-grammes)
• Décontamination croisée avec tous les jeux d'évaluation prévus, y compris leurs reformulations connues
• Filtrage de toxicité et de contenu à risque, avec seuil documenté et cas limites revus manuellement
• Classification automatique de qualité (cohérence, complétude, absence de troncature) avec échantillon de contrôle humain
• Vérification de la distribution de longueur, pour éviter un biais systématique vers des réponses trop courtes ou trop longues
• Revue de provenance et de licence pour chaque sous-corpus intégré
• Échantillonnage aléatoire final relufonction d'activationIAOpération non linéaire appliquée en sortie d'un neurone. Sans elle, empiler des couches serait inutile : une succession d'opérations linéaires reste équivalente à une seule.Voir dans le glossaire manuellement avant lancement de l'entraînement

Avant de lancer un entraînement complet, faites relire manuellement un échantillon aléatoire de 100 à 200 exemples par une personne qui n'a pas participé à la constitution du jeu. Un regard extérieur détecte des dérives de style ou des incohérences qu'une équipe trop proche du corpus ne voit plus.

Dimensionnement : combien de données faut-il ?

Il n'existe pas de volume universellement correct : la réponse dépend de l'écart entre le comportement du modèle de base et le comportement cible. Un ajustement de format ou de ton nécessite nettement moins de données qu'une extension de capacité (nouveau domaine, nouvelle langue, nouveau type de raisonnement).

Quelques repères observés en pratique, à ajuster selon le cas :

• Ajustement de style ou de format de sortie : de quelques centaines à quelques milliers d'exemples SFT peuvent suffire
• Adaptation à un domaine métier spécifique avec vocabulaire propre : plusieurs milliers à quelques dizaines de milliers d'exemples
• Alignement de préférence général (ton, sécurité, utilité perçue) via DPO : quelques dizaines de milliers de paires, avec une diversité de prompts plus déterminante que le volume brut
• Extension de capacité significative (nouvelle langue, raisonnement multi-étapes non couvert par le modèle de base) : volumes nettement supérieurs, souvent hors de portée d'un fine-tuning léger et relevant plutôt d'un pré-entraînement continué

Le signal le plus fiable pour arrêter d'ajouter des données n'est pas un volume cible fixé à l'avance, mais un plateau observé sur un jeu d'évaluation tenu strictement séparé du jeu d'entraînement : quand des lots supplémentaires de données n'améliorent plus les métriques de validation, le facteur limitant n'est plus le volume mais la qualité ou la diversité.

Ce qu'il faut retenir avant le chapitre suivant

Les données d'instruction et de préférence ne sont pas interchangeables : elles répondent à des objectifs d'apprentissage distincts, tolèrent des niveaux de bruit différents et exposent à des risques de provenance différents. Le chapitre suivant s'appuie directement sur cette base pour détailler la mécanique d'entraînement du SFT proprement dit — hyperparamètreshyperparamètreIARéglage choisi avant l'entraînement — vitesse d'apprentissage, taille du modèle, nombre d'itérations. Il se distingue des paramètres, ajustés automatiquement pendant l'entraînement.Voir dans le glossaire, formats de perte et diagnostics de surapprentissagesurapprentissageIADéfaut d'un modèle qui mémorise ses exemples d'entraînement au lieu d'en dégager des régularités. Il excelle sur les données vues et échoue sur toute donnée nouvelle.Voir dans le glossaire.