Réseaux de neurones et apprentissage profond

Le neurone artificiel

Le nom prête à confusion : un neurone artificielneurone artificielIAUnité de calcul élémentaire qui effectue la somme pondérée de ses entrées, ajoute un biais, puis applique une fonction d'activation. La puissance vient de leur nombre, pas de l'unité elle-même.Voir dans le glossaire n'a presque rien de commun avec un neurone biologique. C'est une opération arithmétique élémentaire.

Il reçoit plusieurs nombres en entrée. À chacun est associé un poids, qui exprime son importance. Le neurone calcule la somme pondérée de ses entrées, ajoute un décalage appelé biaisbiaisIARégularité correctement apprise dans des données qui ne représentent pas la réalité visée, ou qui enregistrent des décisions passées avec leurs préjugés. Changer d'algorithme ne le corrige pas.Voir dans le glossaire, puis fait passer le résultat dans une fonction d'activationfonction d'activationIAOpération non linéaire appliquée en sortie d'un neurone. Sans elle, empiler des couches serait inutile : une succession d'opérations linéaires reste équivalente à une seule.Voir dans le glossaire qui introduit de la non-linéarité.

C'est tout. La puissance ne vient pas du neurone, mais de leur nombre et de leur agencement.

Un calcul concret

Prenons trois entrées représentant, pour un dossier de crédit, le revenu normalisé, l'ancienneté et le taux d'endettement : x₁ = 0,8 · x₂ = 0,3 · x₃ = 0,6. Supposons les poids w₁ = 1,2 · w₂ = 0,4 · w₃ = −0,9 et le biais b = −0,1.

La somme pondérée vaut : 1,2 × 0,8 + 0,4 × 0,3 + (−0,9) × 0,6 + (−0,1) = 0,47.

Avec une activation ReLU, la sortie reste 0,47. Si la somme avait été négative, ReLU l'aurait ramenée à zéro : le neurone se « tait ». Ce silence local est utile — il force le réseau à composer des décisions à partir de combinaisons partielles plutôt que d'une seule droite globale.

Rien dans ce calcul ne « comprend » le crédit. Ce sont des coefficients réglés pour minimiser une erreur sur des milliers de dossiers historiques. Changer le jeu de donnéesdonnéesIAEnsemble d'informations structurées ou non utilisées pour entraîner, évaluer ou alimenter un modèle. La qualité, la quantité et la représentativité des données sont les facteurs décisifs pour les performances en apprentissage automatique.Voir dans le glossaire, c'est changer la fonction apprise.

Pourquoi la non-linéarité est indispensable

Sans fonction d'activation, empiler des neurones ne servirait à rien : une succession d'opérations linéaires reste équivalente à une seule opération linéaire. Le réseau, si profond soit-il, ne saurait tracer que des séparations en ligne droite.

La fonction d'activation brise cette linéarité et permet au réseau d'approcher des relations arbitrairement complexes. La plus répandue, ReLU, est d'une simplicité déroutante : elle laisse passer les valeurs positives et remplace les négatives par zéro.

D'autres activations jouent des rôles ciblés. La sigmoïde comprime une valeur entre 0 et 1, utile pour une probabilité unique. La softmax transforme un vecteur de scores en distribution de probabilités qui somment à 1 — c'est la sortie typique d'un classifieur multi-classes. Dans les couches cachées modernes, ReLU et ses variantes dominent parce qu'elles évitent le phénomène de saturation qui ralentissait l'apprentissage des premiers réseaux.

Un réseau de neuronesréseau de neuronesIAFonction mathématique composée de neurones artificiels organisés en couches, dont les coefficients sont ajustés pendant l'entraînement. Malgré son nom, il n'a presque rien de commun avec un cerveau.Voir dans le glossaire n'est pas une base de connaissances. C'est une fonction mathématique dont les milliards de coefficients ont été réglés pour minimiser une erreur sur un jeu de données. Il ne « sait » rien — il calcule.

De la couche au réseau profond

Les neurones s'organisent en couches successives :

• La couche d'entrée reçoit les données brutes.
• Les couches cachées transforment progressivement l'information.
• La couche de sortie produit le résultat.

On parle d'apprentissage profond dès que les couches cachées se comptent en dizaines ou en centaines. Cette profondeur produit une hiérarchie d'abstractions. Sur des images, les premières couches réagissent aux contours et aux textures, les suivantes à des motifs — un œil, une roue —, les dernières à des objets entiers. Personne n'a programmé cette hiérarchie : elle émerge de l'entraînement.

Le même principe s'observe sur le texte. Les premières couches d'un modèle de langagegrand modèle de langageIAModèle entraîné à prédire le token suivant d'une séquence de texte. Toutes ses capacités apparentes — résumer, traduire, coder — découlent de cette unique tâche.Voir dans le glossaire capturent des cooccurrences locales ; les couches intermédiaires combinent syntaxe et sémantique de proximité ; les couches profondes stabilisent des représentations utiles pour la suite du calcul. Ce n'est pas une « compréhension » au sens humain : c'est une succession de transformations numériques dont la composition s'avère efficace sur la tâche.

Capacité, profondeur et pièges

Augmenter le nombre de paramètres augmente la capacité du modèle : sa faculté à représenter des fonctions complexes. Trop peu de capacité, et le modèle sous-apprend — il se trompe autant à l'entraînement qu'en validation. Trop de capacité sans régularisation, et il mémorise.

Deux obstacles techniques ont longtemps bloqué les réseaux très profonds. Le gradient qui s'évanouit : en remontant trop de couches, le signal d'erreur devient microscopique et les premières couches n'apprennent plus. Les connexions résiduelles (chemins qui sautent une ou plusieurs couches) et une meilleure initialisation des poids ont largement atténué ce problème. Ce n'est pas un détail d'implémentation : sans ces techniques, les architectures à cent couches n'auraient pas tenu leurs promesses.

La rétropropagation

Comment ajuster des milliards de poids ? Par un mécanisme en quatre temps, répété des millions de fois :

1. Propagation avant — une donnée traverse le réseau et produit une prédiction.
2. Calcul de l'erreur — on mesure l'écart avec la réponse attendue (fonction de coût).
3. RétropropagationrétropropagationIAAlgorithme d'entraînement d'un réseau de neurones : après chaque prédiction, il remonte le réseau pour calculer la contribution de chaque poids à l'erreur, puis corrige chacun en conséquence.Voir dans le glossaire — on remonte le réseau en calculant la contribution de chaque poids à cette erreur, via la dérivée en chaîne.
4. Mise à jour — chaque poids est corrigé d'un pas proportionnel à sa responsabilité.

L'ampleur de ce pas est la vitesse d'apprentissagevitesse d'apprentissageIAAmpleur de la correction appliquée aux poids à chaque étape d'entraînement. Trop grande, l'entraînement oscille ; trop faible, il n'en finit pas.Voir dans le glossaire (learning rate). Trop grande, l'entraînement oscille sans converger ; trop faible, il n'en finit pas. C'est l'hyperparamètrehyperparamètreIARéglage choisi avant l'entraînement — vitesse d'apprentissage, taille du modèle, nombre d'itérations. Il se distingue des paramètres, ajustés automatiquement pendant l'entraînement.Voir dans le glossaire le plus délicat à régler. Les optimiseurs modernes (Adam et ses variantes) adaptent ce pas par paramètre, ce qui stabilise l'entraînement sans supprimer le besoin de surveillance.

La rétropropagation est connue depuis les années 1980. Si le domaine a stagné jusqu'en 2012, c'est faute de données en quantité suffisante et de puissance de calcul. Les cartes graphiques, conçues pour le jeu vidéo, se sont révélées idéales pour ces calculs massivement parallèles. L'année 2012 (AlexNet) marque le basculement public : un réseau convolutifCNNIARéseau de neurones convolutif, architecture dominante en vision par ordinateur pour détecter des motifs locaux dans les images.Voir dans le glossaire profond écrase les benchmarks d'images grâce au volume de données et au GPUGPUIAProcesseur graphique parallélisant massivement les calculs matriciels ; indispensable à l'entraînement et à l'inférence des modèles de deep learning.Voir dans le glossaire.

Les grandes architectures

Ce que change réellement un CNN

Un réseau dense traite chaque pixel comme une variable indépendante. Sur une image de 224 × 224, cela devient vite ingérable, et surtout absurde : un motif utile (un bord, une texture) se répète localement. Le filtre convolutif balaye l'image avec un petit noyau partagé — les mêmes poids détectent le même motif partout. Le pooling réduit ensuite la résolution tout en conservant l'essentiel. Résultat : moins de paramètres, invariance locale approximative, et une hiérarchie spatiale naturelle.

Pourquoi le Transformer a remplacé les RNN

Les réseaux récurrents lisaient une séquence élément par élément. Cette dépendance séquentielle empêchait d'exploiter pleinement le parallélisme des GPU, et les dépendances longues (début et fin d'un long document) se diluaient. Le Transformer calcule des relations d'attentionattentionIAMécanisme par lequel un modèle pondère l'importance de chaque token du contexte lorsqu'il en traite un autre, quelle que soit la distance qui les sépare.Voir dans le glossaire entre toutes les positions en parallèle. C'est l'objet d'un chapitre dédié ; retenez ici qu'il s'agit toujours d'un réseau de neurones — avec une architecture de connexion différente, pas une rupture de paradigme mathématique.

Ce que la profondeur coûte

Un réseau plus profond n'est pas mécaniquement meilleur. Au-delà d'un certain point, il mémorise le jeu d'entraînement au lieu d'en dégager des régularités — c'est le surapprentissagesurapprentissageIADéfaut d'un modèle qui mémorise ses exemples d'entraînement au lieu d'en dégager des régularités. Il excelle sur les données vues et échoue sur toute donnée nouvelle.Voir dans le glossaire, traité au chapitre suivant. Il devient aussi plus lent, plus coûteux, et plus opaque à auditer.

Trois contraintes accompagnent la profondeur :

• Le besoin en données croît avec le nombre de paramètres. Un modèle trop large sur un corpus trop étroit invente des corrélations fragiles.
• Le coût de calcul croît en entraînement comme en inférenceinférenceIAUtilisation d'un modèle déjà entraîné sur une donnée nouvelle. Peu coûteuse à l'unité mais répétée à chaque requête, elle constitue le coût récurrent d'exploitation.Voir dans le glossaire. Chaque milliseconde gagnée en laboratoire se multiplie par le volume de requêtes en production.
• L'explicabilité se dégrade : justifier une décision devient un problème de recherche à part entière, ce qui pose une difficulté directe dès qu'une réglementation impose de motiver un refus.

Dans un contextefenêtre de contexteIAQuantité de texte qu'un modèle peut prendre en compte simultanément : question, documents fournis et historique. Au-delà, les éléments les plus anciens sortent du champ.Voir dans le glossaire métier, ces trois coûts se traduisent souvent par des arbitrages concrets : faut-il un petit modèle interprétable sur des variables tabulaires, ou un grand réseau opaque mais plus performant ? La réponse n'est pas technique seule — elle dépend du coût de l'erreur et de l'obligation de motiver.

Ce qui se passe pendant un entraînement

Comprendre le déroulement aide à interpréter les problèmes rencontrés.

Les données sont parcourues par lots (batches) — quelques dizaines à quelques milliers d'exemples traités ensemble. Un passage complet sur l'ensemble des données constitue une époque (epoch). Un entraînement en compte de quelques-unes à plusieurs centaines.

À chaque lot, le même cycle se répète : prédiction, mesure de l'erreur, rétropropagation, mise à jour des poids. L'erreur moyenne décroît, d'abord rapidement, puis de plus en plus lentement. On surveille en parallèle l'erreur sur le jeu de validation, jamais utilisé pour mettre à jour les poids : c'est le thermomètre de la généralisation.

Trois symptômes reviennent constamment :

Tracez systématiquement les deux courbes d'erreur — entraînement et validation — sur le même graphique. Leur écart raconte l'essentiel : parallèles et décroissantes, l'entraînement se déroule bien ; divergentes, le surapprentissage a commencé ; toutes deux plates et hautes, le modèle est sous-dimensionné ou les données sont mal préparées.

Transfert d'apprentissage

En pratique, on entraîne rarement un grand réseau depuis zéro. On part d'un modèle préentraîné sur une tâche voisine (reconnaissance d'images générales, langage généraliste), puis on l'adapte — fine-tuningFine-tuningIAAjustement des poids d'un modèle pré-entraîné sur un jeu de données spécifique pour adapter son comportement à un domaine ou une tâche cible.Voir dans le glossaire — sur le corpus métier. Les premières couches, qui capturent des motifs génériques, restent souvent figées ; seules les couches finales s'ajustent. C'est ce qui rend accessibles des performances élevées avec quelques milliers d'exemples étiquetés plutôt que des millions.

Le transfert n'est pas magique. Si le domaine cible s'éloigne trop du préentraînement (imagerie industrielle atypique, jargon ultra-spécialisé), les représentations initiales aident peu. Il faut alors plus de données locales, voire un préentraînement dédié — et le budget change d'ordre de grandeur.

Pourquoi les cartes graphiques

Un réseau de neurones effectue essentiellement des multiplications de matrices. Cette opération se décompose en une multitude de calculs indépendants, exécutables simultanément.

Un processeur central dispose de quelques dizaines de cœurs très polyvalents. Un processeur graphique en aligne des milliers, plus simples mais parfaitement adaptés à ce type de travail. D'où un écart de performance qui se compte en ordres de grandeur sur cette tâche précise — et qui explique que le matériel graphique soit devenu le facteur limitant du domaine.

Cette dépendance a une conséquence directe sur les projets : la disponibilité et le coût des cartes graphiques conditionnent le calendrier autant que la disponibilité des données. Un entraînement de grande ampleur se planifie comme une ressource rare, pas comme un calcul ordinaire. En inférence, le même raisonnement s'applique à l'échelle : servir un modèle à fort trafic peut coûter plus cher, sur un an, que l'entraînement initial.

Avant de choisir une architecture « parce qu'elle est moderne », posez la question du régime de données : volume étiqueté disponible, coût d'une erreur, besoin de motivation. Un modèle tabulaire simple et auditable bat souvent un réseau opaque sur un problème métier bien cadré.

Ce qu'il faut retenir avant le chapitre suivant

Un réseau de neurones est une composition de fonctions simples, réglée par la rétropropagation pour coller à des données. La profondeur crée des abstractions utiles ; elle n'ajoute ni compréhension ni garantie. Les architectures (dense, CNN, Transformer) changent la façon dont l'information circule, pas la nature statistique du résultat.

Le chapitre suivant traite le vrai goulot d'étranglement de la plupart des projets : les données — séparation train/validation/test, fuite, biais, surapprentissage. Sans cette discipline, même l'architecture la plus élégante produit une illusion de performance.

Intuition opérationnelle d’une couche

Une couche dense applique une transformation linéaire puis une non-linéarité. Empiler des couches permet d’approximer des fonctions complexes. Ce n’est pas magique : c’est de l’optimisation numérique sur une fonction de perte. Si la perte est mal choisie, le réseau apprend autre chose que ce que vous croyez.

Les convolutions exploitent la localité spatiale (pixels voisins). Les mécanismes d’attention exploitent des relations à distance variable (tokenstokenIAFragment de texte manipulé par un modèle de langage, généralement plus court qu'un mot — trois à quatre caractères en français. La tarification et la limite de contexte se comptent en tokens.Voir dans le glossaire d’une phrase). Choisir l’architecture, c’est encoder un a priori sur la structure des données.

Pourquoi la profondeur aide… jusqu’à un point

La profondeur augmente la capacité expressive, mais complique l’optimisation (gradients qui disparaissent ou explosent). Les résidus, la normalisation et de bons initialiseurs ont rendu entraînables des réseaux très profonds. Cela ne dispense pas de vérifier la stabilité : explosion de loss, NaN, oscillations restent des signaux d’alarme concrets.

En pratique, commencez simple. Un réseau trop large pour trop peu de données surapprend vite. Un réseau trop petit sous-exprime le problème. La validation croisée et un budget de calcul raisonnable valent mieux qu’une architecture « state of the art » mal calibrée.

La profondeur n’est un atout que si l’optimisation et les données suivent.

GPU, batch, latence

L’entraînement tire parti du parallélisme GPU. La taille de batch influence stabilité et vitesse. En inférence, la latence utilisateur peut imposer des architectures plus légères, de la quantification ou de la distillation. Un modèle excellent hors ligne peut être inutilisable en temps réel.

Pour un décideur, la question n’est pas « faut-il un A100 ? » mais « quel SLA, quel coût par prédiction, quelle fréquence de réentraînement ? ».

Interprétabilité limitée

Les réseaux profonds sont souvent des boîtes grises. Des outilstool callingIACapacité d'un agent ou d'un LLM à invoquer des outils externes (API, calcul, recherche) pendant le raisonnement.Voir dans le glossaire (saliency, SHAP approximatif, probes) donnent des indices, rarement une preuve. Dans les contextes réglementés, combinez le réseau avec des garde-fous auditable : règles, seuils, revue humaine.

Séparez la performance prédictive et l’exigence d’explicabilité. Si les deux sont critiques, l’architecture et le process doivent les traiter ensemble dès le design.