Pratiques d'IA interdites

Pourquoi ce chapitre est le plus urgent

Avant de classer un système d'IAintelligence artificielleIAEnsemble des techniques permettant à un programme d'accomplir une tâche qui demanderait de l'intelligence humaine. Le terme couvre aussi bien les systèmes à règles écrites que ceux qui apprennent de données.Voir dans le glossaire par niveau de risque, il faut vérifier qu'il ne tombe pas dans la catégorie qui échappe entièrement à cette logique de gradation : les pratiques interdites de l'article 5. Contrairement aux systèmes à haut risquehaut risqueConformitéCatégorie de l'AI Act regroupant les usages soumis à conditions strictes : recrutement, crédit, éducation, infrastructures critiques. Elle impose documentation, examen des biais et contrôle humain effectif.Voir dans le glossaire, qui restent autorisés moyennant conformité, ces pratiques sont bannies du marché européen sans qu'aucune mesure d'atténuation, aucune documentation technique et aucun audit ne puisse les rendre licites. Il n'existe pas de version « conforme » d'un scoring social généralisé : l'usage lui-même est prohibé.

Ce chapitre s'adresse à quiconque conçoit, achète ou intègre un système d'IA dans une organisation active en Europe. Ignorer l'article 5 n'est pas une négligence mineure : c'est le scénario qui expose à l'amende la plus élevée du texte, plus sévère que les manquements aux obligations des systèmes à haut risque.

L'article 5 s'applique dès l'entrée en application de l'AI ActAI ActConformitéRèglement européen sur l'intelligence artificielle, adopté en 2024. Il classe les systèmes en quatre niveaux de risque selon leur usage — jamais selon leur technologie.Voir dans le glossaire, soit six mois après son entrée en vigueur — bien avant les obligations relatives aux systèmes à haut risque, qui bénéficient d'un délai plus long. Une pratique interdite ne peut invoquer aucune période de transition.

La logique de l'interdiction absolue

L'AI Act repose sur une architecture par paliers de risque : risque minimal, risque limité, risque élevé, risque inacceptable. Pour les trois premiers paliers, le texte impose des obligations proportionnées — transparence, gestion de la qualité, documentation. Pour le risque inacceptable, il n'y a pas d'obligation à respecter : il y a une interdiction.

Cette différence de traitement traduit un choix politique assumé. Le législateur européen a estimé que certains usages de l'IA portent atteinte à des droits fondamentaux d'une manière si structurelle qu'aucune mesure technique ne peut compenser le préjudice. On ne demande donc pas à l'opérateur de démontrer que son système est sûr : on lui interdit de le déployer, point final.

Quatre familles de pratiques sont concernées, listées de manière exhaustive à l'article 5, paragraphe 1. La liste est fermée : elle ne s'interprète pas par analogie et ne s'étend pas à des usages voisins non expressément visés — même si l'esprit du texte peut inspirer une vigilance renforcée sur des pratiques limitrophes.

Famille 1 — Le scoring social généralisé

L'article 5(1)(c) interdit les systèmes d'IA qui évaluent ou classent des personnes physiques sur la base de leur comportement social ou de caractéristiques personnelles, lorsque cette notation produit un traitement défavorable dans un contextefenêtre de contexteIAQuantité de texte qu'un modèle peut prendre en compte simultanément : question, documents fournis et historique. Au-delà, les éléments les plus anciens sortent du champ.Voir dans le glossaire social sans rapport avec celui où les donnéesdonnéesIAEnsemble d'informations structurées ou non utilisées pour entraîner, évaluer ou alimenter un modèle. La qualité, la quantité et la représentativité des données sont les facteurs décisifs pour les performances en apprentissage automatique.Voir dans le glossaire ont été collectées, ou un traitement disproportionné par rapport à la gravité du comportement observé.

Le texte ne vise pas n'importe quel système de notation. Un score de solvabilité bancaire fondé sur des critères financiers pertinents n'est pas, en soi, un scoring social au sens de l'article 5 — il relève potentiellement du risque élevé, avec ses propres obligations. Ce que l'AI Act cible, c'est la notation transversale du comportement d'un individu, appliquée hors de son contexte d'origine et débouchant sur des conséquences disproportionnées.

Un système qui agrège des données de comportement en ligne, d'historique de paiement de loyer et de fréquentation d'événements pour produire un score unique, ensuite utilisé pour restreindre l'accès au logement, à l'emploi et aux services publics d'une personne, correspond exactement au profil visé par l'interdiction — indépendamment du fait qu'il soit opéré par un acteur public ou privé.

La difficulté pratique tient à la frontière avec les systèmes de scoring légitimes utilisés en assurance, en recrutement ou en octroi de crédit. Le critère décisif est le croisement de deux éléments : la généralité de l'évaluation (elle porte sur le comportement global de la personne, pas sur un acte circonscrit) et le déplacement de contexte (le score produit un effet dans un domaine étranger à celui où les données ont été recueillies).

Famille 2 — La reconnaissance biométrique à distance en temps réel

L'article 5(1)(h) interdit l'utilisation de systèmes d'identification biométrique à distance « en temps réel » dans des espaces accessibles au public, à des fins répressives, sauf exceptions limitativement énumérées.

Trois éléments cumulatifs définissent le champ de l'interdiction :

• Identification biométrique à distance — reconnaissance faciale, démarche, ou autre caractéristique physique captée sans contact ni coopération de la personne.
• Temps réel — le traitement s'effectue sans délai significatif entre la capture, la comparaison et l'identification, par opposition à une analyse a posteriori de vidéos déjà enregistrées.
• Espace accessible au public — rue, gare, stade, centre commercial — par opposition à un espace privé fermé.

Cette interdiction ne concerne, dans son cœur, que les usages à des fins répressives par les autorités publiques. Les usages purement commerciaux de reconnaissance faciale dans l'espace public (marketing, contrôle d'accès à but lucratif) relèvent d'autres dispositions de l'AI Act, notamment l'interdiction plus générale de la catégorisation biométrique fondée sur des données sensibles.

Ne confondez pas identification biométrique à distance en temps réel (interdite sauf exception policière) et vérification biométrique un-à-un (par exemple déverrouillage d'un téléphone par reconnaissance faciale), qui n'entre pas dans le champ de cette interdiction. La distinction technique entre identification (un-à-plusieurs) et vérification (un-à-un) est structurante pour toute qualification juridique.

Famille 3 — Manipulation subliminale et pratiques trompeuses

L'article 5(1)(a) et (b) interdit la mise sur le marché de systèmes d'IA qui déploient des techniques subliminales, manipulatrices ou trompeuses, avec pour objectif ou pour effet d'altérer substantiellement le comportement d'une personne d'une manière qui compromet sa capacité à prendre une décision éclairée, lui causant ou étant susceptible de lui causer un préjudice significatif.

Le texte distingue deux sous-catégories :

1. Les techniques agissant en dessous du seuil de conscience de la personne (stimuli subliminaux au sens strict).
2. Les techniques délibérément manipulatrices ou trompeuses qui exploitent des biaisbiaisIARégularité correctement apprise dans des données qui ne représentent pas la réalité visée, ou qui enregistrent des décisions passées avec leurs préjugés. Changer d'algorithme ne le corrige pas.Voir dans le glossaire cognitifs connus pour orienter un choix, indépendamment de toute perception consciente.

Le critère du préjudice est central : l'interdiction ne vise pas toute forme de persuasion — la publicité et le design d'interface jouent depuis toujours sur la psychologie du consommateur — mais les techniques qui, par leur intensité ou leur opacité, retirent à la personne toute possibilité réelle d'exercer un choix libre, et qui causent un dommage significatif, matériel ou psychologique.

Le seuil de « préjudice significatif » introduit une marge d'appréciation. Les lignes directrices de la Commission européenne et la jurisprudence à venir préciseront progressivement où se situe la limite entre une interface persuasive agressive et une manipulation prohibée. En attendant cette clarification, la prudence recommande d'évaluer tout mécanisme de personnalisation comportementale au regard de sa capacité à contourner le jugement rationnel de l'utilisateur.

Famille 4 — Exploitation des vulnérabilités

L'article 5(1)(b) interdit également les systèmes d'IA qui exploitent une vulnérabilité liée à l'âge, au handicap ou à une situation sociale ou économique spécifique, dans le but ou avec pour effet d'altérer substantiellement le comportement de la personne d'une manière qui lui cause ou est susceptible de lui causer un préjudice significatif.

Cette famille recoupe partiellement la précédente mais se distingue par son point d'ancrage : ce n'est pas la technique employée qui est visée en premier lieu, mais le ciblage d'une population identifiée comme structurellement plus vulnérable. Un système publicitaire ciblant spécifiquement des personnes en situation de surendettement pour leur proposer des produits de crédit à taux élevé, ou un jouet connecté exploitant la crédulité d'un enfant pour orienter des achats, relève de cette catégorie.

Le régime d'exception pour les forces de l'ordre

L'interdiction de la biométrie à distance en temps réel dans l'espace public n'est pas absolue pour les autorités répressives : l'article 5 ouvre une liste fermée d'exceptions, elle-même strictement encadrée.

Trois finalités seulement peuvent justifier un recours exceptionnel :

• La recherche ciblée de victimes spécifiques, notamment d'enlèvement, de traite d'êtres humains ou d'exploitation sexuelle, ainsi que la recherche de personnes disparues.
• La prévention d'une menace imminente pour la vie ou la sécurité physique de personnes, ou d'une attaque terroriste.
• La localisation ou l'identification d'une personne soupçonnée d'avoir commis une infraction pénale grave, définie par une liste limitative renvoyant à des infractions passibles d'une peine privative de liberté ou d'une mesure de sûreté d'une durée maximale d'au moins quatre ans.

Ces exceptions sont enserrées dans des garanties procédurales cumulatives : autorisation préalable d'une autorité judiciaire ou administrative indépendante (sauf urgence dûment justifiée, avec régularisation a posteriori sous 24 heures), limitation stricte dans le temps et dans l'espace géographique, évaluation d'impact sur les droits fondamentaux, et inscription dans un registre national accessible aux autorités de contrôle.

Pour toute organisation qui fournirait une brique technologique à une autorité publique (éditeur de logiciel de vidéosurveillance, intégrateur systèmes), il est essentiel de documenter contractuellement que l'usage prévu par le client entre bien dans le champ de l'une des trois exceptions, et que les garanties procédurales (autorisation judiciaire, limitation temporelle) sont effectivement mises en œuvre côté client. La responsabilité du fournisseur peut être engagée si le produit est conçu ou commercialisé pour un usage manifestement hors exception.

Les États membres conservent la faculté d'interdire totalement le recours à ces exceptions sur leur territoire, ou de restreindre davantage les conditions d'usage — l'AI Act fixe un plafond de tolérance, pas un plancher imposé.

Sanctions : le régime le plus sévère du texte

La violation de l'article 5 est sanctionnée par l'amende administrative la plus élevée prévue par l'AI Act : jusqu'à 35 millions d'euros ou, si l'auteur de l'infraction est une entreprise, jusqu'à 7 % de son chiffre d'affaires annuel mondial total de l'exercice précédent, le montant le plus élevé étant retenu.

À titre de comparaison, les manquements aux obligations applicables aux systèmes à haut risque sont plafonnés à 15 millions d'euros ou 3 % du chiffre d'affaires mondial. Cet écart n'est pas anecdotique : il traduit la hiérarchie de gravité voulue par le législateur entre non-conformité (système autorisé mal documenté) et interdiction pure (système qui n'aurait jamais dû exister sur le marché européen).

Le montant de l'amende n'est pas la seule conséquence. Les autorités de surveillance du marché disposent d'un pouvoir de retrait immédiat du produit ou service concerné, sans préjudice des actions en responsabilité civile ouvertes aux personnes affectées et des éventuelles procédures pénales prévues par le droit national.

Checklist de premier filtrage

Avant toute analyse de risque plus fine, posez-vous ces questions sur chaque système d'IA envisagé ou déjà déployé :

• Le système attribue-t-il une note ou un score global à des personnes, sur la base de comportements observés dans un contexte, pour produire un effet dans un autre contexte ?
• Le système identifie-t-il des personnes à distance, en temps réel, par des moyens biométriques, dans un lieu accessible au public ?
• Le système repose-t-il sur des mécanismes conçus pour agir sous le seuil de conscience de l'utilisateur, ou pour exploiter des biais cognitifs au point de compromettre sa capacité de choix ?
• Le système cible-t-il délibérément des personnes en raison de leur âge, de leur handicap ou de leur fragilité économique, pour orienter leur comportement à leur détriment ?

Une réponse positive à l'une de ces questions n'emporte pas automatiquement l'interdiction — chaque critère légal comporte ses propres conditions cumulatives détaillées plus haut — mais elle impose un examen juridique approfondi avant tout déploiement, indépendamment de la qualité technique du système.

Ce filtrage constitue le socle sur lequel repose la suite de la formation : une fois écartées les pratiques interdites, l'analyse peut se concentrer sur la classification par niveau de risque des systèmes autorisés, objet du chapitre suivant.