Limites et risques

Trois risques fréquents

HallucinationhallucinationIAProduction par un modèle d'un énoncé faux formulé avec la même assurance qu'un fait établi. Le phénomène est structurel : le modèle optimise la vraisemblance, pas la vérité.Voir dans le glossaire fluide. BiaisbiaisIARégularité correctement apprise dans des données qui ne représentent pas la réalité visée, ou qui enregistrent des décisions passées avec leurs préjugés. Changer d'algorithme ne le corrige pas.Voir dans le glossaire repris des donnéesdonnéesIAEnsemble d'informations structurées ou non utilisées pour entraîner, évaluer ou alimenter un modèle. La qualité, la quantité et la représentativité des données sont les facteurs décisifs pour les performances en apprentissage automatique.Voir dans le glossaire. Sur-confiance de l’utilisateur.

Le ton assuré n’est pas une preuve.

Coût × détectabilité

Une erreur rare et invisible peut coûter plus cher qu’une erreur fréquente évidente.

Classez vos cas ainsi avant d’automatiser.

Automatisez d’abord ce qui est vérifiable à bas coût.

Agents et outils

Chaque outil ajouté augmente la surface d’erreur et d’attaque.

Moindre privilège. Confirmation humaine sur l’irréversible.

UX honnête

Dites ce que le système ne fait pas. Offrez une escalade humaine.

Évitez « je pense que » si le système ne pense pas.