Hallucinations : comment poser des garde-fous sur une IA générative
Une IA générative peut inventer une référence, un chiffre ou une clause avec un aplomb total. D'où viennent ces erreurs, comment les mesurer, et les garde-fous techniques et organisationnels pour les contenir.
En 2023, un avocat new-yorkais a déposé devant un tribunal fédéral des conclusions citant plusieurs décisions de justice qui n'existaient pas. Il les avait obtenues d'un assistant conversationnel. L'affaire a fait le tour du monde, et des cas similaires se sont multipliés depuis. Ces erreurs ont un nom : les hallucinations. Elles ne sont pas un défaut passager, mais une propriété des modèles de langage, qu'il faut apprendre à encadrer.
D'où viennent les hallucinations
Un modèle de langage ne consulte pas une base de faits : il produit, mot après mot, la suite la plus plausible d'un texte. La plupart du temps, la suite plausible est aussi la suite exacte. Mais lorsque le modèle ne dispose pas de l'information, il ne dit pas forcément « je ne sais pas » : il produit quelque chose qui ressemble à une bonne réponse. Une référence au bon format, un chiffre dans le bon ordre de grandeur, une clause rédigée dans le bon style.
Les situations les plus risquées sont connues :
- les questions sur des faits précis et rares (une référence, une date, un nom) ;
- les questions sur des événements postérieurs aux données d'entraînement du modèle ;
- les calculs et les raisonnements en plusieurs étapes ;
- les questions qui contiennent une fausse prémisse, que le modèle a tendance à accepter.
Mesurer avant de faire confiance
On ne peut pas encadrer ce qu'on ne mesure pas. Avant de mettre un système d'IA entre les mains des équipes ou des clients, il faut l'évaluer sur des cas représentatifs de l'usage réel :
- Constituer un jeu de test : quelques dizaines à quelques centaines de questions réelles, avec les bonnes réponses validées par un expert du métier.
- Inclure des pièges : questions hors du périmètre, questions sans réponse dans la documentation, questions mal posées.
- Mesurer : taux de réponses exactes, taux de réponses inventées, capacité à dire « je ne sais pas ».
- Recommencer à chaque changement de modèle, de consigne ou de documentation.
Ce travail est souvent négligé. C'est pourtant lui qui permet de comparer deux solutions de façon objective et de détecter une régression.
Les garde-fous techniques
Ancrer les réponses dans vos documents. Plutôt que de laisser le modèle répondre de mémoire, on lui fournit les passages pertinents de votre documentation et on lui demande de s'y tenir. C'est le principe des assistants dits « RAG ». Les hallucinations ne disparaissent pas, mais elles diminuent nettement.
Exiger des citations. Chaque affirmation renvoie au document source, que l'utilisateur peut ouvrir. Une réponse sans source devient suspecte par construction.
Autoriser l'abstention. La consigne donnée au modèle doit explicitement lui permettre de répondre qu'il ne sait pas, et l'évaluation doit récompenser ce comportement.
Vérifier automatiquement ce qui peut l'être. Les calculs sont confiés à un vrai outil de calcul, les références sont vérifiées dans la base, les formats sont contrôlés.
Limiter le périmètre. Un assistant conçu pour répondre sur vos procédures internes doit refuser de répondre sur le droit du travail ou la santé.
Les garde-fous organisationnels
La technique ne suffit pas. Il faut aussi :
- Définir qui relit quoi : une réponse interne sur une procédure n'exige pas le même contrôle qu'un document envoyé à un client.
- Former les utilisateurs à reconnaître les situations à risque et à vérifier les sources.
- Prévoir un circuit de signalement des erreurs, qui alimente le jeu de test.
- Documenter les choix, les tests et les résultats : c'est aussi ce que l'AI Act attend des systèmes les plus sensibles.
Pour aller plus loin
Notre offre d'évaluation et garde-fous des systèmes d'IA construit le jeu de test, mesure les performances et met en place les protections adaptées à votre usage. Pour un assistant qui répond à partir de vos propres documents, voir l'IA spécialisée en ligne.
Passer à l'action
À lire aussi
-
IA locale ou IA dans le cloud : comment choisir pour votre entreprise
Confidentialité, coûts, qualité, maintenance : un comparatif concret entre une IA hébergée dans le cloud et une IA installée sur un serveur dans vos locaux.
-
Agents IA : ce qu'ils savent faire, et les précautions avant de leur confier des tâches
Après les assistants qui répondent, voici les agents qui agissent : ils naviguent, remplissent des formulaires, envoient des mails, modifient des fichiers. Ce qu'ils font bien aujourd'hui, les risques propres à l'autonomie, et les règles pour les déployer sans perdre le contrôle.