GPT-5.6 Sol a un taux d'hallucination de 92,2 %. Claude Fable 5.1, 72,6 %. Pourquoi les modèles d'IA, même les plus avancés, hallucinent-ils autant ?

Artificial Analysis teste les modèles sur 6 000 questions factuelles, à livre fermé : ni recherche web, ni documents, tout de mémoire.

Ils en extraient 2 taux par modèle :
- ✅ Le taux de bonnes réponses.
- 👻 Le taux d'hallucination : quand le modèle n'a pas la bonne réponse et en invente une.

Les derniers résultats (réglages max) :
- Claude Fable 5.1 : ✅ 67 %, 👻 73 %
- GPT-6 Astra : ✅ 63 %, 👻 51 %
- Gemini 3.1 Pro : ✅ 55 %, 👻 51 %
- Grok 4.7 : ✅ 47 %, 👻 29 %
- Gemini 4 Argon (pas encore public) : ✅ 49,9 %, 👻 15,1 %

Fable 5.1 tente de répondre à 93 % des questions. Il en sait plus que n'importe quel autre modèle, mais quand il ne sait pas, il le dit rarement. Au lieu de cela, il invente une réponse.

Alors pourquoi ne pas entraîner les modèles à dire « je ne sais pas » ?

C'est le cas. Mais le problème est ailleurs, dans leurs principes mêmes de fonctionnement.

Les modèles génèrent leurs réponses mot après mot, ils ne vont pas les chercher dans une base de données. Ce qu'ils apprennent n'est pas rangé comme des faits, mais fondu dans des milliards de réglages internes, figés à la fin de l'entraînement. Pour chaque mot, ces réglages calculent selon le contexte la probabilité de chaque mot suivant possible, et le modèle en choisit un parmi les plus probables. Et le plus probable peut ne pas refléter la réalité.

Par défaut, un modèle dit « je ne sais pas ». Mais ce réflexe est fragilisé par deux choses :
- la nature générative des modèles : converser et argumenter, c'est aussi créer des combinaisons de mots qui ne reposent pas forcément sur des faits ;
- la reconnaissance : reconnaître un mot n'est pas tout savoir sur ce mot, mais c'est assez pour éteindre le réflexe et créer une réponse de toute pièce.

Vous l'aurez compris, les hallucinations sont un sous-produit du fonctionnement des modèles génératifs. Et plus un modèle tente de répondre à tout, plus il invente quand il ne sait pas.

Comment réduire les hallucinations de son modèle :

1/ Travailler sur un contexte le plus complet possible, avec des sources claires et des questions ciblées. Plus le contexte est précis, plus la réponse l'est.

2/ Forcer la recherche documentaire ou web et explicitement demander au modèle de ne pas travailler de mémoire.

3/ Citer ses sources et demander une citation pour chaque affirmation.

4/ Poser la question plusieurs fois ou à plusieurs modèles.

5/ Choisir le modèle selon la tâche, certains modèles sont plus prudents que d'autres.

La documentation d'Anthropic indique qu'autoriser le modèle à dire « je ne sais pas » suffit à réduire drastiquement les fausses informations. Je n'ai pas encore testé.