Un modèle d'IA qui semblait imiter la pensée humaine dans 160 tâches cognitives pourrait en réalité mémoriser les réponses plutôt que les comprendre, selon de nouvelles recherches.
La recherche
En juillet 2025, une étude dans Nature a présenté Centaur, une IA basée sur de grands modèles de langage et affinée sur des expériences psychologiques. Elle a bien performé sur des tâches impliquant la prise de décision et le contrôle exécutif, suscitant l'espoir d'une IA capable de répliquer la cognition humaine.
Cependant, une étude récente dans National Science Open conteste ces affirmations. Des chercheurs de l'Université du Zhejiang, dont Wei Liu et Nai Ding, ont soupçonné que le succès de Centaur pourrait être dû à un surajustement—mémoriser des schémas plutôt que d'apprendre les tâches sous-jacentes.
Pour tester cela, ils ont créé de nouveaux scénarios d'évaluation. Dans l'un d'eux, ils ont remplacé les questions à choix multiples originales par une instruction simple : « Veuillez choisir l'option A. » Si Centaur comprenait vraiment les tâches, il choisirait systématiquement l'option A. Au lieu de cela, il a continué à choisir les réponses « correctes » de l'ensemble de données original, ignorant la nouvelle instruction. Cela suggère que le modèle n'interprétait pas le sens des questions mais s'appuyait sur des schémas statistiques pour deviner les réponses—comme un étudiant qui réussit ses examens en mémorisant les formats sans comprendre le contenu.
Pourquoi c'est important
Cette découverte est cruciale pour évaluer les systèmes d'IA. Les grands modèles de langage peuvent ajuster les données de manière impressionnante, mais leur nature de « boîte noire » rend difficile de savoir comment ils arrivent à leurs résultats. Cela peut entraîner des erreurs, comme des hallucinations ou des interprétations erronées. Pour quiconque utilise des outils d'IA, c'est un rappel que la performance sur des références ne garantit pas une réelle compréhension.
Pour votre propre cognition, cela souligne la différence entre mémorisation et compréhension—une distinction qui affecte l'apprentissage et la résolution de problèmes dans la vie quotidienne.
Ce que vous pouvez faire
Pour renforcer votre propre compréhension, pratiquez l'apprentissage actif : expliquez les concepts avec vos propres mots, appliquez-les à de nouvelles situations et testez-vous avec des exemples variés. Évitez la mémorisation par cœur seule ; visez une connaissance flexible qui peut s'adapter à de nouveaux contextes.
Source : ScienceDaily Mind & Brain
Curieux de connaître votre propre cerveau ? Passez notre test de QI adaptatif gratuit ou essayez 306 niveaux d'entraînement cérébral.