Eine neue Studie von Forschern des IIIT Hyderabad, Microsoft und anderen Einrichtungen zeigt, dass instruktionsoptimierte multimodale Large Language Models (IT-MLLMs) eine stärkere Übereinstimmung mit menschlicher Gehirnaktivität aufweisen als andere KI-Modelle. Die am 9. Juni 2025 auf arXiv veröffentlichte Studie nutzt fMRT-Daten von Personen, die einen naturalistischen Film ansehen, um zu vergleichen, wie verschiedene KI-Systeme Informationen repräsentieren.
Die Forschung
Das Team unter der Leitung von Subba Reddy Oota und Kollegen analysierte Gehirnreaktionen von Teilnehmern, die einen Film mit Video und Audio ansahen. Sie extrahierten Repräsentationen aus sechs Video- und zwei Audio-IT-MLLMs über 13 verschiedene Videoaufgabenanweisungen hinweg. Anschließend sagten sie fMRT-Aktivität aus diesen KI-Repräsentationen vorher. Die Ergebnisse zeigten, dass instruktionsoptimierte Video-MLLMs eine etwa 9% höhere Gehirnübereinstimmung erzielten als In-Context-Learning (ICL) multimodale Modelle, 15% höher als nicht instruktionsoptimierte multimodale Modelle und 20% höher als unimodale Baselines. Wichtig ist, dass ICL-Modelle eine starke semantische Organisation (Korrelation r=0,78 mit Anweisungstext) zeigten, während IT-Modelle eine schwache Kopplung (r=0,14) aufwiesen, was darauf hindeutet, dass IT-Modelle Repräsentationen um funktionale Aufgabenanforderungen herum organisieren, nicht um Oberflächensemantik. Die Gehirnübereinstimmung variierte zwischen kortikalen Regionen, wobei aufgabenbedingte Subräume in höherrangigen Arealen auftraten.
Warum es wichtig ist
Diese Forschung legt nahe, dass Instruktionsoptimierung KI hilft, Repräsentationen zu entwickeln, die der Art und Weise ähneln, wie das Gehirn naturalistische Reize verarbeitet. Für die Kognitionswissenschaft bietet es ein neues Werkzeug, um die gemeinsame Informationsverarbeitung in künstlichen und biologischen Systemen zu kartieren. Für den Durchschnittsmenschen unterstreicht es, dass Kontext und Aufgabenziele prägen, wie Informationen im Gehirn kodiert werden – eine Erinnerung daran, dass aktives, zielorientiertes Engagement Lernen und Gedächtnis verbessern kann.
Was Sie tun können
Um diese Erkenntnis zu nutzen, praktizieren Sie aktives Lernen: Setzen Sie sich vor dem Ansehen eines Videos oder Lesen spezifische Ziele. Dies bereitet Ihr Gehirn darauf vor, Informationen effektiver zu organisieren, ähnlich wie die Instruktionsoptimierung in der KI funktioniert.
Quelle: arXiv q-bio.NC
Neugierig auf Ihr eigenes Gehirn? Machen Sie unseren kostenlosen adaptiven IQ-Test oder probieren Sie 306 Gehirntrainingsstufen.
