Wie können wir wissen, was ein großes Sprachmodell (LLM) wirklich tut, wenn es das nächste Wort in einem Satz vorhersagt? Forscher haben herausgefunden, dass sie durch die Verwendung erklärbarer KI (XAI), um hervorzuheben, welche Wörter für Vorhersagen am wichtigsten sind, diese Erklärungen auch auf Gehirnaktivität abbilden können – was auf eine tiefere Verbindung zwischen der Art und Weise hindeutet, wie Maschinen und Gehirne Sprache verarbeiten.
Die Forschung
Maryam Rahimi, Mohammad Reza Daliri und Yadollah Yaghoobzadeh von der Iran University of Science and Technology und der Universität Teheran führten diese Studie durch. Sie verwendeten mehrere LLMs, darunter eine Version von GPT-2, und wandten Attributionsmethoden an – die den Beitrag jedes Wortes zur Vorhersage des Modells messen –, um „Erklärungen“ für jedes Eingabewort zu generieren. Anschließend verglichen sie diese Erklärungen mit fMRI-Daten von Teilnehmern, die Erzählgeschichten hörten, und griffen dabei auf öffentlich verfügbare Datensätze wie die der University of California, Berkeley und der Princeton University zurück.
Das Team fand heraus, dass gradientenbasierte Attributionsmethoden, die berechnen, wie empfindlich die Vorhersage auf jedes Wort reagiert, robust mit der Gehirnaktivität in einem breiten Netzwerk sprachbezogener Regionen übereinstimmten. Diese Erklärungen trugen über einfache akustische und Wortfrequenzmerkmale hinaus zur Varianz bei, was bedeutet, dass sie etwas Zusätzliches erfassten, das grundlegende Eigenschaften der Sprache nicht konnten. Bemerkenswerterweise übertrafen diese Attributionen im frühen auditorischen Kortex – der ersten Stufe des Hörens – die internen Repräsentationen des Modells, die typischerweise zur Messung der Gehirnübereinstimmung verwendet werden.
Mit einer Technik namens Conductance erweiterten die Forscher die Analyse auf einzelne Schichten des Modells. Sie entdeckten, dass frühe Schichten eine größere Empfindlichkeit für Wortarten (z. B. Substantive gegenüber Verben) aufwiesen und bevorzugt mit auditorischen Regionen übereinstimmten, während die Attributionen der letzten Schicht von Positionsinformationen dominiert wurden und eine breite kortikale Übereinstimmung zeigten. Dies deutet darauf hin, dass verschiedene Schichten des Modells verschiedene Arten von Informationen verwenden und dass das Gehirn diese möglicherweise so integriert, dass es der Gesamtberechnung des Modells entspricht.
Warum es wichtig ist
Diese Forschung bietet eine neue Möglichkeit, zu interpretieren, was LLMs intern tun, was dazu beitragen kann, Transparenz und Vertrauen in KI zu verbessern. Sie bietet auch eine Brücke zwischen künstlicher und menschlicher Sprachverarbeitung: Indem wir sehen, welche Erklärungen am besten mit der Gehirnaktivität übereinstimmen, gewinnen wir Einblicke in die Berechnungen, die dem menschlichen Verständnis zugrunde liegen. Für jeden, der sich für seine eigene Kognition interessiert, zeigt es, dass Sprachverständnis kein einzelner Prozess ist, sondern ein geschichteter, der Klang, Bedeutung und Kontext kombiniert.
Was Sie tun können
Sie können Ihre eigene Sprachverarbeitung stärken, indem Sie aktiv zuhören und lesen. Versuchen Sie vorherzusagen, was als Nächstes in einem Gespräch oder einer Geschichte kommt, und achten Sie darauf, welche Wörter am meisten Gewicht haben. Rätsel wie Kreuzworträtsel oder Wortspiele können auch die Fähigkeit Ihres Gehirns schärfen, verschiedene Arten von Informationen schnell abzuwägen.
Quelle: arXiv q-bio.NC
Neugierig auf Ihr eigenes Gehirn? Machen Sie unseren kostenlosen adaptiven IQ-Test oder probieren Sie 306 Gehirntrainings-Level.
