EEG-basierte KI-Modelle, die angeblich klinische Zustände erkennen, könnten in Wirklichkeit darauf achten, wer Sie sind, nicht was Ihr Gehirn tut. Neue Forschung führt die 'Identitätsfalle' und ein Toolkit zu ihrer Erkennung ein.
Die Forschung
Ein Team unter der Leitung von Jun-You Lin von der University of California, San Diego, darunter Ying Choon Wu und Tzyy-Ping Jung, prüfte drei beliebte EEG-Grundlagenmodelle: LaBraM, CBraMod und REVE. Sie testeten sie mit vier Datensätzen, die jeweils in einem 2x2-Layout angeordnet waren – basierend darauf, ob die Bezeichnung (z. B. Patient vs. Kontrolle) innerhalb oder zwischen den Probanden variierte und ob ein bekannter, probandenübergreifender EEG-Marker existierte.
Mit ihrem neuen Diagnoseprotokoll FMScope fanden sie heraus, dass eingefrorene (unbeschulte) Modelldarstellungen 13- bis 89-mal mehr Subjektidentitätsvarianz enthielten als zufällig erwartet – in allen 12 Modell-Datensatz-Kombinationen. Feintuning verschlimmerte das Problem und erhöhte die Identitätsvarianz um 10 bis 63 Prozentpunkte. Wenn die Subjektidentitätsachse entfernt wurde, verbesserte sich die Bezeichnungsentschlüsselungsgenauigkeit, wo die Bezeichnung innerhalb eines Subjekts variierte: um 6 bis 12 Prozentpunkte in primären Datensätzen und bis zu 27 Punkte in externen Kohorten.
Sie entdeckten auch, dass aperiodische (1/f) Gehirnaktivität ein Träger der Subjektidentität ist: Das Entfernen reduzierte die Subjektproben-Genauigkeit um 9 bis 19 Punkte bei zwei Modellen. REVE sättigte jedoch die Subjektidentität, ohne sich auf aperiodische Signale zu stützen.
Warum es wichtig ist
Für alle, die sich für EEG-basierte Diagnostik oder Gehirntraining interessieren, bedeutet dies, dass hohe Genauigkeitswerte bei klinischen Tests irreführend sein können. Die Modelle lernen möglicherweise Abkürzungen – sie nutzen Ihre einzigartige Gehirnsignatur (wie einen Fingerabdruck) anstelle des tatsächlichen Zustands. Deshalb ist eine probandendisjunkte Kreuzvalidierung, obwohl üblich, nicht ausreichend, um sicherzustellen, dass das Modell echte Biomarker lernt.
Was Sie tun können
Wenn Sie Behauptungen über die Genauigkeit von EEG-KI hören, fragen Sie, ob die Forscher auf Identitätslecks geprüft haben. Suchen Sie nach Studien, die Diagnostiken wie FMScope verwenden, um die Subjektidentität vom wahren Signal zu trennen. Denken Sie bei Ihrem eigenen kognitiven Training daran, dass die Einzigartigkeit Ihres Gehirns ein Merkmal ist, aber sie sollte nicht die echten Veränderungen überdecken, die Sie verfolgen möchten.
Quelle: arXiv q-bio.NC
Neugierig auf Ihr eigenes Gehirn? Machen Sie unseren kostenlosen adaptiven IQ-Test oder probieren Sie 306 Gehirntrainingslevel.
