Das Gehirn lernt abstrakte Repräsentationen hochdimensionaler sensorischer Eingaben, aber die Plastizitätsregeln, die solches Lernen ermöglichen, sind unbekannt. Eine neue Studie zum Random Hierarchy Model (RHM) zeigt, dass selbstüberwachte lokale Lernregeln die Dateneffizienz vollständiger Backpropagation erreichen können – ohne ein symmetrisches Fehlernetzwerk.
Die Forschung
Forschende der EPFL unter der Leitung von Ariane Delrocq, Wu S. Zihan, Guillaume Bellec und Wulfram Gerstner testeten biologisch plausible Algorithmen am Random Hierarchy Model (RHM) – einem künstlichen Datensatz, der die hierarchische Struktur natürlicher Daten nachahmt. Sie verglichen zwei Familien lokaler Lernregeln: die erste verwendet direkte Rückmeldungssignale zur Approximation der Fehlerpropagation von der Ausgabeschicht; die zweite nutzt schichtweise selbstüberwachte Ziele (kontrastiv und nicht-kontrastiv).
Ergebnisse zeigten, dass alle Regeln des ersten Typs bei RHM-Aufgaben versagen, da ihnen eingabespezifische Nichtlinearitäten („Masking“) fehlen, die in Backpropagation vorkommen. Algorithmen des zweiten Typs lernten jedoch erfolgreich die verborgene hierarchische Struktur und erreichten eine mit überwachter Backpropagation vergleichbare Dateneffizienz. Bemerkenswerterweise sind diese Regeln mit bekannten synaptischen Plastizitätsmechanismen im Gehirn kompatibel.
Warum es wichtig ist
Diese Studie legt nahe, dass das Gehirn lokale, selbstüberwachte Lernregeln nutzen könnte, um komplexe hierarchische Merkmale aus sensorischen Eingaben zu extrahieren, ohne auf globale Fehlersignale angewiesen zu sein. Für alle, die neugierig auf die eigene Kognition sind, bedeutet dies, dass Ihr Gehirn wahrscheinlich abstrakte Repräsentationen effizient mit lokalen Plastizitätsregeln aufbaut – was Trainingsmethoden inspirieren könnte, die Prinzipien des selbstüberwachten Lernens nutzen.
Was Sie tun können
Sie können diese Erkenntnis anwenden, indem Sie sich mit Aufgaben beschäftigen, die hierarchische Mustererkennung erfordern, wie das Erlernen einer neuen Sprache, das Spielen von Strategiespielen oder das Üben eines Musikinstruments – Aktivitäten, die selbstüberwachtes, lokales Lernen in Ihrem Gehirn fördern.
Quelle: arXiv q-bio.NC
Neugierig auf Ihr eigenes Gehirn? Machen Sie unseren kostenlosen adaptiven IQ-Test oder probieren Sie 306 Gehirntrainings-Level.
