Startseite · Blog · Forschung

Divisive Normalization verbessert Arbeitsgedächtnis in neuronalen Netzen

Divisive Normalization verbessert Arbeitsgedächtnis in neuronalen Netzen

Wie schafft es Ihr Gehirn, eine Telefonnummer für ein paar Sekunden im Kopf zu behalten? Neue Forschung weist auf eine spezifische neuronale Berechnung hin, die dazu beiträgt, ein solches kontinuierliches Arbeitsgedächtnis aufrechtzuerhalten.

Die Forschung

Ein Team unter der Leitung von Zhaotian Gu an der Fudan-Universität und Mitarbeiter mehrerer Institutionen (eingereicht bei arXiv am 3. August 2026) untersuchten, wie künstliche rekurrente neuronale Netze (RNNs) lernen können, kontinuierliche Variablen aufrechtzuerhalten – ein Kennzeichen des Arbeitsgedächtnisses. Traditionelle kontinuierliche Attraktornetzwerke sind fragil und erfordern Feinabstimmung, während beliebte RNNs wie GRUs und LSTMs oft versagen und den kontinuierlichen Raum in diskrete Punkte zerbrechen.

Inspiriert von der Biologie schlugen die Forscher das Rekurrente Divisive Normalization Network (RDNN) vor, das divisive Normalisierung integriert – eine Berechnung, die in kortikalen Schaltkreisen vorkommt. Durch dynamische Systemanalysen an kanonischen Arbeitsgedächtnisaufgaben fanden sie heraus, dass RDNNs zu robusten, hochpräzisen langsamen Mannigfaltigkeiten konvergieren, was bedeutet, dass sie Gedächtniswerte glatt aufrechterhalten können. Sie analysierten auch die Gradientendynamik während des Trainings und zeigten, dass divisive Normalisierung zu aktivitätsabhängiger Gradientenskalierung führt, die den effektiven Rang des Netzwerks komprimiert und die Dynamik auf einen niedrigdimensionalen Unterraum beschränkt, ohne explizite Rangbeschränkungen.

Wichtig ist, dass Ablationsexperimente ergaben, dass subtraktive Inhibition zwar statische Erinnerungen halten kann, aber divisive Normalisierung mathematisch wesentlich ist, um ein 'Manifold-Shattering' zu verhindern, wenn sich Eingaben im Laufe der Zeit ändern. Dies deutet darauf hin, dass divisive Normalisierung nicht nur eine biologische Kuriosität ist, sondern ein Schlüsselmechanismus zum Erlernen kontinuierlicher Repräsentationen.

Warum es wichtig ist

Für Ihr eigenes Gehirn unterstreicht diese Forschung die Bedeutung der Normalisierung neuronaler Aktivität – etwas, das Ihr Gehirn ständig tut – um Informationen stabil zu halten. Es könnte erklären, warum manche Menschen besser darin sind, Konzentration aufrechtzuerhalten oder Details unter Ablenkung abzurufen. Für KI legt es bessere Architekturen für Aufgaben nahe, die kontinuierliches Gedächtnis erfordern, wie Navigation oder Sprachverständnis.

Was Sie tun können

Obwohl Sie die divisive Normalisierung in Ihrem Gehirn nicht direkt manipulieren können, können Sie Ihr Arbeitsgedächtnis mit Übungen trainieren, die das Aufrechterhalten und Aktualisieren von Informationen erfordern, wie Kopfrechnen, das Merken von Sequenzen oder Dual-Task-Training. Üben Sie, sich über längere Zeiträume ohne Unterbrechung auf eine einzelne Aufgabe zu konzentrieren.

Quelle: arXiv q-bio.NC

Neugierig auf Ihr eigenes Gehirn? Machen Sie unseren kostenlosen adaptiven IQ-Test oder versuchen Sie 306 Gehirntrainingsstufen.

Neugierig auf Ihren eigenen IQ?

Machen Sie unseren kostenlosen, wissenschaftlich konzipierten adaptiven Test über 7 kognitive Bereiche. Keine Anmeldung erforderlich.

Kostenlosen Test starten