Startseite · Blog · Forschung

Wie lineare rekurrente neuronale Netze lernen, weißes Rauschen zu integrieren: Eine mathematische Theorie

Wie lineare rekurrente neuronale Netze lernen, weißes Rauschen zu integrieren: Eine mathematische Theorie

Informationen über lange Zeiträume zu bewahren, ist eine grundlegende Herausforderung sowohl für Gehirne als auch für künstliche neuronale Netze. Eine neue Arbeit von Forschern der Harvard University und der Stanford University, die im März 2025 auf arXiv veröffentlicht wurde, entwickelt eine mathematische Theorie darüber, wie lineare rekurrente neuronale Netze (RNNs) lernen, weißes Rauschen zu integrieren – eine Aufgabe, die erfordert, Eingaben über die Zeit festzuhalten.

Was die Forscher taten

Blake Bordelon (Harvard), Jordan Cotler (Harvard), Cengiz Pehlevan (Harvard) und Jacob A. Zavatone-Veth (Harvard und Stanford) trainierten lineare RNNs, um weißes Rauschen zu integrieren, ein Signal, bei dem jeder Zeitschritt unabhängig und zufällig ist. Sie begannen mit kleinen rekurrenten Gewichten und verfolgten, wie sich die Konnektivität des Netzwerks während des gradientenbasierten Lernens entwickelte – dem gleichen Algorithmus, der beim Training moderner KI verwendet wird.

Sie entdeckten, dass die Lerndynamik auf ein niedrigdimensionales System kollabiert, das einen einzelnen „Ausreißer“-Eigenwert der rekurrenten Gewichtsmatrix verfolgt. Dieser Eigenwert wächst während des Trainings und erzeugt eine lange intrinsische Zeitskala, die es dem Netzwerk ermöglicht, Eingaben über viele Zeitschritte zu integrieren. Der Prozess spiegelt genau wider, wie ein kontinuierlicher Attraktor oder Integratormodell persistente Aktivität aufrechterhält.

In einer zweiten Reihe von Experimenten erweiterte das Team die Analyse auf Netzwerke, die einen gedämpften oszillierenden Filter lernen. Hier entwickelt sich ein konjugiertes Paar von Eigenwerten, das oszillierende Dynamiken mit einer bestimmten Frequenz und Abklingrate erzeugt.

Warum dies für Ihr Gehirn wichtig ist

Dieser mathematische Rahmen zeigt einen klaren Weg von anfänglicher zufälliger Konnektivität zu einem hochoptimierten Integrator – einer Schaltung, die Informationen für Sekunden oder länger halten kann. Während die Arbeit künstliche Neuronen untersucht, gelten die Prinzipien wahrscheinlich auch für biologische neuronale Schaltkreise, wie die im präfrontalen Kortex, die das Arbeitsgedächtnis unterstützen. Das Verständnis dieser Dynamiken könnte Kognitionswissenschaftlern helfen, bessere Protokolle für das Gedächtnistraining zu entwickeln und Einzelpersonen dabei zu unterstützen, ihre eigene kognitive Leistung zu optimieren.

Umsetzbare Erkenntnisse

Obwohl Sie die Eigenwerte Ihres Gehirns nicht direkt verändern können, können Sie Ihr Arbeitsgedächtnis durch Übung stärken. Aufgaben, die das Halten und Bearbeiten von Informationen erfordern – wie Kopfrechnen, das Merken von Sequenzen oder N-Back-Spiele – sind dafür bekannt, diese Integratorschaltkreise zu beanspruchen. Selbst einfaches Dual-Task-Training, wie Gehen beim Lösen von Matheaufgaben, kann die Fähigkeit Ihres Gehirns verbessern, Informationen über die Zeit zu halten und zu integrieren.

Quelle: arXiv q-bio.NC

Neugierig auf Ihr eigenes Gehirn? Machen Sie unseren kostenlosen adaptiven IQ-Test oder probieren Sie 306 Gehirntrainingsstufen.

Neugierig auf Ihren eigenen IQ?

Machen Sie unseren kostenlosen, wissenschaftlich konzipierten adaptiven Test über 7 kognitive Bereiche. Keine Anmeldung erforderlich.

Kostenlosen Test starten