Apprendre à maintenir des informations sur de longues périodes est un défi fondamental pour le cerveau et les réseaux de neurones artificiels. Un nouvel article de chercheurs de l'Université Harvard et de l'Université Stanford, publié sur arXiv en mars 2025, construit une théorie mathématique de la façon dont les réseaux de neurones récurrents linéaires (RNN) apprennent à intégrer le bruit blanc — une tâche qui nécessite de conserver les entrées au fil du temps.
Ce que les chercheurs ont fait
Blake Bordelon (Harvard), Jordan Cotler (Harvard), Cengiz Pehlevan (Harvard) et Jacob A. Zavatone-Veth (Harvard et Stanford) ont entraîné des RNN linéaires à intégrer du bruit blanc, un signal où chaque pas de temps est indépendant et aléatoire. Ils ont commencé avec de petits poids récurrents et ont suivi l'évolution de la connectivité du réseau pendant l'apprentissage par gradient — le même algorithme utilisé dans l'entraînement de l'IA moderne.
Ils ont découvert que la dynamique d'apprentissage se réduit à un système de faible dimension suivant une seule « valeur propre aberrante » de la matrice des poids récurrents. Cette valeur propre croît au cours de l'entraînement, créant une échelle de temps intrinsèque longue qui permet au réseau d'intégrer les entrées sur de nombreux pas de temps. Le processus reflète précisément le fonctionnement d'un modèle d'attracteur continu ou d'intégrateur qui maintient une activité persistante.
Dans un deuxième ensemble d'expériences, l'équipe a étendu l'analyse à des réseaux apprenant un filtre oscillatoire amorti. Ici, une paire conjuguée de valeurs propres évolue, produisant une dynamique oscillatoire avec une fréquence et un taux de décroissance spécifiques.
Pourquoi c'est important pour votre cerveau
Ce cadre mathématique montre un chemin clair d'une connectivité aléatoire initiale à un intégrateur hautement optimisé — un circuit qui peut retenir des informations pendant des secondes ou plus. Bien que l'article étudie des neurones artificiels, les principes s'appliquent probablement aux circuits neuronaux biologiques, comme ceux du cortex préfrontal qui soutiennent la mémoire de travail. Comprendre ces dynamiques pourrait aider les scientifiques cognitivistes à concevoir de meilleurs protocoles d'entraînement de la mémoire et aider les individus à optimiser leurs propres performances cognitives.
À retenir
Bien que vous ne puissiez pas modifier directement les valeurs propres de votre cerveau, vous pouvez renforcer votre mémoire de travail par la pratique. Les tâches qui nécessitent de maintenir et de manipuler des informations — comme le calcul mental, la mémorisation de séquences ou les jeux de type n-back — sont connues pour solliciter ces circuits intégrateurs. Même un simple entraînement en double tâche, comme marcher tout en résolvant des problèmes mathématiques, peut améliorer la capacité de votre cerveau à maintenir et à intégrer des informations au fil du temps.
Source : arXiv q-bio.NC
Curieux de connaître votre propre cerveau ? Passez notre test de QI adaptatif gratuit ou essayez 306 niveaux d'entraînement cérébral.
