Le cerveau apprend des représentations abstraites d'entrées sensorielles de haute dimension, mais les règles de plasticité qui permettent cet apprentissage sont inconnues. Une nouvelle étude sur le Random Hierarchy Model (RHM) révèle que des règles d'apprentissage local auto-supervisé peuvent égaler l'efficacité de la rétropropagation complète, sans nécessiter de réseau d'erreur symétrique.
La Recherche
Des chercheurs de l'EPFL, dirigés par Ariane Delrocq, Wu S. Zihan, Guillaume Bellec et Wulfram Gerstner, ont testé des algorithmes biologiquement plausibles sur le Random Hierarchy Model (RHM)—un jeu de données artificiel qui imite la structure hiérarchique des données naturelles. Ils ont comparé deux familles de règles d'apprentissage local : la première utilise des signaux de rétroaction directs pour approximer la propagation d'erreur depuis la couche de sortie ; la seconde utilise des objectifs auto-supervisés par couche (contrastifs et non contrastifs).
Les résultats ont montré que toutes les règles du premier type échouaient sur les tâches RHM en raison de l'absence de non-linéarités spécifiques à l'entrée ('masquage') présentes dans la rétropropagation. Cependant, les algorithmes du second type ont appris avec succès la structure hiérarchique cachée, atteignant une efficacité de données comparable à la rétropropagation supervisée. Notamment, ces règles sont compatibles avec les mécanismes de plasticité synaptique connus dans le cerveau.
Pourquoi C'est Important
Cette étude suggère que le cerveau pourrait utiliser des règles d'apprentissage local auto-supervisé pour extraire des caractéristiques hiérarchiques complexes des entrées sensorielles sans recourir à des signaux d'erreur globaux. Pour quiconque s'intéresse à sa propre cognition, cela signifie que votre cerveau construit probablement des représentations abstraites efficacement en utilisant des règles de plasticité locale—ce qui pourrait éclairer des méthodes d'entraînement exploitant les principes de l'apprentissage auto-supervisé.
Ce Que Vous Pouvez Faire
Vous pouvez appliquer cette idée en vous engageant dans des tâches qui exigent une reconnaissance de motifs hiérarchiques, comme l'apprentissage d'une nouvelle langue, jouer à des jeux de stratégie ou pratiquer un instrument de musique—des activités qui favorisent l'apprentissage local auto-supervisé dans votre cerveau.
Source : arXiv q-bio.NC
Curieux de votre propre cerveau ? Passez notre test de QI adaptatif gratuit ou essayez 306 niveaux d'entraînement cérébral.
