Accueil · Blog · Recherche

Comment la prédiction de mots sur 3 horizons temporels fait émerger la syntaxe dans les réseaux de neurones

Comment la prédiction de mots sur 3 horizons temporels fait émerger la syntaxe dans les réseaux de neurones

Et si le cerveau n'avait pas besoin d'un module grammatical dédié ? Une nouvelle étude de l'Université d'Erlangen-Nuremberg montre que des classes de mots comme les noms, les verbes et les adjectifs peuvent émerger simplement en apprenant à prédire ce qui se passe ensuite dans le langage.

La recherche

Mathis Immertreu et ses collègues ont entraîné un réseau de neurones résiduel profond sur WikiText-103 (103 millions de tokens, vocabulaire de 20 000 mots) en utilisant les représentations successeurs (SRs) — une technique d'apprentissage par renforcement qui prédit la probabilité actualisée des états futurs sur plusieurs horizons temporels. Le réseau prédisait les distributions de mots à trois horizons : court (1-2 mots à l'avance), moyen (3-5 mots à l'avance) et long (6-10 mots à l'avance). Après l'entraînement, les chercheurs ont examiné les représentations internes à l'aide d'un clustering non supervisé.

Ils ont découvert que les noms, verbes et adjectifs formaient des clusters distincts sans aucune supervision linguistique explicite. Les horizons de prédiction courts produisaient l'organisation syntaxique la plus forte (par exemple, noms vs verbes séparés proprement), tandis que les horizons plus longs intégraient davantage d'informations sémantiques, regroupant les mots par sens plutôt que par grammaire. À une résolution plus fine, des sous-catégories émergeaient au sein des classes principales — par exemple, les noms se divisaient en concret vs abstrait, les verbes en action vs état.

Pourquoi c'est important

Cela remet en cause l'idée que le cerveau doit contenir des catégories innées pour les verbes et les noms. Au lieu de cela, les catégories syntaxiques pourraient être un sous-produit naturel de la prédiction du mot suivant dans un flux de parole. L'horizon de prédiction agit comme un bouton de réglage : les horizons plus courts mettent l'accent sur la grammaire locale, les plus longs mélangent le sens. Cela reflète la façon dont les enfants pourraient apprendre le langage — non pas en mémorisant des règles, mais en devenant de meilleurs prédicteurs du prochain mot de leur mère.

Ce que vous pouvez faire

Entraînez votre propre cerveau prédictif en lisant beaucoup et en vous challengant à deviner le mot suivant dans une phrase. Vous pouvez aussi tester vos capacités cognitives avec un test de QI gratuit ou aiguiser vos compétences de prédiction avec des exercices d'entraînement cérébral conçus autour de la reconnaissance de motifs.

Source : arXiv q-bio.NC

Curieux de connaître votre propre cerveau ? Passez notre test de QI adaptatif gratuit ou essayez 306 niveaux d'entraînement cérébral.

Curieux de connaître votre QI ?

Passez notre test adaptatif gratuit, scientifiquement conçu, sur 7 domaines cognitifs. Sans inscription.

Passer le test gratuit