Como podemos saber o que um grande modelo de linguagem (LLM) realmente faz ao prever a próxima palavra em uma frase? Pesquisadores descobriram que, ao usar IA explicável (XAI) para destacar quais palavras são mais importantes para as previsões, também podem mapear essas explicações na atividade cerebral—sugerindo uma conexão mais profunda entre como máquinas e cérebros processam a linguagem.
A pesquisa
Maryam Rahimi, Mohammad Reza Daliri e Yadollah Yaghoobzadeh, da Iran University of Science and Technology e da University of Tehran, conduziram este estudo. Eles usaram vários LLMs, incluindo uma versão do GPT-2, e aplicaram métodos de atribuição—que medem a contribuição de cada palavra para a previsão do modelo—para gerar 'explicações' para cada palavra de entrada. Em seguida, compararam essas explicações com dados de fMRI de participantes que ouviram histórias narrativas, utilizando conjuntos de dados públicos, como os da Universidade da Califórnia, Berkeley e da Universidade de Princeton.
A equipe descobriu que métodos de atribuição baseados em gradiente, que calculam quão sensível é a previsão a cada palavra, alinharam-se robustamente com a atividade cerebral em uma ampla rede de regiões relacionadas à linguagem. Essas explicações contribuíram com variância única além de características simples de áudio e taxa de palavras, ou seja, capturaram algo extra que as propriedades básicas da fala não conseguiam. Notavelmente, no córtex auditivo inicial—o estágio inicial da audição—essas atribuições superaram as representações internas do modelo, que são tipicamente usadas para medir o alinhamento cerebral.
Usando uma técnica chamada condutância, os pesquisadores estenderam a análise para camadas individuais do modelo. Eles descobriram que as camadas iniciais exibiam maior sensibilidade ao tipo de palavra (por exemplo, substantivos versus verbos) e se alinhavam preferencialmente com regiões auditivas, enquanto as atribuições da camada final eram dominadas por informações posicionais e mostravam amplo alinhamento cortical. Isso sugere que diferentes camadas do modelo usam diferentes tipos de informação, e que o cérebro pode integrar essas informações de uma maneira que corresponde ao cálculo geral do modelo.
Por que isso importa
Esta pesquisa oferece uma nova maneira de interpretar o que os LLMs fazem internamente, o que pode ajudar a melhorar a transparência e a confiança na IA. Também fornece uma ponte entre o processamento de linguagem artificial e humano: ao ver quais explicações se alinham melhor com a atividade cerebral, obtemos insights sobre os cálculos que sustentam a compreensão humana. Para qualquer pessoa curiosa sobre sua própria cognição, isso destaca que a compreensão da linguagem não é um processo único, mas sim em camadas, combinando som, significado e contexto.
O que você pode fazer
Você pode fortalecer seu próprio processamento de linguagem praticando escuta ativa e leitura. Tente prever o que vem a seguir em uma conversa ou história e observe quais palavras têm mais peso. Quebra-cabeças como palavras cruzadas ou jogos de palavras também podem aprimorar a capacidade do seu cérebro de pesar diferentes tipos de informação rapidamente.
Fonte: arXiv q-bio.NC
Curioso sobre o seu cérebro? Faça nosso teste de QI adaptativo gratuito ou experimente 306 níveis de treinamento cerebral.
