Los modelos de lenguaje grandes (LLM) son herramientas poderosas para comprender cómo los humanos procesan el lenguaje, pero agregar entrenamiento de lenguaje y visión no siempre hace que sus representaciones textuales sean más humanas. En un nuevo estudio publicado en arXiv, los investigadores Jinzhou Wu, Zhengwu Ma, Jixing Li, Baoping Tang y Zitong Lu compararon LLM y modelos de lenguaje y visión (VLM) estrechamente emparejados para ver si el preentrenamiento multimodal mejora la alineación con la actividad cerebral humana y los movimientos oculares durante la lectura natural.
La investigación
El equipo utilizó un conjunto de datos de respuestas de fMRI de toda la corteza y sacadas sincronizadas de seguimiento ocular de humanos leyendo oraciones naturales. Compararon pares de LLM y VLM que eran idénticos excepto por el historial de entrenamiento multimodal, controlando la entrada visual en línea o la fusión intermodal. Los resultados mostraron que los VLM no tienen una ventaja global y uniforme sobre los LLM en la alineación con las respuestas neuronales y conductuales humanas. En cambio, las representaciones internas del lenguaje en los LLM fueron el factor clave para modelar el procesamiento humano del texto. Sin embargo, cuando las oraciones tenían un contenido semántico visual más fuerte, los VLM mostraron mejoras selectivas, con evidencia convergente de las alineaciones de fMRI y seguimiento ocular.
Por qué es importante
Para cualquiera que sienta curiosidad por su propia cognición, este estudio sugiere que, si bien agregar información visual a veces puede ayudar a los modelos de IA a imitar la lectura humana, el núcleo de la comprensión del lenguaje sigue estando en el lenguaje mismo. Destaca la importancia de estudiar cómo los diferentes tipos de aprendizaje —solo con palabras o con palabras e imágenes— moldean nuestras representaciones mentales. En la práctica, significa que si quieres mejorar tu comprensión lectora, centrarte en las habilidades lingüísticas (como el vocabulario y la gramática) podría ser más efectivo que intentar visualizarlo todo.
Qué puedes hacer
Para agudizar tu procesamiento del lenguaje, prueba actividades que desafíen tus habilidades verbales —como leer textos complejos, aprender palabras nuevas o hacer crucigramas. Estos ejercicios fortalecen las redes del lenguaje en tu cerebro, de manera similar a cómo los LLM se benefician de más entrenamiento lingüístico. Y si tiendes a pensar visualmente, ten en cuenta que podrías tener ventaja al procesar contenido descriptivo y rico en imágenes.
Fuente: arXiv q-bio.NC
¿Curioso sobre tu propio cerebro? Haz nuestro test de CI adaptativo gratuito o prueba 306 niveles de entrenamiento cerebral.
