Una nueva investigación del MIT, la Universidad de Nueva York y Stanford revela que algunas imágenes alinean naturalmente cómo los modelos de IA de visión y lenguaje 'ven' el mundo, y esta alineación podría reflejar cómo nuestros propios cerebros combinan los sentidos.
La investigación
Dirigido por Eghbal A. Hosseini, Brian Cheung, Evelina Fedorenko y Alex H. Williams, el equipo utilizó el Algoritmo de Procrustes Generalizado para medir cuánto coincidían diferentes modelos de visión en imágenes individuales. Probaron modelos entrenados en diferentes tareas (por ejemplo, DINOv2, que aprende sin etiquetas, versus modelos supervisados) y compararon sus representaciones internas de cientos de imágenes naturales. Para cada imagen, calcularon la dispersión intra-modal — cuánto diferían los modelos de visión. Luego midieron la convergencia inter-modal: la alineación entre esos modelos de visión y los modelos de lenguaje (como CLIP).
El hallazgo clave: las imágenes con baja dispersión intra-modal (menos interpretaciones) produjeron hasta el doble de alineación inter-modal. Por ejemplo, emparejar DINOv2 con modelos de lenguaje mostró un aumento del doble para imágenes 'fáciles'. Este efecto se mantuvo en múltiples combinaciones de modelos y criterios de selección.
Por qué es importante
Tu cerebro fusiona constantemente lo que ves con lo que oyes o lees. Este estudio sugiere que las redes neuronales — y probablemente los cerebros humanos — convergen más fuertemente en estímulos que tienen una interpretación clara. Ejemplos cotidianos incluyen una foto de un gato (inequívoca) versus una pintura abstracta (muchas interpretaciones). Comprender esto puede ayudar a diseñar ejercicios de entrenamiento cerebral que agudicen la integración inter-modal.
Qué puedes hacer
- Practica describir imágenes simples y claras con palabras para fortalecer las conexiones visión-lenguaje.
- Prueba acertijos que emparejen un estímulo visual con una pista hablada o escrita, como juegos de emparejar imágenes y palabras.
- Al aprender un concepto nuevo, busca ejemplos claros y prototípicos en lugar de ambiguos.
Fuente: arXiv q-bio.NC
¿Curioso sobre tu propio cerebro? Haz nuestro test de CI adaptativo gratuito o prueba 306 niveles de entrenamiento cerebral.
