Новое исследование показывает, что единый общий фактор интеллекта объясняет гораздо меньшую долю производительности языковых моделей, чем принято считать, — это говорит о том, что машинный интеллект поддаётся интерпретации лишь частично.
Исследование
Исследователи Фаиз Гифари Хазнитрама, Афризал Хасби Азизи и Фаейза Ришад Арди проанализировали 13 251 опубликованную оценку, охватывающую 1 618 языковых моделей и 456 различных текстовых бенчмарков. Используя факторный анализ — метод снижения размерности, заимствованный из психометрики, — они проверили, организована ли производительность ИИ вокруг общего, независимого от предметной области фактора интеллекта, аналогичного флюидному интеллекту у людей.
Набор данных был сверхразреженным: большинство моделей не тестировались на большинстве бенчмарков. Чтобы решить эту проблему, команда триангулировала анализ с помощью различных методов уплотнения данных и импутации. Проявилась устойчивая закономерность: общий фактор интеллекта объяснял 70,8% вариативности производительности моделей при самой щедрой оценке и гораздо меньше в большинстве решений. Бенчмарки со схожим содержанием не обязательно группировались вместе, и фактор g не был обусловлен какой-либо общей темой. Что критически важно, не было найдено доказательств того, что стандартные бенчмарки на «интеллект» хорошо отражают этот фактор.
Почему это важно
Эти выводы ставят под сомнение текущие усилия по определению, выявлению и целенаправленному развитию общего интеллекта как осязаемого конструкта в разработке языковых моделей. Если способности первого порядка частично идиосинкразичны и не идентифицируются на практике, то ориентация на единственную концептуальную способность необоснованна. Для всех, кто интересуется познанием, это перекликается с дебатами в психометрике человека: общий интеллект реален, но не исчерпывает всей картины. Точно так же, как человеческие когнитивные способности представляют собой смесь широких и специфических факторов, производительность машин может зависеть от множества узких навыков, которые не сводятся к одному числу. Это говорит о том, что и человеческий, и машинный интеллект лучше понимать как профили сильных сторон, а не как единый рейтинг.
Что вы можете сделать
Вместо того чтобы зацикливаться на единственной оценке IQ, исследуйте свой когнитивный профиль. Пройдите тесты, измеряющие разные области — память, мышление, вербальные навыки, пространственные способности, — и заметьте, в чём вы особенно сильны. Затем тренируйте эти конкретные области с помощью целенаправленных упражнений. Такой научно обоснованный подход уважает сложность реального интеллекта — будь то в мозге или в машине.
Источник: arXiv q-bio.NC
Любопытно узнать о собственном мозге? Пройдите наш бесплатный адаптивный тест IQ или попробуйте 306 уровней тренировки мозга.