Нове дослідження виявляє, що єдиний загальний фактор інтелекту пояснює значно меншу частку продуктивності мовних моделей, ніж зазвичай вважається, припускаючи, що машинний інтелект піддається лише частковій інтерпретації.
Дослідження
Дослідники Фаїз Гіфарі Хазнітрама, Афрізал Хасбі Азізі та Фаейза Рішад Арді проаналізували 13 251 опубліковану оцінку, що охоплює 1 618 мовних моделей та 456 різних текстових бенчмарків. Використовуючи факторний аналіз — метод зниження розмірності, запозичений з психометрії, — вони перевірили, чи організована продуктивність ШІ навколо загального, незалежного від домену фактора інтелекту, подібного до флюїдного інтелекту в людей.
Набір даних був надзвичайно розрідженим, тобто більшість моделей не тестувалися на більшості бенчмарків. Щоб вирішити це, команда тріангулювала свій аналіз за допомогою різних методів ущільнення даних та імпутації. Виявився стійкий патерн: загальний фактор інтелекту пояснював 70,8% варіації продуктивності моделей за найщедрішою оцінкою і набагато менше в більшості рішень. Бенчмарки зі схожим змістом не обов'язково групувалися разом, і фактор g не домінував за жодною спільною темою. Критично важливо, що не було доказів того, що стандартні бенчмарки «інтелекту» добре відображають цей фактор.
Чому це важливо
Ці висновки ставлять під сумнів поточні зусилля з визначення, ідентифікації та цілеспрямування загального інтелекту як відчутного конструкту в розробці мовних моделей. Якщо здібності першого порядку частково ідіосинкратичні й не ідентифікуються на практиці, то орієнтація на єдину концептуальну здатність не має підґрунтя. Для всіх, хто цікавиться пізнанням, це віддзеркалює дебати в людській психометрії: загальний інтелект реальний, але це не вся історія. Так само як людські когнітивні здібності є сумішшю широких і специфічних факторів, машинна продуктивність може залежати від багатьох вузьких навичок, які не зводяться до одного числа. Це свідчить, що як людський, так і машинний інтелект краще розуміти як профілі сильних сторін, а не як єдиний рейтинг.
Що ви можете зробити
Замість того щоб зациклюватися на єдиному показнику IQ, дослідіть свій когнітивний профіль. Пройдіть тести, що вимірюють різні домени — пам'ять, мислення, вербальні навички, просторові здібності — і зверніть увагу, у чому ви переважаєте. Потім тренуйте ці конкретні сфери цілеспрямованими вправами. Цей заснований на доказах підхід поважає складність справжнього інтелекту, чи то в мозку, чи то в машинах.
Джерело: arXiv q-bio.NC
Цікаво дізнатися про власний мозок? Пройдіть наш безкоштовний адаптивний тест IQ або спробуйте 306 рівнів тренування мозку.