Насколько далеко в будущее обучается прогнозировать модель, определяет, изучает ли она полезные закономерности или только поверхностные детали, согласно новому исследованию ученых из Техниона – Израильского технологического института.
Исследование
В статье «Предсказательный горизонт формирует представления в обучении с предсказанием» Авив Рацон и Омри Барак исследовали, почему некоторые прогностические модели развивают структурированные, подобные миру представления, а другие — нет. Они сосредоточились на ключевом компоненте обучающей цели: горизонте прогнозирования — временном шаге или количестве шагов вперед, которое модель должна предсказать.
Исследователи использовали минимальную установку, чтобы сначала теоретически и эмпирически показать, что увеличение горизонта прогнозирования меняет эффективную структуру задачи обучения. Они показали, что неявные смещения модели в сочетании с этим структурным изменением позволяют ей восстановить скрытую геометрию задачи. Другими словами, при прогнозировании на более дальнюю перспективу модель вынуждена улавливать лежащую в основе динамику, а не просто имитировать недавние наблюдения.
Затем они распространили эти выводы на нелинейные архитектуры и более сложные наборы данных, наблюдая аналогичные явления. Результаты дают принципиальное объяснение того, когда и почему в обучении с предсказанием возникают структурированные представления.
Почему это важно
Это исследование актуально не только для искусственного интеллекта — оно отражает то, как учатся наш мозг. Наш мозг постоянно делает прогнозы: от предвосхищения следующего слова в предложении до предвидения результата физического действия. Это исследование предполагает, что горизонт наших прогнозов — насколько далеко мы заглядываем вперед — может влиять на то, насколько глубоко мы обрабатываем информацию. Если вы хотите построить надежную ментальную модель системы, тренировка прогнозирования на более далекую перспективу (например, рассмотрение долгосрочных последствий) может помочь уловить ее скрытую структуру.
Что вы можете сделать
Чтобы применить это понимание к собственному познанию, попробуйте расширить свое окно прогнозирования. Изучая новую тему, спрашивайте не только, что произойдет дальше, но и что произойдет через неделю или год. В разговорах старайтесь предугадывать будущие ответы собеседника. Практикуйте прогнозирование исходов сложных систем, таких как экономика или климат, а затем оценивайте свои прогнозы. Это может отточить вашу способность замечать закономерности и строить более точные ментальные модели.
Источник: arXiv q-bio.NC
Интересует собственный мозг? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.