Большие языковые модели (LLM) не просто запоминают примеры — они активно перестраивают свои внутренние представления, чтобы упростить обучение, согласно новой статье исследователей из Университета Аризоны и Массачусетского технологического института.
Исследование
Хуа-Донг Сюн, Ли Цзи-Ань, Роберт К. Уилсон, Квонджун Ли и Сюэ-Синь Вэй (опубликовано в качестве доклада на конференции COLM 2026) исследовали, почему некоторые задачи легко усваиваются на нескольких примерах (обучение в контексте, ICL), а другие — нет. Они использовали пространство представлений самой модели для определения задач бинарной классификации: каждая задача представляла собой линейное разделение вдоль определенного направления в этом пространстве.
Хотя все задачи были математически одинаково разделимы, успех модели сильно различался в зависимости от направления. Когда модель успешно усваивала задачу, ее внутренние представления смещались — они становились более линейно разделимыми вдоль оси маркировки задачи. Эта реорганизация была причинной: простое усиление активности вдоль этой оси не давало такого же эффекта, показывая, что модель активно переконфигурирует свою геометрию.
Поведенчески ответы модели соответствовали прототипному обучающемуся, использующему эти реорганизованные представления. Это предполагает, что обучение в контексте — это не просто сопоставление с образцом; это динамическое изменение того, как модель «думает» о входных данных.
Почему это важно
Это исследование выявляет фундаментальное ограничение обучения: ваши предварительные знания определяют, что вы можете легко выучить. Так же, как LLM испытывают трудности с задачами, не согласующимися с их предварительно обученной геометрией, людям трудно понять некоторые концепции, потому что наши существующие когнитивные рамки не согласуются с новой информацией. Понимание этого может помочь вам выбрать стратегии обучения, которые работают с естественной структурой вашего мозга.
Например, если вы изучаете новый предмет, связывание его с уже известными концепциями (аналогии, метафоры) может помочь «перестроить» ваши умственные представления, чтобы сделать их более восприимчивыми, подобно тому, как модель изменяет свое внутреннее пространство.
Что вы можете сделать
- Используйте аналогии: Связывайте новую информацию с существующими знаниями, чтобы ее было легче интегрировать.
- Практикуйтесь на разнообразных примерах: Подвергайте себя нескольким случаям концепции, чтобы помочь вашему мозгу сформировать гибкие представления.
- Проверяйте себя: Активное припоминание заставляет ваш мозг перестраивать информацию в соответствии с задачей, улучшая обучение.
Источник: arXiv q-bio.NC
Любопытно узнать о собственном мозге? Пройдите наш бесплатный адаптивный IQ-тест или попробуйте 306 уровней тренировки мозга.