Модель последовательно обучали на четырёх доменах: код, математика, рассуждения, разговор. Финальный средний балл — лучший за всю серию. А математика в этот момент рухнула с 66,49 до 57,66.
Знание никуда не делось. Весовые векторы на месте. Новые домены просто проложили собственные маршруты — и перекрыли старые.
Ответ на вопрос «почему ИИ забывает» в июне 2026 года получил аккуратную математическую форму. И лечится он дешевле, чем привыкли думать.
Феномен забывания старше больших языковых моделей: его измерил Герман Эббингауз в 1885 году. Но для инженеров проблемой стало катастрофическое забывание — когда одна модель за один прогон учит код, математику и диалог.
📍 1885 — Психолог Герман Эббингауз измеряет кривую забывания: без повторения память теряет большую часть нового материала за первые сутки. Спустя больше века BCG применит ту же зависимость к корпоративному обучению.
📍 2023–2025 — Пост-тренировка превращается в конвейер: один прогон, несколько доменов. Практики фиксируют паттерн: качество старого домена проседает после обучения новому. Это принимают как плату за мультидоменность.
ХРОНИКА: Забывание в пост-тренировке LLM
─────────────────────────────────────────────────────────────
1885 2023–25 2026-01 2026-02 2026-06
🧠 ⚙️ 🔬 📐 ◉ СЕЙЧАС
Кривая Конвейер Механизм Порядок Теория 2-го порядка
От кривой Эббингауза до теории второго порядка — шесть месяцев 2026 года дали четыре работы подряд
Конфликт живёт не по всей сети, а в компактном низкоразмерном подпространстве общих координат.
Лечение дешевле переобучения: короткое переподтверждение плюс точечный откат.
Почему знание исчезает: геометрия второго порядка
Градиент — инструмент первого порядка. Он показывает, куда двигаться, чтобы уменьшить ошибку в текущем домене. Он не показывает, как это движение искажает ландшафт соседних доменов. Второй порядок — геометрия: как шаг в новом домене искривляет поверхность функции потерь старого.
Исследователи обучили Qwen3-4B-Thinking-2507 по учебной программе Omni-Thinker: код → математика → рассуждения → разговор. Математика достигла пика 66,49 — и после следующих доменов упала до 57,66. Для сравнения: специализированная модель, обученная только математике, держится на 66,84.
Разница между первой и второй стратегией — в термине повреждения. Обычный анализ учитывает только то, сколько градиент сдвинул веса. Новый подход считает член второго порядка — ущерб, который обновление наносит прежним решениям, даже если потери текущего домена падают. Ключевой результат: эти повреждения не размазаны по всей сети. Они сосредоточены в низкоразмерном подпространстве координат, общих для доменов.
Проще: домены делят не всю сеть, а узкий набор направлений. Раз конфликт компактен — его можно чинить локально, не переучивая модель целиком.
Почему нельзя просто уменьшить шаг обучения?
Переподтверждение вместо переобучения
Раз конфликт локализован, появляются две стратегии. Первая — переподтверждение: короткое повторное прохождение ядра знаний на малом объёме данных. В эксперименте это вернуло математику с 57,66 до 66,04. Вторая — откат без дообучения: модель возвращает прежнее поведение на выбранных координатах-прокси конфликта, вообще не меняя веса.
Вместе это дало лучший средний результат серии — 66,39. По математике починенная версия почти догоняет специализированную (66,04 против 66,84), а по среднему по всем доменам обходит все ранние прогоны серии.
| Подход | Математика | Риск для новых доменов | Стоимость |
|---|---|---|---|
| Полное переобучение | ✔ ~66,84 | ✗ риск повторного сдвига | ✗ высокая |
| Refresh ядра | ✔ 66,04 | ✔ минимальный | ◐ низкая |
| Откат без обучения | ◐ частично | ✔ защищён | ✔ нулевая |
Сравнение стратегий восстановления — по данным arXiv 2606.02398, 2026 год
Та же кривая — в организациях
Здесь инсайт выходит за пределы машинного обучения. BCG прямо использует кривую Эббингауза: то, чему не находят применения, забывается. Без практики сотрудник не вспоминает значительную часть пройденного материала даже через неделю. Организация теряет знание не только из-за увольнений. Новые приоритеты перекрывают старые компетенции — так же, как новый домен перекрывает математику.
Механика интереснее, чем кажется. В обоих случаях информация не стёрта: она есть, но к ней нет доступа. Поэтому и чинить нужно не «заново учить», а переподтверждать. BCG рекомендует возвращать навыки в рабочий ритм, а не отправлять сотрудников на курсы — это и есть org-версия переподтверждения.
Как заметить конфликт до того, как он съел домен
Проверка геометрии не требует ждать финала прогона. Траектории обновлений первого и второго домена сравнивают ещё в процессе обучения: пересечение направлений — кандидат в конфликтные координаты. Чем больше угловое пересечение, тем выше ожидаемый ущерб для старого поведения.
Авторы выделили подпространство общих координат заранее и проверили его на прокси-примерах из старого домена. Модель не гоняли по всему датасету — только по небольшому набору проблем, которые уже считались «забытыми». Этого хватило, чтобы вернуть математику к 66,04.
Для инженеров это переопределяет мониторинг пост-тренировки. Просадка домена перестаёт быть поводом паниковать и перезапускать конвейер. Это сигнал сделать точечную проверку пересечения направлений — и дальше решать по цифрам, а не по ощущениям.
Есть и граница применимости. Метод опирается на то, что конфликт локализован в малом подпространстве. Если домены пересекаются широко — например, в близких по лексике языковых задачах, — выигрыш от точечной починки меньше. Переподтверждение не отменяет архитектурные решения, оно дополняет их.
Порядок затрат при этом смещается: вместо переобучения всего конвейера — один короткий прогон по ядру. В эксперименте этого хватило, чтобы вернуть домен, а средний результат серии подрос до 66,39.
Главный сдвиг — в отношении к самим весам. Знание больше не выглядит как чёрный ящик, где всё перемешано без разбора. У модели есть топология, и её можно измерять.
Что это меняет
Для инженера, который ведёт пост-тренировку, практический вывод прост: перед тем как сжигать бюджет на полное переобучение после просадки домена, стоит проверить геометрию конфликта. Если повреждения компактны — хватает переподтверждения или отката.
Пост-тренировка перестаёт быть конвейером, который собирают один раз. Она становится циклом: обучение, замер геометрии, локальная починка. Знание восстанавливается дешевле, чем считалось.
