> ## Content Index
> Fetch the complete content index at: https://eclibra.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# Почему ИИ забывает: геометрия второго порядка как ключ к потерям знаний
- URL: https://eclibra.com/ai-model-forgetting-2026/
- Published: 2026-09-07T13:27:21.000Z
- Updated: 2026-09-07T13:27:22.000Z
- Description: Почему модель, которая лучше учит домены, теряет старые навыки? Новая теория arXiv 2606.02398: конфликт живёт в низкоразмерном подпространстве, переподтверждение возвращает математику с 57,66 до 66,04. Тот же паттерн — в организациях.
- Author: Eclibra
- Tags: Инсайты, #mode-5, #hook-paradox, #track-F, #brand-heavy

Модель последовательно обучали на четырёх доменах: код, математика, рассуждения, разговор. Финальный средний балл — лучший за всю серию. А математика в этот момент рухнула с 66,49 до 57,66.

Знание никуда не делось. Весовые векторы на месте. Новые домены просто проложили собственные маршруты — и перекрыли старые.

Ответ на вопрос «почему ИИ забывает» в июне 2026 года получил аккуратную математическую форму. И лечится он дешевле, чем привыкли думать.

Феномен забывания старше больших языковых моделей: его измерил Герман Эббингауз в 1885 году. Но для инженеров проблемой стало катастрофическое забывание — когда одна модель за один прогон учит код, математику и диалог.

📍 **1885** — Психолог Герман Эббингауз измеряет кривую забывания: без повторения память теряет большую часть нового материала за первые сутки. Спустя больше века BCG применит ту же зависимость к корпоративному обучению.

📍 **2023–2025** — Пост-тренировка превращается в конвейер: один прогон, несколько доменов. Практики фиксируют паттерн: качество старого домена проседает после обучения новому. Это принимают как плату за мультидоменность.

📍

**2026-01** — Механизм, а не симптом. arXiv 2601.18699 разбирает катастрофическое забывание при последовательном дообучении на уровне внутренних механизмов сети. 

📍

**2026-02** — Порядок имеет значение. Работа «When Domains Interact» (arXiv 2602.01365) показывает: один и тот же набор доменов даёт разный итог в зависимости от очерёдности обучения. 

```

ХРОНИКА: Забывание в пост-тренировке LLM
─────────────────────────────────────────────────────────────
  1885        2023–25      2026-01     2026-02      2026-06
  🧠          ⚙️           🔬          📐          ◉ СЕЙЧАС
  Кривая      Конвейер     Механизм    Порядок     Теория 2-го порядка

```

От кривой Эббингауза до теории второго порядка — шесть месяцев 2026 года дали четыре работы подряд

📍

**2026-05** — «Гармония в разнообразии». Метод MCPO (arXiv 2605.25443) предлагает контрастную оптимизацию: домены учатся совместно, а не в ущерб друг другу. 

📍

**2026-06** — Точка перелома. arXiv 2606.02398 (исследователи TJU NLP Lab, Tяньцзинь, и Baidu) находит геометрию второго порядка междоменного вмешательства. Переподтверждение ядра возвращает математику с 57,66 до 66,04\. 

🎯

Забывание — не стирание, а перекрытие маршрутов.  
  
Конфликт живёт не по всей сети, а в компактном низкоразмерном подпространстве общих координат.  
  
Лечение дешевле переобучения: короткое переподтверждение плюс точечный откат. 

## Почему знание исчезает: геометрия второго порядка

Градиент — инструмент первого порядка. Он показывает, куда двигаться, чтобы уменьшить ошибку в текущем домене. Он не показывает, как это движение искажает ландшафт соседних доменов. Второй порядок — геометрия: как шаг в новом домене искривляет поверхность функции потерь старого.

Исследователи обучили Qwen3-4B-Thinking-2507 по учебной программе Omni-Thinker: код → математика → рассуждения → разговор. Математика достигла пика 66,49 — и после следующих доменов упала до 57,66\. Для сравнения: специализированная модель, обученная только математике, держится на 66,84.

Разница между первой и второй стратегией — в термине повреждения. Обычный анализ учитывает только то, сколько градиент сдвинул веса. Новый подход считает член второго порядка — ущерб, который обновление наносит прежним решениям, даже если потери текущего домена падают. Ключевой результат: эти повреждения не размазаны по всей сети. Они сосредоточены в низкоразмерном подпространстве координат, общих для доменов.

Проще: домены делят не всю сеть, а узкий набор направлений. Раз конфликт компактен — его можно чинить локально, не переучивая модель целиком.

#### Почему нельзя просто уменьшить шаг обучения?

Меньший шаг замедляет повреждение, но и обучение новых доменов. Кроме того, ущерб зависит не от величины шага, а от того, насколько направления обновлений пересекаются. Даже осторожное дообучение на «незаметных» данных бьёт по общим координатам. 

## Переподтверждение вместо переобучения

Раз конфликт локализован, появляются две стратегии. Первая — переподтверждение: короткое повторное прохождение ядра знаний на малом объёме данных. В эксперименте это вернуло математику с 57,66 до 66,04\. Вторая — откат без дообучения: модель возвращает прежнее поведение на выбранных координатах-прокси конфликта, вообще не меняя веса.

Вместе это дало лучший средний результат серии — 66,39\. По математике починенная версия почти догоняет специализированную (66,04 против 66,84), а по среднему по всем доменам обходит все ранние прогоны серии.

| Подход                  | Математика | Риск для новых доменов   | Стоимость |
| ----------------------- | ---------- | ------------------------ | --------- |
| **Полное переобучение** | ✔ \~66,84  | ✗ риск повторного сдвига | ✗ высокая |
| **Refresh ядра**        | ✔ 66,04    | ✔ минимальный            | ◐ низкая  |
| **Откат без обучения**  | ◐ частично | ✔ защищён                | ✔ нулевая |

Сравнение стратегий восстановления — по данным arXiv 2606.02398, 2026 год

## Та же кривая — в организациях

Здесь инсайт выходит за пределы машинного обучения. BCG прямо использует кривую Эббингауза: то, чему не находят применения, забывается. Без практики сотрудник не вспоминает значительную часть пройденного материала даже через неделю. Организация теряет знание не только из-за увольнений. Новые приоритеты перекрывают старые компетенции — так же, как новый домен перекрывает математику.

Механика интереснее, чем кажется. В обоих случаях информация не стёрта: она есть, но к ней нет доступа. Поэтому и чинить нужно не «заново учить», а переподтверждать. BCG рекомендует возвращать навыки в рабочий ритм, а не отправлять сотрудников на курсы — это и есть org-версия переподтверждения.

## Как заметить конфликт до того, как он съел домен

Проверка геометрии не требует ждать финала прогона. Траектории обновлений первого и второго домена сравнивают ещё в процессе обучения: пересечение направлений — кандидат в конфликтные координаты. Чем больше угловое пересечение, тем выше ожидаемый ущерб для старого поведения.

Авторы выделили подпространство общих координат заранее и проверили его на прокси-примерах из старого домена. Модель не гоняли по всему датасету — только по небольшому набору проблем, которые уже считались «забытыми». Этого хватило, чтобы вернуть математику к 66,04.

Для инженеров это переопределяет мониторинг пост-тренировки. Просадка домена перестаёт быть поводом паниковать и перезапускать конвейер. Это сигнал сделать точечную проверку пересечения направлений — и дальше решать по цифрам, а не по ощущениям.

Есть и граница применимости. Метод опирается на то, что конфликт локализован в малом подпространстве. Если домены пересекаются широко — например, в близких по лексике языковых задачах, — выигрыш от точечной починки меньше. Переподтверждение не отменяет архитектурные решения, оно дополняет их.

Порядок затрат при этом смещается: вместо переобучения всего конвейера — один короткий прогон по ядру. В эксперименте этого хватило, чтобы вернуть домен, а средний результат серии подрос до 66,39.

Главный сдвиг — в отношении к самим весам. Знание больше не выглядит как чёрный ящик, где всё перемешано без разбора. У модели есть топология, и её можно измерять.

## Что это меняет

Для инженера, который ведёт пост-тренировку, практический вывод прост: перед тем как сжигать бюджет на полное переобучение после просадки домена, стоит проверить геометрию конфликта. Если повреждения компактны — хватает переподтверждения или отката.

Пост-тренировка перестаёт быть конвейером, который собирают один раз. Она становится циклом: обучение, замер геометрии, локальная починка. Знание восстанавливается дешевле, чем считалось.

[ Геометрия междоменного вмешательства в пост-тренировке LLM Основная работа: член второго порядка, низкоразмерное подпространство конфликта, переподтверждение и откат без дообучения. arXiv ](https://arxiv.org/abs/2606.02398?ref=eclibra.com) 

Ключевой источник: единственная известная редакции теория, объясняющая забывание геометрически и дающая инструменты восстановления.

[ Гармония в разнообразии: контрастная оптимизация мультидоменных политик Параллельный метод, который учит домены совместно вместо последовательного конвейера. arXiv ](https://arxiv.org/abs/2605.25443?ref=eclibra.com) 

Контекст поля: за месяц до теории появился метод, работающий в той же логике «не в ущерб друг другу».

[ Кривая забывания и обучение организации BCG применяет закономерность Эббингауза к корпоративному обучению: знание без практики исчезает. BCG ](https://www.bcg.com/publications/2021/create-competitive-advantage-with-organizational-learning?ref=eclibra.com) 

Перекрёстный мост: то же явление — потеря доступа к знанию — про организацию, а не про модель.