Nemotron 3.5 Lightning и NeMo Switchyard: открытая модель и роутер для дешёвых агентных шагов

4× быстрее вывод и до 30% быстрее завершение агентных задач — при сохранении точности на уровне моделей того же класса. Именно так NVIDIA позиционирует Nemotron 3.5 Lightning, открытую MoE-модель на 30 млрд параметров с всего 3 млрд активных, выпущенную 11 августа 2026 года вместе с открытой библиотекой маршрутизации NeMo Switchyard.

Что именно вышло 11 августа

Nemotron 3.5 Lightning — прямой преемник Nemotron 3 Nano. Архитектура гибридная: слои Mamba-2 чередуются с MoE и отдельными Attention-блоками. Общий размер — около 31,6 млрд параметров, активных на каждый токен — 3,6 млрд. Контекстное окно заявлено до 1 млн токенов. Модель текстовая, reasoning можно включать и выключать с отдельным бюджетом токенов рассуждения.

Лицензия OpenMDW-1.1 допускает коммерческое использование без существенных ограничений. Веса, обучающие данные и рецепты пост-обучения опубликованы. Дистилляция шла от Nemotron 3 Ultra при участии Nemotron Coalition. Модель специально тренировали под популярные агентные harnesses: кодинг, tool-calling (вызов инструментов), multi-turn диалоги и следование инструкциям.

NVIDIA заявляет до 4× скорости генерации токенов по сравнению с peer-моделями того же размера и примерно 30% ускорение завершения агентных задач на бенчмарке PinchBench при сопоставимой точности. Параллельно вышла NeMo Switchyard — открытая библиотека маршрутизации. Она принимает запрос, оценивает доступные модели (открытые, проприетарные, NVIDIA) и отправляет каждый шаг агента туда, где он будет выполнен быстрее, дешевле или достаточно качественно.

В комплекте три готовых роутера: классификатор с session affinity, stage-router, который смотрит на недавнюю активность инструментов, и escalation-router, который начинает с дешёвой модели и повышает уровень при устойчивой сложности.

Зачем это нужно прямо сейчас

Агентные workload’ы тратят большую часть токенов не на «тяжёлое» планирование, а на рутину: git pull, проверка вывода инструмента, форматирование результата, делегирование сабагенту. Отправлять каждый такой шаг в Claude Opus или аналог — дорого и медленно. Lightning занимает нишу быстрого исполнителя, а Switchyard делает разделение труда практичным без переписывания пайплайна.

Это прямой ответ на фрагментацию inference-рынка. Модели множатся, цены различаются на порядки, latency и throughput зависят от железа, квантизации и runtime. Router становится control point — точкой контроля над стоимостью и качеством. NVIDIA отдаёт эту логику в open source, одновременно продвигая собственное железо и оптимизированные стеки.

В тестах компании комбинация frontier-модели для планирования и Lightning для исполнения снижала стоимость выполнения задач примерно до одной трети от режима, когда всё идёт через дорогую модель, при приемлемой потере точности. Для команд, которые уже крутят сотни тысяч или миллионы токенов в день на агентах, это материальная разница в бюджете.

Где уже можно запустить

Веса доступны на Hugging Face и ModelScope. Day-0 поддержка появилась в vLLM и SGLang. Serverless-инференс предлагают DeepInfra, Fireworks, CoreWeave, Nebius, Crusoe и ряд других. 17 августа модель добавили в Amazon SageMaker JumpStart — можно деплоить без самостоятельной настройки serving-инфраструктуры.

Локально модель запускается от Jetson до H100 и DGX Spark. Пост-тренинг через NVIDIA NeMo на собственных данных, tool-scheмах и политиках организации. Компании вроде CrowdStrike, Harvey, CodeRabbit, Fastino Labs и Lila Sciences уже кастомизируют Lightning под cybersecurity, legal, coding, finance и healthcare.

Для regulated-среды остаётся возможность полного on-prem деплоя. Для стартапов и solo-разработчиков достаточно одной современной GPU.

Ограничения и риски

Lightning не претендует на роль общего intelligence-лидера в своём классе. Artificial Analysis ставит его ниже ряда peer-моделей по чистому IQ-индексу. Сила — в скорости, низком числе активных параметров и специализации под agent execution. Качество маршрутизации зависит от того, насколько хорошо роутер знает capabilities моделей и политики организации. В production нужна observability, fallback и мониторинг дрейфа.

Открытость весов и данных снижает vendor lock-in, но не убирает зависимость от экосистемы NVIDIA (NeMo, DGX, Spectrum-X) для максимальной производительности. Конкуренты уже двигаются в сторону multi-model routing (OpenRouter, Concentrate, Snowflake Cortex и другие), поэтому преимущество будет держаться только при реальном превосходстве по latency и стоимости на целевых workload’ах.

Сценарии развития

Сценарий A (базовый, ~50%): Lightning и аналогичные лёгкие модели становятся стандартным execution-слоем. Switchyard-подобные роутеры входят в популярные agent frameworks. Стоимость токена на рутинных шагах падает в 2–4 раза. Frontier-модели остаются для планирования и сложных рассуждений.

Сценарий B (ускоренный, ~30%): Конкуренты (AMD, открытые проекты, китайские лаборатории) быстро выпускают сопоставимые или более дешёвые execution-модели. Рынок роутеров фрагментируется, появляются независимые control-planes. NVIDIA сохраняет долю за счёт интеграции с железом, но маржа на software снижается.

Сценарий C (замедленный, ~20%): Качество маршрутизации и observability оказываются сложнее ожиданий. Многие команды остаются на single-model стеках «на всякий случай». Lightning используется в основном как быстрая локальная модель, а не как часть production multi-model пайплайна.

Технический слой: почему 3 млрд активных параметров важны

Снижение числа активных параметров с десятков миллиардов до 3–3,6 млрд напрямую бьёт по latency и стоимости. Меньше активных весов — меньше данных, которые нужно двигать через память и вычислительные блоки на каждый токен. В сочетании с speculative decoding (multi-token prediction, DFlash, DSpark) и квантизацией NVFP4 это даёт заявленный прирост скорости.

Гибридная архитектура Mamba-2 + MoE + Attention позволяет сохранять длинный контекст (до 1 млн токенов) без пропорционального взрыва вычислительной сложности, характерного для чистого Transformer. Для агентов, которые держат в контексте историю tool-вызовов, логи и промежуточные результаты, это критично.

Пост-тренинг на domain data и tool-scheмах организации проходит быстрее и дешевле именно потому, что модель относительно компактная. Команды могут адаптировать Lightning под свой словарь, политики безопасности и форматы ответов, не поднимая полный fine-tune frontier-модели.

В итоге получается разделение ролей: тяжёлая модель планирует и принимает решения, лёгкая — исполняет рутину. Switchyard делает это разделение операционным, а не архитектурным экспериментом.

Для российских и русскоязычных команд важны два практических момента. Во-первых, модель доступна через публичные serverless-провайдеры и может быть развёрнута on-prem без зависимости от закрытых API. Во-вторых, открытые веса и рецепты позволяют строить собственные evaluation-конвейеры и не полагаться только на заявления вендора. Это снижает риск «чёрного ящика» при выборе execution-слоя для production-агентов.

В совокупности релиз показывает сдвиг фокуса индустрии: от гонки за абсолютным размером модели к инженерии стоимости и latency на каждом шаге агентного цикла. Lightning и Switchyard — один из самых явных сигналов этого сдвига в 2026 году.

Это уже не теория — веса доступны, runtime поддерживают, провайдеры развернули.

Источники

• NVIDIA Blog, 11 августа 2026 — Nemotron 3.5 Lightning and NeMo Switchyard
• Artificial Analysis — анализ запуска и Intelligence Index
• NVIDIA Technical Blog — архитектура и детали маршрутизации
• Объявления Day-0 поддержки vLLM и SGLang
• AWS SageMaker JumpStart, 17 августа 2026