Один и тот же LLM на одном и том же H100. Разница в пропускной способности — 29%. В деньгах — $15 000 в месяц экономии на каждый миллион ежедневных запросов. Всё решает выбор фреймворка инференса.

🎯
Три вывода

SGLang и LMDeploy — лидеры по сырому throughput: ~16 200 токенов/с на H100 с Llama 3.1 8B. vLLM отстаёт на 29% (12 500 токенов/с), но выигрывает экосистемой и простотой развёртывания.

TensorRT-LLM — король задержки: на 20–40% ниже конкурентов на batch=1, но привязан к NVIDIA и требует экспертной настройки.

Выбор фреймворка зависит от сценария: SGLang для RAG и агентов (RadixAttention даёт 6,4× при повторяющихся префиксах), LMDeploy для квантованных моделей, vLLM для production с широкой совместимостью.

Рынок фреймворков инференса LLM в 2026 году — это не гонка одного победителя. Это портфель решений, каждое со своей архитектурой, компромиссами и зоной оптимального применения. Как мы писали в июле, AI-инфраструктура переходит в runtime-режим — выбор фреймворка становится критическим решением, от которого зависят и операционные расходы, и пользовательский опыт.

Шесть открытых фреймворков доминируют на рынке: vLLM, SGLang, TensorRT-LLM, LMDeploy, TGI и Ollama. Ещё два — Modular MAX и Aphrodite Engine — набирают обороты. Каждый использует разную архитектуру, разные алгоритмы управления памятью и разные стратегии батчеринга. Разница в throughput на одинаковом H100 достигает 29% между лидером и ближайшим конкурентом — и это без учёта специфики нагрузки.

Выбор фреймворка инференса стал стратегическим решением. Для стартапа, запускающего первый AI-продукт, ошибка означает сожжённый бюджет на GPU. Для enterprise-команды — переплату в миллионы долларов в год. Рынок фреймворков созрел — «просто взять vLLM» больше не очевидно правильный ответ.