Инференс распадается на два рынка: префилл и декод больше не дают одной экономики токена
Пока Cursor, ChatGPT и Replit показывают отрицательную маржу на каждый токен, а Gartner прогнозирует 80% ускорителей на инференс, индустрия тихо разъезжается на две отдельные экономики: префилл (compute-bound) и декод (memory-bound). Это не оптимизация — это два разных рынка железа.
Один инференс, две физики
Любой запрос к языковой модели проходит две фазы. Префилл читает запрос, распараллеливается по ядрам GPU и упирается в вычислительную мощность: чем больше батч и длиннее контекст, тем сильнее он упирается в флопсы и ширину памяти ускорителя. Декод генерирует токены по одному, последовательно, и упирается уже не в вычисления, а в память и кэш: каждый шаг читает K/V-кэш предыдущих токенов.
Разные фазы требуют разного железа. Compute-bound префилл выигрывает от батчинга и большого числа ядер; memory-bound декод выигрывает от низкой латентности и специализированной памяти, а не от сырой производительности. Долгое время индустрия мирилась с ней: сервисный слой держал оба пула на одних GPU и просто подбирал точку баланса.
«Prefill/Decode disaggregation» — разделение префилла и декода — была узким приёмом инженеров (vLLM, DistServe, arXiv 2606.17104). В 2026-м она перестала быть приёмом и стала видимой границей между двумя рынками ускорителей.
Экономика: токен в минусе на всех уровнях
Сигналы сошлись за последние три недели.
McKinsey «Frontiers of AI»: Cursor, ChatGPT и Replit работают с отрицательной валовой маржой на каждый токен; чтобы выйти в ноль, стоимость инференса должна упасть в десять раз. Это не про «потратили на маркетинг» — это про сам токен: маржа на токен, а не на подписку, экономически уже отрицательная.
Gartner (август 2026): к концу 2026 года 80% ускорителей в дата-центрах будут предназначены для инференса. Десять лет назад речь шла о вычислениях на обучение; теперь инференс — главный потребитель железа, и это меняет, на чьих GPU считается стоимость.
Radical Ventures (Etched/ElbuTech раунды, сентябрь 2026): в сам инференс-конвейер пошли сотни миллионов долларов на специализированные ускорители — не «универсальные GPU, которые заодно умеют инференс», а железо, заточенное под префилл или под декод.
Архитектура: префилл и декод расцепляются
Если фазы имеют разную физику, их дешевле расцепить. Рынок 2025 года знал disaggregation как зрелый приём: prefill-серверы считали батчами на отдельных GPU, decode-серверы отдавали токены с минимальной латентностью. В 2026-м это стало привычным шаблоном продажи:
- compute-bound prefill — дёшево гнать батч, нужны флопсы и параллельность, «префилл-фермы» на ускорителях;
- memory-bound decode — латентно-критичный, нон-детерминированный по памяти, «декод-пулы» на железе с большой памятью и быстрым K/V-кэшем.
Именно это и есть «два рынка железа»: одинаковых GPU, одинаковой физики, одинаковой маржи больше не существует. Etched и аналоги ускоряют префилл как compute-bound задачу; возможности decode-стадии почти целиком определяются памятью.
Сигнал: что поменялось для инвестора
Из трех сигналов вырос один вывод: инференс больше не считается «одной ценой токена». Для инвестора в железе это значит:
- 80% ускорителей уходят в инференс — поэтому ставки на «инференс-ускорители» системны, а не разовые (Gartner);
- отрицательная маржа токена — не временный демпинг, а структурная экономика: без disaggregation она не сходится даже для лидеров (McKinsey);
- премия — у специализированного железа под фазу, а не у «универсального» (Etched, Radical Ventures, vLLM-поток).
Хук-вопрос: если инференс распадается на два рынка железа, то какой из них ты покупаешь — и почему тот, который видишь на ценнике токена, уже не один?
Дальше — подписка. Кто на самом деле платит за decode-пулы, где в цепочке остаётся маржа после того, как «80% ускорителей ушли в инференс», и почему выигрывают специализированные ускорители, а не «универсальные» GPU. Развернутая карта железных рынков инференса 2026 — для читателей Eclibra.
Префилл и декод: цифры, которые ломают единую цену
В августе 2026 года vLLM опубликовала эталон disaggregated serving для Qwen3.5: 25 000 TPS/GPU на GB200 NVL72 в режиме P/D disaggregation с асинхронным KV-кэшем. При этом заявляется средний TPOT порядка 17 мс — это не «маркетинговые» цифры, а артефакт разделения фаз. Важно не само число, а то, что оно больше не измеряется одним бенчмарком: TPOT (время на токен) и пропускная способность — метрики разных рынков.
- Prefill: 25K TPS — это про батчи. GPU считает флопсы на батч промптов, compute-bound, распараллеливается до бесконечности. Стоимость токена здесь падает при большем батче.
- Decode: 17 мс TPOT — это про латентность. Каждый токен читает K/V-кэш последовательно, memory-bound, латентно-критичный. Стоимость токена здесь определяется не флопсами, а памятью и кэшем.
Ещё один сигнал — arXiv 2607.25498 (DOPS, MICRO 2026): prefill и decode оцениваются теперь не концом-в-конец, а фазово — HPAI4S'26 и IPDPS разводят их по отдельным метрикам, а DOPS переводит диссоциацию из разделения пулов в dynamic operator scheduling.
Глоссарий для русского читателя
Prefill / ПрефиллФаза инференса, которая читает входной промпт, распараллеливается и упирается в вычисления (compute-bound). Выигрывает от батчинга и дешёвых флопсов.Decode / ДекодФаза генерации токенов: последовательная, латентно-критичная, упирается в память и кэш (memory-bound). Не батчится, платит за скорость индивидуального токена.Prefill/decode disaggregation (PD disaggregation)Разделение двух фаз на отдельные пулы или отдельное железо. Из инженерного приёма стало архитектурным стандартом и экономически двумя рынками.Tokens per Second (TPS)Пропускная способность генерации токенов — метрика батч-фазы (prefill).TPOT (Time Per Output Token)Время в миллисекундах на один выходной токен — латентностная метрика фазы decode.K/V-кэш (KV cache)Кэш ключей и значений, специфичный для декода; его размер и пропускная способность определяют стоимость decode-фазы.Disaggregated ServingСхема, где prefill-пул и decode-пул считают и генерируют на разном железе, обмениваясь через транспортный слой.
Карта для инвестора
Для читателя Eclibra (инвесторы, основатели, CTO) важны не сами детали, а раздвоение рынка железа:
| Фаза | Физика | Метрика | Железо | Стоимость |
|---|---|---|---|---|
| Prefill | compute-bound | TPS, параллельность | Батч-ускорители с широкой шиной и GPU-эффективностью | дёшево за токен при батче, топ-энергоёмкость |
| Decode | memory-bound | TPOT, латентность | Специализированные ускорители (Etched, PD-disaggregated vLLM), большой кэш | дорого за латентный токен, доминирует память |
Практический вывод: если ваша стратегия — «инференс растёт, покупаем GPU», у вас уже два разных тикета. Один — на железо, которое считает батчи (prefill), другой — на железо, которое отдаёт токены с малой латентностью (decode). Два рынка, две маржи, два горизонта окупаемости.
Что смотреть дальше
Следите за первым тарифом, который отдельно продаёт префилл и отдельно декод: как только рынок начнёт называть две цены токена, disaggregation станет видимой для бухгалтерии, а не только для железа.