> ## Content Index
> Fetch the complete content index at: https://eclibra.com/llms.txt
> Use this file to discover other available public pages before exploring further.

# Почему инференс теперь две отдельные индустрии
- URL: https://eclibra.com/prefill-decode-disaggregation-2026/
- Published: 2026-09-14T21:15:43.000Z
- Updated: 2026-09-14T21:15:44.000Z
- Description: Инференс распадается на две экономики: compute-bound префилл и memory-bound декод. Почему отрицательная маржа токена у Cursor и ChatGPT — структурная, а не маркетинговая, и какой рынок железа растёт по-настоящему.
- Author: Eclibra
- Tags: Инсайты, #mode-5, #hook-question, #track-F

# Инференс распадается на два рынка: префилл и декод больше не дают одной экономики токена

Пока Cursor, ChatGPT и Replit показывают отрицательную маржу на каждый токен, а Gartner прогнозирует 80% ускорителей на инференс, индустрия тихо разъезжается на две отдельные экономики: префилл (compute-bound) и декод (memory-bound). Это не оптимизация — это два разных рынка железа.

## Один инференс, две физики

Любой запрос к языковой модели проходит две фазы. **Префилл** читает запрос, распараллеливается по ядрам GPU и упирается в вычислительную мощность: чем больше батч и длиннее контекст, тем сильнее он упирается в флопсы и ширину памяти ускорителя. **Декод** генерирует токены по одному, последовательно, и упирается уже не в вычисления, а в память и кэш: каждый шаг читает K/V-кэш предыдущих токенов.

Разные фазы требуют разного железа. Compute-bound префилл выигрывает от батчинга и большого числа ядер; memory-bound декод выигрывает от низкой латентности и специализированной памяти, а не от сырой производительности. Долгое время индустрия мирилась с ней: сервисный слой держал оба пула на одних GPU и просто подбирал точку баланса.

> «Prefill/Decode disaggregation» — разделение префилла и декода — была узким приёмом инженеров (vLLM, DistServe, arXiv 2606.17104). В 2026-м она перестала быть приёмом и стала видимой границей между двумя рынками ускорителей.

## Экономика: токен в минусе на всех уровнях

Сигналы сошлись за последние три недели.

**McKinsey «Frontiers of AI»:** Cursor, ChatGPT и Replit работают с отрицательной валовой маржой на каждый токен; чтобы выйти в ноль, стоимость инференса должна упасть в десять раз. Это не про «потратили на маркетинг» — это про сам токен: маржа *на токен*, а не на подписку, экономически уже отрицательная.

**Gartner (август 2026):** к концу 2026 года 80% ускорителей в дата-центрах будут предназначены для инференса. Десять лет назад речь шла о вычислениях на обучение; теперь инференс — главный потребитель железа, и это меняет, на чьих GPU считается стоимость.

**Radical Ventures (Etched/ElbuTech раунды, сентябрь 2026):** в сам инференс-конвейер пошли сотни миллионов долларов на специализированные ускорители — не «универсальные GPU, которые заодно умеют инференс», а железо, заточенное под префилл или под декод.

## Архитектура: префилл и декод расцепляются

Если фазы имеют разную физику, их дешевле расцепить. Рынок 2025 года знал disaggregation как зрелый приём: prefill-серверы считали батчами на отдельных GPU, decode-серверы отдавали токены с минимальной латентностью. В 2026-м это стало привычным шаблоном продажи:

- **compute-bound prefill** — дёшево гнать батч, нужны флопсы и параллельность, «префилл-фермы» на ускорителях;
- **memory-bound decode** — латентно-критичный, нон-детерминированный по памяти, «декод-пулы» на железе с большой памятью и быстрым K/V-кэшем.

Именно это и есть «два рынка железа»: одинаковых GPU, одинаковой физики, одинаковой маржи больше не существует. Etched и аналоги ускоряют префилл как compute-bound задачу; возможности decode-стадии почти целиком определяются памятью.

## Сигнал: что поменялось для инвестора

Из трех сигналов вырос один вывод: **инференс больше не считается «одной ценой токена»**. Для инвестора в железе это значит:

- 80% ускорителей уходят в инференс — поэтому ставки на «инференс-ускорители» системны, а не разовые (Gartner);
- отрицательная маржа токена — не временный демпинг, а структурная экономика: без disaggregation она не сходится даже для лидеров (McKinsey);
- премия — у специализированного железа под фазу, а не у «универсального» (Etched, Radical Ventures, vLLM-поток).

> Хук-вопрос: если инференс распадается на два рынка железа, то какой из них ты покупаешь — и почему тот, который видишь на ценнике токена, уже не один?

Дальше — подписка. Кто на самом деле платит за decode-пулы, где в цепочке остаётся маржа после того, как «80% ускорителей ушли в инференс», и почему выигрывают специализированные ускорители, а не «универсальные» GPU. Развернутая карта железных рынков инференса 2026 — для читателей Eclibra.

[Подписаться](#)

## Префилл и декод: цифры, которые ломают единую цену

В августе 2026 года vLLM опубликовала эталон disaggregated serving для Qwen3.5: **25 000 TPS/GPU** на GB200 NVL72 в режиме P/D disaggregation с асинхронным KV-кэшем. При этом заявляется средний TPOT порядка 17 мс — это не «маркетинговые» цифры, а артефакт разделения фаз. Важно не само число, а то, что оно больше не измеряется одним бенчмарком: TPOT (время на токен) и пропускная способность — метрики разных рынков.

- **Prefill:** 25K TPS — это про батчи. GPU считает флопсы на батч промптов, compute-bound, распараллеливается до бесконечности. Стоимость токена здесь падает при большем батче.
- **Decode:** 17 мс TPOT — это про латентность. Каждый токен читает K/V-кэш последовательно, memory-bound, латентно-критичный. Стоимость токена здесь определяется не флопсами, а памятью и кэшем.

Ещё один сигнал — arXiv 2607.25498 (DOPS, MICRO 2026): prefill и decode оцениваются теперь не концом-в-конец, а фазово — HPAI4S'26 и IPDPS разводят их по отдельным метрикам, а DOPS переводит диссоциацию из разделения пулов в dynamic operator scheduling.

## Глоссарий для русского читателя

**Prefill / Префилл**Фаза инференса, которая читает входной промпт, распараллеливается и упирается в вычисления (compute-bound). Выигрывает от батчинга и дешёвых флопсов.**Decode / Декод**Фаза генерации токенов: последовательная, латентно-критичная, упирается в память и кэш (memory-bound). Не батчится, платит за скорость индивидуального токена.**Prefill/decode disaggregation (PD disaggregation)**Разделение двух фаз на отдельные пулы или отдельное железо. Из инженерного приёма стало архитектурным стандартом и экономически двумя рынками.**Tokens per Second (TPS)**Пропускная способность генерации токенов — метрика батч-фазы (prefill).**TPOT (Time Per Output Token)**Время в миллисекундах на один выходной токен — латентностная метрика фазы decode.**K/V-кэш (KV cache)**Кэш ключей и значений, специфичный для декода; его размер и пропускная способность определяют стоимость decode-фазы.**Disaggregated Serving**Схема, где prefill-пул и decode-пул считают и генерируют на разном железе, обмениваясь через транспортный слой.

## Карта для инвестора

Для читателя Eclibra (инвесторы, основатели, CTO) важны не сами детали, а раздвоение рынка железа:

| Фаза    | Физика        | Метрика             | Железо                                                                     | Стоимость                                    |
| ------- | ------------- | ------------------- | -------------------------------------------------------------------------- | -------------------------------------------- |
| Prefill | compute-bound | TPS, параллельность | Батч-ускорители с широкой шиной и GPU-эффективностью                       | дёшево за токен при батче, топ-энергоёмкость |
| Decode  | memory-bound  | TPOT, латентность   | Специализированные ускорители (Etched, PD-disaggregated vLLM), большой кэш | дорого за латентный токен, доминирует память |

**Практический вывод:** если ваша стратегия — «инференс растёт, покупаем GPU», у вас уже два разных тикета. Один — на железо, которое считает батчи (prefill), другой — на железо, которое отдаёт токены с малой латентностью (decode). Два рынка, две маржи, два горизонта окупаемости.

## Что смотреть дальше

Следите за первым тарифом, который отдельно продаёт префилл и отдельно декод: как только рынок начнёт называть две цены токена, disaggregation станет видимой для бухгалтерии, а не только для железа.

## Источники

[ The Future of AI Inference Radical Ventures: почему инференс становится крупнейшим вычислительным рынком, где 80% дата-центровых ускорителей уйдут на инференс (Gartner), и почему физика — главный барьер. Radical Ventures ](https://radical.vc/the-future-of-ai-inference-2?ref=eclibra.com) 

Основной источник экономического тезиса: маржа токена и сдвиг 80% ускорителей на инференс.

[ Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators HPAI4S'26: фазово-зависимая оценка — GPU сильны в compute-bound префилле, декод упирается в память и латентность (TPOT). arXiv 2606.17104 (HPAI4S'26 / IPDPS) ](https://arxiv.org/abs/2606.17104?ref=eclibra.com) 

Подтверждает раздвоение физики фаз: две метрики, два рынка.

[ Beyond Prefill-Decode Disaggregation (DOPS) MICRO 2026: диссоциация prefill/decode сама по себе недостаточна — нужен dynamic operator scheduling под гетерогенное железо. arXiv 2607.25498 (MICRO 2026) ](https://arxiv.org/abs/2607.25498?ref=eclibra.com) 

Следующий шаг после разделения фаз: операторный планировщик, а не только два пула.

[ Qwen3.5: 25K TPS disaggregated serving на GB200 vLLM-бенчмарк августа 2026: 25 000 TPS/GPU и фазовые оптимизации (GDN-prefill, NVFP4, асинхронный KV-кэш) как артефакт disaggregation. vLLM Project Blog ](https://github.com/vllm-project/vllm-project.github.io/blob/main/%5Fposts/2026-08-06-qwen35-25k-tps.md?ref=eclibra.com) 

Конкретные цифры фазового бенчмарка префилла и декода.