Инференс распадается на два рынка: префилл и декод больше не дают одной экономики токена

Пока Cursor, ChatGPT и Replit показывают отрицательную маржу на каждый токен, а Gartner прогнозирует 80% ускорителей на инференс, индустрия тихо разъезжается на две отдельные экономики: префилл (compute-bound) и декод (memory-bound). Это не оптимизация — это два разных рынка железа.

Один инференс, две физики

Любой запрос к языковой модели проходит две фазы. Префилл читает запрос, распараллеливается по ядрам GPU и упирается в вычислительную мощность: чем больше батч и длиннее контекст, тем сильнее он упирается в флопсы и ширину памяти ускорителя. Декод генерирует токены по одному, последовательно, и упирается уже не в вычисления, а в память и кэш: каждый шаг читает K/V-кэш предыдущих токенов.

Разные фазы требуют разного железа. Compute-bound префилл выигрывает от батчинга и большого числа ядер; memory-bound декод выигрывает от низкой латентности и специализированной памяти, а не от сырой производительности. Долгое время индустрия мирилась с ней: сервисный слой держал оба пула на одних GPU и просто подбирал точку баланса.

«Prefill/Decode disaggregation» — разделение префилла и декода — была узким приёмом инженеров (vLLM, DistServe, arXiv 2606.17104). В 2026-м она перестала быть приёмом и стала видимой границей между двумя рынками ускорителей.