OpenRelay и сеть доставки инференса: GPU по публичному прайс-листу

$2,60 в час — столько стоит H100 SXM на 80 гигабайт HBM3. $3,20 — H200 на 141. Игровая RTX 3090 — $0,18. Это не прайс серого брокера, а публичный тариф сети, которая вышла из летнего батча Y Combinator. Тезис статьи уместится в одну строку: инференс перестал быть проектом закупки железа и стал товарной сетью с доставкой.

Сеть называется OpenRelay, до августа — VectorLay. Продукт основатели называют Inference Delivery Network (сеть доставки инференса): логика CDN, только вместо видео между дата-центрами ездят запросы к моделям. Один эндпоинт, совместимый с API OpenAI, внутри — роутинг между ускорителями NVIDIA, TPU, Trainium и AMD.

Как мы писали в августе, инференс уже вытесняет обучение как главный потребитель AI-мощностей: ElastixAI собрала стойку для вывода моделей на FPGA — та же проблема, решённая со стороны железа. OpenRelay решает её со стороны маршрутизации. Подходы соревнуются за один бюджет.

Прайс-лист как манифест

Открытый тариф — не маркетинговая деталь, а декларация позиции. Почасовой биллинг без резерваций, без квот и без годовых коммитов против стандартной для гиперсейлеров схемы «забронируй кластер за три месяца до запуска проекта». Для команд с рваным профилем нагрузки разница между этими двумя моделями — это разница между счётом за простой и счётом за работу.

Анатомия сети доставки

Архитектурно продукт состоит из двух слоёв. Нижний — распределённое GPU-облако: собственные мощности плюс подключённые поставщики, от дата-центров до зарезервированных флотов, которые простаивают. Верхний — роутер: рабочая нагрузка приходит на единственный адрес, система выбирает, где её исполнить дешевле и быстрее, при сбое узла переключает трафик. Разработчик меняет одну строку — базовый URL в существующей интеграции.

Пришлите нам нагрузку — мы снизим ваши затраты до 20%, прогоняя её через нашу сеть и подбирая лучший доступный ускоритель среди облаков, а назад отдадим единый эндпоинт.— Prashant Patel и Jaden Wang, основатели OpenRelay, пост о запуске в Y Combinator

Формула «до 20%» выглядит скромно на фоне описания компании в LinkedIn, где фигурирует экономия «до 90% против AWS, Azure и GCP». Обе цифры принадлежат самой компании, и обе требуют оговорок.

Экономический фон объясняет, почему категория вообще возникла. По отраслевым оценкам, инференс даёт 80–90% совокупной стоимости владения производственной AI-системой: обучение платят однажды, вывод моделей оплачивается каждый день. Gartner ждёт, что в 2026 году 55% расходов на AI-оптимизированную инфраструктуру придётся именно на инференс, к 2029-му — 65%. При этом сроки ожидания H100 у дистрибьюторов доходят до 36–52 недель. Компании резервировали мощности впрок — и часть этого резерва простаивает. Открытая сеть монетизирует именно этот простой.

Команда из Amazon Bedrock и Voltage Park

Основательская пара пришла к одной проблеме с противоположных сторон. Prashant Patel входил в число создателей Amazon Bedrock и довёл функцию импорта кастомных моделей от нуля до многомиллионного ARR; до этого в Voltage Park он управлял инференсом для кластеров свыше 10 000 GPU, а его бессерверный слой выдерживал 10 млн исполнений в месяц. Jaden Wang отвечал в Voltage Park за виртуализацию и HPC, до того работал в TensorDock.

Отступление, которое многое объясняет: в двадцать лет Wang построил дата-центр на половину мегаватта из пустующего складского здания. Человек, который знает цену каждому киловатту и каждой недели простоя, вряд ли изобретал роутер из любопытства.

Компания подняла pre-seed на стандартных условиях YC — $125 тысяч в июне 2026-го. Полный расклад батча инвесторы увидят на Demo Day 10 сентября.

Кто ещё строит этот слой

OpenRelay выходит на поле, где уже плотно. OpenRouter маршрутизирует доступ к самим моделям, Replicate упаковал их запуск в простой API, Together AI держит хостинг открытых весов, Vast.ai и RunPod торгуют GPU-мощностью маркетплейсами. Akamai ещё в ноябре 2025 развернула инференс-вычисления в 17 городах и с тех пор расширяет программу. Отдельная ставка — Zero Latency с её «CDN для AI»: три краевые площадки в Калифорнии и Флориде, планы удвоить сеть до конца года.

Различие — в уровне абстракции. Перечисленные игроки роутят либо между моделями, либо между провайдерами одного класса карт. IDN претендует на слой глубже: выбор между архитектурами ускорителей — GPU против TPU против Trainium — внутри одного запроса. Если эта претензия подтвердится бенчмарками, нейтральный слой станет заметно дороже для обхода.

Источники: openrelay.inc, launch-пост Y Combinator, 2026

Что это значит для CTO

IDN-подход оправдан там, где профиль нагрузки рваный: пакетная обработка, ночные очереди, мультимодельный портфель, где часть задач тянет маленькую карту, а часть — флагманскую. Экономия 15–20% на инфраструктуре инференса для стартапа, который тратит на неё треть бюджета, — это не округление, а лишние месяцы взлётной полосы.

Грубая арифметика на типовой конфигурации. Приложение выдаёт 10 млн токенов в день на модели среднего размера. Вариант первый: управляемый API по рыночному тарифу — порядка $1800 в месяц. Вариант второй: аренда A100 в спотовом сегменте открытой сети за $0,80 в час — около $580 за тот же объём при круглосуточной загрузке. Разница — $1200 ежемесячно с одной рабочей нагрузки; у команды с десятком таких нагрузок это годовой бюджет ещё двух инженеров. Цифры приводятся в материалах провайдера Spheron и, как любые цифры провайдера, требуют собственной проверки — но порядок разрыва подтверждается и независимыми обзорами стоимости стеков инференса.

Противоположный случай тоже очевиден. Жёсткие требования к локализации данных, латентность реального времени, самые крупные модели со специфическими требованиями к памяти — всё это пока территория выделенных кластеров у крупного облака с договором и SLA. Слой маршрутизации добавляет и новую зависимость: тарифы нейтрального оператора никто не регулирует.

Переживёт ли нейтральный слой маршрутизации своё детство?

Сценарии развития