Сервинг-стек написал агент: 2,3× goodput на четырёх AMD MI300A и цена подхода

Четыре ускорителя AMD MI300A. Модель на 397 миллиардов параметров. И сервинг-стек, который никто из людей не писал — его собрал агент.

Цифра, которую приводит команда из University of Washington, выглядит как строчка из релиза: в 2,3 раза больше goodput (полезной пропускной способности), чем у вручную настроенного SGLang. На Llama-3.1-8B система сравнялась с vLLM и SGLang.

Скорость тут вторична. Важнее, кто теперь пишет код, на котором крутится инференс.

Годами инференс строили как любую критическую инфраструктуру: один универсальный рантайм, настроенный вручную за многие инженерные годы. Он закрывал массовые сценарии.

Исследователи из University of Washington поставили противоположную ставку: стек под каждую цель пишет агент. Систему назвали VibeServe — часть фреймворка VibeSys, конструктора, который берёт на вход требования приложения, характеристики нагрузки и возможности железа.

Пока это лабораторная работа: код открыт под лицензией MIT, в репозитории больше полутора тысяч коммитов. Под каждую цель нужно заводить собственную проверку корректности и собственный замер производительности.

Стек, который никто не писал руками

Логика внешнего контура простая: он смотрит на журнал уже проверенных коммитов и решает, какую следующую гипотезу стоит проверить.

Внутренний контур берёт одну задачу, пишет кандидата, проверяет корректность и снимает профиль.