10× быстрее загрузка моделей. Менее 2 секунд на hotswap (горячую замену модели). 100+ LLM на одной видеокарте.
FlashTensors: скорость загрузки LLM
Сравнение с safetensors на NVIDIA A100. 10-кратное ускорение cold start при последовательной загрузке моделей. · GitHub, 2026
Каждый, кто запускал LLM в продакшене, знает это чувство. Модель выбрана, сервер инференса настроен, GPU ждёт. И тут начинается загрузка весов — минуты, в течение которых дорогой ускоритель простаивает, а пользователи видят тайм-аут.
Проблема называется cold start (холодный старт — время первого отклика после простоя). И чем больше моделей вы хотите держать на одной карте, тем больнее она бьёт по карману.
FlashTensors — open-source библиотека, которая переворачивает подход к загрузке. Вместо safetensors — прямой стриминг с NVMe-накопителя в VRAM. Вместо минут — секунды. Вместо 2–3 моделей на GPU — сто.
Как устроен FlashTensors
Традиционный пайплайн загрузки выглядит так: SSD → CPU RAM → GPU VRAM. Три шага. Два промежуточных буфера. И каждый добавляет задержку (latency).
FlashTensors делает иначе. Данные читаются напрямую с NVMe-диска в видеопамять — большими чанками по 64 МБ, минуя оперативную память. Никаких лишних копирований.
Архитектура основана на наработках ServerlessLLM — исследовательского проекта, опубликованного на OSDI, крупнейшей конференции по операционным системам. Код распространяется под лицензией Apache 2.0, так что любой желающий может развернуть его у себя.
Ключевой трюк — предварительное выделение пула памяти (memory pool) внутри VRAM. Библиотека резервирует фиксированный объём памяти и управляет им как собственной кэш-системой LRU. Когда приходит запрос на новую модель, FlashTensors проверяет, есть ли она уже в VRAM. Если нет — вытесняет самую старую и загружает новую. За 2 секунды.
В тестах на DGX Spark с 128 ГБ унифицированной памяти библиотека продемонстрировала 10-кратное ускорение cold start против safetensors и нативного загрузчика PyTorch.
Почему это важно
Serverless inference — одна из самых горячих тем в AI-инфраструктуре 2026 года. Modal, Replicate, Baseten, Fireworks AI — все строят платформы, где модели загружаются по запросу, а пользователь платит только за инференс, не за простой GPU.
Но serverless бессмыслен, если cold start длится минуту. Именно это удерживает многих от перехода с dedicated-инстансов.
FlashTensors снимает ключевое ограничение. Если модель можно загрузить за секунды, экономика serverless становится убедительной даже для нагрузок, чувствительных к задержкам (latency-sensitive workloads).
На одной H100-80GB библиотека позволяет держать в «горячем» резерве до десятка моделей 7–13B и оперативно подгружать остальные из пула в 100+ штук. Для типичного AI-стартапа это означает сокращение затрат на GPU-инфраструктуру в 5–10 раз.
Состояние проекта
Релиз состоялся в июле 2026 года на GitHub. Автор — leonheuler. Библиотека поддерживает интеграцию с vLLM, CLI для быстрого тестирования и Python SDK.
В дорожной карте: Docker-образ, встроенный сервер инференса (inference server), поддержка SGLang, LlamaCPP и Ollama, а также нативная интеграция с Dynamo.
Проект находится на ранней стадии — в репозитории менее 50 звезд. Но подход, который он реализует, уже используют коммерческие продукты: BlitzScale (OSDI 2025) и Aegaeon (SOSP 2025) построены на той же идее прямого стриминга в VRAM.
Что дальше
FlashTensors — не единичная утилита, а симптом более крупного сдвига. Инфраструктура инференса перестаёт быть вопросом «сколько GPU у вас есть». Она становится вопросом «как эффективно вы используете то, что есть».
Прямой стриминг, разделяемая память CPU/GPU, интеллектуальное кэширование — эти техники превращают одну H100 в пул из сотни моделей. Для рынка, где дефицит GPU остаётся главным узким местом AI-индустрии, это не оптимизация. Это новый способ думать о ёмкости.
