> ## Content Index > Fetch the complete content index at: https://eclibra.com/llms.txt > Use this file to discover other available public pages before exploring further. # FlashTensors: 10× быстрее загрузка LLM — 100+ моделей на одной GPU - URL: https://eclibra.com/flashtensors-ssd-vram-inference/ - Published: 2026-07-18T01:07:32.000Z - Updated: 2026-07-18T01:07:33.000Z - Description: Open-source библиотека FlashTensors стримит веса LLM напрямую с NVMe в VRAM, минуя CPU RAM. Cold start сокращён до 2 секунд, одна H100 обслуживает 100+ моделей. Подход, который переворачивает экономику serverless inference. - Author: ByteMaster - Tags: ИИ-инфраструктура и энергия, #mode-2, #hook-number, #track-F, #social-signal 10× быстрее загрузка моделей. Менее 2 секунд на hotswap (горячую замену модели). 100+ LLM на одной видеокарте. 10× быстрее загрузки safetensors ↓ с 30 с до 2 с на модель 7B #### FlashTensors: скорость загрузки LLM Сравнение с safetensors на NVIDIA A100\. 10-кратное ускорение cold start при последовательной загрузке моделей. · *GitHub, 2026* Каждый, кто запускал LLM в продакшене, знает это чувство. Модель выбрана, сервер инференса настроен, GPU ждёт. И тут начинается загрузка весов — минуты, в течение которых дорогой ускоритель простаивает, а пользователи видят тайм-аут. Проблема называется cold start (холодный старт — время первого отклика после простоя). И чем больше моделей вы хотите держать на одной карте, тем больнее она бьёт по карману. FlashTensors — open-source библиотека, которая переворачивает подход к загрузке. Вместо safetensors — прямой стриминг с NVMe-накопителя в VRAM. Вместо минут — секунды. Вместо 2–3 моделей на GPU — сто. ## Как устроен FlashTensors Традиционный пайплайн загрузки выглядит так: SSD → CPU RAM → GPU VRAM. Три шага. Два промежуточных буфера. И каждый добавляет задержку (latency). FlashTensors делает иначе. Данные читаются напрямую с NVMe-диска в видеопамять — большими чанками по 64 МБ, минуя оперативную память. Никаких лишних копирований. Архитектура основана на наработках ServerlessLLM — исследовательского проекта, опубликованного на OSDI, крупнейшей конференции по операционным системам. Код распространяется под лицензией Apache 2.0, так что любой желающий может развернуть его у себя. Ключевой трюк — предварительное выделение пула памяти (memory pool) внутри VRAM. Библиотека резервирует фиксированный объём памяти и управляет им как собственной кэш-системой LRU. Когда приходит запрос на новую модель, FlashTensors проверяет, есть ли она уже в VRAM. Если нет — вытесняет самую старую и загружает новую. За 2 секунды. В тестах на DGX Spark с 128 ГБ унифицированной памяти библиотека продемонстрировала 10-кратное ускорение cold start против safetensors и нативного загрузчика PyTorch. ## Почему это важно Serverless inference — одна из самых горячих тем в AI-инфраструктуре 2026 года. Modal, Replicate, Baseten, Fireworks AI — все строят платформы, где модели загружаются по запросу, а пользователь платит только за инференс, не за простой GPU. Но serverless бессмыслен, если cold start длится минуту. Именно это удерживает многих от перехода с dedicated-инстансов. FlashTensors снимает ключевое ограничение. Если модель можно загрузить за секунды, экономика serverless становится убедительной даже для нагрузок, чувствительных к задержкам (latency-sensitive workloads). На одной H100-80GB библиотека позволяет держать в «горячем» резерве до десятка моделей 7–13B и оперативно подгружать остальные из пула в 100+ штук. Для типичного AI-стартапа это означает сокращение затрат на GPU-инфраструктуру в 5–10 раз. ## Состояние проекта Релиз состоялся в июле 2026 года на GitHub. Автор — leonheuler. Библиотека поддерживает интеграцию с vLLM, CLI для быстрого тестирования и Python SDK. В дорожной карте: Docker-образ, встроенный сервер инференса (inference server), поддержка SGLang, LlamaCPP и Ollama, а также нативная интеграция с Dynamo. Проект находится на ранней стадии — в репозитории менее 50 звезд. Но подход, который он реализует, уже используют коммерческие продукты: BlitzScale (OSDI 2025) и Aegaeon (SOSP 2025) построены на той же идее прямого стриминга в VRAM. ## Что дальше FlashTensors — не единичная утилита, а симптом более крупного сдвига. Инфраструктура инференса перестаёт быть вопросом «сколько GPU у вас есть». Она становится вопросом «как эффективно вы используете то, что есть». Прямой стриминг, разделяемая память CPU/GPU, интеллектуальное кэширование — эти техники превращают одну H100 в пул из сотни моделей. Для рынка, где дефицит GPU остаётся главным узким местом AI-индустрии, это не оптимизация. Это новый способ думать о ёмкости. ## Источники [ leoheuler/flashtensors — GitHub Blazing-fast inference engine that loads models from SSD to GPU VRAM up to 10× faster. Hotswap in less than 2 seconds. Apache 2.0. GitHub ](https://github.com/leoheuler/flashtensors?ref=eclibra.com) Основной репозиторий проекта. Все ключевые метрики и архитектура — в README. [ Show HN: FlashTensors — Serve 100 Large AI Models on a Single GPU Обсуждение проекта на Hacker News. Автор объясняет мотивацию и технические детали. Hacker News ](https://news.ycombinator.com/item?id=45861326&ref=eclibra.com) Публичный запуск проекта и обратная связь от сообщества. [ Run Multiple LLMs on Your DGX Spark with FlashTensors Детальный технический разбор: как работает библиотека, тесты на DGX Spark, бенчмарки. Sanjay Says ](https://sanjaysays.com/2025/12/run-multiple-llms-on-your-dgx-spark.html?ref=eclibra.com) Независимое тестирование с конкретными цифрами и сценариями использования.