Двадцать четыре с половиной миллиона долларов. Для стартапа, который вышел из тени семь месяцев назад с $4,5 млн, это не просто очередной раунд. Tensormesh привлёк $20 млн seed extension при участии NVentures (венчурное крыло Nvidia), AMD Ventures, CoreWeave, Valley Capital Partners и Laude Ventures. Данных о valuation нет — но состав инвесторов говорит громче цифр.
Продукт Tensormesh — LMCache, открытая система управления KV-кэшем для LLM-инференса. Если коротко: когда вы отправляете запрос к LLM, модель пересчитывает внимание ко всем предыдущим токенам. С каждым новым запросом — заново. LMCache сохраняет эти вычисления и переиспользует их между сессиями.
Результат — до 10× сокращения затрат на GPU и времени ожидания первого токена (TTFT) в нагрузках с повторяющимся контекстом: чат-боты, RAG-системы, юридический анализ документов, агентные циклы.
Технология уже интегрирована в стеки Nvidia Dynamo, Google Kubernetes Engine и vLLM. LMCache состоит в экосистеме PyTorch Foundation и набрал более 5 000 звёзд на GitHub.
Основатели — Junchen Jiang (CEO) и Yihua Cheng (CTO), исследователи из University of Chicago, UC Berkeley и Carnegie Mellon. Их подход к KV-кэшу начинался как академическая работа (CacheBlend, EuroSys 2025 Best Paper) и превратился в инфраструктурный продукт, который закрывают производители чипов.
Почему это важно.
Рынок ИИ перешёл от гонки training к гонке inference. Обучить модель можно раз в квартал. Сервейс обходится каждый день. По данным Semianalysis, затраты на inference для frontier-моделей достигают $3 на миллион входных токенов — и это без оптимизаций. Любая технология, которая снижает этот множитель, привлекает внимание не только фондов, но и самих производителей железа. Nvidia и AMD инвестируют в Стартап не ради дохода — они страхуют экосистему: чем дешевле inference, тем больше спрос на их чипы.
KV-кэш — технический термин, но ключевой. Во время генерации ответа модель хранит промежуточные состояния внимания (Key и Value) для каждого токена. С ними она переиспользует ранее вычисленный контекст, не пересчитывая его заново. Проблема в объёме: для Llama 70B с окном в 128K токенов KV-кэш занимает 42 ГБ — больше, чем веса самой модели.
Компания переносит этот кэш на CPU и SSD, расширяя доступное пространство. LMCache превращает кэш из временного состояния в постоянный слой — его можно хранить между запросами, передавать между инстансами и даже делить между разными движками инференса.
Раунд seed extension на $20 млн — сигнал зрелости для сегмента inference-оптимизации. Вслед за Разработчик в этом же пространстве работают Baseten ($1,5 млрд при $13 млрд valuation) и SGLang (открытый движок с радикальным ускорением). Но Он — единственный, кто строит коммерческий продукт вокруг KV-кэша как отдельного слоя инфраструктуры.
Следующие 12 месяцев покажут, выживет ли независимый слой кэширования между моделями и железом — или станет функцией, встроенной в рантаймы от Nvidia. Пока Продукт ставит на первое.
