Falcon-H1R 7B: как гибрид Transformer+Mamba обходит модели в 7 раз крупнее

Почему 7 миллиардов параметров хватает на мировой уровень

Когда в начале января 2026 года Technology Innovation Institute (TII) из Абу-Даби представила Falcon-H1R 7B, отраслевая реакция была неоднозначной. С одной стороны, новая модель показывала 88.1 процента на AIME-24 и 83.1 процента на AIME-25 — результаты, которые раньше требовали систем на 14–32 миллиарда параметров. С другой стороны, это была «всего» семимиллиардная модель, открытая для скачивания и запуска на потребительском железе.

Секрет в гибридной архитектуре Transformer+Mamba2, которая объединяет сильные стороны классического внимания и линейно масштабируемых state-space моделей. Трансформеры обеспечивают качество рассуждений и моделирования контекста, но их квадратичная сложность внимания превращается в узкое место на длинных последовательностях. Mamba (второго поколения) масштабируется линейно, сохраняя скорость и потребление памяти под контролем даже при большом числе токенов.

Falcon-H1R стратегически распределяет задачи между слоями обоих типов: там, где нужна глобальная интеграция информации и многошаговая логика, работают трансформерные блоки, а там, где достаточно потоковой обработки и локального состояния — Mamba2. В результате модель одновременно умеет глубоко рассуждать и делает это быстро, обгоняя по throughput классические трансформеры той же размерности почти в два раза.

Результаты на бенчмарках: цифры и сравнения

Falcon-H1R 7B тестировали по трём основным направлениям: математические олимпиадные задачи, код и агентные сценарии, а также общее рассуждение и следование инструкциям.

Математика и рассуждения

На олимпиадных задачах AIME-24 модель набирает 88.1 процента, обгоняя Apriel 1.5-15B (86.2 процента), а на AIME-25 показывает 83.1 процента против 80 процентов у Apriel. При использовании test-time scaling (техника Deep Think с генерацией множественных reasoning-трасс и отбором по confidence) точность на AIME 25 вырастает до 96.7 процента, при этом модель расходует менее 100 миллионов токенов — это лучший результат среди 8B-систем и конкурентен с лучшими 14–32B моделями.

На AMO-Bench, новом бенчмарке математических рассуждений, Falcon-H1R достигает 35.9 процента с бюджетом всего 217 миллионов токенов, превосходя все сравниваемые модели, включая более крупные системы.

Код и агентные задачи

На LiveCodeBench v6 (свежие задачи программирования из реальных контестов) Falcon-H1R набирает 68.6 процента — лучший результат среди всех моделей менее 8 миллиардов параметров и на ~7 процентных пунктов выше, чем у Qwen3-32B. На SciCode (научное программирование, задачи уровня sub-problem) модель показывает 28.3 процента, снова лучший результат в своём классе.

На Terminal Bench Hard (генерация команд CLI) Falcon-H1R занимает второе место с 4.96 процента, уступая только Apriel 1.5-15B (9.9 процента), но опережая как 8B, так и 32B модели Qwen3.

Общее рассуждение и следование инструкциям

На MMLU Pro, GPQA Diamond и других бенчмарках общих знаний и логики Falcon-H1R показывает результаты, близкие или равные моделям вдвое крупнее, таким как Phi 4 Reasoning Plus 14B. Это подтверждает, что гибридная архитектура не жертвует широтой возможностей ради узкой специализации — модель остаётся универсальной и может применяться в самых разных доменах.

Скорость и эффективность: почему это критично

Помимо точности, TII особо подчёркивает throughput: Falcon-H1R достигает примерно 1000 токенов в секунду на GPU при batch size 32 и до ~1500 токенов/с при batch 64. Для сравнения, Qwen3-8B в тех же условиях выдаёт менее 900 токенов/с, а при длинном контексте (8k → 16k токенов) Falcon держит ~1800 токенов/с, тогда как Qwen остаётся ниже 900.

Это прямое следствие линейно масштабируемых Mamba2-слоёв: чем длиннее последовательность, тем сильнее относительный выигрыш гибрида над чистым трансформером. На практике это означает возможность обрабатывать большие документы, длинные цепочки рассуждений или многошаговые агентные траектории без падения скорости и без взрывного роста потребления памяти.

Что это значит для индустрии и разработчиков

Falcon-H1R 7B задаёт несколько важных трендов для ближайшего будущего AI.

Во-первых, гибридные архитектуры становятся мейнстримом. Если раньше SSM-модели вроде Mamba считались экспериментом, то теперь их комбинация с трансформерами показывает production-ready результаты на топовых бенчмарках. Это открывает дорогу для новых поколений моделей, где разные блоки решают разные подзадачи, и можно оптимизировать не только число параметров, но и структуру самой архитектуры.

Во-вторых, параметрическая эффективность выходит на первый план. Семимиллиардная модель, обгоняющая 47-миллиардные системы, означает, что simple scaling (просто добавить больше параметров) больше не единственный и не всегда лучший путь. Умная архитектура, специализированный тренинг (включая reasoning-focused finetuning) и test-time scaling дают больше отдачи на вложенный FLOPs, чем линейное увеличение размера модели.

В-третьих, on-device reasoning перестаёт быть далёкой перспективой. Модель, способная решать олимпиадные задачи по математике и генерировать сложный код, при этом запускаясь на одном потребительском GPU или даже на мобильном SoC, радикально расширяет пространство возможных приложений. От персональных ассистентов до автономных систем в медицине, образовании и промышленности — везде, где критичны latency, приватность данных или отсутствие постоянного интернет-соединения.

Риски и ограничения подхода

При всех впечатляющих результатах стоит понимать границы применимости Falcon-H1R.

Во-первых, гибридная архитектура требует специализированной инфраструктуры и kernel-оптимизаций. Mamba2-слои не так широко поддерживаются фреймворками, как стандартные трансформеры, и для достижения заявленной скорости нужны кастомные CUDA-ядра и правильная настройка пайплайна инференса. Это может стать барьером для команд, которые рассчитывают на out-of-the-box deployment.

Во-вторых, модель оптимизирована под reasoning-задачи и может уступать специализированным чат-моделям в сценариях свободного диалога, креативного письма или задач, требующих не столько логики, сколько стилистической гибкости. TII позиционирует H1R как reasoning-ориентированную систему, а не универсального ассистента.

В-третьих, test-time scaling (Deep Think) требует генерации множественных траекторий рассуждения и отбора лучшей, что увеличивает латентность и расход токенов. Это оправдано для задач, где критична точность (олимпиады, научные вычисления), но неприменимо в real-time диалоге или высоконагруженных API.

Перспективы и следующие шаги

Falcon-H1R 7B — это часть более широкой экосистемы Falcon-H1, которая включает модели от 0.5B до 34B параметров и поддерживает контекст до 262 тысяч токенов. В ближайшие месяцы TII планирует расширить семейство, добавив мультимодальные capability и углубив специализацию под конкретные домены — от healthcare до финансов.

Для исследователей и инженеров выход Falcon-H1R даёт открытую базу для экспериментов с гибридными архитектурами: можно тестировать соотношение Transformer/Mamba слоёв, пробовать новые техники test-time scaling или адаптировать модель под специфичные корпоративные задачи, сохраняя высокую эффективность.

На уровне индустрии модель задаёт новый бенчмарк того, что считать «state-of-the-art» для компактных систем: теперь 7B-модель должна не просто «неплохо справляться», а конкурировать с системами в 4–7 раз крупнее по точности и превосходить их по скорости.

Узнать больше

Практические идеи

Если вы разрабатываете приложения, где критичны скорость инференса и ограничения по памяти, стоит протестировать Falcon-H1R 7B в сравнении с вашими текущими моделями — особенно в сценариях длинного контекста, многошагового рассуждения и генерации кода. Модель открыта, документирована и уже имеет готовые интеграции с популярными фреймворками.

Источники информации