Recursive выпустила Flint — открытую MoE-модель для агентного программирования. При её разработке компания использовала внутреннюю систему Eureka Machine. По данным Recursive, на MacBook Pro с M4 Pro модель выдаёт больше 125 токенов в секунду. Тут интересно и само локальное решение, и то, как ИИ помогал его создавать.

Flint доступен на Hugging Face под лицензией Apache 2.0. Модель рассчитана на запуск на своём компьютере: код не уходит на внешний сервер, а платить за каждый запрос к облачному API не нужно. Но понадобится подходящая машина — память и настройку придётся проверить заранее.

Flint — локальная MoE-модель с 2,5 млрд активных параметров

Всего у модели около 40 млрд параметров. При генерации активны примерно 2,5 млрд. Flint использует архитектуру MoE: для каждого токена модель задействует часть компонентов, а не все параметры сразу. Так разработчики рассчитывают получить качество крупной модели при меньших затратах на генерацию.

Recursive позиционирует Flint как модель для агентного кодинга. Она должна работать с инструментами и помогать разбирать кодовую базу, исправлять ошибки и добавлять функции. Компания сравнивает её с плотными моделями на 25–40 млрд параметров и заявляет, что на коротком контексте Flint работает более чем в пять раз быстрее. Пока это данные самого разработчика.

Для MacBook Pro с M4 Pro Recursive указывает скорость выше 125 токенов в секунду. На Nvidia RTX Spark с 64 ГБ памяти — больше 150. Компания также сообщает, что Flint может вдвое обгонять сопоставимые модели. Результат зависит от устройства, формата весов и длины контекста, поэтому эти цифры относятся к указанным конфигурациям.

Recursive называет результаты Flint сильными для MoE-моделей меньше 50 млрд параметров на SWE-Bench Pro v2, Terminal-Bench 2.1 и SWE-Bench Verified. Независимой проверки пока нет. Для практической оценки важнее ваша задача: проходит ли модель тесты проекта, вызывает нужные инструменты и вносит правки без постоянных подсказок.

Eureka Machine помогала создавать Flint

По описанию Recursive, Eureka Machine предлагала варианты для исследований, запускала эксперименты, оценивала результаты и выбирала следующие проверки. Систему использовали при работе с обучающими данными, оптимизаторами, архитектурой и скоростью инференса. На создание Flint ушло около четырёх месяцев.

Recursive приводит и пример с архитектурой. Сначала Eureka Machine проверяла варианты модели на 35 млрд параметров, из которых активны 3 млрд. В итоге конфигурация примерно на 40 млрд общих и 2,5 млрд активных параметров показала лучший баланс скорости и качества среди протестированных.

При квантовании команда снизила точность выходного слоя до четырёх бит. Затем добавила дистилляцию, чтобы вернуть часть потерянной точности. По данным Recursive, версия NVFP4 отстаёт от 16-битной на 0,7 пункта по совокупности бенчмарков. Это результаты самой компании.

В интервью WIRED сооснователь и глава Recursive Ричард Зохер сказал, что ИИ «выполнил и улучшил почти каждый этап всего конвейера модели». Звучит сильно, но не означает, что система работала без людей. TechCrunch описывает Eureka Machine как исследовательского помощника под человеческим контролем. И пока результат Flint не доказывает, что модель сама улучшит Eureka Machine, а та создаст следующую модель.

Автор WIRED Уилл Найт несколько дней тестировал Flint и назвал модель впечатляющей. Это его опыт работы с моделью, но не независимая проверка результатов Recursive на бенчмарках. Эти вещи лучше разделять.

Локальный запуск Flint зависит от памяти и движка

Запустить Flint можно несколькими способами. Веса и совместимые движки указаны в карточках модели и проекта; требования зависят от формата. Например, опубликованный INT4 GGUF-файл занимает около 26 ГБ. Для запуска на Apple Silicon инструкция Recursive требует не меньше 48 ГБ объединённой памяти.

  • llama.cpp — подходит для GGUF-весов. В инструкции Recursive указана минимальная конфигурация: Mac на Apple Silicon с 48 ГБ объединённой памяти.
  • LM Studio или Ollama — запуск через локальное приложение или сервер. Сначала проверьте, совместимы ли формат весов и ваша машина.
  • rec — движок Recursive для Apple Silicon. README указывает M4 Pro, M5 Pro или M5 Max, минимум 48 ГБ памяти и около 30 ГБ свободного места.

Если нужен агент, в проекте rec есть готовые варианты для pi и OpenCode: `rec launch pi` и `rec launch opencode`. По замерам Recursive, на M4 Pro её движок выдаёт в 1,4–2,6 раза больше токенов в секунду, чем llama.cpp, на контекстах от 1K до 252K токенов. В README указаны 4-битные веса и пять повторов каждого теста. Время обработки входного промпта в замер не включали. Это сравнение, опубликованное самим разработчиком.

Сначала проверьте память и свободное место. Потом выберите формат весов и совместимый рантайм. После запуска дайте агенту небольшую задачу на тестовом репозитории: найти конкретный баг, добавить тест и объяснить правки. Так станет понятно, как модель пишет код и справляется с инструментами, пока ей не доверили большой проект.

Локальный запуск требует ресурсов

Есть расхождение и по длине контекста. В исходной публикации указана поддержка до 512 тысяч токенов, а карточка GGUF и её конфигурация — 262 144. Для лучшего результата Recursive советует не превышать 256 тысяч. Я бы настраивал запуск по опубликованному конфигу, а верхнее значение из новости пока считал ориентиром, а не обещанием стабильной работы.

Recursive признаёт, что сложным задачам Flint нужна более подробная навигация, чем крупным закрытым кодинг-моделям. Компания советует делить большую работу на шаги. Для локальной модели это здравый подход: сначала попросить изучить файлы, потом составить план, затем внести ограниченный набор правок и запустить тесты.

Для визуального автора или небольшой студии Flint может пригодиться для работы с приватным кодом: скриптами, автоматизациями, плагинами и внутренними пайплайнами. Их содержимое не придётся отправлять на внешний сервер. А хватит ли скорости и качества конкретно вашей машине, покажут объём памяти и тест на реальной задаче.

Recursive показала первый результат своей идеи автоматизированного AI-исследования. Пока он говорит о том, что такая система помогла выпустить локальную кодинг-модель. Этого мало, чтобы считать доказанным бесконечное самоулучшение ИИ.

Источники

Recursive — rec: README и результаты сравнения с llama.cpp

Recursive Flint INT4 GGUF — веса и инструкции по запуску

TechCrunch — Recursive launches Flint, a laptop coding model it says was largely built by AI

WIRED — This Startup Is All In on Recursive Self-Improvement. Its Latest Model Is Scary Good

Источникthe-decoder.com