Одна локальная Qwen3.8 в этом тесте выдавала 210 токенов в секунду. Другая, на той же архитектуре и том же железе, — только 146. Разница зависит от сборки, квантизации и движка.

Автор Reddit-поста провёл три недели тестов на одной NVIDIA RTX PRO 6000 Blackwell с 96 ГБ памяти. Три модели получили одинаковые промты, по одной попытке на задачу и десять проверок: инструменты, длинный контекст, CAPTCHA, SVG, монтаж, voxel-сцена, дизайн и машина Rube Goldberg.

Qwen3.8 локально: три сборки, три разных характера

В сравнении участвовали три чекпойнта:

• RadixArk/Qwen3.8-27B-NVFP4 — плотная 27B-модель; • orcarouter/Qwen3.8-27B-Uncensored-NVFP4 — uncensored fine-tune той же размерности; • RadixArk/Qwen3.8-Flash-Next-NVFP4 — MoE-сборка.

Первые две модели запускались через SGLang 0.5.20 с DFlash2 и окном на 262 144 токена. Flash-Next использовала dev-сборку SGLang и встроенный MTP-drafter. Сравнение получилось полезным, но внутренние настройки у моделей различались.

По итогам десяти тестов Flash-Next забрала пять побед, обычная 27B — четыре. Uncensored не выиграла ни одного задания. В тесте длинного контекста получилась ничья: все три модели нашли спрятанный факт.

DFlash2 ускоряет Qwen3.8, но квантизация решает не меньше

Самая заметная цифра — рост скорости 27B с 75 до 210 токенов в секунду. Это speculative decoding: отдельная маленькая модель предлагает следующие токены, а основная проверяет их пачкой.

В тесте автора DFlash2 оказался лучшим драфтером и на SGLang, и на vLLM:

• без драфтера — 75 токенов/с в SGLang; • встроенный MTP — 160 токенов/с; • DSpark — 174 токена/с; • DFlash2 — 210 токенов/с; • DFlash2 вместе с torch.compile — 214 токенов/с в единственном прогоне.

Среднее число принятых черновых токенов у DFlash2 составило около 3,7 за шаг против 2,9 у MTP. Но скорость плавала от содержания. На математике автор получил 339 токенов/с, в ролевом сценарии — 149.

Ещё интереснее разница между NVFP4-экспортами. RadixArk на SGLang показал 210 токенов/с, а Uncensored на той же схеме — 146. Оба варианта формально 4-битные, но такие файлы нельзя считать взаимозаменяемыми.

BF16-версия с DFlash2 выдавала 97 токенов/с. В этом окружении NVFP4 оказался примерно в 2,2 раза быстрее полной точности. В отдельном обзоре квантов Qwen3.8 27B также сравниваются NVFP4, AWQ INT4, INT3 и более агрессивные форматы, но эти результаты нельзя автоматически переносить в данный тест.

С движками ситуация тоже плавает. В общей таблице SGLang был быстрее: 210 против 160 токенов/с. Но на одном и том же Uncensored-экспорте vLLM оказался быстрее SGLang на 16%: 169 против 146.

Одинаковая модель и одинаковые четыре бита ещё не означают одинаковую скорость.

На практике не стоит выбирать SGLang или vLLM по одной чужой цифре. Возьмите свой экспорт, свой драфтер и свой промт. Запустите холодный сервер, измерьте prefill и decode отдельно. Потом уже выбирайте стек.

Что Qwen3.8 умеет как локальный агент

В BFCL v4 автор взял подмножество из 900 задач и выключил reasoning. Обычная 27B получила 73,3%, Uncensored — 70,8%, Flash-Next — 64,5%. По точности самих tool calls разрыв был меньше: 87,8%, 88,0% и 82,4% соответственно.

В этом тесте 27B выглядит самым спокойным выбором для инструментов. Она лидировала в BFCL, набрала 700 из 1000 в авторской арене армий, прошла фактчек SVG без ошибок и решила 24 из 40 CAPTCHA.

В арене Qwen3.8-27B заняла первое место с 700 баллами. Следом шла указанная автором Claude Fable 5.1 с 678, затем Uncensored с 603, Flash-Next с 535 и GPT-5.6 с 473. Эти названия и результаты не подтверждены другими источниками, поэтому воспринимать таблицу стоит как частный эксперимент.

Обычная 27B и Uncensored потратили примерно по 111 тысяч токенов на размышления и остановились до того, как написали первую деталь. Неприятный косяк reasoning-агентов: модель может долго думать и так и не перейти к действию.

Для креатора расклад получается такой:

• 27B — агентские команды, вызов инструментов, фактчек и более предсказуемое поведение; • Flash-Next — длинные промты, визуальные сцены, монтаж и сборка артефактов; • Uncensored — если ограничения действительно мешают, а не ради самой надписи Uncensored.

Длинный контекст и локальный запуск на обычном ПК

Все три модели прошли needle-тест автора на 100%. Факт прятался в лог-файле, занимавшем 33%, 66% или 99% окна на 262 тысячи токенов. Самый большой запрос был примерно на 259,5 тысячи токенов.

Это не означает, что любая ваша переписка на 259 тысяч токенов будет обработана так же хорошо. Но как проверка извлечения факта результат сильный. Для креатора это может пригодиться при работе с большой расшифровкой, папкой референсов, документацией по нодам или историей правок.

Flash-Next быстрее читала полный контекст: 22,4 секунды против 97 секунд у 27B и 99 секунд у Uncensored. Есть поправка по питанию. Её скорость измеряли при лимите 600 Вт, а 27B — при 400 Вт. Сам автор пишет, что снижение на 50 Вт отнимало около 6% скорости prefill.

В официальном README проекта Strata заявлен запуск Qwen3.8-Flash-Next на обычных игровых ПК с NVIDIA или AMD и минимум 12 ГБ видеопамяти. В примерах проекта есть RTX 5070, 128K контекста и voxel-сцена, созданная одним промтом. Это ближе к рабочему сценарию, чем серверная таблица на RTX PRO 6000.

Как повторить тест Qwen3.8 у себя

Не нужно сразу собирать полноценную лабораторию. Для первого прогона я бы сделал так:

1. Выбрать одну конкретную модель и один NVFP4 или другой 4-битный экспорт. 2. Зафиксировать версию SGLang или vLLM, лимит мощности, размер контекста и число слотов. 3. Запустить модель без драфтера и записать скорость decode. 4. Повторить с MTP, DSpark или DFlash2, если сборка это поддерживает. 5. Проверить три типа промтов: короткий чат, длинный документ и вызов инструмента. 6. Отдельно оценить ошибки, зависания и обрыв до действия. Скорость без этого мало чего стоит.

Для визуального пайплайна добавьте собственные задачи: создать JSON-параметры для ComfyUI, разобрать ошибку workflow, описать референс, собрать список нод или изменить один узел в существующем графе. Тут станет видно, нужна ли вам быстрая 27B или более тяжёлая Flash-Next.

В отчёте также нет подтверждённых цен на запуск именно этих сборок, публичного тестового harness и независимого повторения. Поэтому покупать железо только ради цифры 210 токенов/с я бы не спешил.

Сейчас практичнее взять доступный 4-битный вариант, сравнить SGLang и vLLM на своей карте и проверить, помогает ли DFlash2 именно вашим промтам. У одного пользователя агентная 27B победила по инструментам, а Flash-Next — по построению визуальных вещей. Ваша граница может пройти совсем в другом месте.

ПромтПромт из отчёта автора; для локального агентного сценария с инструментами и генерацией SVG. Вставлять как есть; под себя менять видеокарту, модель, квантизацию и размер файла.
find out which card local-AI hobbyists run and which current open model fits it, then draw the card lifting the model, labelled with a quant and a size that fit.
Скопируйте и вставьте в нейросеть как есть.
Из чего собран промт
  1. действиеузнать, какую видеокарту используют хоббистыfind out which card local-AI hobbyists run
  2. действиеузнать подходящую открытую модельand which current open model fits it
  3. действиенарисовать карту, поднимающую модельthen draw the card lifting the model
  4. параметрыподписать квантизацией и размеромlabelled with a quant and a size that fit

Этот промт хорош картинкой и проверкой цепочки. Модель должна найти сведения, сопоставить железо с размером файла, выбрать подходящую квантизацию и не перепутать параметры в финальном SVG. Для своего теста замените RTX 3090 на вашу карту и заранее проверьте все цифры после генерации.

Сценарии для сборки AI-workflow собрал в Workflow

Источники

Strata — run Qwen3.8-Flash-Next on a normal PC

Qwen3.8-Flash-Next-NVFP4 — NVIDIA Hugging Face model card

Qwen3.8 27B Quantization: NVFP4, INT4, GSQ 3-bit, INT3/INT2, and Escha-W2 Compared

Источникreddit.com