GPU Unlock снимает программное ограничение BF16 на видеокартах RTX 3000. В тесте RTX 3090 Ti результат вырос с 87,5 до 157,4 TFLOPS при лимите мощности 450 Вт. Цифры относятся к матричному тесту. В ComfyUI или LLM такого же ускорения может не быть.

В японской подборке рядом с этой новостью — открытая видеомодель, локальная студия для Reels и генерация 3D по листу персонажа. Похоже, всё больше этапов продакшена можно пробовать собрать на своём железе. Но каждый инструмент всё равно придётся проверять на своём пайплайне.

Источник: github.com

GPU Unlock ускоряет не каждую задачу на RTX 3090

Проект gpu-unlock меняет работу тензорных ядер с FP16 и BF16 — форматами вычислений, которые используют нейросети. По описанию автора проекта, на GeForce RTX 3000 скорость некоторых операций была программно ограничена примерно вдвое. Модуль для Linux меняет нужные регистры до загрузки драйвера NVIDIA. Затем карта сбрасывается и запускается со штатным драйвером.

Самые наглядные цифры — у RTX 3090 Ti с лимитом 450 Вт. В GEMM-тесте BF16 результат вырос с 87,5 до 157,4 TFLOPS. Почти двукратный прирост здесь относится к конкретной операции, не ко всем задачам сразу.

СценарийРезультатУсловие
RTX 3090 Ti, BF16 GEMM87,5 → 157,4 TFLOPSлимит 450 Вт, тест проекта
RTX 3090, обработка длинного контекстаоколо 16% приростапользовательский замер, Notebookcheck
Локальный LLM, prefillпримерно 14–36% ускорениязависит от нагрузки

В таблице собраны результаты разного типа: синтетический тест и наблюдения пользователей в реальных задачах. Notebookcheck отдельно приводит пример владельца RTX 3090: длинный контекст стал обрабатываться быстрее, а генерация токенов почти не изменилась. Такое бывает, когда декодирование LLM упирается в пропускную способность памяти, а не в вычислительную мощность тензорных ядер.