СтатьяОткрытый материал
Iris-3B RTX 3090: INT8 снижает пик памяти с 19,10 до 10,89 GiB
В Aikimi Forge Neo пик выделения CUDA-памяти для Iris-3B упал с 19,10 до 10,89 GiB при переходе на INT8. W4A8 экономит ещё немного памяти, зато сильнее меняет детали и добавляет зерно.
Читать