Японский автор на Zenn прогнал фото сашими и рисунок робота через IDOL от Speridlabs и поставил 3D-объекты в сцену со своим персонажем Taka. Робот выставляет ножницы, потому что его исходная рука так и нарисована, а Таке достался камень. Это постановка, а не жест, которому робота научили.
Для тех, кто собирает сцены из своих фото и рисунков, это понятный способ превратить снимок в объект для 3D-сцены без ручного моделирования. Но важно понимать, что IDOL сделала только объекты. Фон, Taka, расстановку и позу собрал автор в своей студии, а сама сцена с «камнем против ножниц» поставлена вручную.
Главное отличие: IDOL отдаёт не полигональную модель, а 3D Gaussian Splat в файле PLY. Его можно вертеть и смотреть, но обычный меш-загрузчик с ним не справится, и скелет с привязкой костей к такому файлу напрямую не поставить. Для показа и расстановки формат годится, для игрового персонажа с анимацией — пока нет.
Подвохи видны и на картинках автора. Местами просвечивает фон, у робота тонкие края, а с боку он выглядит почти картонным: из одной плоской иллюстрации объём по бокам восстанавливается плохо. Фото с тарелкой вышло убедительнее: по словам автора, тонкое сашими осталось тонким, а толстая горка выглядит толстой. Это впечатление, а не замер. По одной фотографии реальные размеры не проверить, а скрытые стороны модель достраивает сама.
Что нужно, чтобы повторить. Автор работал в Google Colab Pro на GPU L4, но назначение конкретного GPU не гарантировано. Понадобятся одобренный доступ к DINOv3 и FLUX.2-klein-4B на Hugging Face и токен HF_TOKEN в секретах Colab. Если не хватает видеопамяти, автор советует снизить число гауссиан до 32 768. Просмотр результата требует браузера с WebGL2. Автор также отмечает, что итоговый вариант ноутбука с нуля на свежем L4 не перезапускал: проверил синтаксис, проверку весов и показ в браузере.
Про права. Робот взят из бесплатного набора с лицензией CC0, автор указал создателя и ссылку на страницу. Но CC0 не снимает торговые марки и права на узнаваемых людей, а у DINOv3 и других зависимостей свои условия. Сам IDOL распространяется под Apache-2.0, однако входные модели проверяются отдельно. Поиграться со своими фото можно уже сегодня, а использовать результат в проекте лучше после проверки лицензий всех весов.
ИсточникZenn 生成AI

