Hugging Face опубликовала руководство по дообучению TRELLIS.2
В руководстве есть скрипты и Docker-контейнеры для адаптации TRELLIS.2 с помощью LoRA. Hugging Face также описала эксперимент с 188 моделями обуви.
В руководстве Hugging Face опубликованы скрипты и Docker-контейнеры для подготовки данных и обучения адаптеров LoRA. Они позволяют обучать дополнительные параметры, не меняя исходные веса модели. Запуск описан как в облачном сервисе Hugging Face Jobs, так и на локальной машине.
В эксперименте авторы использовали 188 моделей обуви из набора Google Scanned Objects (GSO), чтобы проверить, можно ли улучшить форму подошв у TRELLIS.2. Подробности опубликованы в руководстве Hugging Face.
Что показал эксперимент
LoRA-адаптеры добавили к двум компонентам TRELLIS.2, отвечающим за общую структуру и геометрию объектов. Генерацию материалов и текстур оставили без изменений: в наборе не было отдельных карт материалов, необходимых для обучения этого компонента.
Девять объектов исключили из обучающей выборки, а на остальных 179 обучали адаптеры. Визуальное сравнение пяти тестовых объектов показало, что подошвы после дообучения были ближе к сканам. Этот результат относится к примерам, показанным авторами, и не устанавливает качество модели для других категорий объектов.
Для каждого объекта при подготовке данных рендерят 16 ракурсов, а меши преобразуют в представления, используемые TRELLIS.2. Каждый из двух запусков обучения прошёл на одном ускорителе A100 с 80 ГБ памяти: адаптер для генерации структуры обучали 7,2 часа, для геометрии — 3,6 часа. Собственные модели перед обработкой нужно загрузить на Hugging Face Hub. Для доступа к DINOv3 также потребуется аккаунт Hugging Face с разрешением на использование этой модели.