Как да дообучиш TRELLIS.2 за твоите 3D модели
Hugging Face · четвъртък, 12 ноември, 02:00 · 1 мин четене
Hugging Face пусна скриптове и контейнери за дообучаване на популярния 3D модел TRELLIS.2 с LoRA
Hugging Face публикува скриптове и контейнери, с които може да дообучиш TRELLIS.2, популярен 3D модел, върху собствените си 3D файлове. Работата върви и локално, и на облачните машини на Hugging Face Jobs. Ако вече си качил датасета си в Hugging Face Hub, стигат няколко аргумента, а който иска, може да промени самите скриптове.
Причината е, че общ модел като TRELLIS.2 може да греши в детайли, които са важни за конкретна задача. Например за мебели или обувки геометрията трябва да е точна. В тест с 188 обувки от набора Google Scanned Objects моделът обикновено правеше добър вид на обувката, но грешно изглеждаше подметката.
ТРЕЛИС.2 работи на няколко етапа: премахва фона, кодира изображението, предсказва грубата структура, генерира детайлната геометрия и накрая материалите. Дообучаването се фокусира върху частта, която оформя формата, а останалите части остават замразени. Така се пести памет и не се губят способностите, които моделът вече има.
LoRA е метод, при който се обучават малки адаптери, а оригиналните тегла стоят непроменени. Това е подходящо при малък набор от данни като този. Конфигурацията обучава около 9,3 милиона параметъра за двата засегнати блока.


