Новини›앞으로›Diffusion Controller: нов начин да управляваме AI генерирането на снимки
앞으로

Diffusion Controller: нов начин да управляваме AI генерирането на снимки

Google Research · вторник, 29 септември, 21:38 · 1 мин четене

Google Research представя лек допълнителен модул, който насочва модела към по-точно изпълнение на оп

Идеята е да се получи по-добро съответствие между промпта и резултата, без да се разваля качеството на картината.

Съвременните модели като Nano Banana, Stable Diffusion и Flux могат да създават фотореалистични изображения по текст, но често са непредсказуеми. Например, при промпт за „гущер с очила“ моделът може да направи реалистичен гущер без очила, а ако принуди очилата, може да изкриви лицето на гущера.

Diffusion Controller работи като допълнителен модул, наречен „демпфер за управление“. Основният модел остава замразен и непокътнат, а мрежата коригира процеса на генериране стъпка по стъпка, като дава по-голямо тегло на посоките, които водят към желания резултат.

В тестовете авторите сравняват метода с LoRA, който е познат подход за настройка на модели. При част от сравненията Diffusion Controller дава по-добри резултати по оценката на човешките предпочитания HPS-v2, като работи с по-малко вътрешни слоеве на модела.

Предимството е, че методът може да се прилага и към затворени модели, до които няма достъп към вътрешните настройки. Това означава, че разработчиците могат да го използват дори при модели, които са търговска тайна.

Още новини