Абляционный анализ компонентов StyleGAN-NADA: от ансамбля CLIP до Gradient Clipping
Введение Генеративные модели, такие как StyleGAN2, способны создавать изображения лиц. Однако для управления ими обычно требуется либо оптимизация латентного представления, поступающего на вход генератора, либо обучение генератора с нуля, либо fine-tuning (дообучение) предобученной модели. Метод StyleGAN-NADA (No Annotation Domain Adaptation) предложил подход: адаптировать генеративную модель (StyleGAN2) к новому домену без единого изображения. Вместо этого используется семантическая сила больших моделей, предварительно обученных контрастивным методом на тексте и изображениях (CLIP). Однако, как и любой метод, основанный на градиентном обучении, StyleGAN-NADA чувствителен к настройкам. В этой статье я исследую, как различные методы регуляризации, ограничение нормы градиента (Gradient Clipping), использование мультипромптов и адаптивный выбор обучаемых слоев влияют на процесс адаптации. Я разобрал 8 конфигураций и посмотрел, какие компоненты критически важны для стабильного и качественного результата. Метод В основе метода лежит направленная функция потерь Directional CLIP Loss. Идея заключается в том, чтобы вычислять разницу между векторами изображения после и до обучения, и сопоставлять ее с разницей между текстовыми векторами целевого и исходного доменов. Генератор обновляет свои веса так, чтобы в CLIP-пространстве направление визуальных изменений совпадало с направлением текстовых. Более подробно метод описан в оригинальной статье от специалистов из Tel Aviv University и NVIDIA Research: StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators , а также в моей статье-обзоре . Читать далее