Портретиист

Обзор

За последние годы современные генеративные модели достигли впечатляющих результатов. Они умеют генерировать человеческие лица в таком качестве, что их сложно отличить от фотографий настоящих людей. Но что, если в результате генерации хочется увидеть именно свое лицо, да еще и в стиле конкретного художника? Качество такой генерации будет зависеть от количества примеров работ мастера, которые ученые смогут собрать и обработать для обучения нейросети. Шедевров для этого всегда не хватает.

Процесс переноса стиля с одного изображения на другое в науке называется доменной адаптацией. Помимо ограничений, связанных с количеством исходных данных для обучения ИИ, существуют и другие проблемы. Настройка «весов» — связей между нейронами, которые передают сигналы между друг другом в нейронной сети для обработки информации — это один из ключевых этапов обучения модели. Обычно для стилизации картинки требуется порядка 30 миллионов весов.

Мы создали новый метод, который позволяет делать это в 5 тысяч раз быстрее. Он позволяет обучать вектор размерности 6 тысяч вместо 30 миллионов весов генератора для адаптации по конкретному домену. Это значит, что теперь мы можем обучить ИИ 5 тысячам новых стилей, потратив на это столько же ресурсов, сколько раньше заняло бы знакомство модели только с одним типом картинок. Мы доказали эффективность нашего метода с помощью экспериментов и представили статью о нем на престижной конференции NeurIPS 2022. Она называется «HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks» и доступна по ссылке.

Также мы развили и улучшили этот метод в нашей следующей статье «StyleDomain: Efficient and Lightweight Parameterizations of StyleGAN for One-shot and Few-shot Domain Adaptation», которую приняли на престижную конференцию ICCV 2023.

В будущем такую технологию можно применять для того, чтобы сделать генеративный ИИ более доступным и эффективным. Это поспособствует снижению энергопотребления и экологической нагрузки в производстве медиа-контента.

Сейчас мы воплотили научное достижение в простой интерфейс и предлагаем вам прикоснуться к алгоритмам и математическим конструкциям с помощью Портретииста. Примерьте стили известных художников и делитесь портретами с друзьями. А если хотите узнать больше про доменную адаптацию — подписывайтесь на наш Институт в социальных сетях.