July 01, 2017

Благодаря приложению Prisma все знают, что нейросети могут переносить стиль картин на фотографии. Но ведь нейросети могут и сами генерировать картины. Команда американских исследователей разработала интересную схему, позволяющую создавать картины в новых стилях. Вот как она работает.

Одна нейросеть - тупой генератор, который ничего не знает об искусстве. Он начинает генерировать картины случайным образом, то есть буквально рисовать всякую фигню. Вторая нейросеть (дискриминатор) - умная. Ей показали 82 тысячи картин в разных стилях. Дискриминатор умеет не только отличать искусство от беспорядочной мазни, но и определять стиль картины. Реализм, импрессионизм, кубизм, экспрессионизм - всего 25 стилей.

Первая нейросеть постоянно пытается обмануть вторую. Она создаёт свою случайную мазню, отправляет её в дискриминатор и получает ответ - "искусство" это или нет. Если нет, нейросеть перенастраивается, чтобы в следующей итерации все-таки обмануть дискриминатор.

Кроме того, если дискриминатор видит в сгенерированной картинке "искусство", он пытается узнать стиль картины. И если этот стиль сильно похож на те, которые дискриминатор уже знает, он возвращает генератору сигнал - мол, такое мы уже видели, давай что-то новое. То есть генератор должен не просто создать картину, которую дискриминатор посчитает искусством, но и создать её в таком стиле, которого дискриминатор раньше не видел. В этом вся задумка исследования - нейросеть должна не просто воспроизводить известные художественные стили, но и создавать новые.

Ну и главное: когда полученные картины показали людям и попросили оценить наряду с обычным современным искусством, многие машинные картины получили даже высшую оценку, чем "настоящие", человеческие. Здесь авторы исследования немного недоработали: было бы классно, если бы они продали одну из таких картин на ярмарке современного искусства, и только потом раскрыли секрет её авторства. Но и так неплохо получилось.

Машинные картины, которые получили наивысшие оценки: i.imgur.com/GQNOvMC.jpg

Публикация (почитайте, там и текст интересный, и картинки): arxiv.org/pdf/1706.07068.pdf

Что ещё почитать по теме:

Как работают генеративные нейросети: www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/

Как работает перенос стиля в приложениях вроде Prisma: t.me/brodetsky/642