Понимание ограничений моделей GAN

В предыдущем посте я представил модель GAN, применяемую к Deepfakes, искусственному интеллекту, который ловит людей. Принцип работы модели GAN предполагает, что с моделью GAN можно создать что угодно. Тем не менее, у модели GAN все еще есть проблемы для решения. Давайте посмотрим, что у модели GAN в запасе.

Если вы нажмете на изображение, вы можете увидеть сообщение GAN.

Как описано выше, модель GAN делится на генератор и дискриминатор.

Генераторы учатся с помощью игр Minmax. Minmax Game - это игра, которая минимизирует потери в ситуации максимальных потерь. Здесь ситуация максимальной потери означает, что дискриминатор научился идеально идентифицировать реальные данные и поддельные данные. 

Вот! Тогда здесь возникает противоречие. Вы не можете получить полное представление о том, кто вы есть, прежде чем вы закончите учиться. Другими словами, при изучении GAN вам необходимо исходить из того, что игра Minmax не установлена. 

Нет проблем, если дискриминатор надежно сходится к оптимальному решению, но если нет, то конструктор тоже не сходится к оптимальному решению.

Другими словами, для того, чтобы конструктор создавал изображение, дискриминатор должен обладать хорошей способностью, но когда способность дискриминатора уменьшается, способность конструктора также уменьшается. 

В процессе изучения модели GAN дискриминатор и конструктор поочередно выполняют враждебное обучение, чтобы учиться друг у друга, и в этом случае может возникнуть проблема. 

В процессе повторного обучения проблема возникает, когда обучение учащегося и обучение учащегося могут отменить друг друга. Другими словами, если дискриминатор и конструктор обманывают друг друга и выполняют обучение на месте, у обоих будут проблемы, которые не могут быть сведены к глобальному году. Это называется осцилляцией.

Наиболее распространенным типом проблемы является режим коллапса. Если распространение обучающих данных происходит во многих местах, это хорошо. Фактически, поскольку данные обучения являются мультимодальными, эта проблема возникает при изучении модели GAN, где мультимодальные означает, что существует несколько режимов. 

Например, предположим, что у вас есть рукописное изображение 0 на бумаге, рукописное изображение 1 на бумаге, рукописная фотография 2 на бумаге и рукописное изображение 3 на бумаге. Если вы используете эти изображения для изучения модели GAN, вы можете увидеть, что есть четыре режима. 

Если эти изображения используются для изучения модели GAN, конструктор может выполнить обучение, предвзяв себя только к одному из четырех режимов заданного ввода. Это называется режимом коллапса. 

На самом деле, изучая GAN, используя набор данных в четырех режимах, вы можете увидеть, что только одно и то же число (например, ). 2 рукописные изображения на бумаге) продолжают генерироваться. В случае конструктора любое количество используемых изображений будет обмануто дискриминатором.

Это происходит плохо, когда дискриминатор неполный, когда модель вибрирует, и когда обе проблемы возникают одновременно. В результате конструктор не сможет изучить распределение всех данных обучения и будет выполнять только часть обучения. 

Убедиться в том, что конструкторы и дискриминаторы должным образом сбалансированы и сходятся к стабильному глобальному решению - это модель GAN для решения. Для решения этой проблемы предлагается множество моделей.