사람을 낚는 인공지능 - 딥페이크에 적용된 GAN 알고리즘의 이해

'딥페이크'는 인공지능 기술을 이용해서 특정 영상에 특정 인물의 얼굴을 합성하는 것을 의미한다. 2018년 4월 유튜브 채널에 버락 오바마 전 미국 대통령이 도널드 트럼프 대통령을 비판하는 영상을 시작으로 딥페이크 영상이 세상에 알려지게 되었다.  

딥페이크 기술을 이용하면 특정 인물의 표정이나 이목구비 움직임뿐만 아니라 제스처와 목소리까지 복제가 가능하다. 딥페이크에 적용된 AI 알고리즘은 생성적 적대 신경망(GAN, Generative Adversarial Network)이다. 

그럼, GAN에 대해서 좀 더 자세히 살펴보자.

생성적 적대 신경망(이하, GAN)은 2개의 뉴럴 네트워크로 구성되어 있다.

Generator(생성자)와 Discriminator(감별자)로 구성되어 있다. 여기서, 생성자가 실제 콘텐츠의 패턴을 흉내 내서 가짜 콘텐츠를 만들면 감별자가 콘텐츠의 진위 여부를 판별하는 방식으로 학습이 진행된다. 

학습을 수행하기 위해서는 학습 데이터가 필요하다. GAN의 학습 데이터는 생성자가 흉내 내야 할 진짜 데이터를 의미하게 된다. 예를 들어, 사람의 얼굴을 그려내는 모델을 학습시킨다고 하면 사람의 얼굴 사진이 필요하다. 

얼굴 데이터 셋

학습 방법은 간단하다. 분류 문제처럼 각 데이터의 class를 라벨링하는 등과 같이 사람이 일일이 답을 정해줄 필요가 없다. GAN 학습은 비지도 학습(unsupervised learning)의 성격을 갖고 있기 때문에, 단지 흉내 내고자 하는 데이터를 입력해 주기만 하면 된다. 그럼, 2개의 뉴럴 네트워크는 상호 경쟁하면서 학습을 진행하게 된다.  이와 같이 상호 경쟁하면서 학습이 진행되기 때문에 적대라는 말이 이름에 붙은 것이다. 결과적으로, 2개의 뉴럴 네트워크가 서로 대립하며 차이점을 분석하고 각자 학습하면서 진화하는 것이 학습 과정에 반영되었다.

생성자는 학습 데이터의 패턴을 흉내 내어 감별자의 정확도를 최소화해주는 것을 목표로 학습된다. 기본적으로 생성자에 주어지는 입력은 랜덤 노이즈(random noise)이며, 출력은 학습 데이터와 유사한 패턴을 지닌 데이터이다. 즉, 생성자는 랜덤 노이즈를 학습 데이터와 유사한 패턴으로 변환하는 함수를 학습하게 된다.

감별자는 입력으로 주어진 데이터가 학습 데이터에 포함된 진짜 데이터인지, 생성자가 만들어낸 가짜 데이터인지 판별하는 역할을 수행하며, 판별의 성공 확률의 최대화하는 것을 목표로 학습된다. 즉, 감별자는 진짜 혹은 가짜 데이터를 입력받아  진짜 데이터일 확률 값을 출력한다. 

기존 AI 기술인 분류형 모델(Discriminative Model)은 주어진 질문에 답을 하도록 학습된 모델로 물체 인식이나 얼굴 인식 등을 수행했었다. 이와 달리 GAN은 새로운 이미지를 생성하거나 재생성할 수 있기 때문에 영상 합성 분야에서 많이 활용되고 있다. 다만, 연예인은 물론 주변 사람들의 얼굴을 합성한 위조 포르노 등의 범죄에 사용되는 경우가 많아, 여러 윤리 논쟁을 촉발하기도 했다.

그러나 GAN은 영상 합성 분야에만 사용되는 것은 아니다. GAN는 다양한 분야에서 광범위하게 사용될 수 있어 학계에서 GAN 모델에 대한 연구가 활발히 이루어지고 있다. 특히, 특허 분석을 하다 보면 적대적 학습 방법을 이용해서 노이즈에 강인한 모델을 만들어내는 특허도 심심치 않게 볼 수 있다.