독일 시민단체 헤이트에이드(독일어판)가 독일 연방 디지털교통부에 딥페이크 포르노그래피 방지 청원을 전달하고 청사 앞에서 시위를 벌이고 있다.
딥페이크 포르노그래피(영어: Deepfake pornography) 혹은 딥페이크 성착취물은 딥페이크 기술을 사용해 기존 포르노그래피 영상물에 타인의 얼굴을 합성하는 방식으로 만들어지는 합성 포르노그래피의 한 종류다. 딥페이크 포르노그래피는 여성 유명인들과 같이 동의하지 않은 개인들이 등장하는 사실적인 영상들이 제작되어 공유되고 리벤지 포르노로도 사용되어 논란이 되고 있다. 이러한 윤리적 문제들을 해결하기 위해 법률적 또는 기술적 접근 방식을 통한 노력이 이루어지고 있다.
역사
"딥페이크"는 '딥러닝'과 영상이 진짜가 아니라는 뜻인 '페이크'의 합성어로 2017년 레딧에서 사용자들이 기계 학습 알고리즘을 사용하여 만든 변조된 포르노 영상을 일컫는 용어로 처음 등장했다.[1]
딥페이크 포르노그래피는 처음에는 기계 학습 알고리즘, 컴퓨터 비전 기술, 인공지능을 사용해 사람의 얼굴에 대한 대량의 원 자료(이미지와 비디오 모두 포함)를 수집해 딥러닝 모델을 사용하여 생성적 적대 신경망을 훈련시켜 포르노 배우의 몸에 원 자료의 얼굴을 바꿔치기 하는 방식으로 소규모 개인들에 의해 만들어졌다. 그러나 2018년 이후로 대부분의 과정을 자동화한 여러 공개 앱들이 등장하면서 생산 프로세스가 상당히 발전했다.[2]
딥누드
2019년 6월, GAN을 사용하여 여성 이미지에서 옷을 제거하는 DeepNude라는 다운로드 가능한 마이크로소프트 윈도우 및 리눅스 애플리케이션이 출시되었다. 앱에는 유료 버전과 무료 버전이 있었으며 유료 버전의 가격은 50달러였다.[3] 6월 27일, 앱 제작자는 해당 애플리케이션을 삭제하고 소비자에게 환불했지만 무료와 유료를 포함한 다양한 앱 사본이 계속 나오고 있다.[4]깃허브에서는 "open-deepnude"라는 이 프로그램의 오픈소스 버전이 삭제되었다.[5] 오픈 소스 버전은 더 많은 누드 이미지 데이터 세트로 훈련을 받아 결과 누드 이미지의 정확도 수준을 높일 수 있었다.[6]
딥페이크 텔레그램 봇
2019년 7월, 메시징 앱 텔레그램에서 AI 기술을 사용해 여성의 누드 이미지를 만드는 딥페이크 봇 서비스가 출시되었다. 이 서비스는 무료이며 사용자 친화적인 인터페이스를 갖추고 있어, 사용자들이 사진을 제출하면 수분 내에 조작된 누드 이미지를 받을 수 있다. 이 서비스는 봇을 호스팅하는 주 채널, 기술 지원, 이미지 공유 채널 등 7개의 텔레그램 채널과 연결되어 있다. 총 사용자 수는 알려지지 않았지만, 주 채널의 회원 수는 45,000명이 넘는다. 2020년 7월 기준으로, 이미지 공유 채널들을 통해 약 24,000개의 조작된 이미지가 공유된 것으로 추정된다.[7]
주요 사례
딥페이크 기술은 유명 여성의 동의 없이 음란한 이미지와 동영상을 만드는 데 사용되었다. 가장 초기의 사례 중 하나는 2017년에 레딧 사용자가 갈 가도트의 딥페이크 포르노 영상을 만들어 온라인으로 빠르게 퍼뜨린 것이며, 그 이후로 엠마 왓슨, 내털리 포트먼, 스칼렛 요한슨 등 다른 여성 유명인을 표적으로 삼은 유사한 딥페이크 콘텐츠 사례가 수없이 발생했다.[8] 요한슨은 2018년 12월 이 문제에 대해 공개적으로 언급하며 비판했지만 인터넷에 이러한 것들이 존재하는 것은 불가피하다는 것과 각국마다 초상권과 관련된 법률이 다르다는 점 때문에 법적조치는 하지 않겠다고 밝혔다.[9]
2024년 1월, AI가 생성한 미국 가수 테일러 스위프트의 노골적인 성적 이미지들이 X(구 트위터)에 게시되었고, 페이스북, 레딧, 인스타그램 등 다른 플랫폼으로 퍼졌다.[10][11][12] 이미지가 포함된 한 트윗은 삭제되기 전에 4,500만 번 이상 조회되었다.[13][11] 인터넷 매체 404 미디어에 따르면 이미지는 마이크로소프트 디자이너와 같은 도구를 사용해 생성되어 텔레그램 그룹에서 최초로 유포된 것으로 보이며, 콘텐츠 필터를 해결하기 위해 오타와 키워드 해킹을 사용했다.[14][15] 해당 게시물이 올라온 뒤 스위프트의 팬들은 딥페이크 영상이 검색되는 것을 막기 위해 콘서트 영상과 사진을 게시했고, 딥페이크 영상을 게시한 계정을 신고하기도 했다.[16]X에서 일시적으로 스위프트를 검색하는 것을 차단하고 오류 메시지가 반환되도록 설정했다.[17] 허위 정보 연구 회사인 Graphika는 이미지가 4chan 커뮤니티에서 만들어졌다고 추적했다.[18][19]
스위프트와 가까운 소식통은 《데일리 메일》에 법적 조치를 고려하고 있다고 말하며, "법적 조치를 취할지 여부는 결정 중이지만, 한 가지 분명한 것은 이 가짜 AI 생성 이미지들이 학대적이고, 모욕적이며, 착취적이고, 테일러의 동의나 인지 없이 이루어진 것이다"라고 말했다.[16][20]
전세계 딥페이크 포르노그래피의 25%는 한국인을 대상으로 하며, 그 중 절반은 K-pop 스타들이다.[27] 2020년 6월부터 2023년 8월까지 방송통신심위원회에는 딥페이크를 활용한 성적 허위 영상물 9,006건이 신고되어 이 중 8,595건이 접속 차단되고 411건이 삭제되었다.[28]
2024년 8월에는 전국교직원노동조합이 전국 초중고 교사와 학생들을 대상으로 한 성착취물 피해로 인한 2500건의 신고가 접수되었다고 밝혔다.[29] 대학생 연합단체 여성혐오폭력규탄공동행동이 9월 21일 마로니에 공원 앞 도로에서 주최한 시위에 주최측 추산 5천명이 참가하였으며, 딥페이크 성착취물 유통에 관여한 자와 소지한 자 모두 처벌할 것을 촉구하였다.[30]
윤리적 고려 사항
딥페이크 CSAM
딥페이크 기술로 아동 성적 학대 영상 (CSAM), 즉 아동 포르노를 이전보다 빠르고 쉽게 제작할 수 있게 되었다. 딥페이크 기술은 기존 자료를 이용해 새로운 아동 성 착취물을 제작하거나, 실제로 성적 학대를 당하지 않은 아동들을 대상으로 아동 포르노를 만드는 데 사용될 수 있으며, 명예 훼손, 그루밍, 협박, 괴롭힘 등 아동들에게 실제적이고 직접적인 영향을 미칠 수 있다.[31]
동의
대부분의 딥페이크 포르노에 사용되는 얼굴들은 초상권자에게 동의받지 않고 만들어진다. 2023년, 신원 인증 회사인 센서티(Sensity)는 "96%의 딥페이크가 성적으로 노골적이며, 해당 콘텐츠의 제작에 동의하지 않은 여성들이 등장한다"고 밝혔다.[32] 딥페이크 포르노그래피는 종종 리벤지 포르노와 유사하게 주로 여성을 모욕하거나 고통을 주기 위해 사용된다.
딥페이크 포르노 퇴치 노력
기술적 접근 방식
최근 몇 년간 가짜 영상과 이미지의 확산이 더욱 만연해짐에 따라 딥페이크 탐지가 점점 더 중요한 연구 분야로 대두되고 있다. 딥페이크를 탐지하는 한 가지 유망한 접근법은 합성곱 신경망(CNN)의 사용이다. CNN은 실제 이미지와 가짜 이미지를 구별하는 데 높은 정확도를 보여주었다. 딥페이크 탐지를 위해 특별히 개발된 CNN 기반 알고리즘 중 하나는 DeepRhythmd으로, 98%의 확률로 딥페이크 이미지를 성공적으로 탐지할 수 있다. 이 알고리즘은 사전 훈련된 CNN을 사용하여 관심 있는 얼굴 영역에서 특징을 추출한 다음, 새로운 주의 메커니즘을 적용하여 원본 이미지와 조작된 이미지 간의 불일치를 식별한다. 딥페이크 기술이 더욱 정교하게 발전해 탐지 노력에 지속적으로 문젯거리가 되고 있지만, DeepRhythm과 같이 높은 정확도를 가진 알고리즘은 유해한 딥페이크의 확산을 식별하고 완화하는 데 긍정적인 효과를 가져다 준다.[1]
탐지 모델 외에도 일반 대중이 사용할 수 있는 동영상 인증 도구들이 있다. 2019년, Deepware는 사용자들이 쉽게 딥페이크 동영상을 스캔해 탐지할 수 있는 최초의 공개 탐지 도구를 출시했다. 비슷하게, 2020년 마이크로소프트는 무료로 사용자 친화적인 동영상 진위 확인 소프트웨어를 출시했다. 사용자들이 의심스러운 동영상을 업로드하거나 링크를 입력하면, 딥페이크의 조작 수준을 평가하는 신뢰도 점수를 받을 수 있다.
법률적 접근 방식
2023년 현재, 딥페이크 포르노를 특별히 다루는 법률은 부족한 상황이다. 대신, 딥페이크 포르노의 제작과 유포로 인한 피해는 기존의 형법과 민법을 통해 법원에서 다뤄지고 있다.[33]
피해자들은 딥페이크 포르노 행위에 대해 주로 리벤지 포르노, 명예훼손 및 성희롱 혐의로 고발한다.[33] 리벤지 포르노에 대한 법적 처벌 수준은 국가마다 다르다.[33][34] 예를 들어, 캐나다에서는 합의하지 않은 사적인 이미지를 게시할 경우 최대 5년의 징역형에 처해지는 반면[35] 몰타에서는 최대 5,000유로의 벌금이 부과된다.[36]
공개되지 않은 디지털 조작 시각 미디어의 제작과 유포를 형사 범죄로 규정하고자 했던 "딥페이크 책임법"이 2019년 미국 의회에 제출되었으나 2020년에 폐기되었다.[37] 법안은 참가자들을 고통을 주거나 해를 끼치려는 의도로 성적이고 비동의적인 조작 미디어를 만드는 행위에 대해 벌금형, 5년 이하의 징역형 또는 이 둘을 병과할 수 있다고 명시했다.[34] 2021년에 모든 딥페이크 콘텐츠에 워터마크와 변경된 음향적, 시각적 요소를 공개하도록 요구하는 법안이 발의되었으며, 또한 성적 내용이 포함된 딥페이크로 사람을 괴롭히거나 고통을 주려는 의도로 이 정보를 공개하지 않을 경우 "법에 따라 벌금형, 5년 이하의 징역형 또는 이 둘을 병과할 수 있다"고 명시했다. 그러나 이 법안 역시 2023년에 폐기되었다.[38]
영국에서 잉글랜드 및 웨일스 법률위원회는 2022년에 딥페이크 포르노 공유를 범죄화하는 개혁을 권고했다.[39] 2023년에는 이를 위해 정부가 온라인 안전법(Online Safety Bill) 개정을 발표했다. 2023년 온라인 안전법은 2003년 성범죄법(Sexual Offences Act 2003)을 개정해 초상권자의 동의 없이 딥페이크 포르노를 공유하는 행위를 범죄화했다. 2024년에는 정부가 딥페이크 포르노 이미지 제작을 범죄화하는 조항을 2024년 형사 사법법(Criminal Justice Bill)에 포함할 것이라고 발표했지만,[40][41] 총선을 앞두고 의회가 해산되면서 해당 법안은 통과되지 못했다.
유포 제어
법적 체계가 아직 미비한 상황이지만, 법원 명령을 통한 제거 확보, DMCA 테이크다운과 같은 지적 재산권 도구, 호스팅 플랫폼의 이용 약관 위반 신고, 그리고 검색 엔진에 콘텐츠를 신고하여 제거하는 방법 등 여러 도구들을 통하여 딥페이크 포르노 피해자들은 콘텐츠들의 유포를 통제할 수 있다.[42]
몇몇 주요 온라인 플랫폼은 딥페이크 포르노그래피를 금지하기 위한 조치를 취했다. 2018년부터 gfycat, 레딧, 트위터, 디스코드 및 Pornhub는 모두 자사 플랫폼에서 딥페이크 포르노 콘텐츠의 업로드 및 공유를 금지했다.[43][44] 같은 해 9월, 구글은 "비자발적인 합성 음란물 이미지"를 금지 목록에 추가하여 개인이 검색 결과에서 해당 콘텐츠를 제거하도록 요청할 수 있도록 했다.[45]
