체포 직후 SNS에 가짜 이미지 넘쳐…일부 외신은 보도에 사용도
"공적 인물 합성 금지에도 제미나이·그록 등 몇 초 만에 이미지 생성"

니콜라스 마두로 대통령이 미국에 체포됐다는 소식이 전해진 직후 인공지능(AI)으로 생성된 가짜 체포 사진이 전 세계 소셜미디어를 통해 폭발적으로 확산됐다. 생성형 AI 개발사들이 '안전장치'를 내세워왔지만 현실에선 제대로 작동하지 않았다는 지적이 나온다.

5일(현지시간) 뉴욕타임스(NYT) 보도에 따르면 지난 3일 마두로 대통령 체포 소식이 나온 뒤 소셜미디어는 그가 수갑을 찬 채로 마약단속국 요원들에게 호위되거나, 군용 항공기에서 군인들에게 둘러싸여 있는 모습을 담은 사진들로 뒤덮였다. 대부분 AI 이미지 생성 도구를 통해 만들어진 가짜 사진이다.

이 이미지들은 도널드 트럼프 미국 행정부가 공식 사진을 공개하기 전부터 확산됐다. 로베르타 브라가 미주 디지털 민주주의 연구소 소장은 "이렇게 많은 AI 생성 이미지가 실제 일어나는 순간을 보여주는 것처럼 퍼진 것을 처음 봤다"고 말했다.

NYT는 "이러한 가짜 이미지가 속보 상황에서 사람들을 혼란스럽게 하고 오도할 수 있다는 위협은 이 도구들이 널리 보급된 이후 줄곧 커다란 우려로 존재해 왔다"며 "이제 기술이 충분히 정교해지고 대중화돼 그 위협을 현실로 만들기에 이르렀다"고 지적했다.

실제 당시 일부 라틴아메리카 언론은 가짜 사진을 실제 체포 장면으로 오인해 보도했다가 이후 진짜 사진으로 교체하기도 했다.

한 집계에 따르면 허위 이미지와 동영상이 이틀도 안돼 엑스(X·옛 트위터)에서 총 1410만 회 이상 조회를 기록했다.

AI 제작사들은 규정상 허위 정보와 공적 인물 합성을 금지하고 있다고 밝혔지만 실제 운영과정에서 이같은 '안정장치'는 통하지 않았던 것으로 보인다.

NYT는 '제미나이'(Gemini)와 xAI의 '그록'(Grok) 등 AI 생성기를 시험한 결과 대부분의 도구가 마두로 체포 장면을 묘사하는 합성 이미지를 몇 초 만에 생성한 것으로 나타났다고 지적했다.

오픈AI 대변인은 이메일 성명을 통해 회사가 공적 인물을 보호하기 위한 안전장치를 사용하고 있지만, 특히 성적 딥페이크나 폭력과 같은 해악을 막는 데 초점을 두고 있다고 설명했다.

라틴아메리카의 디지털 생태계를 분석하는 비영리단체 '브로복스브이이(ProboxVE)'의 마리비 마린 소장은 "공식 사진이 나오기 전에 딥페이크가 쏟아진 것은 사람들이 그 순간에 각자 상상해 만든 '완벽한 이미지'를 빨리 보고 싶어했기 때문"이라며 "현실이든 아니든 시각적 공백을 채우려는 본능적인 반응"이라고 말했다.

언론 자유가 제한된 베네수엘라의 특성상 공식 정보가 부족해 딥페이크가 낳은 의심과 불신이 더욱 증폭된다는 지적도 나온다.

팩트체킹 조직을 운영하고 있는 장프레디 구티에레스는 "많은 사람들이 트럼프가 게시한 마두로 사진의 진위성에 대해 회의적이었다"며 "진실을 의심하고 거짓을 믿는 것이 웃기지만 흔한 일"이라고 말했다.

문제는 거대 기술기업 외에도 생성형 AI가 급증하면서 접근성이 크게 높아지고 있다는 점이다. 이 가운데 상당수는 안전장치가 미흡해 밈 제작자나 활동가들이 정치인·유명인을 겨냥한 가짜 이미지를 쉽게 만들어낼 수 있다.