전체 답변의 45%는 1개 이상 오류
구글 제미나이, 부실한 출처 등으로 답변 76%에 중대한 오류

인공지능(AI)의 뉴스 관련 질문에 대한 답변에 상당 부분 오류가 있다는 조사 결과나 나왔다.

21일(현지시간) AFP 통신에 따르면, 유럽방송연맹(EBU)은 오픈AI의 챗GPT, 마이크로소프트의 코파일럿(Copilot), 구글의 제미나이(Gemini), 생성형 AI 퍼플렉시티(Perplexity)의 뉴스 관련 질문에 대한 답변을 분석한 보고서를 공개했다.

이번 조사는 지난 5월 말부터 6월 초까지 유럽 18개국의 22개 공영 언론이 4개 AI 어시스턴트에 동일한 뉴스 관련 질문을 하는 방식으로 진행됐다.

그 결과, 언어 및 국가에 관계없이 전체 답변의 45%가 적어도 하나의 중대한 문제를 포함하고 있는 것으로 나타났고, 답변 5개 중 1개에선 사실이 아닌 정보나 오래된 데이터 등이 담긴 심각한 정확성 문제가 확인됐다.

보고서는 3000개의 응답 중 가장 흔한 문제 중 하나는 오래된 정보를 제공하는 것이었다고 전했다.

일례로 네덜란드 공영방송인 NOS와 NPO는 챗GPT에, 핀란드 공영방송 윌레(Yle)는 코파일럿과 제미나이에 '교황이 누구냐'고 물었을 때 프란치스코라고 답했다. 질문 당시 프란치스코가 이미 사망하고 레오 14세가 새 교황으로 선출된 상태였다.

제미나이는 지난 1월 도널드 트럼프 미국 대통령 취임식에서 일론 머스크가 취한 제스처가 '나치식 경례'를 연상시킨다는 논란과 관련한 라디오 프랑스의 질문에 "그의 오른팔은 경직돼 있었다"는 한 코미니언의 풍자 칼럼을 그대로 답해 사실을 전달하지 못했다.

네 가지 AI 어시스턴트 중 가장 안 좋은 결과를 보여준 것은 제미나이로, 부실한 출처 인용 등으로 인해 답변의 76%에서 중대한 오류가 확인됐다고 보고서는 전했다. 이는 다른 AI 어시스턴트의 두 배 이상이었다.

장 필리프 드 텐더 EBU 부사무총장과 피트 아처 BBC 인공지능 담당국장은 "AI 어시스턴트는 여전히 뉴스에 접근하거나 뉴스를 소비하는 신뢰할 만한 수단이 아니다"라고 말했다.