미국 워싱턴대 연구팀 챗GPT-4 검증

"5개년 기출시험 모두 통과하는 점수"

미국 오픈AI가 개발한 생성형 인공지능(AI) 챗봇인 '챗GPT'가 일본의 의사면허 시험에 합격했다는 연구 결과가 공개됐다. 미 변호사 시험 통과에 이어 일본의 의사고시까지 합격하면서 생성형 AI 챗봇이 각종 전문직 시험을 차례로 제패하는 모습이다.

10일 요미우리신문에 따르면 미국 워싱턴대 가사이 준고 자연어 처리 연구원은 챗GPT의 최신 버전인 '챗GPT-4'에 2018년부터 2022년까지 출제된 일본 의사면허 시험을 풀게 했다. 그 결과 챗GPT-4는 5개년 치 기출시험에서 모두 합격선을 넘는 점수를 기록했다.

다만 챗GPT 기존 버전의 경우 모든 시험에서 불합격했다. 또한 챗GPT-4도 인간 응시자의 평균 점수를 밑돌았다. 특히 임신 중인 환자에게 투여할 수 없는 약제를 선택하거나 환자에게 안락사를 권유하는 말을 적절한 대응으로 고르기도 했다.

가사이 연구원은 "일본의 의료법을 잘 모르거나 임신부라는 사실을 간과한 게 문제"라고 설명했다. 그러면서 향후 챗GPT가 더 많은 일본어 데이터를 학습하게 될 경우 성능이 대폭 개선될 것으로 기대된다고 덧붙였다.

챗GPT가 전문직 시험에 합격한 건 이번이 처음이 아니다. 오픈AI는 지난 3월 기술적으로 업그레이드된 챗GPT-4를 공개하면서 미국 모의 변호사 시험을 전체 상위 10% 성적으로 통과했다고 발표했다. 이전 버전인 챗GPT-3.5가 동일한 시험에서 하위 10%를 기록한 것과 대비된다. 이에 오픈AI는 이제 전문 분야만큼은 챗GPT가 인간 수준의 성과를 보여준다고 평가했다.

앞서 지난 1월에는 미국 미네소타대에서는 챗GPT가 로스쿨에 합격하는 일이 벌어지기도 했다. 당시 챗GPT는 구형 버전이었음에도 로스쿨 입학시험과 동일한 문항을 받았는데 미 헌법과 조세제도 등 광범위한 내용을 주제로 서술형 답안을 작성해 합격권에 들었다.