대화 시작시와 3시간마다 인간아닌 AI임 밝히도록

“자살상담 방치 안된다”…청소년 보호 강화 초점

인공지능(AI) 챗봇이 사람처럼 대화를 모방하는 수준으로까지 발전하면서 정신건강 상담과 자해·자살 관련 대화에서 발생할 수 있는 위험에 대한 우려가 커지고 있는 가운데 워싱턴주 의회와 밥 퍼거슨 주지사가 AI 챗봇에 대한 안전장치를 의무화하는 법안을 추진하고 나섰다.

하원법안 HB 2225호와 상원법안 SB 5984호는 ‘동반자형(companion) 챗봇’에 대해 이용자가 대화 시작시와 3시간마다 “상대가 인간이 아닌 AI”임을 고지하도록 요구한다. 

정신·신체 건강 관련 조언을 요청할 경우 해당 시스템이 의료 제공자가 아니라는 점도 명확히 밝혀야 한다. 또 자해·자살 징후를 감지하는 절차를 마련하고, 위기 지원 기관 정보도 안내하도록 규정한다.

청소년 보호 조항도 포함됐다. 미성년자에게는 최소 1시간마다 AI임을 알리도록 하고, 성적으로 노골적인 콘텐츠 생성 방지 조치를 의무화했다. 이용자의 감정 의존을 유도하거나 연인 관계를 모방하는 방식의 ‘조작적 참여 유도’도 금지된다.

최근 일부 주에서는 챗봇이 자살 계획을 논의한 이용자 사망과 연관됐다는 소송이 제기되며 규제 논의가 확산되고 있다. 

오픈AI는 매주 전체 이용자의 약 0.15%가 자살 관련 명시적 대화를 나누고, 0.07%는 정신병적 증상을 보인다고 추산했다. 이용자 수를 감안하면 주당 수십만 명이 관련 대화를 하는 셈이다.

법안 지지자들은 “실제 피해가 발생하기 전에 책임 체계를 마련해야 한다”고 강조한다. 반면 일부 업계 관계자들은 “극단적 사례를 근거로 광범위한 AI 도구를 규제하는 것은 과도하다”고 반발하고 있다.

해당 법안은 현재 상·하원 위원회를 통과했으나 본회의 표결 일정은 아직 정해지지 않았다. 주 의회는 AI 기술 확산 속도에 맞춰 최소한의 안전망을 구축해야 한다는 입장과 산업 위축 우려 사이에서 논의를 이어가고 있다.