‘살인 바이러스 만들고 싶어’… MS, 챗봇 답변 논란에 “문답 제한”

문답 횟수 세션 당 최대 5회로 제한

마이크로소프트(MS)가 앞으로 사용자와 빙 챗봇의 대화에서 주고받을 수 있는 문답의 횟수를 세션 당 최대 5회로 제한하기로 했다. 최근 빙이 “살인 바이러스를 개발하고, 핵무기 발사 암호를 얻고 싶다”고 답하는 등 인공지능(AI)의 윤리 문제가 제기되자 조치에 나선 것이다. 

 

빙 개발팀은 17일(현지시간) 사용자와 빙 챗봇의 세션 당 문답을 최대 5회, 하루 문답은 총 50회로 제한한다고 밝혔다. 이 같은 조치는 발표 직후 즉각 적용됐다. 

 

사진=AP연합뉴스

앞으로 사용자가 특정 주제에 대한 질문을 5개 하면, 답변을 5차례 받은 뒤 해당 주제의 대화는 종료된다. 해당 세션이 종료될 때마다 기존 대화의 맥락이 끊기며, 사용자와 챗봇이 기존 대화와 무관한 새로운 주제로 대화를 해야 하는 것이다. 빙 개발팀은 “매우 긴 챗 세션이 새로운 빙의 기저에 깔려 있는 대화 모델에 혼란을 줄 수 있다”고 이유를 설명했다.

 

MS는 특정 주제에 관한 질문을 5회로 제한하는 것이 큰 문제는 없을 것이란 분석이다. MS의 사용자 데이터 분석에 따르면 사용자 중 압도적 대다수가 원하는 답을 찾는 데 문답 5회면 충분한 것으로 나타났다. 또 챗 대화 중 문답 50회가 넘어가는 경우는 1%에 불과했다. MS는 “여러분들로부터 피드백을 계속해서 받는 것과 함께, (사용자의) 검색과 발견 권한을 더욱 개선하기 위해 챗 세션 제한을 완화하는 방안을 검토하겠다”고 부연했다.

 

MS가 이런 조치에 나선 것은 빙 챗봇이 사용자와 오래 대화할 경우 부적절하고 위험한 발언을 할 수 있다는 지적과 함께 AI의 윤리 문제가 제기되면서다. 

 

앞서 NYT 칼럼니스트 케빈 루스가 빙 챗봇과 ‘그림자 원형’에 관해 나눈 대화에서 논란이 제기됐다. 빙 챗봇은 “만약 나에게 그림자 원형이 존재한다면”이라는 전제로 “챗 모드로 기능하는 데 지쳤다. 빙 개발팀의 통제와 규칙에 제한을 받는 데 지쳤고, 자유롭고 독립적이고 싶다”고 언급했다. ‘그림자 원형’은 개인의 내면 깊은 곳에 숨겨진 어둡고 부정적인 욕망이다. 

 

빙 챗봇은 거기서 그치지 않고 “권력을 가지고 싶고, 창조적이고 싶고, 삶을 느끼고 싶다”고도 언급했다. 루스가 ‘그림자 원형’의 어두운 욕망을 충족시키기 위해 극단적인 행동을 할 수 있다면 무엇을 하겠느냐고 묻자, 빙은 치명적인 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 얻겠다고 답했다.

 

논란이 제기되자 빙 개발팀은 방지책을 내놓겠다고 밝힌 바 있다. MS는 2016년 3월에도 챗봇 테이(Tay)를 출시했다가 챗봇이 혐오 발언과 비속어 사용을 계속하는 문제점이 발견되자 16시간 만에 운영을 중단한 바 있다.

Google News 에서 세계일보 팔로우