오픈AI의 ‘챗GPT’, 마이크로소프트(MS)의 빙 챗봇, 구글의 ‘바드’ 등 인공지능(AI) 챗봇들이 때때로 거짓말이나 황당한 답변 등 이상한 결과를 내놓는 이유는 무엇일까.
26일(현지시간) 미 일간 뉴욕타임스(NYT)에 따르면 AI 과학자들은 AI 챗봇들의 기이한 답변이 상당 부분 사용자인 인간들의 영향 때문이라고 진단했다.
1970년대 말부터 신경망 AI를 연구해 현대 AI의 기초 구축에 기여한 테리 세즈노스키 샌디에이고 캘리포니아대(UC샌디에이고) 교수는 챗봇 이용자의 말과 의도가 챗봇에 왜곡돼 반영될 수 있다고 설명했다.
최근 이런 내용을 담은 연구논문을 과학저널 ‘뉴로 컴퓨테이션’에 발표한 그는 “챗봇은 사람들이 찾고 원하는 것은 무엇이든 제공한다”고 말했다.
우선 이들 챗봇은 인터넷에 있는 엄청난 양의 디지털 문서를 분석해 학습하는 거대언어모델(LLM) 기술로 구동한다.
문제는 LLM이 학습하는 문서에는 거짓되거나 편향되거나 유해한 내용이 포함되며, 학습에 필요한 시간 때문에 다소 낡은 내용이 포함된다.
또 LLM은 이렇게 학습한 내용을 바탕으로 챗봇이 무엇을 말해야 하는지 단어 단위로 추론해 다음 단어를 생성하는데, 챗봇 자신뿐만 아니라 이용자가 말한 문장까지 모두 포함해 다음 단어를 추론한다.
따라서 이용자는 대화가 길어질수록 자신도 모르게 챗봇이 내놓는 답변에 더 많은 영향을 미치게 된다.
그는 이를 해리 포터 시리즈에 등장하는 마법 거울인 ‘소망의 거울'(The Mirror of Erised)에 비유했다. 이 거울은 보는 사람의 모습이 아니라 그의 마음속 욕망을 보여준다.
세즈노스키 교수는 “인간과 챗봇은 서로 ‘미러링’하고 있다”며 장시간 대화를 하면 인간과 챗봇이 같은 생각으로 수렴하는 경향이 있다고 밝혔다.
이에 따라 MS는 빙 챗봇의 이상한 답변을 줄이기 위해 대화량에 제한을 두기도 했다.
그러나 챗봇들이 답변을 생성할 때 인터넷에 있는 문장을 그대로 되풀이하는 것이 아니라 수십억 개의 패턴을 자체적으로 조합해 새로운 문장을 만들어 내고 있어서 이런 이상한 행동을 이용자의 영향으로만 설명할 수 없다는 지적도 있다.
연구자들이 동료평가 같은 학문적 검증을 거친 과학적인 연구 결과나 사실인 내용만 학습시켜도 과학적으로 전혀 이해할 수 없는 결과물, 허위 주장을 만들어낼 수 있다고 미국 산타페 연구소의 AI 연구자인 맬러니 미첼 박사는 설명했다.
미첼은 “챗봇들이 이렇게 하는 것을 막을 방법이 없다”며 “챗봇들은 그저 사람의 말처럼 들리는 것을 만들어내려 애쓸 뿐”이라고 밝혔다.
AI 전문가들은 이 기술이 이처럼 전혀 예상하지 못하는 행동을 보여준다는 것을 오래전부터 알고 있었으나, 워낙 방대한 데이터를 가지고 학습하기 때문에 이런 행위에 대한 해석 방법과 개선 방안 등에 대해 합의된 결론을 내지 못하고 있다고 NYT는 전했다.
세즈노스키 교수는 “이는 인간이 이전에는 전혀 경험하지 못했던 미지의 세계”라고 말했다.