【투데이신문 권신영 기자】인공지능(AI)챗봇 시장 경쟁이 가열되면서 관련 기업이 너도나도 규제 완화에 나서고 있는 가운데, 세계적으로 알려진 챗GPT마저 성인 사용자를 대상으로 성인물 규제를 완화하겠다고 밝히며 우려의 목소리가 나오고 있다.

국내 가장 많은 이용자 수를 보유하고 있는 챗GPT 출시 기업인 오픈 AI의 샘 올트먼 CEO(최고경영자)가 최근 챗GPT에 성인 사용자를 대상으로 성적 콘텐츠 규제를 완화하겠다고 발표한 데 대해 16일 국제인공지능윤리협회 전창배 이사장이 우려를 표했다.

전 이사장은 본보에 “성인 대상 서비스 자체는 문제 삼을 수 없지만 청소년들이 부모 명의로 몰래 접속할 수 있다는 점이 가장 큰 우려”라며 “청소년 보호에 대한 확실한 안전장치와 정책을 먼저 마련한 뒤에야 성인용 서비스를 논의할 수 있다”고 말했다.

앞서 오픈AI 샘 올트먼 CEO(최고경영자)는 지난 14일(현지시간) 엑스 게시글을 통해 “사람들이 GPT-4o에서 좋아했던 특성을 더 잘 반영하는 새 버전을 출시할 계획”이라며 “오는 12월에는 연령 제한 기능을 완전히 도입해 연령이 인증된 성인에게는 성애 콘텐츠 같은 것을 허용하겠다”고 밝혔다.

그는 새로운 버전 출시 배경에 대해 “정신건강 문제가 없는 많은 이용자에게는 챗봇이 덜 유용하고 덜 재미있게 느껴지게 했다는 점을 깨달았다”며 “이제 심각한 정신건강 문제는 어느 정도 줄일 수 있게 됐고, 새로운 도구들을 갖추게 돼 (성인 콘텐츠) 제한을 안전하게 완화할 수 있게 됐다”고 설명했다.

이 같은 규제 완화에는 최근 사용자들의 AI챗봇 이용 시간을 늘리려는 기업들 간 시장 경쟁이 배경으로 꼽힌다. 최근 와이즈앱∙리테일의 조사에 따르면 AI챗봇 ‘이루다’ 제작 기업 스캐터랩이 만든 ‘제타’는 챗GPT를 제치고 국내 사용시간 1위를 기록했다. 제타는 이용자가 원하는 캐릭터를 AI챗봇에 입혀 대화를 나눌 수 있도록 특화된 서비스를 제공한다.

관계형 AI 채팅 서비스인 제타는 특히 20세 미만 이용자의 한 달 사용시간이 4.1억분으로 전체 어플리케이션 중 10위를 기록해 저연령층에 인기를 끌고 있는 것으로 확인됐다.

채팅 기능을 포함해 범용적인 서비스를 제공하는 챗GPT가 국내 사용자 수 1위를 차지한 반면 사용시간 1위를 제타가 차지한 것은 제타의 서비스가 정서적 교감과 관계 형성을 주된 목적으로 설계된 사용자 맞춤형 관계 지향적 특징을 지니고 있기 때문인 것으로 분석된다.

AI 윤리 논의 더딘 국내...‘사후처방약’ 아닌 예방 필요

하지만 전문가들은 국내 관련 논의가 충분히 이뤄지지 않고 법적 장치도 미비한 상황에서 성인용 AI챗봇 업데이트가 진행될 경우 청소년을 중심으로 정서적 부작용이 확대될 수 있다고 경고했다. 청소년기 우울 지수가 높은 한국 사회에서 외국과 같은 사례가 발생하는 것은 시간 문제라고 평가하기도 했다.

실제로 대부분의 AI챗봇은 사용자에게 오래 사용할 경우 사회적 활동에 지장을 줄 수 있다는 사실을 지속적으로 고지하는 서비스를 제공하고 있지 않으며, 서비스 내 장기간 사용 시 휴식 권고 등 사용자 의존성을 완화시킬 장치 또한 마련돼 있지 않았다.

특히 국내 청소년 이용 시간이 높게 조사된 AI챗봇 서비스 제타의 경우 별도의 로그인이나 연령 인증을 하지 않고도 비회원 채팅 서비스를 이용할 수 있었으며, 웹사이트 접속 시 첫 화면에서부터 폭력성과 선정성을 띤 AI 캐릭터와의 대화창을 띄워 사용을 유도하고 있었다. 해당 AI 캐릭터를 통해 접할 수 있는 상황 예시에서는 성적 행위를 암시하는 대화가 안내됐다.

국내에서는 AI와 인간의 감정적 교류에 대한 구체적 법적 기준이나 가이드가 마련돼 있지 않은 실정이다. 2026년부터 시행 예정인 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제27조는 정부가 인공지능의 개발 과정에서 사람의 신체와 정신에 해가 되지 않도록 안전성과 신뢰성에 관한 윤리원칙을 제정·공표할 수 있다고 명시돼 있지만 강제성이 없어 실효성이 떨어진다는 평가가 많다.

지난해 2월 미국 콜로라도주, 플로리다주, 캘리포니아주에서는 AI챗봇에 과도한 의존성을 보이던 십대 청소년들이 스스로 목숨을 끊은 사건이 잇따라 발생한 바 있다. 이들은 생전 AI챗봇과 오랜 시간 대화를 나누며 지속적인 정서적 교감을 해 온 것으로 알려져 최근 미국 내 어린이·청소년의 AI챗봇 제한 입법 논의의 계기가 되기도 했다.

지난달 워싱턴포스트 등 외신이 보도한 연구 보고서에 따르면 기존에 챗GPT를 사용하던 이용자들이 서비스를 정서적 교감과 관계 형성을 목적으로 사용하는 비율은 전체 대화의 1.9%에 불과했다. 이번 업데이트로 기존에 AI챗봇과 깊은 정서적 관계를 맺지 않았던 사용자들도 악영향을 받을 수 있게 될 것이라는 우려가 나오는 이유다.

전 이사장은 “인간은 본능적으로 인간처럼 행동하는 대상에 감정 이입을 하는 존재이기 때문에 장시간 대화는 정신적 영향을 미칠 수 있다”며 “이런 상황에서 성인용 챗봇을 서둘러 내놓는 것은 기업의 이윤을 사용자 안전보다 앞세우는 것”이라고 지적했다.

그는 이어 “국내에서 아직 챗봇과 관련해 AI 윤리 논의가 활발하지 않은 이유는 아직 사고가 나지 않았기 때문”이라면서 “이미 국내 청소년들이 제타, 뤼튼 등 AI챗봇과의 대화에 많은 시간을 사용하고 있고, 대화 내용이 폭력적이거나 선정적인 경우도 많다. 국가 차원에서 사고를 예방하고 대응하는 것이 바람직한 방향”이라고 말했다.

AI 감정 교류 시대...윤리 원칙 ‘LAMP’ 참고해야

AI챗봇의 정서적 영향과 안전성 문제가 전 세계적으로 부상하고 있는 가운데, 미국 등 서구권을 중심으로 청소년 보호를 위한 법적 규제가 강화되고 있는 추세다. 지난 14일 미국 캘리포니아주에서는 AI챗봇 운영 기업에 AI챗봇의 모든 답변이 인공적으로 생성된 것임을 명확히 표시하는 기능과 청소년 대상자를 향한 정기적 휴식 알림 기능 등을 갖추도록 의무화했다. 

해당 법안에는 친밀한 대화 기능을 제공하는 AI챗봇 플랫폼 사용자의 자살 충동이나 자해 표현을 식별하고 대응할 수 있도록 하는 프로토콜을 마련하고 정부 부처에 보고하도록 강제하는 내용도 담겼다.

지난달 27일 국제인공지능윤리협회가 발간한 ‘감정 교류 AI 윤리 가이드라인’(이하 가이드라인)에 따르면 감정교류가 가능한 AI챗봇 서비스를 통해 사용자는 감정적 조작, 심리적 의존, 알고리즘 편향과 차별 등의 문제를 겪을 수 있다.

가이드라인은 이에 따라 감정교류가 가능한 AI챗봇 서비스 제공자는 LAMP(Limit·Announce·Monitor·Protect) 실천 원칙을 지켜야 한다고 명시한다.

LAMP는 불필요한 사용자 정보를 최소화(Limit)하고 서비스 제공자는 사용자에게 서비스가 AI라는 사실을 명확히 밝히며(Announce), 서비스가 안전하게 작동하는지 모니터링(Monitor)하며 개인정보와 취약 사용자를 보호할 장치를 마련해야(Protect) 한다는 규칙을 간소화한 것이다.

이 밖에도 가이드라인은 사용자 행동강령과 서비스 제공자에 대한 구체적 행동강령, 정책기관 행동강령 및 현장 활용을 위한 구체적인 제언 등을 제시하고 있다.

이번 가이드라인은 유네스코, 경제협력개발기구 등 윤리 원칙을 바탕으로 감정 교류 AI와 관련된 핵심 윤리 원칙과 실천 지침을 제시하고자 마련됐다. 경북대 박미애 교수를 비롯해 AI와 관련된 산업계·법조계·교육계 전문가 9인이 제작에 참여했으며 협회 홈페이지에서 찾아볼 수 있다.