【투데이신문 변동휘 기자】 SF(사이언스 픽션) 소설이나 영화 좋아하시는 분들은 아마 ‘가상 인간’을 심심찮게 접해보셨을 겁니다. 주로 주인공의 잡다한 일들을 돕는 비서로 등장하지만, 때로는 인간들을 멸종시키려는 악당으로 나오기도 하는 등 다양한 모습으로 묘사되곤 하죠. 

최근 들어 이러한 ‘디지털 휴먼’이 우리의 실제 삶 속으로 들어오고 있습니다. 버추얼 유튜버를 비롯해 광고 모델에도 활용되고요, 최근에는 연예인을 모델로 만든 디지털 휴먼과 가상 걸그룹까지 등장해 눈길을 끌기도 했습니다. 일부 사례의 경우 실제 인간만큼 사실적인 모습을 하고 있기도 합니다. 

특히 AI(인공지능)의 발전은 이러한 디지털 휴먼을 더욱 실제처럼 만들고 있습니다. 자체적으로 학습을 하고, 발화를 생성하는 등 또 다른 가상의 친구가 될 것이란 뜻이죠. 과연 미래에는 얼마나 ‘인간스러운’ 가상 인간이 등장하게 될까요? 또한 이러한 흐름에 문제는 없는 것일까요? 이번 주 IT Duck질에서는 디지털 휴먼의 현 주소와 미래에 대해 알아보도록 하겠습니다.

■ ‘엔터테인먼트’에서 피어나다

일단 ‘디지털 휴먼’이란 무엇인지에 대해서부터 살펴보겠습니다. 사람의 신체 구조와 움직임, 목소리 등을 데이터화해 마치 실제 존재하는 사람인 것처럼 가상공간에 구현하는 기술을 말합니다. 버추얼 휴먼, 가상인간 등 다양한 명칭으로 불리고 있죠. 

엄청 획기적인 기술처럼 보이긴 하지만, 그 유래를 살펴보면 생각 외로 꽤 오래 전으로 거슬러 올라갑니다. 1990년대를 기억하시는 분들이라면 한 번쯤 들어보셨을 법한 국내 1호 사이버 가수 ‘아담’이 대표적이죠. 하지만 우리가 현재 생각하는 디지털 휴먼과는 상당한 괴리감이 있었습니다. 컴퓨터 그래픽스(CG) 기술도 지금처럼 발달하지 못했을 때고, 목소리 역시 실제 사람이 직접 노래를 불러서 해결했던 수준이었습니다. 당연히 스스로 생각하고 말하는 것은 꿈도 꾸지 못했죠. 비용은 비용대로 들고, 생각보다 생생하지도 않고, 심지어 ‘불쾌한 골짜기*’도 해결하지 못했기에 금세 시들해지고 말았습니다. 

*불쾌한 골짜기: 인간이 인간이 아닌 존재를 볼 때, 해당 존재가 인간과 많이 닮아 있을수록 호감도가 높아지다 일정 수준에 다다르면 오히려 불쾌감을 느낀다는 이론

하지만 엔터테인먼트 업계는 이 같은 흐름을 놓지 않고 계속 이어 왔습니다. 지난 2018년 라이엇 게임즈가 선보인 가상 걸그룹 ‘K/DA’도 그 연장선상으로 볼 수 있습니다. 세계적으로 큰 인기를 끌고 있는 K-POP 아이돌에 착안해 자사의 게임 ‘리그 오브 레전드’ 내에 등장하는 게임 캐릭터를 활용한 것이죠. 데뷔곡 ‘POP/STARS’에는 국내 유명 아이돌 그룹 (여자)아이들의 미연, 소연이 목소리로 참여했는데요, 서울에서 개최된 2018년 LoL 월드 챔피언십(롤드컵) 결승전 생방송에서는 실제 목소리를 담당했던 가수들과 캐릭터들의 홀로그램을 같이 등장시키기도 했습니다. 

관련업계에서도 이를 흥미롭게 지켜봤다는 후문입니다. 한 연예기획사 고위 관계자는 “국내 아티스트가 참여해 세계 대회 결승무대를 장식하는 등 K/DA가 엔터테인먼트 업계에 던진 충격이 컸다”고 말했습니다. 

SM엔터테인먼트도 걸그룹 ‘에스파’를 통해 비슷한 시도를 했습니다. 4명의 실제 멤버에 메타버스 콘셉트를 더해 4명의 가상 멤버를 추가한 것이죠. ‘광야’로 대표되는 독자적인 세계관 역시 이를 기반으로 만들어진 것입니다. 물론 AI보다 더 AI 같은 카리나의 미모가 더 주목받긴 했지만요. 

디지털 휴먼을 향한 이 같은 노력은 마침내 로커스엑스의 가상인간 ‘로지’를 통해 만개했습니다. MZ세대가 선호하는 얼굴형을 모아 3D 합성 기술로 탄생시켰으며, 처음에는 약간 어색한 부분도 있었지만 지금은 실제처럼 자연스러운 모습을 보이고 있습니다. 2021년부터 신한라이프를 비롯해 질 스튜어트, 헤라, 메종 마르지엘라, 캘빈 클라인 등 다양한 브랜드의 광고모델로 활약했죠. 현재 인스타그램 팔로워 수는 15만명을 넘긴 상태이며, 가수를 비롯해 자신만의 패션 브랜드를 만드는 등 다양한 활동을 펼치고 있습니다. 

이외에도 네이버의 첫 가상인간 ‘이솔’을 비롯해 롯데홈쇼핑의 ‘루시’, 온마인드의 ‘수아’, LG전자 ‘김래아’ 등에 이르기까지 가상인간의 활약은 계속되고 있습니다. 게임업계에서도 이 분야에 뛰어드는 추세인데요, 스마일게이트의 버추얼 인플루언서 ‘한유아’와 넷마블의 손자회사 메타버스엔터테인먼트에서 탄생시킨 가상 걸그룹 ‘메이브’ 등이 있습니다.

■ 외모와 목소리, 자아를 갖다

최근 등장하는 디지털 휴먼들을 살펴보면, ‘불쾌한 골짜기’를 비롯해 과거의 한계들을 극복하는 모습들을 확인할 수 있습니다. 뭔가 각지고 부자연스럽던 외모는 실제처럼 생생해졌고, 목소리 등 사람의 도움을 받아야 했던 부분도 점차 사람의 수고가 줄어들고 있죠. 

이 같은 혁신을 가능케 했던 기술은 무엇일까요? 가장 먼저 꼽아야 할 부분은 단연 컴퓨터 그래픽스입니다. 그래픽 기술의 발달로 더욱 실사에 가까운 형태를 구현하는 것이 가능해졌다는 점에서죠. 

에픽게임즈의 ‘언리얼 엔진’에서 지원하는 플러그인 ‘메타휴먼’이 대표적인데요. 고퀄리티의 페이셜 연기와 실제 사람의 기존 스캔에 기반을 둔 사실적인 움직임, 물리적으로 타당한 조정 등 다양하면서도 사실적인 묘사를 지원합니다. 앞서 언급했던 넷마블의 가상 아이돌 그룹 ‘메이브’도 언리얼 엔진을 활용해 제작된 것으로 알려져 있습니다. 

특히 AI 기술의 도입은 이 분야에 전에 없던 엄청난 혁신을 가져왔습니다. 비주얼과 음성 등의 측면에서 보다 정교하고 자연스러운 결과물을 만들어내는 것이 가능해졌거든요. 실제 사람의 수고 없이도 AI가 자연스러운 사람의 형체와 목소리를 생성할 수 있기에, 개발에 필요한 시간과 자원을 절약할 수 있다는 장점도 있습니다. 

관련해 지난 3월 세계 최대의 게임 개발자 행사 ‘GDC 2023’에서는 엔씨소프트 윤송이 사장이 김택진 CEO의 디지털 휴먼, 이른바 ‘디지털 TJ’를 공개했습니다. AI 기술에 아트, 그래픽 등 비주얼 기술 역량을 결합해 제작했다는 점에서 많은 주목을 받았죠. 

엔씨소프트에 따르면, ‘디지털 TJ’의 모든 대사는 입력된 텍스트에 특정인의 목소리, 말투, 감정 등을 담아 상황에 맞는 자연스러운 음성으로 생성하는 AI 음성 합성 기술 ‘TTS(Text-to-Speech)’로 구현했다고 합니다. 표정 및 립싱크 애니메이션은 ‘보이스 투 페이스(Voice-to-Face)’ 기술을 활용했습니다. 대사나 목소리를 입력하면, AI가 상황에 맞는 얼굴 애니메이션을 자동으로 생성하는 기술이라고 합니다. 

여기에 챗GPT의 등장으로 디지털 휴먼에 ‘사고력’을 부여할 수 있다는 희망까지 생겼습니다. 대중들의 시선은 제공되는 정보의 정확도나 ‘환각 효과’ 등에 쏠렸지만, AI 전문가들은 오히려 엄청난 논리력을 갖고 있다는 점에 집중했거든요. 자연스러운 발화를 생성할 수 있게 된 만큼, 스스로 생각하고 말하는 ‘진짜 사람같은’ 디지털 휴먼도 조만간 만들 수 있을 것으로 보입니다.

■ 기술적 성취의 빛과 그림자

여기서 머릿속을 스치는 질문이 하나 있습니다. 디지털 휴먼을 도입해 얻을 수 있는 이득이 무엇이냐는 것이죠. 전통적인 관점에서 팬덤은 결국 ‘사람’을 향하는 것인데, 이를 디지털 휴먼으로 대체한다는 것 자체가 쉽게 받아들여지기 힘든 생각이기는 합니다. 

하지만 디지털 휴먼 도입의 이점은 너무도 명확합니다. 바로 경제성 논리죠. 물론 개발하는데 상당한 시간과 비용이 들기는 하지만, 실제 사람을 키워내는 것과는 차원이 다르기 때문입니다. 로지 등 최근의 버추얼 인플루언서들은 그다지 이질감도 크지 않고, 유명 연예인을 섭외해 광고를 촬영하는 것보다 비용도 적게 들죠. ‘디지털 네이티브’인 Z세대나 알파세대를 중심으로 수용도가 높아 마케팅 측면에서도 충분히 효과적이죠.

‘휴먼 리스크’에서 자유롭다는 점도 중요한 포인트입니다. 학교폭력을 비롯해 음주운전, 마약 투여, 성범죄 등 연예인들이 각종 논란에 휘말리는 장면들을 언론 보도 등을 통해 자주 보셨을 텐데요, 디지털 휴먼 기반의 버추얼 인플루언서들은 실제 공간에는 존재하지 않기 때문에 이런 구설수에 오를 일이 없습니다. 과거 ‘아담’ 때만 하더라도 실제 목소리를 담당했던 가수가 전혀 주목받지 못하는 등의 문제가 있었지만, 이 부분 역시 AI를 활용해 해결했고요. 

하지만 디지털 휴먼이 언제나 옳은 해답인 것은 아닙니다. 특히 AI 기술이 급속도로 발전하면서 대두되기 시작했던 윤리적 문제나 논란 등이 똑같이 적용된 것이죠. 대표적으로는 ‘딥페이크’가 있습니다. 특정인의 얼굴이나 신체 부위를 합성하는 기술로, 딥러닝 기술을 통해 과거의 조악했던 방식 대비 한층 정교한 결과물을 보여주는 것이 특징입니다.

이를 잘 활용하면 돌아가신 분들을 더욱 생생하게 추억하며 기린다던가 하는 것도 가능하겠지만, 세상에 선한 사람들만 있는 것은 아니죠. 지난 2018년 미국의 한 매체는 버락 오바마 전 대통령이 트럼프 전 대통령을 비난하는 딥페이크 영상을 만든 바 있습니다. 독일의 앙겔라 메르켈 전 총리도 희생양이 됐고요. 오바마 전 대통령의 영상을 제작한 매체는 딥페이크 기술의 위험성을 알리기 위해 이 같은 일을 저질렀다고 밝혔는데요, 개인적으로는 방식 자체는 극단적이긴 했지만 가짜뉴스 배포에 악용될 위험성을 생각하게 만드는 시도였다고 평가합니다.

디지털 성범죄에 악용될 가능성도 있습니다. 유명 연예인들의 얼굴을 성인물 배우의 몸과 합성하는 식으로 포르노 영상을 만드는 행위가 경각심 없이 자행되고 있다는 점에서죠. 심지어는 지인의 얼굴을 합성하는 등 일반인 피해자도 늘고 있는 추세라고 합니다. 

관련 제작도구가 이미 인터넷에 숱하게 배포돼 있다는 점을 생각해보면, 이는 결코 좌시할 수 없는 문제들입니다. 특별히 고사양의 컴퓨터가 필요한 작업도 아니고. 관련 툴을 구하기 위해 다크웹에 접속해야 하는 등 수고가 필요한 것도 아닙니다. 우리가 흔히 사용하는 구글플레이나 애플 앱스토어 등 모바일 앱마켓에서 검색만 해봐도 수십가지의 앱들이 나오는 수준이죠. 1020세대에서는 이러한 앱들을 활용해 더욱 스타일리쉬하게 자신을 꾸미는, 소위 ‘인싸놀이’도 유행하고 있다고 하는데요, 그만큼 디지털 성범죄나 가짜뉴스 유포 등 범죄 행위에 쉽게 악용될 수 있다는 의미이기도 하죠. 누리꾼들의 경각심을 일깨우는 캠페인이나 교육 등이 필요하다는 생각이 듭니다.

산업적 측면에서는 양극화 심화에 대한 우려도 존재합니다. 실제 사람을 육성하는 것에 비하면 비교적 경제적일 수 있겠지만, 디지털 휴먼 개발에 필요한 시간과 자원의 절대값은 결코 작지 않습니다. 다시 말해, 높은 수준의 디지털 휴먼을 만들기 위해서는 많은 전문인력들과 자본이 투입돼야 한다는 뜻이죠.

또한 아직까진 디지털 휴먼을 활용한 콘텐츠가 다양하게 만들어져 있지 않아 수익화가 어려운 것이 현실입니다. 사업 유지 가능성까지 생각해보면, 인력과 자본을 풍부하게 보유한 대기업 중심의 시장으로 고착화될 가능성이 커진다는 결론입니다. 게임·엔터테인먼트 등 대중들의 ‘즐길거리’와도 큰 관련이 있고 향후 미래 먹거리가 될 가능성도 있는 만큼, 윤리적 측면뿐만 아니라 정책적·산업적 차원에서도 지속 가능한 생태계를 만들기 위한 고민이 필요해진 시점입니다.