솔직히 말하면 그냥 흔한 AI 아바타라고 생각했는데, 영상 위쪽이 아바타고 아래가 본인이라고 생각했다가, 아래도 AI 아바타라는 걸 깨닫고 놀랐다. 얼굴만 움직일 때는 몰랐는데, 손 모양이 가미되니 정말 자연스럽다. 이러다
포즈까지 카피하게 된다면... 살짝 무서운데(...).
아무튼 이 기사를 읽다가, 전에 썼던 글이 생각나 옮겨본다. 2023년 10월, KT 엔터프라이브에 기고한 글이다. 위 영상에 등장한 AI 아바타는, 이 글에서 설명한 AI 기반 광학식 모션 캡쳐 기술을 이용해 노트북 컴퓨터 웹캠으로 사람을 캡쳐해서 만든 아바타다.
영화를 낳은 기술, 모션 캡쳐
예전 고등학교 국사책 표지에는 말을 탄 무인이 활을 쏘는 모습이 그려져 있었다. 고구려 시대 무덤으로 알려진 무용총의 벽화다. 당시에 춤을 추고 사냥하는 장면을 생생하게 담아서, 매우 높은 평가를 받는 그림이다.
다만 이제와서 보자면, 작은 오류가 있다. 무용총 벽화에는 말과 동물의 네 발이 땅에서 떨어져 뛰어 가는 것처럼 보인다. 덕분에 역동적인 모습이 되었지만, 점프할 때가 아니면 이런 모습을 보기 쉽지 않다.
어떻게 알게 됐을까? 1878년 에드위어드 머이브리지(Eadweard Muybridge)가 12대의 카메라를 동원해, 0.5초에 말이 달리는 12장의 사진을 찍으면서 알게 됐다.
네 다리를 오므릴 땐 공중에 뜰 때가 있지만, 다리를 뻗을 땐 항상 한 다리는 땅에 붙어 있었다. 최초의 모션 캡쳐(Motion Capture)가 여기서 시작됐다.
이후 이 기술은, 영화 필름 제작 기술로 이어지게 된다. 짧은 시간 여러 번 나눠 찍은 사진을 이어서 보면, 움직이는 것처럼 보였기 때문이다. 다시 말해, 모션 캡쳐에서 영화가 태어났다.
찍는 기술은 영화로 이어졌지만, 영화 제작 이전에는 의학, 생물학, 군사 기술 같은 분야에서 환영 받았다. 실제 사람이나 동물, 사물의 움직임을 모션 캡쳐해서 보면, 보다 수월한 연구와 관찰이 가능했다. 이때 연구를 위해 찍은 여러 ‘움직이는 사진’은, 현재는 초기 영화 작품으로 분류된다.
모션 캡쳐라는 개념이 영화로 흡수된 후, 다시 이 개념을 살려낸 것은 애니메이션이다. 사람이 관찰을 통해 어떤 동작을 묘사하는 것에는 한계가 있었고, 이를 자연스럽게 만화영화로 그려낼 수 있는 고수는 드물었다.
이에 1915년, 맥스 플라이셔(Max Fleischer)는 사람의 연기를 필름으로 찍고, 그걸 바탕으로 애니메이션을 그리는 ‘로토스코핑(Rotoscoping)’ 기법을 개발하게 된다.
현대에 다시 태어난 모션캡쳐
로토스코핑 기법으로 어떤 애니메이션을 그렸을까? 사실 처음에는 항공 지도나 그림과 실사를 합성한 영상을 만드는 방법으로 많이 썼다.
나중에 플라이셔가 애니메이션 스튜디오를 설립하면서, 베티 붑, 뽀빠이, 슈퍼맨 같은 초기 유명 만화 영화를 모두 이 기법으로 그렸다.
하지만 가장 유명한 작품이라면, 맥스 플라이셔의 경쟁자였던 디즈니가 만든 애니메이션일 것이다(1934년 로토스코핑 특허가 만료됐다.).
디즈니가 로토스코핑 기법으로 만든 ‘백설공주와 일곱 난장이’를 비롯해 많은 디즈니 애니메이션이 큰 인기를 얻었다. 다만 디즈니는 모션 캡처 기법을 그대로 쓰지 않고, 캐릭터에 맞게 ‘참고용’으로 사용했다.
이후 모션 캡쳐는 영화 특수 효과를 만들기 위해 활용하게 된다. 스타워즈의 ‘라이트세이버’ 같은 무기가 한 예다. 기술은 크게 진보하지 못했고, 21세기가 될 때까지 필요한 곳에 필요한 효과를 주기 위해 쓰이는 흐름이 지지부진하게 이어졌다.
그냥 영화 기법 중 하나로 남을 뻔 했던 모션 캡처는, 2000년을 전후로 큰 변화를 맞게 된다.
먼저 1999년, 조지 루카스 감독은 ‘스타워즈 : 에피소드1’을 찍으면서, 모션 캡처를 이용해 만든 완전 디지털 캐릭터-자자 빙크스를 도입했다.
2000년 리들리 스콧 감독은 영화 ‘글라디에이터’에서 대규모 전투신을 만들 때 사용했다. 주요 캐릭터 연기를 모션 캡처해서 만든 디지털 애니메이션 ‘Sinbad: Beyond The Veil Of Mists’도 나왔다.
영화 제작자들은 당시 떠오르던 컴퓨터 그래픽 기술과 모션 캡처 기술을 합치면 멋진 영상을 만들 수 있다는 걸 깨달았다.
대박은 2002년 피터 잭슨 감독이 찍은 ‘반지의 제왕 : 두 개의 탑’에서 터졌다. 앤디 서키스의 연기에 기반한 골룸, 실제론 없지만 마치 있는 것 같은 CG 캐릭터는 큰 인기를 얻었고, 영화 흥행에 크게 기여했으며, 모션 캡처란 말을 대중에게 널리 알렸다.
모션 캡처를 위한 여러가지 방법
로토스코핑 기법이 도입된 이후, 모션 캡처는 여러 가지 방법으로 진화했다. 영화나 게임에서 가상 인간을 연기하는 일은 흔해졌고, ‘가디언즈 오브 갤럭시’ 같은 영화에선 동물(너구리)를 모션 캡처해 쓰기도 했다.
‘아바타’ 같은 영화에선 모션 캡처를 하면서 얼굴 표정까지 캡처해, 배우들의 감정 표현을 CG 캐릭터에 그대로 반영할 수 있었다.
https://www.youtube.com/watch?v=1wK1Ixr-UmM
현재 모션 캡처를 하는 방법은 크게 광학식과 광학식이 아닌 다른 방법으로 나뉜다.
광학식은 우리가 잘 알고 있는, 신체 여러 부위에 움직임을 추적할 수 있는 마커를 붙이고, 여러 카메라로 마커를 추적해서 기록하는 방식이다.
다른 방식에 비해 정밀도가 매우 높은 편이라서 영화 제작을 비롯해 버추얼 유튜버, 버추얼 아이돌, 무인 항공기 제어, 의료나 스포츠 등 다양한 분야에 사용되고 있다.
원리는 비교적 간단하다. 카메라에서 빛을 쏘면 마커가 그 빛을 반사하고, 반사된 빛을 인식해서 위치를 찾는다. 보통 여러 대의 카메라를 사용해 복수의 정보를 얻고, 그 정보를 조합해 3차원 위치를 계산한다.
일반적으로 적외선을 사용하지만, ‘아바타2’ 처럼 물 속에서 촬영하는 경우 자외선을 쓰기도 한다. 단점으론 모션 캡처 환경을 잘 세팅해야 한다는 점이 있다. 빛을 반사하는 다른 물체가 있거나, 연기자가 카메라가 찍는 영역을 벗어나면 모션 캡처가 잘 되지 않는다.
그 밖에 다른 모션 캡처 방식으론 몸에 붙인 관성 센서에서 움직임을 추출하는 관성식(원격 로봇 조작이나 걸음걸이 데이터 수집, 손가락 움직임 캡처 등에 유리하다), 자기장을 발생시킨 후 변화를 측정해 파악하는 자기식(손가락 미세 동작 캡쳐등 의료용으로 쓴다) , 외골격 슈트를 입고 자세를 측정하는 기계식 등이 있다(일반적으로 쓰는 방법은 아니다.).
모션 캡처가 인공지능과 만난다면
광학식이 가장 많이 쓰이는 이유는, 현재 모션 캡처를 가장 많이 활용하는 분야가 바로 영화나 게임 같은 엔터테인먼트 분야라서 그렇다. 컴퓨터 그래픽으로 만들어진 캐릭터에 사실적인 움직임을 부여하기 위해, 모션 캡처를 활용한다.
기본적으로 제공하는 동작 데이터를 활용할 수도 있지만, 최근 CG 수준이 높아지면서 따라서 커진 기대치를 만족시키기엔 역부족이다. 다만 여전히 비싸고, 설치할 것이 많아 누구나 쉽게 해보기는 어렵다.
그럼 요즘엔 어떨까. 최근 많이 연구되는 방식은 마커리스, 그러니까 마커를 굳이 붙이지 않고도, 촬영한 영상을 분석해 모션 캡쳐하는 방법이다(이미지 모션 캡쳐라고도 부른다).
과거 로토스코핑 기법에서 사람이 촬영 필름을 보며 이미지를 따던 일을, 컴퓨터 프로그램이 대신 해준다고 생각하면 된다. 한때 유행했던 Xbox 게임기의 ‘키넥트’나 웹 캠을 이용해 모션 캡처를 할 수 있게 해주는 ‘MOCAP for All’ 같은 프로그램이 마커리스 방식 모션 캡처다.
기존에 골프 연습이나 홈트레이닝에서 쓰던 모션 캡처 기술을 한 단계 더 끌어올렸다. 이 기술이 발전하면 스포츠 활동이나 공장 내 작업을 모션 캡처, 분석해서 질병이나 부상을 줄이는 데 도움을 줄 수도 있게 된다.
최근에는 광학식의 장점을 살리면서도 마커 숫자를 줄이는 방법도 개발하고 있다.
퍼셉션 뉴론 스튜디오(Perception Neuron Studio)나 모코피(mocopi)처럼 개인이 구매 가능한 모션 캡처 장비도 발매됐고, 구글에서 제공하는 모션 캡처를 위한 오픈 소스 AI 솔루션 미디어파이프(MediaPipe)를 이용하면 간단한 카메라 한 대로 모션 캡처를 할 수도 있다.
아니, 요즘엔 굳이 몸 전체를 캡쳐하지 않아도, 인공지능을 이용해 다른 몸 동작을 예상해서 만들어주기도 한다.
최근에는 공간 컴퓨팅이 뜨면서, 얼굴 및 손, 손가락 등을 추적하는 기술에 대한 관심도 커지는 추세다. 모션 캡처는 키보드와 마우스를 쓰지 않는 공간 컴퓨팅 시대에, 중요한 인터페이스 기술로 부상할 가능성이 크다.
다만 기술이 발전하는 만큼 늘어가는 걱정도 많다. 헐리우드 배우들이 파업에 들어간 이유 중 하나도, 영화사에서 배우들의 연기와 외모를 캡쳐해서 영구적으로 쓸 수 있는 3D 모델로 만들고 있기 때문이었다. 문제가 많았던 딥페이크도 따지자면 모션 캡처 기술이 AI와 만나서 생긴 기술이다.
About Author
