가우디오랩이 생각하는 가상현실 오디오의 미래(VR 사운드)

맞다. 우리는 눈으로만 세상을 보는 것이 아니라, 귀로도 세상을 본다. 눈은 전방 120도만 보여준다지만, 우리를 둘러싼 ‘공간’은 귀로 듣고 느낀다. 눈으로 보이는 것만 있어선 아무 것도 되지 않는다. 귀로 듣는 소리가 알맞게 채워져야, 우리는 비로서 세상을 그대로 느낀다.

청각은 어떤 사물이 실제로 존재하는 느낌을 만들어 낸다. 공포 영화를 볼 때 귀만 막아도 덜 무서운 것과 마찬가지다. 영화나 애니메이션을 볼 때 짤그랑 거리는 주변 효과음을 세세하게 셋팅하는 이유이기도 하다.

기존에 볼 수 있었던 가상현실(VR) 영상들이 장난감처럼 보였던 것도 소리 때문이었다. 몸은 움직이는데 소리가 그대로면, 내 몸과 마음은 내가 지금 ‘가짜 영상’ 속에 있다는 것을 너무나도 쉽게 눈치챈다. 재미가 없다.

누군가가 이쪽에 손대면 괜찮을 것 같다-라는 생각을 하는데, 가상현실 사운드를 다루는 기업이 한국에도 있었다. 오늘 소개할 스타트업, 가우디오랩이다. 인터뷰는 가우디오랩의 서정훈 박사와 함께 했다.

Q. 가우디오 랩에 대해 소개해 달라

이름만 봐도 알겠지만, 오디오를 하는 사람들이다. 정확하게는 바이노럴 렌더링 기술을 가진 회사라고 해주면 좋겠다. 두 개의 귀로 들어가는 소리를 잘 조절해서 3D 사운드를 만들어낸다.

Q. 그럼 VR 영상용 사운드를 만드는 회사인건가?

그렇게 봐도 된다. 시작은 아니었는데 지금은 그렇게 됐다. 우리는 계속 진화하고 있는 회사다. VR 사운드로 넘어오면서 기존 기술로 대체가 안되는 부분이 많이 생겼다. 그래서 계속 새로운 기술을 덧대가면서 VR 용 사운드를 만들고 있다. 처음에는 사운드 렌더링까지만 신경 쓰다가, 최근엔 소리를 만드는 것부터 렌더링까지 다 다루고 있다. 제작부터 소비까지 풀 프로세스를 연구한다고 해야 하나?

Q. 미안한데 … 랜더링 기술이 어떤 것인가?

소리는 결국 좌/우 귀로 들어오는 신호로 결정된다. 사람은 두 귀로 들어오는 소리를 가지고 입체를 구별한다. 우리는 녹음된 소리에 위치값을 집어넣어서, 그 소리가 어딘가에서 나는 것처럼 만들어주는 기술을 가지고 있다. 그걸 바이노럴 렌더링 기술이라 한다. 물론 바이노럴 테크놀러지 자체는 오래된 기술이다. 다만 예전에는 실시간 연산이 안되서 상용화가 어려웠다. 지금은 하드웨어가 좋아져서 실시간 연산이 가능한 상황이고. 운 좋게 그 타이밍에 VR 역시 핫해졌다.

Q. 실시간 연산으로 소리를 만든다고?

VR 공간에서 소리가 나는 물체를 사운드 오브젝트라고 부른다. 이 오브젝트는 VR 공간에서 스스로 움직이기도 하고, 사용자의 고개 움직임에 따라서 위치가 상대적으로 바뀌기도 한다. 그에 맞춰서 귀에 들리는 소리를 그때그때 만들어줘야 한다. 360도 공간을 커버하지 못하거나 인터랙티브 하지 못하면 몰입감이 크게 떨어지게 된다. 우리는 소리가 경험의 절반이라 생각한다. 소리가 제대로 갖춰지지 못하면 가상 현실의 몰입감은 반감된다. 사운드를 채워줌으로써 완벽한 몰입감으로 가까일 갈 수 있도록 만드는 것이 우리의 목표다.

이런 작업이 쉬운 일은 아니다. 사운드 엔지니어들은 기존의 작업하던 플로우가 존재한다. 기존 작업 방식들을 해치지 않으면서 새로운 기술을 추가해 나가는 방법을 찾아야 한다. 실제로 현장 엔지니어들에게 자문을 많이 받는다. 기존의 영화 작업을 할 때도 현장에서 모든 것을 녹음하진 않는다. 그 상황에서 필요한 것들은 그 상황에서 똑같이 녹음을 하고, 추가적으로 후시 녹음을 해서 얹어서 믹스를 한다. 어떻게 보면 다른 일 같기도 하지만, VR을 만들때도 보면 기존의 틀과 크게 달라졌다는 느낌은 없다.

Q. 현재 VR 사운드 수준은 어떤가?

예전에는 소리를 녹음 퀄리티로 평가했다. VR 로 넘어오면서 사운드의 로컬라이제이션(위치 정보를 입히는 일)도 중요하게 됐다. VR에서 사운드는 이 두가지 측면에서 평가한다. 음질이 좋고 나쁜 것은 스튜디오 녹음 상태에 달려있다. 엠비 소닉스라는 기술을 유튜브에서 사용하는데, 이 기술은 기본적으로 사운드 퀄리티가 낮은 편이다. 어딘가에서 나긴나는데 정확히 저기라고 찍을 수는 없는 수준이랄까. 우리는 사운드 오브젝트를 각각 움직이는 기술을 가지고 있다. 이 기술로 잘 렌더링을 하면 정확하게 소리가 찍히는 느낌이 든다.

Q. 오브젝트로 해결할 수 없는 부분들도 있을텐데?

잔향이나 반사음 같은 것들이 있다. 일종의 분위기랄까. 일단 가상 공간을 만들고 나면, 대략적인 크기나 재질이 데이터로 나온다. 이 데이터를 가지고 룸 모델링을 해서 인위적으로 리버브를 합성할 수가 있다. 앰비언스 사운드 같은 것들은 로칼라이제이션을 안한다. 오브젝트와의 거리에 따라 소리 크기를 조절하는 것도 가능하다. 큰 오브젝트는 가까이 오면 방향감이 함께 온다. 중요한 것은 처음 기획부터 시나리오를 잘 짜서, 사운드 계획도 같이 들어가게 하는 것이다.

Q. 360도 영상 같은 것에서도 사용 가능한가?

가능하다. 녹음된 채널을 오브젝트처럼 사용해서 랜더링하게 된다. 이때 ‘우리는 녹음을 이렇게 했다’ 이런 정보가 있으면 된다. 그럼 그걸 렌더러가 해석을 해서 사람들에게 맞춰서 들려주게 된다. 마이크 갯수가 많아지면 더 좋다. 카메라에 마이크를 많이 박을 수 없는 것이 문제인데, 3개 정도 있으면 일단 좋다. 위쪽 포인트로 위에 4개 넣으면 공간감도 만들어준다.

Q. VR에서 사운드가 중요한 이유는?

우리가 좋아하는 말이, 성경에서 ‘빛이 있으라’해서 빛이 있었다는 문장이다. 결국 소리가 빛보다 먼저라는 말이니까(웃음). 사람이 어떤 감각을 느끼고 나서 뇌로 전달될 때까지는 시간이 걸린다. 이때 청각 신호가 시각 신호 보다 뇌에 빨리 도착한다. 가장 먼저 들어오는 감각인거다. 게다가 소리는 상상하게 만든다. 시각보다 청각이 판타스틱할 수가 있다. 이런 장점들은 기존 미디어에서 vr로 넘어오면서 더욱 더 부각될 것이다. 한가지 걱정은, 이어폰을 오래 쓰고 있으면 청각적으로 좋지 않다. 한시간 쓰고 있으면 10분은 쉬는 것이 좋다.

Q. 앞으로 VR 사운드는 어떻게 발전할까?

VR이랑 항상 엮여서 얘기되는 것이 AR이다. 닮으면서도 다른 부분이 많다. VR에서 개발된 기술들이 AR로 점목될 가능성이 있다. 이렇게 되면 엔터테인먼트의 큰 판을 바꿀 수도 있다. 몰입감이 엔터테인먼트 콘텐츠에 영향을 끼친다고 할까? 그래서 현행 사운드 기술을 대체할 가능성도 있다고 보고 있다. 사운드 기술은 구역을 딱 지워 나눌 수가 없다.

인터뷰가 끝나고 나서, VR 사운드 효과를 실제 체험해 봤다. 신기하달까. 내가 움직이는 데로 소리가 다르게 들린다. 평면 영상에선 내가 고개를 어떻게 돌리든 상관없이 사운드는 나는 곳에서만 나는데, VR 영상속 소리는 내가 움직이는 것에 따라 바뀐다. 어쩌면, 이게 당연한 것일지도 모르겠지만.

가장 재미있었던 것은 모기 소리… 였다. 맞다. 그 모기 소리다. 우리가 자기 전 머리 맡을 맴맴 맴돌며 괴롭히던, 더웠던 지난 여름의 그 모기 소리. 아놔 진짜, 소리만 듣는데도 이 놈의 모기 잡아 버리고 싶어서 혼났다. 내 주위를 뱅뱅 도는데… 아주 그냥…ㅜ_ㅜ

나중에 서박사님에게 물어봤다. 모기 소리도 만들었으니, 칠판 긁는 소리나 그런 것으로 데모 사운드를 만들어도 좋겠다고. 귀에 확 들어오겠다고. 생각 안해 본 것은 아니라고 했다. 문제는, 만드는 자신들도 너무 괴로워서 도저히 못만들겠더라는 것.

농담처럼 얘기했지만, VR 영상의 발전과 사운드의 발전은 함께 간다. 화면과 소리는 결코 따로 떼어 놓을 수가 없다. 그동안 기술력이 미흡해서 살짝 미뤄놓았을 뿐이다. 최근 미국, 중국, 일본 등에선 가상현실이 붐 업되고 있다. 뭔가 새롭게 뛰어들만한 필드가, 활짝 열린 기분이다. 그 가운데 한 회사가, 가우디오 랩인 것은 말할 것도 없고.