가상현실이라는 이름이 이제는 그리 낯설지 않은 시대가 되었습니다. 컴퓨터 그래픽을 통해 그려진 가상의 세계는 모니터 안의 평면에 머물지 않고, 이른바 VR기기라는 새로운 장비들을 통해 모니터 밖으로 뛰쳐나오기 시작했습니다.
아직 VR기기 자체의 효용성에 대한 의견은 분분합니다. 장밋빛 미래를 상상하는 사람부터, 여물지 않은 기술에 대한 과도한 우려를 경계하는 사람까지 전망은 가지각색입니다. 하지만 어쨌든 새로운 기술이 품은 가능성은 가상 현실이라는 이름으로 우리 앞에 성큼 다가와 있다는 사실은 부인하기 어려울 것입니다.
그런데 그런 VR을 먼저 접해본 사람들은 의외의 지점에서 접근의 문턱을 호소합니다. 머리의 움직임을 정확히 따라가는 트래킹 기술, 이전의 기기보다 훨씬 높아진 해상도를 통해 보다 정밀해진 가상세계이지만, 여전히 많은 이들이 힘들어하는 장벽이 VR에는 하나 존재합니다. 개인차가 있긴 하지만, 상당수의 사람들이 힘들어하는 부분이 바로 멀미입니다.
실제로 가상현실 속에 들어간 것 같은 착시를 일으킬 정도로 정교해진 VR기기이지만, 여전히 멀미를 호소하는 사람들이 적지 않습니다. VR게임이나 탑승물에서 10분을 못 버티고 화장실로 달려갈 정도로 민감한 사람도 있습니다. 더군다나 VR게임 제작사들도 장시간의 VR기기 사용을 자제할 것을 권하곤 합니다. 정도의 차이는 있겠지만 아직 멀미는 VR이라는 새로운 기술이 퍼져나가는 데 적지 않은 높이의 장애물인 것은 확실해 보입니다.
그런데 멀미는 과연 VR기기만의 것일까요? VR이전에도 시각매체와 멀미의 이야기는 결코 동떨어져 움직인 적은 없었습니다. 당장 1인칭 시점의 게임들을 플레이할 때도 숱한 멀미 체험담이 쏟아지는 것이 현실입니다. VR의 등장과 함께 멀미 문제가 생겼다고 하기엔, 영상매체의 역사 자체가 상당 부분 멀미와 함께 한 역사이기도 합니다. 이를 살펴보기 위해, 우리는 영상매체의 발전과 그 사이사이에 함께 해 온 멀미의 이야기를 되짚어 볼 필요가 있을 것입니다.

 

VR은 실제 눈으로 보는 것과 같은 감각을 제공하지만, 동시에 멀미라는 큰 장벽이자 숙제를 앞에 두고 있다.

 

 

많은 연구자들은 그림이나 사진이 아닌, 움직이는 시각 이미지로 사람들의 감각을 새롭게 자극한 것을 열차의 '창문 밖 풍경'으로 꼽습니다. 인간의 신체로는 쉽게 낼 수 없었던 빠른 속도를 열차가 낼 수 있었고, 네모난 차창은 프레임이 되어 기존에 보기 힘들었던 속도감의 영상을 보게 된 것이죠. 영화보다 일찍 기차여행을 통해 스펙터클이라는 자극을 받게 되었습니다. 멀미는 기차에서도 느낄 수 있는 증상입니다. 좁은 차창으로 느껴지는 속도감, 덜컹거리는 객차가 주는 진동은 스펙터클했지만, 멀미를 동반했습니다.
멀미는 애초에 감각의 불일치로부터 기인합니다.
귀 속의 전정기관이 제공하는 평형감각이 시각 등 다른 감각과 불일치할 때 확 몰려오는 어지러움과 구토증세가 멀미지요. 기차라는 빠른 속도의 탈것을 처음 경험한 사람들에게는 그 속도감이 전에 없던 불일치로 다가왔을 것입니다. 인간의 신체가 경험해보지 못한 무언가를 기계를 통해 구현하면서 얻은 새로운 스펙터클은 멀미라는 견디기 힘든 부작용과 함께 다가왔지요.

 

차창으로 느껴지는 속도감, 덜컹거리는 객차가 주는 진동은 스펙터클했지만 멀미를 동반했다.

 

본격적으로 영상매체의 시작을 세상에 알린 영화도 비슷한 사례들을 낳았습니다. 초기 영화가 준 충격을 설명하는 데 가장 많이 인용되는, 뤼미에르 형제의 <열차의 도착>은 무성영화로 열차가 역에 들어오는 장면만을 보여줬음에도 불구하고 마치 실제로 극장에 열차가 들어오는 듯한 느낌을 관객들에게 제공하면서 큰 반향을 일으켰습니다. 진짜 열차가 들어오는 줄 알고 도망친 관객도 있었다는 기록들은 현실과 영상 이미지가 주는 감각의 불일치라는 측면에서 멀미와 같은 맥락의 현상이었습니다.
실제로 영화에서도 가끔 1인칭 중심의 연출이 펼쳐지거나 카메라가 핸드헬드 등의 기법으로 크게 흔들릴 때 적지 않은 관객들이 멀미를 호소하곤 합니다. 카메라의 시점과 관객의 시점이 일치할 때 더 많은 이들이 멀미를 느낀다는 것은, 시각이 제공하는 1인칭 시점이 실제 보는 이의 전정기관과 다른 정보를 제공하기 때문에 발생합니다. 시각과 전정기관의 불일치로 인한 멀미는 게임에서 더 큰 반응을 일으킵니다.

 

<열차의 도착> 에서 사람들이 실제 열차가 들어오는 것으로 착각했던 것

또한 시각이미지로부터의 혼동에서 기인한 것이었다.

 

 

게임, 특히 1인칭 또는 3인칭으로 화면을 제공하는 게임들은 가상의 세계를 설정하고, 카메라를 그 안에 밀어넣어 플레이어가 직접 카메라를 움직이면서 세계를 볼 수 있게 해 줍니다. 이 때도 적지 않은 플레이어들이 멀미로 인해 고통을 호소합니다. 아예 ‘3D 멀미라는 용어가 널리 쓰일 정도로 컴퓨터게임에서의 멀미는 영화의 그것 이상으로 많은 사례들을 나타냅니다. 신작 3D게임이 너무 재미있어 보여도 멀미 걱정에 못하는 사람들도 부지기수고, 3D멀미 대처법을 묻고 답하는 일들도 각 게임 커뮤니티 게시판에서 자주 벌어지곤 합니다. 
VR은 카메라 시점의 이동을 영화처럼 고정시키거나 게임처럼 키보드, 마우스, 패드로 움직이지 않습니다. VR이 사용하는 카메라의 이동은 우리가 특정 사물을 보기 위해 고개를 돌리는 방식을 통해 이뤄집니다. 앞선 영화나 일반 게임에 비해 더욱 VR이 제공하는 영상은 시각의 방식에 가까워집니다. 마치 진짜를 방불케 하는 이러한 시각적 현실감은 오히려 균형감각을 담당하는 전정기관에는 아무런 영향을 주지 못하기 때문에, 상대적으로 전정기관과 시각과의 감각 차이를 더욱 크게 만들어버립니다. VR의 등장과 함께 다시 한 번 멀미가 떠오른 것은 아마도 이러한 연유 때문일 것입니다.

 

3인칭과 1인칭 시점을 혼용하는 '배틀그라운드'

 

 

멀미는 시각과 전정기관의 끊임없는 불일치로부터 비롯됩니다. 멀미는 어쩌면 전정기관의 목소리 내기라고 해석할 수도 있겠습니다. 시각이 지금 받는 이미지는 가짜라고! 네 몸은 지금 그자리에 그대로 있을 뿐이라고!
그렇다면 전정기관이 제공하는 평형감각은 일종의 매체로 기능할 수는 없는 것일까요? 시각과 청각을 중심으로 한 현대의 영상매체들이 전달하는 많은 감각과 이야기들이 존재하듯이, 전정기관의 평형감각을 통해 우리는 새로운 감각을 전달하거나 만들어낼 수는 없는 것일까요?
의외로 이 작업은 오래전부터 시도되어 온 바 있습니다. 다만 우리가 그것을 매체로 인식하지 않았을 뿐이지요. 바로 놀이공원의 롤러코스터와 바이킹입니다. 롤러코스터가 활강을 위해 최고점까지 올라간 순간부터 자유낙하를 하며 빙글빙글 돌 때의 감각이 제공하는 스펙터클은 상당부분 전정기관의 감각을 활용해 만들어집니다. 눈을 감고 타더라도 고점에서 낙하하기 시작하는 순간의 스릴감은 고스란히 전해지니까요.
우리는 꽤 오래 전부터 전정기관의 평형감각이 매체로 사용될 수 있다는 사실을 알고 있었고, 또 놀이기구를 통해 활용해 왔습니다. 다만 그것을 특정한 감각을 전달하는 매체라고 부르지 않았을 뿐이지요. 우리는 영상기술이 그래왔듯이, 일종의 가상환경을 통해 전정기관의 감각을 메시지화할 수 있을지를 생각해 볼 필요가 있습니다.

 

놀이공원의 다양한 어트랙션들은 사실 전정기관을 일종의 유희 매체로 사용하고 있는 방식들이다.

중력감과 균형감각을 유희적 메시지의 전달체로 이용하는 것은 그리 최근의 이야기는 아니다.

 

 

균형감각이라는 인간의 감각은 의외로 오랫동안 미발굴의 영역이었습니다. 너무나 익숙하게 우리는 한 발로도 균형을 잡고, 적당한 높이에서 뛰어내려도 넘어지지 않을 수 있었지만 그 기능을 하는 전정기관을 활용하는 법에 대해서는 깊은 고민을 해 본 적이 없었습니다.
하지만 지금 쏟아지는 뉴미디어 관련 기술들은 점점 전정기관을 향하고 있습니다. VR의 카메라 컨트롤 방식은 고개를 돌린다는 점에서 분명 전정기관에 함께 자극을 주고 있습니다. 최근 스마트폰과 게임 컨트롤러에 자이로스코프 같은 중력, 가속도 센서가 들어가고 있다는 점 또한 전정기관의 감각을 매체로 활용할 수 있는 기술적 기반으로 다가오고 있습니다.
이것으로 무엇을 해 낼 지는 아직까지 시도와 탐구의 영역에 있습니다. 다만, 시각매체 또한 초기에는 단지 움직이는 영상이라는 의미에 국한되었다는 사실을 돌이켜보면 이를 통해 어떤 것들이 등장할 지 예단하기 어려운 일입니다.
커뮤니케이션학자 마셜 맥루한은 미디어의 발전을 가리키며 감각의 확장이라는 표현을 사용했습니다. 새로운 기술들은 끊임없이 인간의 감각들을 재개발하고 확장시키면서 새로운 감각으로 인지되는 세계를 만들어 갑니다.
VR 시대에 이르면서 우리는 이제 전정기관이라는, 기존에 잘 인식되지 않던 새로운 감각까지도 매체화할 수 있는 기술의 초입에 이르렀습니다. 지금은 단지 '멀미'라는 불쾌한 증상에 머물 뿐인 이 감각이 다가오는 미래에는 새로운 콘텐츠의 기반이 되는 매체기술로 활용될 수 있을지 궁금합니다.

 

 

 

※ 본 글의 내용은 한국콘텐츠진흥원의 견해와 일치하지 않을 수도 있습니다.


소리는 우리 경험의 절반을 차지한다

상상발전소/콘텐츠이슈&인사이트 2016.11.11 19:08 Posted by 한국콘텐츠진흥원 상상발전소 KOCCA


가우디오랩(주)은 소리를 만드는 회사다. 오디오 전문가들이 모인 이 회사는 짧운 역사와 작은 규모에도 불구하고 2014년 오디오 국제 표준에 채택된 기술을 개발했고, VR로 눈을 돌려 360° 영상에 걸맞은 오디오 기술을 만들겠다는 꿈을 키웠다. 그들이 소리를 덧입힌 영상에서 소리는 사람과 더불어 움직이고 변화한다. 보기만 하던 가상현실이 보고 듣는 가상현실로 진화한 것이다. 그 덕분에 시각과 움직임에 집중한 기술이 많았던 VR & AR CHALLENGE 2016에서 유일하게 청각에 주목한 가우디오랩은 대상을 수상했다. 젊은 스타트업 기업들로 붐비는 빌딩 마루 108을 찾아 "정말 오래간만에 오디오 시장에서 뭔가 해볼 수 있는 순간을 만났다"고 말하는 가우디오랩의 오현오 팀장을 만났다.


▲ 사진 1. 가우디오랩(쥬) 오현오 팀장


Q 챌린지 2016에 참가한 팀들은 각자 기술과 프로젝트를 설명하는 피칭을 진행했다. 가우디오랩이 피칭 포인트로 삼은 지점은 무엇이었는지.


A 우리 기술을 내세우기보다는 VR에서 왜 오디오가 중요한지 알리고자 했다. 소리는 우리 경험의 절반을 차지한다. VR은 가상공간 또는 여기 아닌 어딘가를 다른 곳으로 오감으로 경험 하는 것인데, 그중 IT 기술로 경험 가능한 감각은 아직까지는 시각과 청각이다. 기존 VR 기술은 몰입할 수 있는 영상을 만드는 데만 치중했지만 거기에 소리가 없다면 가상공간을 느낀다고 할 수 없다.


Q 가우디오랩이 챌린지 2016에서 선보인 데모 영상은 위치센서를 이용해 사용자가 움직이면서 소리도 함께 움직이도록 설계됐다. 하지만 그런 기술적인 부분 못지않게 돋보인 건 공간의 질감과 크기 등까지 계산하여 현실을 섬세하게 재현했다는 점이었다. 기술뿐만 아니라 소리 자체에 대한 이해도가 높아야 할 것 같다.


A 내가 정말 그곳에 있는 것처럼 느끼려면 벽의 질감이나 공간에 대한 느낌, 예를 들어 텅 빈 회의실인지 가구로 꽉 찬 거실인지에 대한 느낌이 모두 충족되어야 한다. 그 부분이 빠지면 굉장히 어색해진다. 가우디오랩이 당면한 과제는 실제 시장에 나오는 콘텐츠들의 소리를 완성하여 덧입히는 것이다. 콘텐츠마다 공간을 측정해 소리를 만들 수 있다면 좋겠지만, VR은 존재하지 않는 가상공간이므로 실제 측정은 불가능하다. 그래서 우리는 가상공간을 시뮬레이션한 다음 거기에 맞는 데이터, 그러니까 소재마다 다른 사운드와 반사계수 등을 입력하는 방법을 사용한다.


▲ 사진 2.  가우디오랩(주) 직원들


▲ 사진 3.  작업 중인 가우디오랩(주) 직원


Q 가우디오랩은 사운드를 만드는 회사이기 때문에 다른 분야, 특히 영상 분야 기업이나 제작자들과 협업을 할 수밖에 없다. 앞으로 다른 분야와의 파트너십에 대한 전망은 어떻게 보고 있는가.


A 콘텐츠를 만드는 사람들과 소비하는 사람들로 나눈다면, 우리는 양쪽 모두에 필요한 기술을 개발하는 회사이다. 우리는 기본적으로 소프트웨어를 제공한다. 콘텐츠를 제작하는 사람들은 우리가 제공하는 플러그인으로 사운드를 렌더링하고, 소비하는 사람들은 그 플러그인이 있는 플레이어로 사운드를 재생한다. 어플리케이션 형태로 이루어진 콘텐츠는 제작 단계에서만 우리의 플러그인이 있으면 되고 적용이 어렵지는 않다. 오디오는 후반 작업이기 때문에, 우리 소프트웨어를 사용한다고 해도, 기존에 사운드를 만들던 과정과 크게 달라질 건 없다. 프로세스는 같으니까 플러그인 사용 방법만 익히면 된다. 우리는 콘텐츠를 만드는 사람들에게는 소프트웨어를 저렴하게 공급하고 싶다. 그리고 나서 그 사운드를 재생하기 위한 플레이어가 보급된다면 그게 사업이 될 것이다.


Q VR 콘텐츠는 다양한 감각적 경험이 결합되어야 하기 때문에 영화를 만들 때처럼, 서로 다른 영역 사이의 이해가 필수적일 것 같다. 그런 교류와 이해가 제대로 이루어지고 있는지 궁금하다.


A 아직은 갈 길이 멀다. VR은 많은 부분에서 기존 작업 방식과 완전히 달라져야 한다. 예를 들어 영화를 찍는다고 해보자. 이전엔 배우만 찍으면 됐지만 VR은 기존 카메라가 담을 필요 없었던 뒷모습까지 촬영한다. 따라서 촬영을 시작하면 스태프가 모두 빠져야 하고 조명도 설치할 수가 없다. 게임도 마찬가지다. 플레이 방식이 1인칭인지 3인칭인지에 따라 제작방식이 달라지는데, 중간중간 시점이 이동할 가능성도 있는데다, 단순히 달라지기만 해선 안 되고 새로운 재미를 줄 수 있어야 한다. 한국적인 특수성도 있다. 3D가 각광받았던 몇 년 전, 수많은 기업과 단체가 3D에 뛰어들었지만 투자한 만큼 호응을 얻지 못했다. 그 학습 효과가 남아 있어 VR이라고 하면 주저하는 경향이 있다. 아직은 혼동의 시기인 것이다. 그 때문에 3D와 다르게 VR은 한국이 해외에 비해 많이 늦은 상태이다. 올해라도 정부와 기업 차원에서 뭔가 시작되어야 하지 않을까 싶다.


Q 인터뷰를 시작하면서 한동안 오디오 시장이 암흑기였다고 말했다. 그런 시기에 챌린지 2016에서 오디오 기술로 수상한 소감이 어떤지.


A 오디오 업계에서 설움을 겪던 이들에게 1등을 했다는 상징적 의미를 줄 수 있어서 좋다. 우리가 오디오를 버리지 않은 덕에 이런 즐거움을 얻었구나 싶다. 하지만 걱정도 많다. 우리는 비교적 일직 VR에 뛰어들었지만 지금부터는 많은 기업과 경쟁해야 할 텐데 과연 우리가 이길 수 있을까, 진짜 게임은 해외에 나가서 싸우는 걸 텐데 한국 VR 기술은 뒤처져 있다는 인식을 깰 수 있을까, 그런 걱정들. 하지만 그렇게 부딪쳐야만 우리가 경쟁력을 가질 수 있을 것이다.


격월간 <케이콘텐츠>는 문화・콘텐츠 이슈에 대한 전문가들의 심층적인 의견과 다채로운 정보를 제공합니다.
<케이콘텐츠>는 한국콘텐츠진흥원 홈페이지 (www.kocca.kr)에서 무료로 다운받을 수 있으며, 리디북스, 교보문고, 와이투북스, 모아진 앱(App)을 통해 전자책으로 구독할 수 있습니다.


ⓒ 글 및 사진 출처

케이콘텐츠 2016년 5, 6월호(vol.19)

※ 본 글의 내용은 한국콘텐츠진흥원의 견해와 일치하지 않을 수도 있습니다.