가상현실(?)을 이용한 강의 시스템 구축

가상현실(?)을 이용한 강의 시스템 구축 


초광폭 스크린을 이용한 가상(현실) 수업

지난해 겨울에는 필자가 앞선 기사에서 설명했던 GDS-M과 GDS-S의 NDI 기반 강의영상 녹화시스템 구축 프로젝트 이외에 한 가지 프로젝트가 더 진행되고 있었다. 약 2주 정도의 휴가 기간을 이용하여 모든 공사가 되어야 했기에 2개의 프로젝트를 병행했던 것이다. 덕분에 현장에서는 더 정신이 없기는 했지만, 고객 (S.I)과 그 파트너들이 밤낮으로 열심히 임했고, 경험도 많았기 때문에 큰 무리없이 완성되었다. 목표는 특정 과목에 대한 수강생이 일시적으로 너무 많아졌을 때 1명의 강사가 2개의 강의실을 커버할 수 있도록 하는 것이었는데, 사실 이 프로젝트가 최종 결심을 받기까지는 약 2개월간의 노력과 시행착오가 있었다. 


※ GDS-M 전경 (이미지 출처: 해당 학원)


여러 방식을 테스트해 본 결과 고객 (S.I: 4도씨에이아이)가 선택한 솔루션은 PTZ 카메라로 촬영한 4K 영상을 2개의 프로젝터로 초대형 스크린에 투사하는 방식이었다. A라는 강의실에 있는 강사가 실물 크기로 B라는 강의실에도 실시간으로 강의를 하는 것이다. 그들은 이를 '미러 수업'이라고 명명했다. 휴대폰의 영상을 TV나 차량 디스플레이에 투사하는 것을 '미러 캐스트 (Mirror Cast)'라고 부르는 것과 비슷한 개념이었기 때문이다.  



고객의 요구사항


앞선 기사에서 설명했던 것과 같이 최종 사용자 (End-user) 입장에서는 강의영상 녹화 시스템이 SDI 기반으로 구축되건 NDI 기반으로 구축되건 그건 중요하지 않았다. 마찬가지로 이 미러 수업 역시 어떤 장비와 시스템을 사용하는 지 보다는 최소한의 예산으로 얼마나 현실감있는 영상을 전달할 것인가가 더 중요했다. 물론 최종 결정 이전에 이미 여러 대의 프로젝터와 초광폭 스크린을 사용하는 것이 현실적으로 가장  가성비 좋은 솔루션일 수 밖에 없다는데 대해 대략적인 공감대가 형성되어 있었던 것 같기는 하다. 


어쨋든 필자의 입장에서 고객의 니즈를  분석해 보면 아래와 같다. 

1. 사실감 높은 시각적 경험: 강사와 칠판을 실물 크기로 보여 주어야 함.  

2. 메인 스크린에 높은 화질의 영상 투사: 앞쪽에서 보는 학생도 어색하지 않은 수준의 화질 구현해야 함. 

3. 동일한 화질의 TV 영상 제공: 강사추적 영상을 보여주는 TV의 경우 강의실 A와 강실 B의 화질이 동일해야 함

4. 영상과 음향의 싱크: 초광폭 스크린과 TV에 보여지는 (강사추적 카메라의) 영상 및 음향의 싱크가 맞아야 함. 

5. 쉽고 빠른 설정: 미러 수업은 필요할 때에만 사용하므로 강의실의 설정을 쉽고 빠르게 변경할 수 있어야 함. 


이 프로젝트를 통해 학원은 항시 변화하는 학생들의 요구사항에 좀 더 유연하게 대차할 수 있게 될 것으로 기대되었다. 발생 가능한 공간적 제약을 극복함으로써 강의 스케쥴을 좀 더 유연하게 편성할 수 있기 때문이다. 학생들로서는 공간이나 인력(강사) 부족으로 인한 제약없이 특정 강의를 원하는 시간에 참여할 수 있게 된다. 



미러 수업을 위한 시스템 디자인


필자의 고객 (S.I)은 학원의 AV 시스템에 대한 경험이 많았지만 이 미러수업의 경우 처음 시도하는 것이었기 때문에 역시 많은 도전 과제들이 있었다. 전체적인 구성도는 단순해 보였지만, 고객의 니즈에 부합하는 최적의 솔루션을 찾는 것부터가 많은 실험과 시연을 필요로 하였고, 설치할 때에는 스크린의 크기와 시간, 날씨 등 물리적인 제약도 극복해야 했다.


※ NDI 녹화 시스템과 미러 수업을 위한 (단순화된) 구성도


위의 구성도에서 보이듯 강사가 실제로 강의를 하는 '강의실 A'에는 4K PTZ 카메라가 추가되었고, 미러 수업이 이루어지는 '강의실 B'에는 2개의 프로젝터와 6m 넓이의 초광폭 스크린이 설치되었다. 4K PTZ 카메라의 영상은 HDMI-AOC 케이블을 통해 Video Wall Control 장비로 연결되고, 여기서 영상을 2개로 분리한 후 강의실 B에 추가된 프로젝터 2개로 영상이 보내진다. 강사추적용 PTZ 카메라의 영상은 VELA라는 인코더를 통해 NDI-HX 영상으로 변환되어 네트워크를 타고 NDI 녹화 시스템 (Workstation)을 통해 NAS에 저장되는데, 여기에 Full NDI 인코더를 추가하여 (역시 네트워크 스위치를 통해) 강의실 B의 Full NDI 디코더를 통해 강의실 B의 TV에 영상을 보여 주게 된다. 


이 미러 수업 시스템을 통해 강의실 B에 있는 학생들은 실물 크기의 강사와 칠판 이미지를 볼 수 있으며, 6 ~ 8개의 TV를 통해서는 강의실 A와 동일한 영상을 볼 수 있게 된다. 따라서 강의실 B의 중간이나 뒷 쪽에 앉는 학생들은 강의실 A의 중간이나 뒷 쪽에 앉는 학생들과 현실감 측면에서 별 차이를 느끼지 못하게 된다. 추가적인 인코더와 디코더가 투입된 이유는 6m 초광폭 스크린의 영상과 TV의 영상 (강사추적  카메라의 영상)이 동기화되도록 하는 한편, Full NDI를 사용함으로써 최대한 좋은 화질을 전달하기 위함이었다. NDI-HX에 비해 압축을 적게 하여 화질과 지연(delay) 측면에서 유리하기 때문이다. 이를 위해 Science Image의 4K Full NDI 인코더겸 디코더인 Studio 2를 채용하였다. 


그런데 아래의 사진에서 보시다시피 이동이나 설치부터가 쉽지가 않았다. 6m의 초광폭 스크린은 볼 때는 별 것 아닌 것 같았는데 막상 이동하려니 매우 큰 트럭이 필요했는데, 그 날 마침 서울, 경기 지역에 폭설이 내려 대부분 3~4시간 정도 지각했다. 스크린이 너무 길어서 화물용 엘리베이터에도 실을 수 없기 때문에 여러 명이 직접 들고 올라가야 했다. 무게도 꽤나 나가서 천정에 안정적으로 고정시키는 것도 큰 도전이었지만, 실전 경험 많은 파트너들 덕분에 무사히 설치가 이루어졌다. 필자가 담당한 부분은 4K PTZ 카메라와 4K Full NDI 인코더/디코더 부분이었는데, 필요한 모든 장비들이 다 설치된 후에 필자의 작업을 할 수 있었기 때문에 인내와 지구력이 필요한 시간이었다. 


※ 6m 초광폭 스크린의 설치는 쉽지 않은 과제였다!



초광폭 스크린을 이용한 가상 강의


이 미러 수업을 위해 사용된 4K PTZ 카메라는 1/1.8인치 4K 센서와 30배 줌 렌즈를 이용해서 강의실 A의 전체 칠판 넓이에서 6m 넓이를 촬영하여 비디오 월 컨트롤러로 보내준다. 기본적인 화질, 포커스, PTZ 제어기능, 기하학적 왜곡 등 여러가지 스펙을 고려하여 선택한 후 실험한 결과 합격하였다. 구성도 상에는 HDMI로 영상을 송출하도록 하였지만, 유사시를 대비하여 Full NDI와 NDI-HX를 모두 지원하는 제품으로 선택하였는데 실제로 HDMI-AOC 케이블이 고장났을 때 유용하게 써 먹기도 하였다. 이건 기사의 뒷 부분에서 다시 설명하도록 하겠다. 애초에 4K/60P로 설계하였지만 (여러 테스트 끝에 선택한) 비디오 월 컨트롤러의 입력이 4K/30p가 한계여서 어쩔 수 없이 최종적으로는 2대의 프로젝터에 각각 2K/30p로 영상을 투사하였다. 


※ 강의실 A: 4K PTZ 카메라와 Full NDI 인코더 추가 


앞서 언급한 바와 같이 강의실 A의 강사추적 카메라 영상과 (오디오 믹서로부터 오는) 음향은 VELA를 통해 NDI 녹화 서버로 보내지는 한편, Studio 2라는 4K NDI 인코더를 통해서는 인근에 있는 강의실 B로 전송된다. 그리고 강의실 B에 있는 또 다른 Studio 2에 의해 NDI 영상이 디코딩되어 HDMI를 통해 TV로 가고, 아날로그 오디오를 통해 강의실 B의 오디오 믹서를 거쳐 스피커로 소리가 나가게 된다. 이렇게 함으로써 HDMI-AOC와 비디오 월 컨트롤러를 통해 프로젝터에 투사되는 영상과 강의실 TV에 보여지는 영상 및 음향의 싱크를 맞출 수 있었고, TV 영상의 화질도 우수하게 보여 줄 수 있었다.

※ 강의실 B: 6m 스크린과 프로젝터 2대, Full NDI 디코더 추가


※ 강의실 B에 투입된 Studio 2 (Full NDI 디코더)


모든 설치 공사를 위해 주어진 2주라는 빡빡한 일정으로 인해 야근이나 밤샘 작업이 많았고, 폭설 등으로 인해 인근 모텔에서 숙박하며 작업을 하기도 하였다. 필자도 50대 중반인지라 조금 힘들기도 하였지만, 야근이 익숙한 세대이다 보니 정신적으로는 전혀 힘들게 느껴지지 않았다. 어쨋든 짧은 기간에 힘들게 공사한 결과 학원과 학생들 모두 만족하는 미러 수업을 할 수 있게 되었다. 제법 그럴듯한 일종의 가상현실을 구현한 것이다. 



미러 수업의 확산


결과적으로 학원 측에서는 초광폭 스크린을 활용한 방식의 미러 수업을 통해 수업의 유연성과 효율성을 높였다고 판단하여 서울에 있는 3곳의 다른 계열 학원 건물에도 이 미러 수업 시스템을 도입하기로 결정하였다. 물론, 각각의 환경 (공간)과 수업 배치가 달랐기 때문에 건물마다 조금씩 차이는 있지만 장비와 구성은 동일했다. 예를 들어, 어떤 건물에는 옆의 강의실이 아닌 다른 층의 강의실에서 미러 영상을 구현하였고, 어떤 건물에서는 3개의 강의실에 모두 초광폭 스크린을 설치하여 서로 미러 수업을 주고 받을 수 있도록 구현하기도 하였다. 


※ 서울 강남에 위치한 GDS-G (이미지 출처: 해당 학원)


각각의 경우마다 새로운 도전 과제가 있기는 하였지만 아무래도 가장 큰 어려움은 6m 스트린을 3~4층으로 옮기는 문제였다. 서울 시내에 있는 학원 건물의 경우 계단도 폭이 좁다 보니 수업이 모두 끝난 새벽에 창문을 해체하고 기중기로 들어 올려야 했다. 어쨋든 미러 수업의 도입을 통해 학원은 더욱 유연하게 강의 스케쥴을 편성할 수 있게 되었고, 상황에 따라 역동적으로 강의실을 배정할 수 있게 되었다. 부동산 가격이 매우 비싼 서울 강남에서 최대한 원가를 절감하고, 이를 바탕으로 좀 더 저렴한 수업비용을 제시할 수 있게 되었을 것이므로 학원과 학생 모두에게 이득이 되었을 것이라 생각된다. 


※ 강의실 A에 설치된 4K PTZ 카메라


※ 강의실 A에 설치된 4K PTZ 카메라 (확대)


※ 강의실 B에 설치된 Studio 2 (디코더 모드)


※ 강의실 B에 설치된 6m 초광폭 스크린


※ 서울 강남에 위치한 GDS-D (이미지 출처: 해당 학원)


앞서 간략하게 언급한 바와 같이 강남에 위치한 GDS-D와 GDS-T의 경우 강의실이 많지 않았기 때문에 더 높은 유연성을 필요로 하였다. 예를 들어, GDS-T의 경우 2개의 강의실에 4K PTZ 카메라를 설치하고, 2개의 프로젝터와 6m 초광폭 스크린은 3개 교실 모두에 설치하였다. 강의실 A의 수업은 강의실 B와 C에서 동시에 미러 수업을 할 수 있고, 강의실 B의 수업 역시 강의실 A와 C에서 미러 수업을 할 수 있는 것이다. 강의실 C의 경우 자체 수업을 하든지, 혹은 필요에 따라 강의실 A나 강의실 B의 미러 수업을 선택할 수 있다. 이렇게 서로 연계된 미러 강의 설정을 통해 학원은 매우 유연한 수업 일정을 편성할 수 있게 되었다. 특히 날짜나 요일에 따라 달라지는 학생 수의 증감에 보다 적극적으로 대처할 수 있게 되었을 것이다. 


 

※ Studio 2 (강의실 A와 B에는 인코더, 디코더 각 1개씩)


※ 강의실 A의 실제 수업 모습

※ 강의실 B와 C의 미러 수업 (실시간)



IP Video: 유연성과 확장성, 그리고 장기적인 원가 절감

이미 10여년 전부터 방송과 프로 AV를 위한 다양한 IP 솔루션이 제안되었지만 실제 확산이 된 것은 코로나 판데믹의 영향이 컸다. 점차 네트워크로 영상과 음향을 송수신하는 시스템들이 증가하고 있는 배경에는 유연성과 확장성이 있다. 흔히 말하는 LAN선 하나만 깔려 있으면 매우 쉽고 편리하게 영상을 송수신할 수 있기 때문이다. 하지만 새로운 장비를 도입해야 하고, 새로운 기술을 습득해야 한다는 측면에서 초기에는 더 높은 비용이 발생할 수도 있다. 하지만 그유연성과 확장성을 통해 중-장기적으로는 오히려 원가절감을 기대할 수 있다. 이 글에서 예를 든 학원의 사례와 같이 미러 수업을 통해 강의 일정과 강의실 편성을 유연하게 함으로써 얻는 효과는 기대 이상일 수 있다. 


※ Dyna Hub - 강의실마다 2개의 Studio 2 인코더/디코더가 설치되었다. 


유연성과 관련된 일화 하나를 말씀드려 보겠다. 얼마전 GDS-M에 설치된 4K 카메라로부터 영상이 끊기는 문제가 발생하였다. 처음에는 카메라 문제인 줄 알았는데, 고생하며 확인한 결과 HDMI-AOC 케이블이 작동하지 않는 것으로 확인되었다. 하지만 여분의 케이블이 없었고, 10시가 넘은 밤에 50m HDMI-AOC 케이블을 구매할 수도 없었다. 그래서 일단 임시적인 조치로 4K PTZ 카메라의 Full NDI 모드를 활성화시킨 후, 필자가 가지고 있던 여분의 Studio 2를 투입하여 Full NDI 디코더로 설정하였다. 네트워크는 충분히 깔려 있었기 때문에 HDMI-AOC 케이블 대신 Full NDI로 카메라의 영상을 비디오 월 컨트롤러로 보내는 것에 아무런 문제가 없었다. 이렇게 임시적인 조치를 취해서 다음 날 수업을 정상적으로 할 수 있게 해 준 후, 다음날 수업이 모두 끝난 밤에 HDMI-AOC 케이블을 재 포설하였다. 


※ HDMI-AOC 케이블 대신 임시로 투입된 Studio 2 (4K Full NDI 디코더 역할)


최신의 자동차들에 탑재된 '차로 유지 기능'이나 '자동 주차', '적응형 항속 주행' 등과 같은 '운전 보조 기능'이 가능한 것은 자동차의 운전대, 가속 페달, 그리고 브레이크 등과 같은 장치들이 ECU에 연결되어 전자적으로 제어될 수 있기 때문이다. Pro AV 시장에서도 이와 비슷한 경향이 나타나고 있다. PTZ 카메라나 인코더, 디코더, 컨버터, 컴퓨터 등의 대부분의 장비들이 요즘은 네트워크로 상호 연결되어 있기 때문에 사용자는 물리적으로 공간을 이동할 필요없이 쉽고 편리하게 장치들을 제어할 수 있게 되었다. 네트워크 덕분에 심지어 사업장과 집과 같이 멀리 떨어진 곳에서, 혹은 컴퓨터 뿐아니라 스마트폰과 같은 모바일 기기를 통해서도 접속과 제어가 가능해졌다.

결과적으로 IP 기반의 (네트워크 기반의) 비디오와 오디오 시스템의 경우 실제 운영과 유지보수 혹은 기술지원 모두 측면에서 전통적인 장비들에 비해 훨씬 빠르고 쉬운 접근을 가능하게 해 준다.  예를 들어, 아래의 그림을 보면 사용자는 4개의 장비가 OFF-LINE이라는 것을 시각적으로 빠르게 인식할 수 있다. 아마도 4개의 장치들이 꺼져 있든지, 혹은 IP 설정 등 네트워크 설정에 문제가 있을 것이다. 반면에 녹색으로 표시된 인코더/디코더의 경우 원격으로 접속하여 동작을 모니터링하거나 각종 설정을 변경할 수 있다. 

 

※ Dyna Hub - 4개의 Studio 2가 오프라인 상태이다. (붉은 점)


결론: "인생에서 유일한 상수는 변화이다."


이번 프로젝트는 필자에게 있어 또 다른 큰 도전이었다. 카메라, 인코더/디코더, 비디오 컨트롤러, 프로젝터 등 4개의 분야에서 모인 전문적인 팀들이 끊임없이 소통하고 협력해야 했다. 마치 영화나 드라마 촬영 현장에서 카메라, 조명, 음향, 의상, 소품, 미술, 특수 효과 등 많은 전문 인력들이 협력하여 하나의 영상을 만들어 내 듯 성공적인 프로젝트 완수를 위해 한 팀이 되어야 했다. 하나의 분야만 빠져도 다른 팀들이 대기해야 하는 경우가 발생하기 때문이다. 그리고, 이 프로젝트가 앞서 게재한 강의영상 녹화 프로젝트와 동시에 진행되었다는 점도 물리적으로 어려움을 발생시키는 요소이기도 했다. 


물론, 이 프로젝트를 통해 얻는 것도 많았다. 당연히 보수를 받고 일한 것이지만, 새로운 장비에 대한 경험도 하였고, 필자가 담당하는 분야에 대한 이해도 역시 높아졌다. 특히 다양한 환경에서의 특성과 다른 장비와의 호환성 (혹은 궁합?)에 대한 경험치도 중요한 자산이다. 가장 중요한 것은 고객들은 끊임없이 더 혁신적인 솔루션을 추구하고 있으며, 우리가 그 솔루션을 제공하여 성공적으로 임무를 완수했다는 것이다. 고객이 투자에 대한 댓가로 더 높은 투자대비효과 (ROI)를 얻었을 것이라 생각한다. 그리고 IP 기반의 영상과 음향이 이러한 효율을 극대화할 수 있는 효과적인 수단 중 하나라는 점을 확신하게 되었다. 특히, 안정적인 장비와 신뢰성 높은 기술지원이 있다면 말이다. "끝"






0