| Home | E-Submission | Sitemap | Editorial Office |  
top_img
Korean Journal of Otorhinolaryngology-Head and Neck Surgery > Volume 61(5); 2018 > Article
부비동 내시경 수술과 안면 성형 재건술에 적용 가능한 가상현실 기술

Abstract

With the recent development of information and communication technology, social interest in virtual reality (VR) is increasing rapidly. VR technology is expanding into applications such as games, movies, entertainment, healthcare, education/media, manufacturing, and construction. In the healthcare, VR is used for surgical training, medical education, rehabilitation medicine, pain control, and treatment for psychiatric disorder, but the market size of VR in healthcare is not big compared to VR application in other industries. However, as the demand for high-quality medical care increases and the training time of the resident physicians is reduced, the demand for VR in the healthcare is expected to increase rapidly. Especially, the nose and paranasal sinus are composed of complicated osseous structures, which makes it difficult to understand the exact anatomy and requires highly skilled techniques to perform accurate and safe surgery. For this reason, nose and sinus are a suitable field to apply VR technology. In this review article, we describe the overview of VR technology used in healthcare, the status and prospects of VR in endoscopic sinus surgery and facial plastic surgery.

서 론

코와 주변의 부비동은 얼굴의 가장 중앙에 위치한 구조물로 상악골(maxilla), 비골(nasal bone), 전두골(frontal bone), 사골(ethmoid bone), 그리고 누골(lacrimal bone) 등 여러 뼈들이 복잡하게 얽혀 있으며 일부는 연골 조직으로 구성되어 있다. 또한, 위로는 두개내 공간이 위치하고 있고 양옆으로는 안구를 포함한 안와가 있으며 뒤로는 경동맥 및 시신경과 같은 중요 구조물이 가까이 있다. 따라서 안전한 수술을 시행하기 위하여 코와 부비동에 대한 수술을 시행하기 전에 수술 대상의 해부학적 구조와 주변 중요 기관과의 관계를 정확하게 파악하는 것이 중요하며 해당 술식을 충분하게 연습을 하는 것이 필수적이다.
지난 수십여 년 동안 현대 의학의 수술 기술은 빠르게 발달해 왔지만 수술 기술을 교육하는 방법에는 큰 변화가 없었으며, 수술을 배우는 초심자의 경우 지도하는 상급 의사의 감독을 받으며 실제 환자를 통해 수술을 배우는 것이 거의 유일한 수술 기술 습득 방법이었다[1]. 그러나 전 세계적으로 환자 안전에 대한 이슈가 대두되며 전공의 권익 보호 및 환자의 안전을 위한 전공의 수련 시간제한에 대한 규정이 적용되고 있으며 유럽에서 European Working Time Directive를 통해 전공의 수련 시간제한이 제안되었고, 미국에서도 Accreditation Council For Graduate Medical Education에서 주당 80시간으로 수련 시간을 제한하는 권고안이 만들어졌다[2]. 우리나라에서도 2017년 12월 전공의 특별법이 정식 발효되어 전공의의 수련 시간이 주당 80시간으로 제한되었고, 2018년 3월 근로기준법이 전공의에게 적용되며 전공의 휴가 일수 또한 늘어났다. 뿐만 아니라 환자의 안전문제에 대한 의사의 책임이 가중되고, 수련을 받아야 하는 의사는 계속 증가하며 수련 시간은 감소하는 현실을 고려할 때 기존의 도제식 교육방법을 통한 수술 교육은 분명한 한계가 있다. 실제 환자 대신 사체(cadavers)를 통한 학습도 많은 도움이 되고 많이 사용되고 있지만, 사체를 이용하기 위한 많은 시설과 비용으로 인하여 쉽게 접하기 어렵다[3]. 이러한 상황에서 기존의 의학교육, 수술 교육 방법을 고수할 경우 교육의 질 저하로 이어질 것이 분명하며 새로운 교육 방법의 필요성이 대두되고 있다.
가상현실(virtual reality, VR)은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스(interface)를 말하며, 최근 들어 4차 산업혁명과 함께 가장 각광받는 키워드 중 하나이다. 2000년대 들어서면서 VR 기술의 적용은 게임 등 여가활동에 대한 영역을 벗어나 의학으로 확장되고 있으며 수술교육, 재활, 정신과적 질환에 대한 치료 등 여러 영역에 적용되고 있다[4].
최근의 흐름을 고려할 때 의료에서 VR의 역할은 갈수록 커질 것으로 판단되며 특히, 복잡한 해부학적 구조를 3차원적으로 재구성하여 이해할 수 있는 해부학적 지식과 섬세한 술기가 요구되는 코와 부비동의 수술에서의 VR 적용도 늘어날 것이 확실하다. 따라서 본 리뷰 논문을 통해 VR 기술에 대한 간단한 소개와 현재 부비동 수술 및 안면 재건성형 수술 분야에서 어떠한 부분에 적용되고 있는지, 그리고 추후 어떠한 분야에 적용 가능한지 소개하고자 한다.

The Concepts of Virtual Reality

VR은 사용자에게 유사시각 자극을 인공적으로 생성하여 실제 존재하지 않은 상황 속에 존재하는 것처럼 느끼게 하고, 나아가 사용자가 가상의 주변 상황과 상호작용 할 수 있도록 만들어 주는 일련의 기술들을 말한다. 따라서 VR 기술은 가상의 상황을 구현하기 위해 투입된 컴퓨터 및 각종 장비만이 아닌 사용자가 노출된 가상 환경 또는 상황 자체를 의미한다.
VR의 역사는 해당 기술을 어떻게 정의하는지에 따라 매우 다양하게 기술될 수 있으나, 현실을 모방하는 시각 정보를 제공한다는 개념으로 볼 때 1850년대의 stereoscope에서 기원을 찾을 수 있다. 그러나 현재 대부분의 사람들은 VR을 이야기할 때 두부 장착 교시장치 또는 헤드 마운트 표시장치(head mounted display, HMD)를 떠올린다. HMD 형태의 VR이 처음 소개된 것은 1968년으로 하버드 대학에 근무하던 이반 서덜랜드 교수가 “궁극의 디스플레이”라고 부르며 개발한 “다모클레스의 검(The sword of Damocles)”이라는 HMD이다. 지금의 영상기술과 비교하면 매우 조악한 영상장치였지만 당시 “궁극”이라는 표현을 사용한 것을 볼 때 지금과의 기술적 차이를 느낄 수 있다.
VR 기술은 구현 방법에 따라 4가지로 나눌 수 있다. 1) 가상 환경(virtual environment) 또는 협의의 VR, 2) 증강현실(augmented reality, AR), 3) 혼합현실(mixed reality, MR), 그리고 4) 원격 현전(tele-existence, or telepresence)에 해당하며 본 리뷰에서는 주로 협의의 VR 기술에 대해서 다루고자 한다. 사용자가 VR을 경험하기 위해 필요한 것은 가상영상정보를 만들어 영상표시 장치에 전달할 컴퓨터, 영상정보를 받아 사용자의 눈에 투사할 수 있는 HMD, 머리의 움직임을 감지할 수 있는 자이로 센서(gyroscope), 그리고 사용자와 가상환경의 상호작용을 담당할 추적이 가능한 입력장치로 구성된다(Fig. 1). 최근 빠른 영상처리가 가능한 고성능 스마트폰의 보급이 늘어남에 따라 스마트폰을 이용한 VR이 각광을 받고 있으며 스마트폰이 컴퓨터와 디스플레이, 자이로 센서 기능을 모두 탑재하고 있어 구글 카드보드나 삼성기어 VR과 같은 스마트폰을 머리에 장착할 수 있게 해 주는 간단한 장비를 통해 손쉽게 VR을 구현할 수 있다(Fig. 2).
VR 기술을 의료 등을 포함한 실제 분야에 적용하기 위한 기본적인 요건은 현실성(reality or immersive technology)이다. 이러한 현실성을 충족하기 위해 VR 기술에 요구되는 3 요소는 3차원 공간성, 실시간 상호작용, 그리고 자기 투영성 이다. 3차원 공간성이란 컴퓨터 또는 스마트폰을 통하여 구성한 공간이 사용자 주변에 실제로 존재하는 것처럼 느껴지는 것을 말한다. 최근 널리 유행하는 3차원 게임의 경우 3차원 공간성과 대상과 사용자 간의 실시간 상호작용 모두 가능하지만 이를 VR이라고 부르지 않는 이유는 “자기 투영성” 이 결여되어 있기 때문이다. 자기 투영성은 VR의 기술에 요구되는 핵심 요소로 사용자가 컴퓨터에 의해 생성된 환경의 방향, 거리감, 깊이 등에 모순 없이 들어가 있는 상태를 말하며[5], VR을 이용한 훈련 또는 교육 시스템을 만드는데 필수적인 요소이다.

Virtual Reality in Medicine

VR은 주로 게임을 통해 대중화가 되고 있지만 “자기 투영성”이라는 특징으로 인해 실제와 같은 경험을 할 수 있기 때문에 쉽게 접하기 어려운 고난이도, 고위험 영역에 도입하려는 움직임이 계속되어 왔으며, 의료분야는 이러한 움직임이 가장 활발한 영역이라고 할 수 있다. 미국의 IT 전문 사이트인 TechRepublic에서도 가상현실 기술이 활용 가능한 9개 분야 중 헬스케어 및 의료를 첫 번째 목록으로 꼽고 있다[6]. 의료분야에서 VR 기술이 선도적으로 적용되고 있는 분야는 수술 기술 교육(surgical training), 해부학 교육(anatomical education), 재활의학(physical rehabilitation), 통증 조절(pain management), 그리고 정신질환 치료(treatment of psychiatric disorder) 분야 등이다[4,7,8]. 또한, 의학 VR의 선구자로 불리는 Greenleaf [9]는 2004년 VR 적용이 가능한 의학 분야를 12분야로 정리하기도 하였다(Table 1). 이러한 여러 분야 중 현재의 의료 현실에 가장 적합하고 요구도가 높은 부분은 수술 기술 교육을 포함한 의학 교육 영역이라고 할 수 있다. 서론에서 언급한 것처럼 사회적 인식의 변화와 환자 권리에 대한 인식 증가로 전공의 교육여건이 변하고 있으나, 이러한 변화를 맞추기 위해 교육의 질이나, 의료인력의 질을 낮출 수는 없을 것이다. 뿐만 아니라 수술의 기법들이 매우 다양해지고 복잡해 짐에 따라 교육해야 하는 지식과 술기의 양은 지속적으로 증가하여 수술 참관만으로는 해당 술기를 정확하게 익히기 어려워졌다[4]. 1997년 Reznick 등[10]이 체계적인 수술 기술 평가법을 통해 인체 모형을 이용한 수술 훈련과 동물을 이용한 수술 훈련을 유용성을 비교하였고 인체모형을 이용한 수술 훈련도 충분한 효과가 있다고 보고 하였으며, information and communication technology(ICT) 기술의 발달에 따라 교육에 필요한 인체 모형을 실제 모델을 사용하는 대신 VR 모델로 대체 할 경우 환자의 안전에 대한 문제, 교육에 필요한 공간적 제약, 피교육자의 시간적 제약을 극복하고 의학 교육의 기회를 늘릴 수 있다. 또한, 최근 VR 기술을 구현하기 위한 장비의 가격이 낮아지고 스마트폰으로 쉽게 구현이 가능해짐에 따라 VR 경험에 대한 문턱이 낮아져 복잡한 VR 프로그램뿐 아니라 간단한 앱을 의학 교육에 활용할 수 있는 기회가 늘어나고 있다.
이비인후과 영역에서 가장 먼저 VR 기술을 수술 교육에 도입한 곳은 측두골 수술영역이다. 가장 먼저 상업적으로 발표된 모델은 “VOXEL-MAN Tempo Surgery Simulator”이며 입체시가 가능한 영상장치와 햅틱(haptic) 반응이 포함된 드릴, 그리고 드릴 조작을 위한 발판(foot switch)으로 구성되었다[11]. 이러한 가상 수술 모델의 경우 중요 구조물은 다른 색으로 표시하여 가상 수술 중 쉽게 중요 구조물을 인지할 수 있으며, 사용자가 햅틱 드릴을 이용하여 실습한 내용을 모두 기록하여 추후에 확인할 수 있기 때문에 혼자 실습하는 것이 가능하다. 또 다른 모델로는 “Mediseus Surgical Simulator”가 있으며 햅틱 드릴과, 햅틱 흡인기(suction)를 갖추고 있다. 또한, 사용자의 술기에 대하여 시각 및 소리 자극을 통해 피드백을 보낼 수 있는 기능이 탑재되어 있고 해당 모델을 사용한 사용자의 술기가 유의하게 증가되었다고 보고 하였다[12].

Technical Steps to Implement VR

위에서 언급한 것처럼 의학교육, 특이 이비인후과 영역에 있어 VR의 활용 분야는 지속적으로 증가하고 있다. 특히 비강 및 부비동과 같이 면과 선이 복잡하게 얽힌 공간으로 이루어진 구조를 익히는 데 있어서, 관찰 대상을 멀리서 바라보는 시점으로 교육하는 것보다는 대상에 몰입(immersion)하고 상호작용할 수 있는 VR 방식의 교육이 더 효과적이다. 비강 및 부비동을 VR 영상으로 만들기 위해 가장 먼저 해야 할 것은 촬영 두께가 얇은(thin section) 컴퓨터단층촬영(computed tomography, CT) 영상을 획득하는 것이다. 0.6~1.0 mm 두께의 CT 영상을 사용하는 것이 가장 바람직하며 절단 두께가 두꺼워질수록 구성된 모델의 해상도가 낮아지게 된다. 가장 많이 사용되는 Mimics(Materialise, Leuven, Belgium), 무료로 사용 가능한 InVesalius(CTI, Campinas, Brazil) 등 다양한 Digital Imaging and Communications in Medicine (DICOM) 가공 프로그램을 통하여 CT 이미지에서 VR로 만들고자 하는 영역을(region of interest) 선택적으로 추출하고 3차원 형태로 변환한다(Fig. 3). 추출된 3D 이미지의 경우 가공하기 전에는 많은 노이즈(noise) 및 모델의 오류가 있을 수밖에 없으며 MeshMixer(Autodesk, San Rafael, CA, USA) 등을 통해 수정하게 된다. 이후 3ds Max(Autodesk) 등을 통해 VR 영상으로 재구성하고 HMD에 탑재할 수 있다. 이후 HMD를 통하여 관찰할 경우 사용자가 해당 부비동 또는 비강 안에 들어간 것과 같은 경험을 할 수 있으며 각 공간의 중요 구조물을 상세하게 관찰할 수 있다(Figs. 4 and 5). 해당 모델과의 상호작용을 추가하기 위하여 Unity(Unity technology, SF, USA) 또는 Unreal Engine(Epic Games, NC, USA) 등의 도구를 이용할 수 있고, 비디오 게임처럼 사용자의 조작에 따라 모델에 여러 형태의 동작을 삽입할 수 있으며 실제 수술과 같이 모델을 변형할 수도 있다.

Virtual Reality in Sinus Surgery

만성 부비동염의 수술적 치료에 있어 부비동 내시경 수술(endoscopic sinus surgery, ESS)은 표준적인 치료로 자리잡았으며, 만성 부비동염 뿐 아니라 부비동의 양성 및 악성종양의 수술적 치료에 있어서도 그 영역이 날로 넓어지고 있다. 그러나 부비동은 중요 구조물과 가까이 있으며 각각의 중요 구조물과 부비동은 불과 0.5~1 mm 두께의 얇은 뼈로 분리되어 있다[13]. 따라서 내시경 수술에 익숙하지 않은 초심자의 경우 ESS를 시행하는 데 있어 두려움을 가지게 되며, 환자의 안전을 위해서도 ESS에 충분하게 익숙해진 뒤 실제 환자 수술을 시행하는 것이 바람직하다. 서론에서 언급한 것처럼 실제 환자를 대상으로 지도전문의 감독하에 실습하며 전공의를 교육하던 기존의 방법을 지속하기 어려운 상황에서 전공의들을 효율적으로 교육시킬 수 있는 방법에 대한 고민이 계속되고 있다. 또한, 실제 환자 또는 카데바를 사용하여 교육하지 않더라도 술자가 수술 전 멀티미디어를 통한 수술 방법에 대한 교육을 경험할 경우 수술 중 합병증을 줄일 수 있다는 보고가 있었다[14]. VR 기술을 이용한 ESS 훈련을 위한 시뮬레이터는 1998년 미군과 Lockheed Martin(Akron, OH, USA)에 의한 처음 개발된 endoscopic sinus surgery simulator(ES3)이며 이를 이용한 여러 연구 논문들이 발표되었다[15,16]. 특히 2010년 Fried 등[17]은 ES3 시뮬레이터를 경험한 12명의 전공의와 그렇지 않은 13명의 전공의의 수술 술기를 비교하여 injection, dissection, instrument manipulation 등에 있어서 ES3 경험자가 비경험자에 비하여 유의하게 더 나은 술기를 보였다고 보고 하였다. 그러나 위 장비는 프로토타입 단계의 모델이었으며 매우 고가여서 널리 사용되지 못하고 현재는 거의 사장된 상태이다. ES3 이후 발표된 시뮬레이터는 McGill simulator for ESS(MSESS)로 2014년 Varshney 등[18]이 해당 시뮬레이터를 이용한 연구 결과를 보고 하였다. MSESS는 실제 환자의 CT 영상을 이용하여 가상의 부비동 공간을 재현하였고, 각 공간의 표면에 실제 점막과 같은 층을 가상으로 추가하여 실제감을 더하였다. 또한, 햅틱 피드백이 가능한 4 mm 가상 내시경을 추가하고 내시경 끝이 점막에 닿을 경우 시야가 혼탁해지는 기능을 구현하여 실제감을 더하였고, 5000 rpm의 속도로 작동하는 가상의 미세 절삭기(microdebrider) 또한 장착되어 있다. 이 모델은 1) pass the endoscope from the nasal vestibule to the nasopharynx with minimal trauma to nasal mucosa, 2) pass the endoscope and use the microdebrider to contact the maxillary ostium, sphenoid ostium, and nasopharynx, 3) complete anterior ethmoidectomy, 4) complete posterior ethmoidectomy, 그리고 5) wide sphenoidotomy 등 5가지 연습 과정을 미리 프로그램화 하여 제공하며, 각각의 단계의 수행도를 수치화하여 비교 및 보고할 수 있다.

Virtual Reality in Facial Plastic and Reconstructive Surgery

안면 성형 및 재건 수술 영역에서 VR이 적용되는 영역은 크게 수술 계획(surgical planning), 수술 내비게이션(surgical navigation), 수술 교육 등 3분야로 나눌 수 있다[19]. 안면 성형 분야에서의 VR은 HMD를 사용하는 방식보다는 햅틱 장비(Fig. 6)를 이용한 방식과 AR을 이용한 방식이 주류를 이루며 수술 교육을 위해 360° 카메라를 사용하기도 한다. 수술교육을 위해 사용되는 360° 카메라는 일반적인 360° 카메라보다 높은 해상도를 요구하며 무영등 아래 설치하거나 지미집(Jimmy Jib)을 이용에 거치한다(Fig. 7). 안면골 골절 수술을 시행하기 전 각 골편을 햅틱 장비를 이용하여 움직여 수술 계획을 세울 수 있으며[20], 안면 윤곽술을 시행하기 전 하악골 절단 정도를 예측하기 위해 사용되기도 한다[21]. 안면 성형 및 재건 수술을 위한 내비게이션(navigation)에서는 주로 AR 방법이 사용되며 실제 환자의 얼굴에 뼈 또는 대상 기관의 가상 영상을 정합하여 보여준다. 보여지는 가상 이미지를 통해 절골술, 스크류 삽입, 또는 이식물의 삽입 등을 시행할 정확한 위치를 직관적으로 확인하고 각 시술을 시행할 수 있다[22]. 또한 부비동 수술과 마찬가지로 안면 성형 수술 역시 뼈를 다루는 수술이 대부분이기 때문에 VR 영상 구축을 통하여 해부학 및 수술 교육에 도움을 줄 수 있다. Wu [23]와 Lin 등[24]은 몰입형 가상현실 교육 장비를 통하여 Lefort 1 절골술을 시행하는 방법을 소개하였고 햅틱 장비를 통해 골 절단, 플레이트 고정 등을 시행하는 동안의 실제 환자에서 드릴을 시행하는 것과 같은 포스 피드백(forced feedback)을 경험할 수 있도록 하였다. 매우 다양한 술식이 사용되고 같은 술식도 시행하는 방법이 조금씩 다른 안면 성형 및 재건 수술의 특성상 수술에 직접 참여하여 경험하기 전까지는 수술이 어떻게 진행되는지 정확하게 알기 어렵다. 고해상도 360° VR 카메라를 사용하여 수술 과정을 녹화하면 집도의가 어떻게 수술을 진행하고, 기구는 어떻게 사용하는지, 환자의 자세 및 술자와 보조자의 호흡 등을 하나의 영상에 담을 수 있으며 이 영상을 HMD를 통해 관찰할 경우 HMD 착용자는 실제 수술실에 들어와서 수술을 직접 위에서 참관하는 것 같은 몰입된 경험을 할 수 있다. 이러한 과정을 통해 수술에 익숙하지 않은 의과대학생 및 전공의에게 안면 성형 및 재건 수술에 대해 보다 직접적인 정보를 제공할 수 있으며, 수술실 간호사의 수술 보조 술기 교육에도 매우 유용하게 사용할 수 있다.

Technological Limitations and the Future of Virtual Reality

부비동과 안면 성형 재건 분야를 비롯한 의료분야의 교육에 있어서 VR은 공간적, 경제적 제한을 극복할 수 있는 매우 혁신적인 방법이라고 할 수 있다. VR 기술이 대중화 된다면 집에서 손쉽게 사용할 수 있어 접근성이 높아질 수 있으며, 필요한 부분을 반복적으로 연습하거나 공부하여 교육의 효율성을 높일 수 있다. 또한, 숙련된 술자의 술식을 미리 VR 시뮬레이터에 입력하고 초심자가 숙련자의 움직임을 따라가며(ghost mode) 본인의 술식과 비교하는 경험도 가능하다. 이러한 의료 VR은 최근 두 가지 국면을 맞이하고 있다. 첫째는, 사회적 관심도의 증가에 따라 VR 기술의 저변이 갈수록 넓어지고 있으며, 각종 VR 주변 장비들이 끊임없이 소개되고 있다. 마이크로소프트사 또한 윈도우 최신 버전에 VR을 구현할 수 있는 기능을 넣어 사용자가 VR을 쉽게 경험할 수 있도록 하고 있으며 윈도우 MR 플랫폼을 공개하여 기존의 고해상도 HMD보다 저렴한 가격에 몰입감이 높은 장비를 사용할 수 있게 되었다. 또한, 각종 3D 영상 소프트웨어들이 무료로 배포되어 있으며, Unity 및 Unreal과 같은 게임엔진을 사용하는 인구 또한 증가하며, 이들 인력이 의료 VR 시장에 참여하고 의료 VR이 확대될 수 있는 사회적 분위기가 조성되었다. 그러나 이러한 사회적 변화와 기술의 발전 사이에는 여전히 상당한 간극이 존재한다. HMD의 해상도가 가로 2000 픽셀(pixel), 세로 1600 픽셀(pixel)을 넘을 정도로 높아지고 있지만 아직까지 사람의 눈은 HMD에서 제공되는 영상을 구성하는 각 도트(dot)를 확인할 수 있으며, 영상의 주사율 또한 대부분 100 Hz 이하여서 영상의 움직임에 따른 잔상이 남게 된다. 또한, 머리의 움직임과 영상의 움직임 사이에 미세한 시간 차이가 존재하며. 인간의 눈은 중심 시야와 주변 시야 간에 인식되는 정도의 차이가 있는데 현재의 HMD는 동공의 움직임을 실시간 추적하지 못하거나, 또는 추적 가능하더라도 추적 정보를 영상에 반영하지 못하기 때문에 중심 시야와 주변 시야를 분리하여 처리하지 못한다. 이러한 인자들은 모두 HMD 착용 후 발생하는 어지러움 및 피로감, 그리고 몰입감 저하의 원인이 된다.
VR의 가장 핵심은 현실과 구분이 어려울 정도의 사실성 및 몰입감, 그리고 지속적으로 사용할 수 있을 정도의 편안함이라고 할 수 있다. 사회적 관심 및 요구도의 증가와 기술의 발전이라는 두 축이 아직 정확하게 맞물리지는 않았지만, 현재의 기술 개발 속도를 고려할 때 위에 언급한 문제들은 머지않아 해결되리라 생각하며, 이미 8K 고해상도 영상 및 실시간 시 추적이 가능한 HMD 개발 소식이 들리고 있다.
현재 ICT 기술개발의 속도는 2000년대 초반 예상되었던 것보다 빠르게 진행되고 있고, ICT 기술을 의학에 접목하려는 노력이 지속되고 있다. 또는 인공지능을 통하여 기존의 의료데이터를 처리하는 기술도 빠르게 발전하고 있다. 지금까지 사용되었던 ESS 및 안면 성형 재건 수술 모델들은 기존의 환자 DICOM 정보를 통해 영상을 구현하였지만 이를 실제 모델로 만들기까지 매우 많은 조작 및 수정이 필요하며 환자 개개인에 맞춘 모델을 만드는 것은 현실적으로 불가능하였다. 그러나 머지않은 미래에 환자 개인의 영상정보를 인공지능을 이용하여 처리하여 수술 모델로 만드는 것이 가능할 것으로 판단되며, 각 환자를 실제로 수술하기 전에 VR 모델을 이용하여 매우 적은 비용으로 수술 연습을 할 시대가 올 것이다.

Fig. 1.
A conceptual illustration of virtual reality for surgery and anatomy training. The medical images are reconstructed three - dimensionally by a computer and transmitted to the HMD, and the user manipulates the 3D model through the HMD and the motion controller. The HMD incorporates a gyro sensor to recognize and reflect the movement of the user's head. HMD: head mounted display.
kjorl-hns-2018-00283f1.jpg
Fig. 2.
A Google card board which the user folds the paper and creates it directly. It has made a great contribution to the growth of VR by making it possible to experience VR at very low price of less than 10$. A picture was Adapted from Google cardboard. Available from: www.google.com/get/cardboard. VR: virtual reality.
kjorl-hns-2018-00283f2.jpg
Fig. 3.
Digital imaging and communication in medicina segmentation tool (InVesalius, CTI, Campinas, Brazil) for acquiring 3D model from computed tomography images. The Maxillary sinus is set as a region of interest.
kjorl-hns-2018-00283f3.jpg
Fig. 4.
Maxillary sinus 3D model from thin sectioned computed tomography images (A). Virtual reality image made with a 3D model of a maxillary sinus, a view from the inside of a maxilla. The maxillary sinus natural ostium can be identified (B).
kjorl-hns-2018-00283f4.jpg
Fig. 5.
The created maxillary sinus virtual reality images are viewed using the window mixed reality (Microsoft, Redmond, WA, USA) device Odyssey (Samsung electronic company, Seoul, Korea).
kjorl-hns-2018-00283f5.jpg
Fig. 6.
Most commonly used haptic devices, Touch (3D systems, Rock Hill, SC, USA). Each joint has a motor, so it shows pre-programmed recoil action according to the movement of the user. Adapted from 3D Systems. Available from: https://ko.3dsystems.com.
kjorl-hns-2018-00283f6.jpg
Fig. 7.
VR camera for facial plastic and reconstruction surgery (360 round, Samsung electronic company, Seoul, Korea) which is installed in Samsung Changwon Hospital operating room. With 17 lenses, it is possible to record high-resolution images and implement VR environment. VR: virtual reality.
kjorl-hns-2018-00283f7.jpg
Table 1.
Current and emerging applications of virtual reality in medicine
Application Description
Medical/dental surgical training Training and rehearsing a surgical procedure using surgical instruments linked to a realistic simulation-may or may not include haptic feedback.
Pre-surgical planning Using 3D radiological images and computer workstation tools to design and plan an operative procedure.
Computer-aided surgery systems Using 3D images overlaid in real-time on the operating field to facilitate surgery.
Interactive 3d diagnostic imaging Tools for data analysis and quantitative comparisons-capturing and manipulating medical imaging data in a 3D format. Collaborative environments.
Radiation treatment planning and control Design of radiation treatment procedure to match patients’ anatomy precisely. 3D design and control systems.
Medical education Case histories, 3D anatomy lessons and virtual cadavers, procedure training, emergency room ward simulation, palpation training, etc.
3D visualization for telemedicine Radiological image tele-consultation and second opinions, shared data for tumor review boards, remote patient examination, and specialty consults.
Telesurgery Computer-assisted surgery at a distance. Predictive algorithms, 3D surgical planning.
Rehabilitation and sports medicine Simulated environments for evaluation and rehabilitation-occupational therapy, physical therapy, ergonomics, orthopedics, and sports medicine.
Disability solutions Augmented reality environments for treatment of autism and other cognitive impairments. Environmental control systems.
Neurological evaluation Standardized simulated environments for evaluation of cognitive processing, stroke deficits, memory disorders, movement disorders, and higher-functions.
Psychiatric and behavioral healthcare Evaluation and treatment of cognitive and behavioral disorders: phobias, anxiety, social affect disorders, attention deficiency hyperactive disorder, post-traumatic stress disorder, and addiction treatment.

Adapted from Greenleaf W. Medical applications of virtual reality. Available from: http://bme2.aut.ac.ir/~towhidkhah/MI/Discussion86-1/VR%2520Med%2520overview.pdf [9]

REFERENCES

1. Aïm F, Lonjon G, Hannouche D, Nizard R. Effectiveness of virtual reality training in orthopaedic surgery. Arthroscopy 2016;32(1):224-32.
crossref pmid
2. Philibert I, Friedmann P, Williams WT, ACGME Work Group on Resident Duty Hours. New requirements for resident duty hours. JAMA 2002;288(9):1112-4.
crossref pmid
3. Bakker NH, Fokkens WJ, Grimbergen CA. Investigation of training needs for functional endoscopic sinus surgery (FESS). Rhinology 2005;43(2):104-8.
pmid
4. Li L, Yu F, Shi D, Shi J, Tian Z, Yang J, et al. Application of virtual reality technology in clinical medicine. Am J Transl Res 2017;9(9):3867-80.
pmid pmc
5. Hyoun JW. [Virtual reality technology trends in medical field]. [online]; 2016;2016 [cited 2018 Feb 28]. Available from: www.bioin.or.kr/fileDown.do?seq=33166.

6. Erin Carson. 9 industries using virtual reality. [online]; 2015;[cited 2018 Feb 28]. Available from: https://www.techrepublic.com/article/9-industries-using-virtual-reality/.

7. Alaker M, Wynn GR, Arulampalam T. Virtual reality training in laparoscopic surgery: a systematic review & meta-analysis. Int J Surg 2016;29:85-94.
crossref pmid
8. Yiannakopoulou E, Nikiteas N, Perrea D, Tsigris C. Virtual reality simulators and training in laparoscopic surgery. Int J Surg 2015;13:60-4.
crossref pmid
9. Greenleaf W. Medical applications of virtual reality. [online]; 2004;[cited 2018 Feb 28]. Available from: http://bme2.aut.ac.ir/~towhidkhah/MI/Discussion86-1/VR%2520Med%2520overview.pdf.

10. Reznick R, Regehr G, MacRae H, Martin J, McCulloch W. Testing technical skill via an innovative “bench station” examination. Am J Surg 1997;173(3):226-30.
crossref pmid
11. Arora A, Khemani S, Tolley N, Singh A, Budge J, Varela DA, et al. Face and content validation of a virtual reality temporal bone simulator. Otolaryngol Head Neck Surg 2012;146(3):497-503.
crossref pmid
12. Zhao YC, Kennedy G, Hall R, O’Leary S. Differentiating levels of surgical experience on a virtual reality temporal bone simulator. Otolaryngol Head Neck Surg 2010;143(5 Suppl 3):S30-5.
crossref pmid
13. Arora H, Uribe J, Ralph W, Zeltsan M, Cuellar H, Gallagher A, et al. Assessment of construct validity of the endoscopic sinus surgery simulator. Arch Otolaryngol Head Neck Surg 2005;131(3):217-21.
crossref pmid
14. Keerl R. [Value of multimedia educational software in training of the paranasal sinus surgeon]. Laryngorhinootologie 2000;79(1):34-8.
crossref pmid pdf
15. Edmond CV Jr, Wiet GJ, Bolger B. Virtual environments. surgical simulation in otolaryngology. Otolaryngol Clin North Am 1998;31(2):369-81.
crossref pmid
16. Rudman DT, Stredney D, Sessanna D, Yagel R, Crawfis R, Heskamp D, et al. Functional endoscopic sinus surgery training simulator. Laryngoscope 1998;108(11 Pt 1):1643-7.
crossref pmid
17. Fried MP, Sadoughi B, Gibber MJ, Jacobs JB, Lebowitz RA, Ross DA, et al. From virtual reality to the operating room: the endoscopic sinus surgery simulator experiment. Otolaryngol Head Neck Surg 2010;142(2):202-7.
crossref pmid
18. Varshney R, Frenkiel S, Nguyen LH, Young M, Del Maestro R, Zeitouni A, et al. Development of the McGill simulator for endoscopic sinus surgery: a new high-fidelity virtual reality simulator for endoscopic sinus surgery. Am J Rhinol Allergy 2014;28(4):330-4.
crossref pmid
19. Kim Y, Kim H, Kim YO. Virtual reality and augmented reality in plastic surgery: a review. Arch Plast Surg 2017;44(3):179-87.
crossref pmid pmc pdf
20. Olsson P, Nysjö F, Hirsch JM, Carlbom IB. A haptics-assisted craniomaxillofacial surgery planning system for restoring skeletal anatomy in complex trauma cases. Int J Comput Assist Radiol Surg 2013;8(6):887-94.
crossref pmid pmc
21. Wang Q, Chen H, Wu W, Jin HY, Heng PA. Real-time mandibular angle reduction surgical simulation with haptic rendering. IEEE Trans Inf Technol Biomed 2012;16(6):1105-14.
crossref pmid
22. Mischkowski RA, Zinser MJ, Kübler AC, Krug B, Seifert U, Zöller JE. Application of an augmented reality tool for maxillary positioning in orthognathic surgery - a feasibility study. J Craniomaxillofac Surg 2006;34(8):478-83.
crossref pmid
23. Wu F, Chen X, Lin Y, Wang C, Wang X, Shen G, et al. A virtual training system for maxillofacial surgery using advanced haptic feedback and immersive workbench. Int J Med Robot 2014;10(1):78-87.
crossref pmid
24. Lin Y, Wang X, Wu F, Chen X, Wang C, Shen G. Development and validation of a surgical training simulator with haptic feedback for learning bone-sawing skill. J Biomed Inform 2014;48:122-9.
crossref pmid
Editorial Office
Korean Society of Otorhinolaryngology-Head and Neck Surgery
103-307 67 Seobinggo-ro, Yongsan-gu, Seoul 04385, Korea
TEL: +82-2-3487-6602    FAX: +82-2-3487-6603   E-mail: kjorl@korl.or.kr
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Copyright © Korean Society of Otorhinolaryngology-Head and Neck Surgery.                 Developed in M2PI
Close layer
prev next