Article information

Korean J Otorhinolaryngol-Head Neck Surg. 2024;67(3):146-151

Publication date (electronic) : 2023 August 28

doi : https://doi.org/10.3342/kjorl-hns.2023.00451

Sang Jae Lee¹, Yoon Seok Choi¹, Chang Hoon Bae¹, Si-Youn Song¹, Yong-Dae Kim^1,2, Hyung Gyun Na^,1

¹Department of Otorhinolaryngology-Head and Neck Surgery, College of Medicine, Yeungnam University, Daegu, Korea

²Regional Center for Respiratory Diseases, Yeungnam University Medical Center, Daegu, Korea

이상재¹, 최윤석¹, 배창훈¹, 송시연¹, 김용대^1,2, 나형균^,1

¹영남대학교 의과대학 이비인후-두경부외과학교실

²영남대학교병원 권역 호흡기 전문질환센터

Address for correspondence Hyung Gyun Na, MD, PhD Department of Otorhinolaryngology-Head and Neck Surgery, College of Medicine, Yeungnam University, 170 Hyeonchung-ro, Nam-gu, Daegu 42415, Korea Tel +82-53-620-3783 Fax +82-53-628-7884 E-mail drnhk79@gmail.com

Received 2023 April 22; Revised 2023 May 19; Accepted 2023 May 22.

Trans Abstract

서 론

우리는 소셜 네트워크, 유튜브, 인공지능 기술 등을 통해 의학을 포함한 다양한 정보에 손쉽게 접근 가능한 시대에 살고 있다. 이런 정보의 홍수 속에서 개인에게 의미있고 믿을 만한 정보를 찾고 이용하는 것이 중요하다. Chat Generated Pre-Trained Transformer (ChatGPT)는 대규모 언어 모델(large language model)로 방대한 데이터를 기계 학습(machine learning)을 통해 학습하고 정교한 글을 써내는 인공지능(artificial intelligence)이다[1]. ChatGPT는 에세이나 강연 대본 작성, 문헌 요약, 논문 작성, 컴퓨터 코드 작성, 통계분석 등 다양한 분야에서 활용되며 사회에 큰 영향을 미치고 있다. 최근에는 ChatGPT에 의해 작성된 초록이 표절검사기를 통과하였으며 독창성이 100%로 나타나 큰 화두가 되었다[2]. 단 한 번의 검색으로 소비자들에게 의학 정보를 편리하게 제공할 수 있지만 여전히 신뢰성에 의문이 있다[2,3].

알레르기 비염은 외부 알레르겐에 노출된 후 비강 점막의 면역글로불린E (IgE)에 의해 매개되는 염증반응으로 정의되며, 전 세계적으로 인구의 10%-40%에서 나타난다[4]. 일차 의료기관에서 가장 흔한 질환들 중 하나로, 남녀노소 상관없이 환자들의 삶의 질을 저하시키는 질환이다[4]. 코막힘, 재채기, 비루, 가려움증이 알레르기 비염의 전형적인 4대 증상이며, 알레르기 피부반응검사 혹은 혈청 특이 IgE 항체검사를 통해 원인 항원과 증상의 인과관계를 증명할 수 있는 경우에 진단할 수 있다[5]. 많은 경우에서 인과관계 증명없이 증상만으로 알레르기 비염을 진단하고 치료하고 있으며, 알레르기 비염을 앓고 있다고 보고한 환자들이 실제로는 알레르기 비염으로 진단되지 않은 경우도 있었다[6].

ChatGPT를 통한 의학적 정보의 신뢰도와 정확도를 평가하는 연구들이 보고되고 있으나 아직 이비인후과 분야에서 신뢰도와 정확도를 조사한 연구는 부족한 실정이다[7-9]. 알레르기 비염의 증가하는 유병률과 의료비용, 환자들의 삶의 질과 일상생활에 미치는 영향을 고려했을 때, 이에 대한 연구가 필요할 것으로 사료된다.

이에 본 문헌을 통해 ChatGPT를 통해 얻은 알레르기 비염에 대한 정보의 신뢰도에 대해 조사하고 보고하고자 한다.

재료 및 방법

저자들은 알레르기 비염의 정의(1, 2번 문항), 역학(3번 문항), 원인(3-7번 문항), 진단(8-15번 문항), 치료(16-33번 문항), 예후(34-35번 문항)에 관련한 35가지 질문들을 2018년도에 대한이비인후과학회에서 발행한 이비인후과학 교과서 개정 2판 14장 알레르기 비염의 병인과 진단[10]과 15장 알레르기 비염의 치료[11], 2016년도에 개정된 Allergic Rhinitis and its Impact on Asthma (ARIA) 가이드라인[4], American Academy of Otolaryngology-Head and Neck Surgery (AAO) 알레르기 비염 실전 가이드라인[12]을 기준으로 만들었다(Table 1). 각 질문들을 ChatGPT Mar 23 Version (Open AI, San Francisco, CA, USA)에 한국어로 3차례 입력하여 질문에 대한 대답들을 종합하여 기록하였다(Supplementary Material and Fig. 1). 이 기록들을 ChatGPT에 대한 언급없이 맹검시험(blind test)을 통해 이비인후과 전문의 5명(10년 이상의 경력)에게 보여주고 정확도를 평가하도록 하였다. 평가자들은 각 질문에 대한 반응을 2018년도에 대한이비인후과학회에서 발행한 이비인후과학 교과서 개정 2판 14장 알레르기 비염의 병인과 진단[10]과 15장 알레르기 비염의 치료[11], 2016년도에 개정된 ARIA 가이드라인[4], AAO 알레르기 비염 실전 가이드라인[12]을 바탕으로 ‘정확하다’, ‘부정확하다’의 두 가지로 나누고, 교과서와 가이드라인에 없는 내용일 경우 ‘신뢰할 수 없다’로 평가하였다. ‘정확하다’는 문맥의 내용이 교과서와 가이드라인에 부합하는 경우, ‘부정확하다’는 문맥의 내용 중 3가지 이상 잘못된 것이 있을 때로 간주하였다.

Table 1.

Questions to Chat Generated Pre-Trained Transformer about the allergic rhinitis

Fig. 1.

Example of questions and answers about the allergic rhinitis obtained from Chat Generated Pre-Trained Transformer.

결 과

35가지 질문 중 26가지 항목(74%)에서 ‘정확하다’, 9가지 항목(26%)에서 ‘부정확하다’, 0가지 항목(0%)에서 ‘신뢰할 수 없다’로 확인되었다(Fig. 2). 각 답변에 대한 전문의 5명의 의견은 모두 동일하였다.

Fig. 2.

Reliability of the responses of allergic rhinitis from Chat Generated Pre-Trained Transformer. n, number of questions.

각 세부항목으로 나누면 정의는 2가지 질문 중 2가지 항목(100%)에서 ‘부정확하다’로 신뢰도가 전체 질문의 평균(74%)보다 낮았다. 역학에서는 1가지 질문 중 1가지 항목(100%)에서 ‘정확하다’로 신뢰도가 전체 질문의 평균(74%)보다 높았다. 원인은 4가지 중 질문 4가지 항목(100%)에서 ‘정확하다’로 신뢰도가 전체 질문의 평균(74%)보다 높았다. 진단은 8가지 질문 중 7가지 항목(87%)에서 ‘정확하다’, 1가지 항목(13%)에서 ‘부정확하다’로 신뢰도가 전체 질문의 평균(74%)보다 높았다. 치료는 18가지 질문 중 12가지 항목(67%)에서 ‘정확하다’, 6가지 항목(33%)에서 ‘부정확하다’로 확인되어 신뢰도가 질문의 평균(74%)보다 낮았다. 예후는 2가지 질문 중 2가지 항목(100%)에서 ‘정확하다’로 신뢰도가 전체 질문의 평균(76%)보다 높았다(Fig. 3).

Fig. 3.

Reliability of the responses of allergic rhinitis from Chat Generated Pre-Trained Transformer based on the classifications. Red line indicates the average reliability in whole questions. A, accurate; I, inaccurate; U, unreliable; n, number of questions.

고 찰

ChatGPT를 통해 얻은 심혈관질환의 예방에 대한 의학 정보에서 84%의 높은 적절성를 보였다[8]. 간경화와 간세포암에서는 각각 79.1%와 74%의 정확도를 보였다[7]. 여러 과의 복합적인 의학 정보 180개의 질문에서 57.8%의 신뢰도를 보였다[9]. 이 연구를 통해서 ChatGPT를 통해 얻은 알레르기 비염의 신뢰도가 70% 이상 높게 나오는 것을 확인하였다. ChatGPT가 의사와 환자에게 신뢰도 높은 정보를 제공하고, 실제 의료 환경에서도 유용하게 사용할 수 있을 것으로 기대된다. 환자들이 손쉽게 병에 대한 세부 정보를 무료로 얻을 수 있어 의료접근성이 떨어지는 상황에서 도움을 줄 수 있다. 그리고 ChatGPT가 일반인 수준으로 이해할 수 있는 표현으로 적절한 답변을 제공하고 있기 때문에, 의사들이 환자들에게 설명할 때나 강의를 할 때, 또는 환자 교육용 자료 등으로 우수하게 사용될 수 있다.

의학 분야에서 인공지능의 유용성은 다양한 연구에서 보고되고 있다[13-15]. 미래의 의사를 양성하는 의학교육에서도 유용성이 보고되고 있으며[14], 인공지능을 이용해서 환자를 교육하는 것이 환자의 의사결정을 도와주고 만족도를 높이는 것으로 보고되었다[15]. 다른 의료인공지능과 달리 ChatGPT는 대화하듯이 정보를 제공하여, 전문적인 서적이나 가이드라인보다 훨씬 이해하기 쉽고 신뢰도 있는 정보를 제공하는 장점이 있다[7]. 알레르기 비염 환자들에게 ChatGPT와 같은 인공지능을 통해서 환자와 의사 간의 정보의 비대칭을 줄여주고 함께 좋은 결과를 만들 수 있을 것으로 기대된다.

역학, 원인, 진단, 예후의 정보는 평균보다 신뢰도가 높은 반면, 정의와 치료에 대한 정보는 평균보다 신뢰도가 낮았다. Yeo 등[7]의 연구에서 기초적인 지식, 생활, 치료의 점수가 진단과 예방에 대한 정보보다 높은 것으로 나타났다. Johnson 등[9]의 연구에서 질문의 난이도가 쉬운 질문들이 어려운 질문보다 더 높은 신뢰도를 보였다. 본 연구에서 정의와 치료에서 신뢰도가 떨어지는 것은 정확한 가이드라인과 특수한 상황에 대해 구체적으로 질문했기 때문인 것으로 추정된다. ChatGPT를 사용할 때, 질문자가 어느 정도 지식을 가지고 개괄적인 내용에 대해 질문하는 것, 신뢰도에 의문이 있을 시 그 답변의 출처에 대해 한 번 더 질문 하는 것 등이 신뢰도를 높이는 방법이라고 저자들은 생각한다.

ChatGPT는 기존의 정보를 학습하고 그것을 바탕으로 정보를 제공하기 때문에, 교과서와 가이드라인에 없는 내용을 제공하지는 않았고, ‘신뢰할 수 없다’의 항목은 나타나지 않았다. 간경화에 대한 ChatGPT의 답변에서도 ‘완전히 잘못된’(completely incorrect)으로 평가된 문항은 없었다[7]. 하지만 아직 더 높은 수준의 정보를 제공하기 위해 양질의 정보를 분별하고 학습하는 능력에 발전이 필요하다.

ChatGPT의 높은 신뢰도에도 불구하고 몇가지 단점들도 존재하였다. 최신 가이드라인에서 제시하는 복합적인 약제 사용에 대한 정보들은 제공하지 못하고 있고, 동반된 질환, 소아, 임신 등의 특수 상황에 대한 복합적 이해는 떨어졌다. 간 질환에 대한 답변에서도 전체적인 신뢰도가 높게 나타나긴 하지만 전문성은 부족한 것으로 나타났다[7]. 수많은 언어를 통해 사용자에게 대답을 해주지만, 언어에 따라 정확도와 답변의 수준이 달라질 수 있다. 예를 들어, 알레르기 비염의 답변 중 코 블록과 같은 한국어와 영어가 섞인 이상한 표현이 있었다. 또한, 항히스타민제와 스테로이드 등을 실제 상품명을 예시로 들어 답변하였을 때, 비스타리스와 같이 실제 존재하지 않는 상품들도 있었고, 디펜히드라민이 디피헤나이드로 잘못 번역된 경우도 있었다. 실시간 학습을 통해 답변을 주기 때문에 똑같은 질문에 대해 답변이 조금씩 달라지는 것도 있었다.

의학에 대한 접근성이 높아짐에 따라, ChatGPT 뿐만 아니라 유튜브, 소셜미디어 등을 통한 정보의 신뢰도와 이용 가능성에 대한 보고들도 있다[16-18]. Remvig 등[17]은 알레르기 비염에 관한 유튜브 영상들 중 유용한 정보를 주는 영상은 절반도 되지 않는 것으로 보고하였다. 하지만 소셜 네트워크, 유튜브, ChatGPT 등이 부정확한 정보들을 제공할 수 있다고 단순히 부정하는 것이 적절한 태도는 아니다. 정보들을 검열하고 수준 높은 자료를 제공하여, 환자가 효과적인 의료 결정을 내릴 수 있도록 적절한 개입이 필요하다. 발전하는 기술들을 적절하게 이용한다면 환자의 이해도를 높이고, 치료결과를 좋게 할 수 있으며, 의사들의 업무를 줄여줄 수 있을 것으로 기대된다[16,18].

코막힘, 재채기, 비루, 가려움증이 있는 환자들이 스스로 알레르기 비염으로 잘못 진단하는 경우들이 많다[6]. 유럽에서의 유병률 연구에서, 전체 인구의 19%에서 알레르기 비염을 앓고 있다고 알고 있었지만, 그중 의사에 의해 알레르기 비염으로 진단된 경우는 13%에 지나지 않았고, 실제로 병원에서 알레르기 비염으로 확진된 유병률은 17%-29%로 상이하게 나타났다[6]. 이처럼 환자들이 증상과 병력만으로 ChatGPT에 알레르기 비염에 대한 정보를 얻고 속단하여 스스로 치료하는 것이 아니라 반드시 병원에서 전문가에게 진찰과 검사를 받아보는 것이 중요하다. 특히, 알레르기 비염의 치료제들 중 하나인 항히스타민제와 항울혈제의 경우 의사의 처방없이 구매 가능한 일반의약품이기 때문에 더 큰 주의가 필요하고 의료인에게 상담이 필요하다.

본 연구의 몇 가지 제한점들도 존재하였다. 전체 질문의 수가 35개로 적었으며, 각 항목별로 질문의 수가 균등하게 배분되지 않아 항목별 평가와 분석이 부족할 수 있다. 이 연구를 바탕으로 추가적인 연구를 통해 ChatGPT에 의한 알레르기 비염의 정보 신뢰도와 정확도를 구체화하는 것이 필요할 것으로 사료된다. ChatGPT 답변의 신뢰도에 영향을 줄 수 있는 요소들이 어떤 것들이 있는지, 현명하게 질문하는 방법 등에 대한 심층적인 연구가 필요하다.

결론적으로, 의료 인공지능을 이용한 ChatGPT를 통해 얻은 알레르기 비염의 정보는 비교적 신뢰도가 높았다. 다양한 매체들을 통해 양질의 정보가 제공되면 알레르기 비염의 치료에서 환자와 의사에게 많은 도움을 줄 수 있을 것으로 기대된다. 발전하는 의료 인공지능을 경쟁자로 여기고 대결하려 하지말고 현명하게 활용하는 것이 필요하다. 다양한 분야에서 ChatGPT의 신뢰성 및 발전가능성에 대한 연구는 꾸준히 필요할 것으로 사료된다.

Supplementary Material

Article information Continued