2022.08.14 (일)

  • 맑음속초22.8℃
  • 박무23.7℃
  • 구름많음철원22.2℃
  • 구름조금동두천22.2℃
  • 구름조금파주22.5℃
  • 구름많음대관령20.6℃
  • 흐림춘천24.1℃
  • 박무백령도22.3℃
  • 구름조금북강릉23.6℃
  • 구름조금강릉25.0℃
  • 구름많음동해23.7℃
  • 구름조금서울24.9℃
  • 박무인천24.6℃
  • 흐림원주23.8℃
  • 구름많음울릉도24.9℃
  • 박무수원24.9℃
  • 흐림영월22.9℃
  • 구름많음충주23.8℃
  • 구름많음서산24.4℃
  • 흐림울진24.7℃
  • 구름많음청주25.2℃
  • 흐림대전24.2℃
  • 흐림추풍령23.8℃
  • 흐림안동23.8℃
  • 구름많음상주24.2℃
  • 흐림포항26.2℃
  • 구름많음군산26.2℃
  • 구름많음대구25.5℃
  • 흐림전주26.6℃
  • 흐림울산25.3℃
  • 흐림창원26.8℃
  • 구름조금광주27.1℃
  • 흐림부산25.2℃
  • 흐림통영27.1℃
  • 구름많음목포27.9℃
  • 흐림여수26.5℃
  • 구름많음흑산도26.5℃
  • 구름많음완도28.6℃
  • 구름많음고창27.4℃
  • 구름조금순천25.1℃
  • 흐림홍성(예)25.1℃
  • 구름많음24.1℃
  • 맑음제주28.3℃
  • 구름조금고산28.5℃
  • 구름조금성산28.2℃
  • 구름많음서귀포27.9℃
  • 흐림진주27.2℃
  • 맑음강화22.4℃
  • 흐림양평24.1℃
  • 구름많음이천24.5℃
  • 구름많음인제22.9℃
  • 흐림홍천23.7℃
  • 흐림태백21.4℃
  • 흐림정선군22.1℃
  • 흐림제천23.1℃
  • 흐림보은23.2℃
  • 구름많음천안24.4℃
  • 구름조금보령26.8℃
  • 구름조금부여24.2℃
  • 흐림금산23.2℃
  • 흐림24.5℃
  • 흐림부안26.6℃
  • 구름많음임실24.2℃
  • 흐림정읍27.2℃
  • 구름많음남원23.9℃
  • 구름많음장수25.2℃
  • 구름많음고창군26.8℃
  • 구름조금영광군27.2℃
  • 흐림김해시26.1℃
  • 구름많음순창군27.7℃
  • 흐림북창원27.2℃
  • 흐림양산시26.0℃
  • 구름조금보성군26.3℃
  • 구름많음강진군27.4℃
  • 구름많음장흥26.1℃
  • 구름조금해남27.4℃
  • 구름많음고흥27.1℃
  • 흐림의령군25.7℃
  • 흐림함양군23.9℃
  • 구름많음광양시27.0℃
  • 구름조금진도군27.7℃
  • 흐림봉화22.5℃
  • 흐림영주23.3℃
  • 흐림문경23.7℃
  • 구름많음청송군23.5℃
  • 구름많음영덕23.5℃
  • 구름조금의성24.5℃
  • 구름많음구미24.8℃
  • 흐림영천24.1℃
  • 구름많음경주시24.4℃
  • 흐림거창23.6℃
  • 흐림합천24.6℃
  • 구름많음밀양25.0℃
  • 흐림산청24.0℃
  • 흐림거제27.1℃
  • 흐림남해28.1℃
한의 임상의간 진단의 일치도 수준은?
  • 해당된 기사를 공유합니다

한의 임상의간 진단의 일치도 수준은?

대문사진.jpg

[편집자 주]  본란에서는 한의약융합연구정보센터(KMCRIC)의 ‘근거중심한의약 데이터베이스’ 논문 중 주목할 만한 임상논문을 소개한다.

 

 

임상논문 고미미.jpg

고미미 박사

한국한의학연구원 한의과학연구부


KMCRIC 제목

한의사간 진단 일치도는 어느 정도인가?


서지 사항

Jacobson E, Conboy L, Tsering D, Shields M, McKnight P, Wayne PM, Schnyer R. Experimental Studies of Inter-Rater Agreement in Traditional Chinese Medicine: A Systematic Review. J Altern Complement Med. 2019;25(11):1085-96. doi: 10.1089/acm.2019.0197.


연구설계

한의사간 진단 일치도를 보고한 연구를 대상으로 수행한 체계적 문헌고찰 연구.


연구 목적

한의 임상의간의 진단 일치도 정도(수준)를 평가하기 위함.


질환 및 연구 대상

성인(미국, 노르웨이, 호주, 중국, 영국)


시험군 중재

해당사항 없음(본 리뷰는 진단 일치도 연구에 대한 리뷰로 각 연구마다 다양한 질환과 다양한 중재를 받음).


대조군 중재

해당사항 없음.


평가 지표

평가자간 진단 일치도를 확인할 수 있는 단순 일치도(rates of pariwise agreement), 카파 통계량(Cohen’s kappa)을 사용함.


주요 결과

본 연구에서는 한의사간의 진단 일치도(inter-rater agreement) 정도(수준)에 대해 단순 일치도(rates of pairwise agreement)와 카파 통계량(Cohen’s kappa)을 비교 분석하는 체계적 문헌고찰을 수행했다. 총 21개 문헌이 선정됐으며 이 중 14개 문헌은 한의학적 진단(diagnosis)에 대한 평가자간 일치도, 2개 문헌은 한의학적 진단법에 의한 증후(diagnostic signs)에 대한 평가자간 일치도, 그리고 5개 문헌은 새로운 평가 방법(novel rating schemes)에 대한 평가자간 일치도를 조사한 문헌으로 구분됐다.

 

여기서 9개 문헌에서의 평균 단순 일치도는 57%(중위수 65, 범위 19∼96)였으며, 6개 문헌에서의 평균 카파값은 0.34(중위값 0.34, 범위 0.07∼0.59)로 전반적으로 한의학적 진단에 대한 평가자간의 일치도가 낮음을 보여주고 있다. 또한 포함된 대부분의 연구가 높은 비뚤림과 혼란 변수 및 통계적 보고에 대한 결함을 보였다. 결과 측청치(outcome measures)의 이질성으로 인해 메타분석은 시행하지 않았다.


저자 결론

전반적으로 한의학적 진단에서 낮은 평가자간의 일치도를 보였으며, 대부분의 연구에서 방법론적인 부분과 보고에서 중요한 결함이 있었다. 하지만 결과에서 한의사간 진단 일치도를 개선할 수 있는 가능성을 제안했으며, 향후 방법론적으로 잘 통제된 우수한 연구가 많이 필요하다.


KMCRIC 비평

한의학에서 변증은 질병 진단의 근본이며, 증후에 대한 분석과 판단이다[1]. 그러나 이러한 진단 행위는 한의사의 주관적 판단에 의존하기 때문에 그 객관성에 대한 입증의 어려움으로 한의학적 치료 효과의 객관적인 평가에 있어서 소위 근거중심의학적 연구에 많은 제한을 받고 있다[1, 2]. 이에 한의학 이론에 근거한 한의학적 진단 방법 및 치료법의 표준화가 선행되어야 함은 강조할 필요가 없다.

 

본 연구에서는 임상의간의 진단 일치도(inter-rater agreement) 정도(수준)에 대해 단순 일치도(rates of pairwise agreement or total percent agreement)와 카파 통계량(Cohen’s kappa)을 비교 분석하는 체계적 문헌고찰을 수행했다. 총 21개 문헌이 선정됐으며 이 중 14개 문헌은 한의 진단(diagnosis)에 대한 평가자간 일치도, 2개 문헌은 한의 진단법에 의한 증후(diagnostic signs)에 대한 평가자간 일치도, 그리고 5개 문헌은 한의학적 개념에 근거한 새로운 평가 방법(novel rating schemes)에 대한 평가자간 일치도를 조사한 문헌으로 구분됐다.

 

여기서 9개 문헌에서의 평균 단순 일치도는 57%(중위수 65, 범위 19∼96)였으며, 6개의 문헌에서의 평균 카파값은 0.34(중위수 0.34, 범위 0.07∼0.59)로 전반적으로 한의학적 진단에 대한 평가자간의 일치도가 낮음을 보여주고 있다. 또한 포함된 대부분의 연구가 높은 비뚤림과 혼란 변수 및 통계적 보고에 대한 결함을 보였다. 결과 측정치(outcome measures)의 이질성으로 인해 메타분석은 시행하지 않았다.

 

진단 방법에서의 일치도 평가는 평가자간 혹은 평가자 내 일치도 평가, 재현성 평가, 골드 스탠다드(gold standard)와의 일치도 평가 등 다양한 이슈가 있다. 그중 평가자간의 일치도 평가 연구에서 진단 결과가 범주형 자료로 요약되는 경우 전체 일치 백분율(total percent agreement)과 카파 통계량(Cohen’s kappa)[3]이 대표적으로 사용된다.

 

카파 통계량은 전체 자료에서 일치하는 확률인 단순 일치율에서 두 평가자의 진단에서 주변 확률의 영향력을 보정한 값이라고 할 수 있다. 그러나 전체 일치 백분율은 높지만 낮은 kappa 값을 보이는 카파 역설(kappa paradox)이나 분석 자료의 범위가 넓을수록(혹은 분석 자료가 이질적일수록) 높은 상관 계수 값을 갖는 등의 문제로 인해 AC1(Gwet’s AC1 statistic) 등과 같은 통계량으로 일치도 평가를 시행하기도 한다[4, 5].

 

본 연구의 의미와 한계점을 살펴보면 중국어를 포함한 다양한 언어권의 자료를 포괄적으로 분석하지 못했다는 점과 동료 평가(peer-review) 과정을 거친 문헌에 제한하여 회색 문헌 및 비출간 문헌 검색이 이뤄지지 못해 무엇보다 출판 비뚤림 위험성을 가지고 있으며 이에 따른 영향력을 제대로 평가하기 어렵다는 것이다.

 

또한 본 연구에 포함된 연구 설계와 평가 방법(rating schemes) 및 결과 측정치의 이질성으로 인해 메타분석이 불가능하여 측정된 결과의 확실성 정도를 평가하기는 어려웠다. 본 연구에서도 언급되었듯이 여기서 한의학적 진단은 전반적으로 낮은 평가자간의 일치도를 보였으나 몇몇 연구에서 나온 방법론을 통해 평가자간 일치도를 개선할 수 있는 방안을 고려해 볼 수 있다는데 있어서 의미를 둘 수 있겠다. 이러한 일환으로 이 등[6]은 어혈 진단 설문 도구의 기존 표준 작업 지침서 업데이트 작업을 통해 평가자간 일치도를 개선하는 성과를 얻었다.

 

한편, 구조화된 진단 설문 도구나 추가적인 진단학적 교육이 이뤄진다고 해도 진단 일치도 개선을 보이지 않은 연구도 보고되고 있다[7]. 이와 관련하여 앞으로 현대적 기기 활용과 표준화된 객관적 지표를 바탕으로 보다 더 많은 한의 진단 및 치료 결과 평가에 대한 신뢰도 연구가 이뤄지길 기대해본다.


KMCRIC 링크   

https://www.kmcric.com/database/ebm_result_detail?cat=SR&access=S201911024


참고문헌   

[1] Lee MS, Lee JA, Alraek T, Bian ZX, Birch S, Goto H, Jung J, Kao ST, Moon SK, Park B, Park KM, You S, Yun KJ, Zaslawski C. Current research and future directions in pattern identification: Results of an international symposium. Chin J Integr Med. 2016 Dec;22(12):947-55. doi: 10.1007/s11655-014-1833-3.

https://pubmed.ncbi.nlm.nih.gov/24938445/


[2] Ko M, Lee J, Yun K, You S, Lee M. Perception of pattern identification in traditional medicine: a survey of Korean medical practitioners. J Tradit Chin Med. 2014 Jun;34(3):369-72. doi: 10.1016/s0254-6272(14)60104-7.

https://pubmed.ncbi.nlm.nih.gov/24992767/


[3] Cohen, J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960;20:37–46. doi: 10.1177/001316446002000104.

http://www.ric.edu/faculty/organic/coge/cohen1960.pdf


[4] Ko MM, Park TY, Lee JA, Choi TY, Kang BK, Lee MS. Interobserver reliability of pulse diagnosis using Traditional Korean Medicine for stroke patients. J Altern Complement Med. 2013 Jan;19(1):29-34. doi: 10.1089/acm.2011.0612.

https://pubmed.ncbi.nlm.nih.gov/22954463/


[5] Ko MM, Lee JA, Kang BK, Park TY, Lee J, Lee MS. Interobserver reliability of tongue diagnosis using traditional korean medicine for stroke patients. Evid Based Complement Alternat Med. 2012;2012:209345. doi: 10.1155/2012/209345.

https://pubmed.ncbi.nlm.nih.gov/22474492/


[6] Lee JA, Jung J, Ko MM, Lee MS. Inter-observer reliability of indicators and decision of pattern identification using diagnostic flowchart with traditional Korean medicine. Chin J Integr Med. 2017 May;23(5):338-44. doi: 10.1007/s11655-016-2580-4.

https://pubmed.ncbi.nlm.nih.gov/27170350/


[7] Schnyer RN, McKnight P, Conboy LA, Jacobson E, Ledegza AT, Quilty MT, Davis RB, Wayne PM. Can Reliability of the Chinese Medicine Diagnostic Process Be Improved? Results of a Prospective Randomized Controlled Trial. J Altern Complement Med. 2019 Nov;25(11):1103-8. doi: 10.1089/acm.2019.0260.

https://pubmed.ncbi.nlm.nih.gov/31730401/

고미미 박사





모바일 버전으로 보기