“인공지능챗봇으로 CPX 실전 연습 가능하다”

[한의신문=주혜지 기자] 전 세계적으로 ‘학습자가 무엇을 알고 있으며 그것을 실제로 할 수 있는가’에 초점을 맞추는 역량중심, 성과중심교육이 강조되고 있다. 한의학 교육계에서도 마찬가지로 임상 현장을 반영하는 다양한 역량 기반 교육 모형을 개발·제시하고 있다.

특히 진료수행시험(Clinical Performance Examination, CPX)은 표준화환자를 대상으로 모의 진료 상황을 시연하는 학생의 역량을 평가해, 병력청취·신체진찰 뿐 아니라 환자 교육을 포함하는 면담 과정까지 학생이 능동적으로 참여해야 하는 시험으로 역량중심 교육 측면에서 큰 교육적 의미가 있다.

이에 김준동 연구원(가천대학교 한의과대학 생리학교실)은 프롬프트 엔지니어링 기법을 활용해 비용효율적인 방식으로 거대언어모델을 활용한 인공지능 챗봇(CPX Practicing Chatbot)을 시범적으로 개발했다.

연구진들은 2022년 발표된 ChatGPT 대화형 서비스를 이용해 챗봇을 구현하고, 학생들에게 가상의 인공지능 환자를 대상으로 진료 경험을 쌓을 수 있는 기회를 제공하고자 했다.

챗봇 구현 과정은 데이터가공(Data preprocessing)-프롬프트 엔지니어링(Prompt engineering)-챗봇 구현을 위한 코드 스크립트(code script)-CPX Practicing Chatbot 성능 평가의 단계로 진행했다.

우선 데이터는 한국한의약진흥원에서 개발한 한의표준임상진료지침 연계 진료수행평가 교육도구 중 ‘17-2 본태성고혈압 시나리오’를 제공받아 사용했다. 시나리오 자료 중 △사례 관리표 △상황지침 △채점표 △표준화 환자 시나리오의 네 개 항목을 텍스트 형식으로 가공해, 프롬프트 내 ‘Context 1’ 요소로 추출했다.

구체적인 표준화환자의 임상표현이나 맥락을 담은 정보는 ‘Context 1, 2’로 작성했으며, 챗봇 으로서의 역할과 주의사항을 전달하기 위한 지시문은 ‘Instruction 1~4’으로 구분하여 프롬프트를 작성했다.

프롬프트는 Instruction과 Context를 번갈아 구성하고, 동시에 role prompting, few-shot prompting 두 가지 기법을 반영했다. Role prompting은 LLM이 해당 작업에 더욱 몰입할 수 있도록 구체적인 역할을 지정해 주는 방법이고, few-shot prompting은 몇 가지의 예시를 들어 LLM이 해당 작업을 더욱 쉽게 이해할 수 있도록 유도하는 방법이다.

이후 챗봇 구현을 위해 GPT-4의 API를 호출, 앞서 작성한 프롬프트를 모델의 첫 번째 input으로 입력했다. 학생한의사와의 모의 진료를 본격적으로 시작하기 전에, 챗봇이 내부적으로 미리 한 쌍의 대화를 주고받도록 했으며, 이를 통해 대화 초반에 환자로서의 설정이 공고히 유지되도록 했다.

마지막으로 챗봇 평가에서는 33개의 질문지를 구성한 후 출력된 챗봇의 답변을 △Correctness △Compliance △Hallucination △Naturalness △Confidentiality 다섯 가지 기준에 따라 평가해 점수를 부여했다. 

챗봇 성능 평가 결과, △Correctness △Compliance △Hallucination 점수는 비교적 만점에 가까웠다. 그러나 대화의 Naturalness(자연스러움)과 Confidentiality(기밀성) 유지에 있어서는 비교적 나쁜 평가를 받았다.

김준동 연구원은 “현재 구현한 챗봇은 모의 환자로서의 역할에 충실해 병력청취와 환자 면담 과정에 참여하는 기능만 구현돼 있다”며 “향후 챗봇과 학생한의사 사이의 대화 기록을 분석하여 피드백 레포트를 작성해 주는 기능을 개발하고자 한다”고 밝혔다.

또한 향후 챗봇에 음성을 입혀 실시간 대화를 수행할 수 있도록 개선하고, 다양한 시나리오를 가지고 있는 연습용 챗봇 개발 등 앞으로의 발전 방향에 대한 구체적 탐색을 보고했다.

김준동 연구원은 “한의사는 병력청취와 망문문절을 통해 질환 진단뿐 아니라 변증 진단까지 동시에 수행해야 하기 때문에 타 의료계 직군보다 통합적인 진찰 역량을 요한다”며 “따라서 병력청취를 포함하는 CPX 교육은 한의학을 전공하는 학생들에게 중요한 교육적 의미를 가질 수 있다”고 전했다.

한편 김준동(제1저자)·이혜윤(부산대학교 한의학전문대학원)·김지환(가천대학교)·김창업(가천대학교) 교수가 참여한 이번 연구는 ‘프롬프트 엔지니어링(Prompt Engineering)을 활용한 ‘진료수행시험 연습용 챗봇(CPX Practicing Chatbot)’ 시범 개발’이라는 제목으로 대한한의학회지 3월호에 출판됐다.