국시원, AI 활용 국가시험 공정성·신뢰성 확보 방안 논의

[한의신문] 한국보건의료인국가시험원(원장 배현주)은 12일 백범김구기념관에서 ‘인공지능(AI)과 시험개발의 현재와 미래’를 주제로 학술세미나를 개최, AI 기반 국가시험 평가체계와 문항 개발, 공정성 및 신뢰성 확보 방안 등에 대해 논의했다.

이날 세미나에서는 AI 기술을 활용한 시험개발 방향과 보건의료인 국가시험의 미래 평가체계 구축 방안 등이 제시됐다.

‘국가시험의 국제동향’의 주제로 박훈기 한양대 의과대학 교수가 좌장을 맡아 진행된 첫 세션에서 Peter Baldwin NBME 박사는 ‘문항반응이론 기반 점수 비교’를 주제로 발표를 진행, Item Response Theory(IRT)를 활용한 점수 비교 가능성 확보 방안을 공유했다.

이어 Steve Viger 미국간호사국가시험위원회(NCSBN) 부국장은 ‘새로운 간호사 면허시험과 기술 활용 문항 유형’을 주제로, 차세대 NCLEX와 기술 기반 문항(TEI)의 도입 방향 및 활용 사례를 소개했다.

이와 함께 두 번째 세션에선 ‘보건의료인 국가시험의 미래’란 주제로 정승은 한국교통대학교 간호학과 교수가 좌장을 맡아 발표가 진행됐다.

신수진 이화여자대학교 간호학과 교수는 ‘간호사 국가시험 선진화를 위한 평가체계 구축’을 주제로 한 발표를 통해 “간호사 국가시험의 선진화를 위해서는 외적 가교에 기반한 공통문항 동등화와 문제은행 구축 체계 마련이 필요하다”며 “직무기반 국가시험으로의 전환을 통해 시험의 타당도와 효율성을 높여야 한다”고 말했다.

이어 “AI와 자동문항 생성 기술은 문항 개발 시간을 단축하고 완성도를 높일 수 있는 중요한 도구”라며 “향후에는 임상 증상 구현이 가능한 다양한 플랫폼 활용과 함께 전문가의 정확성 검토 절차가 병행돼야 한다”고 강조했다.

또한 ‘치과의사 실기시험과 AI기반 평가의 신뢰성과 공정성’의 주제로 발표한 이지현 서울대학교 치의학대학원 교수는 “AI는 문제 출제와 채점의 효율성을 높일 수 있지만, 데이터와 알고리즘이 기존 편향을 재생산하거나 강화할 가능성도 함께 고려해야 한다”면서 “국가시험에서는 공정성과 신뢰성 검증이 무엇보다 중요하다”고 강조했다.

특히 그는 “AI 기반 평가는 단순히 점수의 일관성뿐 아니라 프롬프트 안정성, 모델 버전 변화, 데이터 민감도까지 함께 검증해야 한다”며 “궁극적으로 인간 평가자와 AI가 상호 보완하는 방향으로 평가체계를 설계해야 한다”고 밝혔다.

이와 함께 이웅기 고려대학교 컴퓨터소프트웨어학과 교수는 ‘대규모 언어모델을 활용한 문항 난이도 예측과 학습분석’을 주제로 할 발표에서 “2015년 이후 문항 난이도 예측 분야에서는 딥러닝 기반 KT(Knowledge Tracing) 모델이 주로 활용되고 있으며, 최근에는 대규모 언어모델(LLM)을 접목한 연구가 활발히 진행되고 있다”고 운을 뗐다.

그는 “인코더 기반 모델의 임베딩을 특징값으로 활용하거나, LLM이 직접 KT 태스크를 해결하는 방식 등이 주목받고 있다”며 “향후에는 강화학습 기반 모델 개선과 LLM이 생성한 가상데이터를 활용한 KT 파운데이션 모델 개발 연구가 중요해질 것”이라고 말했다.

또한 ‘AI기반 평가와 국가시험’을 주제로 발표에 나선 정상근 충남대학교 인공지능학과 교수는 “AI 기반 평가체계는 단순한 자동 채점 수준을 넘어 수험자의 임상적 사고과정과 문제 해결 능력을 종합적으로 평가할 수 있는 방향으로 발전하고 있다”면서 “국가시험 역시 지식 암기 중심 평가에서 벗어나 실제 현장 대응 능력과 데이터 기반 판단 역량을 반영하는 방향으로 변화가 필요하다”고 강조했다.