생성형 인공지능 챗GPT-4가 한의사 국가시험에 도전해 합격선에 근접한 성적을 거뒀다.

 5일 무료 온라인 저널 '아카이브'(arXiv)에 따르면 가천대 한의학과 김창업 교수 연구팀은 이런 내용의 챗GPT-4 관련 논문을 최근 발표했다.

 챗GPT-4는 오픈AI가 개발한 생성형 거대언어모델 챗GPT의 최신판으로, 미국 모의 변호사 시험에서는 90번째, 대학 입학 자격시험인 SAT 읽기와 수학시험에서는 각각 93번째, 89번째의 백분위수를 기록했다.

 연구팀은 챗GPT-4를 한의학 인공지능 개발에도 적용할 수 있는지를 보기 위해 2022년 시행된 한의사 국가시험을 풀도록 했다.

 이 결과 챗GPT-4는 합격선인 60%에 근접하는 평균 57.29%의 정답률을 기록했다.

 김창업 교수는 "의학 또는 한의학 분야에 대한 별도의 추가 훈련 없이 이 정도 점수를 냈다는 점에서 주목할만한 성과"라고 평가했다.

 다만 이번 연구에서 챗GPT-4는 한의학 과목별로 정답률에 큰 차이를 보였다.

 국제적으로 표준화된 진단 기준에 대한 문제가 주로 출제된 '신경정신과학'에 대해서는 챗GPT-4가 높은 정답률을 기록했지만, 서양의학뿐만 아니라 중의학과도 차별화된 이론을 다루는 '내과학2' 과목에서는 정답률이 매우 낮았다.

 특히 한국의 의료법을 다루는 과목은 한의학과 직접적인 연관이 없음에도 정답률이 떨어지는 것으로 분석됐다.

 이에 대해 연구팀은 "GPT-4가 영미권에서 생산된 데이터로 학습했기 때문에 전 세계에서 통용되는 지식에 대해서는 지적 수준이 높지만, 한국에서만 적용되는 의료법이나 보험 체계, 임상 지침 등은 충분히 학습하지 못했을 수 있다"고 분석했다.

 연구에 참여한 장동엽 연구원은 "향후 한의 임상 현장에서의 자동화된 데이터수집, 한의 임상 보조 인공지능, 한의대생이나 한의사의 진료 기술을 훈련할 수 있는 학습용 인공지능 개발 등에 챗GPT의 적용 가능성을 확인한 데 의미가 있다"고 말했다.