|
최근에는 챗GPT를 다양한 면허 시험에 적용돼 눈길을 끈다. 특히 챗GPT가 생의학 및 임상 과학에 대한 폭 넓은 이해를 요구하는 엄격한 시험인 미국 의사면허 시험에서 90% 이상의 높은 점수를 기록해, AI를 활용한 학습교구가 의학 개념을 이해하고 적용하는 데 있어 큰 역할을 수행할 수 있는 점을 확인했다.
박진혁 교수 연구팀은 한국보건의료인국가시험원에서 공개한 최근 5개년도의 한국 작업치료사면허 시험 문항(2018~2022년)에 챗GPT3.5를 적용하여 그 성능을 확인했다. 챗GPT3.5에 5개년도의 시험 문항을 한글 그대로 입력하였고 국시원에서 공개한 정답과 비교해 챗GPT의 성능을 확인한 것이다.
그 결과 면허 시험 합격 기준인 정확도 60%는 달성하지 못했지만, 문화권에 영향을 받는 의료법규 관련 문항을 제외한 전공 지식 관련 문항에 대해서는 합격권을 넘는 정확도를 보여주었다. 또한, 세 명의 평가자가 기록한 챗GPT의 정답의 일치도가 높아 신뢰도가 높음을 확인했다.
이번 연구 결과는 최근 ‘한국 작업치료사면허 시험에서의 ChatGPT의 성능’이라는 제목으로 국제학술지 Digital Health (IF: 3.9, Health Policy & Service 분야 Q1, 2022 JCR 기준) 2월호에 게재됐다.