도호쿠 대학 대학원 후나야마 히로아키 연구원(박사 후기 과정) 등의 연구 그룹은 인공 지능(AI)에 의한 기술식 답안의 자동 채점에 관하여, 인간의 채점자와 AI의 분담에 의한 채점 품질 보증을 위해 구축한 실천 적 프레임 워크는 채점 품질을 적절하게 제어 할 수 있음을 밝혔다.
심층 학습을 이용한 기계 학습 방법의 등장에 의해, AI에 의한 기술식 답안의 자동 채점 정밀도는 현저하게 향상되고 있다.특히, 수십자 정도의 기술 답안을 대상으로 한 단답식 기술 문제의 자동 채점에서는, 일부의 문제에 있어서 인간의 채점자와 동등 레벨의 채점 품질을 실현할 수 있다.그러나, 채점 AI는 학습 데이터 중에 존재하지 않는 미지의 표현을 포함한 답안에 대한 적절한 채점은 어렵고, AI에 의한 자동 채점 실용화의 큰 방해가 되고 있다.
그래서 연구 그룹은 자동 채점 시스템과 인간이 협조적으로 채점을 실시하는 채점 프레임워크를 구축.이 틀에서는, 채점 AI에 의한 채점 결과의 신뢰성을 나타내는 척도인 확신도를 활용한다.각 답안에 대해 자동 채점 결과의 확신도를 확인하고, 확신도가 낮은 경우는 인간의 채점자에 의한 재채점을 실시한다.
우선 소량의 채점 완료 답안 데이터를 바탕으로 원하는 채점 품질을 실현하기 위한 확신도의 하한을 추정.실제의 자동 채점시에 확신도가 그 하한값을 하회했을 경우에 인간이 재채점을 행하여, 원하는 채점 품질의 실현을 도모한다.
이번에 국내와 영어권의 기술식 문제의 데이터 세트를 이용해 기대대로의 효과를 확인하는 시뮬레이션을 실시한 결과, 그 실현성을 밝혔다.또한, 인간의 채점자 간의 채점 결과의 일치율이 높은 문제일수록, 고품질의 채점을 저비용으로 실현 가능하다는 것을 알았다.이러한 지견에 의해, 향후 자동 채점 실용화의 진전이 기대된다고 하고 있다.
