교토 대학의 JBBrown 강사는 히트맵(가시화 그래프)을 이용한 통계학적 분석에 의해 AI의 성능 평가 지표 자체의 유효성을 망라적으로 검증하고, 분야를 불문하고 정확하게 AI의 성능을 평가할 수 있다 수법을 세계에서 처음으로 개발했다.신뢰성 높은 AI 개발 외에도 빅데이터를 이용한 창약 연구나 치료법의 창출 등에 기여할 것으로 기대된다.
AI에 의한 빅데이터 해석은 다양한 분야에서 활용되고, 창약 연구 등에서도 분자 모델의 효능 예측에서 중요한 검증 수단이 된다.그러나, 예를 들면 특정 분자의 검출의 경우에, 실험에서의 검출 성공률이 컴퓨터 모델에 의한 사전 예측을 크게 밑도는 사례가 종종 보고되고 있다.그 근본적인 원인은 컴퓨터 모델 즉 AI의 성능을 과대 평가한 통계적 지표에 있다고 여겨졌다.지금까지는 AI의 성능 평가 지표로서 TPR(True Positive Rate: 진양성률)과 ACC(Accuracy: 정확률) 등 여러 종류의 지표가 이용되어 왔지만, 이러한 지표가 정말로 AI의 성능을 정확하게 평가 할 수 있었던 것이 검토되었다.
이번 연구에서는 AI의 성능을 통계적 지표에 의해 정확하게 평가하는 수법을 개발.이 수법은 TPR이나 ACC 등 각 지표의 특성과 유효성을 분포함수(iCDF)를 사용한 통계학적 해석에 의해 검증하는 것이다.검증 결과는 AI 기술에 관계없이 TPR이나 ACC 등에서의 고평가치를 얻을 수 있는 확률이 높고, 실용용의 유효성에 이어지지 않을 가능성이 높은 것을 나타내었다.게다가, AI의 개발과 평가 실험을 실시하기 전에, 신수법에 의해 평가 지표 그 자체의 특성을 충분히 음미해야 하는 것을 알았다.
이번에 개발한 수법은 어느 분야의 AI에 대해서도 적용 가능하다.어떠한 데이터 세트에 대해서도 실증 실험에서 정확한 분류를 할 수 있는 "견고한" AI의 개발에 기여할 것으로 기대된다.
논문 정보:【Molecular Informatics】Classifiers and their Metrics Quantified
