애니메이션화 등의 예술작품은 그 추상적인 성질이기 때문에 단순히 생성 AI를 사용해도 사용자의 의도에 따른 고품질 애니메이션 초상화를 생성하는 것은 어렵다.특히, 일반 유저에 의한 거친 스케치는 제작 도중에 전체적인 밸런스나 각 파트의 상세 정보가 부족하기 때문에, 생성계 AI의 수법을 도입하는 것은 한층 도전적인 과제가 된다.

　연구팀은 제작 과정에서 선을 그리는 방법을 시뮬레이션하고 거친 스케치에서 고품질 애니메이션화를 생성하는 새로운 생성계 인공지능(생성AI) 기술을 개발했다.이 기술은 심층 학습 프레임워크에 기초하여, 창작 프로세스와 생성 AI에서의 잠재 공간(학습시킨 화상의 특징량이 분포하는 저차원 공간)의 탐색 처리를 한다.

　또, 제안 프레임워크를 기초로, 제작 과정에서 가이던스(애니메이션화의 완성 예상도)를 화면에 표시하는 기능을 가지는 유저 인터페이스를 개발.이것에 의해, 스케치의 그리기 순서에 의존하지 않고, 제작 프로세스 전체에서 일관되게 고품질의 애니메이션화를 생성하는 것이 가능하게 되었다.

　애니메이션 초상화의 제작 인터페이스에 의해, 15명의 대학원생에게 제안의 생성 AI 기술을 평가받았다.그 결과, 생성 결과에 대한 만족도나, 사용자가 그리는 선화와 생성된 가이던스의 매칭율에 있어서 높게 평가되었다.

　장기적으로는 이번 연구결과는 생성AI 기술의 보급에 공헌하고 유저의 창조적 활동을 지원함으로써 신체성에 연계된 스킬의 장벽을 없애 인간의 창조적 능력을 최대 한계로 확장할 것으로 예상된다.

논문 정보:【ACM SIGGRAPH 2023】AniFaceDrawing: Anime Portrait Exploration during Your Sketching