도쿄 대학의 그룹에 의해 실시간으로 고품질의 가상 시착이 가능한 시스템이 개발되었다.본 기술을 살리면 온라인 쇼핑에 있어서 다양한 사이즈나 디자인의 의복을 시착실에서 거울을 보고 있는 듯한 감각으로 시착하거나, 화상회의에서 가상적으로 좋아하는 의복을 입는(합성 표시하는) 것 등이 가능해진다.
이번 기술에서는 고객이 계측용 의복을 입고 카메라 앞에 서면 상품 의복을 입은 이미지가 실시간으로 생성된다.종래의 가상적인 시착의 실현 수법에서는, 다종의 의복에 대해 범용적으로 하나의 심층 학습 모델을 구축하는 것이 일반적이었지만, 이것으로는, 부드럽고 고품질의 시착 화상의 실시간 생성이 어렵다.따라서, 본 그룹은 특정 의복의 화상의 생성에 대상을 좁혀 심층 학습 모델을 구축함으로써, 다양한 체형이나 자세 변화에도 대응한 시착 화상의 생성을 가능하게 했다.
본 기술을 실현하는 화상 변환 네트워크의 훈련에는, 방대한 양의 입력 화상(계측복을 입은 인간의 화상)과 출력 화상(시착 대상의 의복을 입은 인간의 화상)이 필요했기 때문에, 연구 그룹은 체형과 자세를 수치적으로 제어할 수 있는 훈련 데이터 촬영 전용 로봇 마네킹도 개발했다.로봇 마네킹을 이용하여 체형과 자세를 바꾸면서 대량의 이미지를 취득하여 학습시킴으로써 고품질의 이미지를 생성하는 심층 학습 모델이 완성되었다.
온라인 구매와 회의가 가속적으로 보급되고 있는 가운데, 본 연구에서 개발한 시스템은 다양한 포즈와 의류의 크기에 따른 상세한 의복 변형의 모습까지를 실시간으로 생성할 수 있어 다양한 목적으로 의 활용을 기대할 수 있다.연구그룹은 실용화를 향해 향후 추가 최적화와 자유도 향상을 목표로 하고 있다.
논문 정보:【ACM UIST 2021】Per Garment Capture and Synthesis for Real-time Virtual Try-on
