일본의 가요문화는 구미의 가요문화에 실시간으로 영향을 받으면서 뉴뮤직과 일본 독자적인 J-POP 문화를 형성하고 있어 문화간의 작용이 새로운 문화를 만들어 왔다.마찬가지로 귀중한 소리 자료를 현대의 음질로 재현할 수 있으면 새로운 문화의 창출에 기여할 수 있다.

　이번 연구그룹은 음악가로서 뉴뮤직 시대부터 현대까지 제일선에서 활약하는 마츠토야 유미씨의 50년 전 가성의 인공적 재현을 목표로 했다.현존하는 데뷔 당시의 음자료는 적고 가성 재현에 적합한 자료가 아니기 때문에, 종래의 정보공학 기술에서는 곤란했다.

　그래서 연구 그룹은 텍스트에서 화성을 합성하는 '텍스트 음성 합성', 가사에서 가성을 합성하는 '가성 합성', 어느 가성을 당시의 가성으로 변환하는 '가성 변환'을 일괄하여 기계 학습할 수 있는 '다. 단계 합성 변환 작업 혼합 학습 알고리즘 '을 사용했습니다.또, 기계 학습에 불필요한 데이터를 반자동으로 삭제하는 「데이터 편집·지기법」도 채용.이에 따라 당시의 성색과 가창 표현을 현대에 대응하는 음질로 새로운 악곡 상에 재현하는 데 성공했다.

　재현된 가성은 데뷔 당시 아티스트 이름 '아라이 유미'로 마츠토야 유미 씨의 현재 가성과 듀엣을 실시, 악곡 'Call me back'의 뮤직비디오(MV)로 유튜브에서 일반 공개(2022년 10월) 하루)했다.

　이번 연구 성과의 활용으로 향후 과거의 가성·음성 데이터와 현재의 문화와의 상호작용에 의한 가요의 새로운 창작 방법과 감상 방법이 태어날 것으로 기대된다고 한다.

참조 :【도쿄대학대학원 정보이공학계 연구과】시를 넘어 소생하는 ​​50년 전의 가성 ――스몰 데이터를 이용한 태스크 혼합 심층 학습에 의한 가창 재현――(PDF)