음악의 연주를 듣고 악보에 쓰는 「채보」는 귀코피라고도 불리며, 특수한 훈련을 한 사람만이 가지는 능력.이 능력을 컴퓨터로 재현해 누구나 사용할 수 있는 '자동 채보 기술'이 연구되고 있다.특히 피아노 연주의 채보에서는 음고(피치)와 리듬의 복잡한 조합의 인식이 매우 어렵다.

　피아노 채보에는, 음성 신호 중에서 각 시각에 어느 음고가 울리고 있는지를 추정하는 「다중 음고 검출」과, 각 음표의 발음 시각과 소리의 길이를 비트(비트) 시간 단위로 인식 하는 '리듬 양자화'라는 문제가 있다.각각 기계 학습을 이용한 수법의 연구가 진행되고 있지만, 연구 그룹은 이번에 양 방법을 통합한 자동 피아노 채보 시스템을 구축했다.

　다중 음높이 검출에서는, 입력의 음성 데이터에 대하여, 각 시각에 포함되는 음의 높이와 강도, 및 타키의 유무를 추정하는 심층 신경망을 이용하였다.리듬 양자화에서는, 인간의 연주에 포함되는 시간적 변동의 모델과, 악보에 나타나는 일반적인 리듬 패턴의 통계적 특징을 나타내는 모델에 기초한 수법을 이용하였다.또, 박자나 소절선의 위치 등의 인식에는, 음표끼리의 관계성을 파악하는 통계량을 이용하여 채보 정밀도를 개선했다.이 결과, 부분적으로 연주나 사람에 의한 채보의 보조에도 사용할 수 있는 악보의 자동 생성에 성공했다.

　앞으로는 실용화를 위한 연구개발, 음악학연구와 음악교육에의 응용, 그리고 문화를 지지하는 지능의 과학적 이해로 이어질 것으로 기대된다.또한 저작권법이나 음악가에 미치는 영향 문제에 대한 논의를 조속히 진행할 필요가 있다고 한다.

논문 정보:【Information Sciences】Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription