AI의 눈부신 발전으로 인간이 눈으로 보는 이미지는 기능적 자기공명이미지(fMRI)로 계측한 뇌신호로부터 복원할 수 있음이 이미 나타났다.그러나 사람이 마음 속에 생각 그리는 이미지(멘탈 이미지)에 대해서는, 이미지의 복원 정밀도가 낮은 것이 과제로, 지금까지 알파벳의 문자나 단순한 기하학 도형 등의 한정된 종류의 이미지로 밖에 성공 하지 않았다.

　이에 대해 본 연구에서는 최근 주목을 끄는 「생성계 AI」, 관측 데이터를 바탕으로 미관측의 데이터의 추정을 실시하는 「베이즈 추정」, 그리고 화학 분야에서 원자·분자의 움직임의 시뮬레이션에 사용된다 '란주방 동역학법'을 조합한 신기술로 마음에 그린 임의의 풍경·물체 등의 이미지를 복원하는 데 세계 최초로 성공했다.

　본 수법에서는 우선 1,200장의 풍경이나 물체 등의 사진을 AI로 읽어들여, 화상 특징을 약 613만개의 수치로 표현한 「채점표」를 작성했다.또한 같은 사진을 피험자가 보고 있을 때의 1,200장분의 뇌신호 데이터를 준비하고, 이들을 바탕으로 뇌신호로부터 채점표를 얻는 ‘뇌신호 번역기’를 구축했다.

　뇌신호 번역기를 이용하여, 마음에 화상을 떠올렸을 때의 뇌신호로부터 채점표를 번역하고, 생성계 AI에 멘탈 이미지를 그리게 하는데, 이때 베이즈 추정에 의해 채점표로부터 멘탈 이미지를 추정했다 또한, Lanjuban 동역학 방법의 갱신 규칙에 따라 이미지의 평가, 수정 및 업데이트를 반복함으로써 효율적으로 타당성이 높은 이미지를 생성하는 것이이 방법의 신규성이라고 할 수있다.충분한 횟수(본 연구에서는 500회)의 수정을 실시하면, 4분 정도의 소요 시간으로, 종래 수법보다 정밀도가 높은 정신 이미지를 복원할 수 있었다고 한다.

　본 성과는 타인의 마음 속에 있는 인지와 의식을 객관적으로 복원할 수 있는 기술로서 새로운 형태의 의사소통에의 응용이나 예술·창작 활동에의 전개, 악몽이나 환각의 의료진단을 실시한다 브레인 머신 인터페이스 개발에의 전개 등, 다수의 가능성을 지니고 있다.

논문 정보:【Neural Networks】Mental image reconstruction from human brain activity: Neural decoding of mental imageryvia deep neural network-based Bayesian estimation