본 연구에서는 Stable Diffusion을 개조한 프레임워크를 구축하고, 쥐의 대뇌피질로부터 기록한 국소장 전위를 노이즈 대신에 화상의 원으로서 입력함으로써, 쥐의 뇌 상태에 따라 실시간으로 이미지를 출력하는 시스템을 구현했습니다. 국소장 전위란, 뉴런이 발하는 전기 신호를 측정한 것으로, 연구 그룹은 이것을 1/30초마다 잘라내어 잠재 벡터로 변환하여 잠재 확산 모델에 입력했다. 1/30초마다 연속하는 잠재 벡터는 서로 유사하기 때문에, 잠재 확산 모델을 통해 얻어지는 화상도 매끄러운 추이를 나타내고, 뇌파의 변화에 ​​따라 서서히 변화하는 화상이 생성된다고 한다.

　이처럼 뇌활동과 인공지능을 융합한 묘화시스템은 전례가 없고, 본 보고가 세계 최초이다. 이번에는 노이즈만을 입력해 이미지를 생성하고 있지만, Stable Diffusion은 이미지 생성의 지침으로 하는 지시문장도 입력할 수 있다. 그러므로 쥐의 내부 상태를 반영하는 지시문을 제공하여 쥐가 관심이있을 때 밝은 분위기의 이미지, 졸리면 조용한 분위기의 이미지와 같이 쥐의 "기분"에 따른 이미지 생성 수 있는 가능성도 있다고 한다.

　이번에 개발된 수법은 뇌활동뿐만 아니라 심장이나 장연동 등의 다른 바이오신호나 바람과 파도 등의 자연현상 등 모든 시계열 신호에 응용할 수 있다. 이 성과는 예술의 창작 수법에서 새로운 장르를 개척할 것으로 기대된다.

논문 정보:【PLOS ONE】Diffusion model-based image generation from rat brain activity