문부과학성의 “실사회 빅데이터 활용을 위한 데이터 통합·해석 기술 연구개발” 사업을 추진하고 있는 쓰쿠바대학은 트위터, 센서 데이터 등 다양한 스트림(※1) 데이터를 처리하는 고성능 기반 시스템을 비롯한 전반기의 주요 성과를 밝혔다.
쓰쿠바대학에 의하면, 스트림 데이터를 처리하는 기반 시스템은 다양한 데이터를 통합적으로 처리, 다양한 정보 이용을 실현하기 위한 것으로, 이 시스템을 이용하는 것으로 어플리케이션 개발의 비용을 대폭 저감할 수 있습니다 .국제적으로 보급이 진행되는 JSON 형식의 스트림 데이터를 직접 취급할 수 있는 동시에 데이터를 상세하게 모니터링할 때의 처리 능력을 대폭 향상시킨 것도 특징입니다.
소셜 미디어 이용자의 위치 정보, 연령 등의 속성을 세계 최고 수준의 정밀도로 추정하는 수법도 개발했습니다.위치 정보나 속성은 기재 내용의 해석시에 중요한 보충 정보가 됩니다만, 명시적으로 공개되어 있지 않습니다.그래서, 발화 내용을 단서에 고정밀도로 추정하는 수법을 확립하는 한편, 이용자끼리의 관계나 알려진 이용자 속성을 기초로 미지의 이용자 속성을 추계하는 방법도 개발하고 있습니다.
게다가 온라인 뉴스와 트위터를 고정밀도로 리얼 매칭하는 시스템 개발에도 성공했습니다.뉴스 기사와 그것에 대한 트위터의 반응을 실시간으로 연결하여 뉴스에 대한 사회의 관심의 높이와 다양한 의견을 쉽게 집계할 수 있습니다.
실사회 빅데이터 활용을 위한 데이터 통합·해석 기술의 연구개발은 문과성이 2014년부터 4년간 추진하고 있는 사업으로 쓰쿠바대학을 대표교에, 도쿄대학, 도호쿠대학, 게이오 기주쿠대학 의 합계 XNUMX교가 제휴해 기술 개발을 계속하고 있습니다.
(※1) 스트림 데이터를 「흐르는 것」으로서 파악해, 흘러 들어오는 데이터를 입력, 흘러 나가는 데이터를 출력으로서 취급한다.파일의 입출력을 취급하는 것, 네트워크 통신을 취급하는 것 등 다양한 타입이 있다.
