게이오 대학, 야후 주식회사 Yahoo! 개발했다.

 많은 스마트폰 어플리케이션에서는 오른손 엄지로의 조작을 전제로 화면 표시가 설계되고 있다.대화면화가 진행됨에 따라, 다른 파지 자세에서는 조작하기 어려운 경우가 있다.스마트폰의 파지자세(어느 손으로 가지고 있는 손가락으로 조작할지)를 추정함으로써 파지자세에 맞춘 화면표시가 가능하지만, 센서의 외장의 필요나 추정 모델이 스마트폰의 기종에 의존 하는 등의 과제가 있었다.

 스마트폰의 화면은 빛을 발하기 때문에, 얼굴의 정면의 위치에 스마트폰을 가지면 화면의 형태를 한 각막 반사상이 비치지만, 화면상에 손가락을 두고 있는 부분은 그림자가 되고, 그 부분만 각막 반사상 부족.파지 자세에 따라 각막 반사상이 빠지는 방법이 다르기 때문에 내장 프론트 카메라로 얼굴 사진을 촬영하고 얼굴 사진에서 눈동자에 비치는 각막 반사상을 잘라 기계 학습으로 각막 반사상을 분류하면 파지 자세 를 추정할 수 있다고 연구 그룹은 생각했다.이 방법에서는 내장 프론트 카메라만을 사용하기 때문에, 스마트폰 단체에서의 파지 자세의 식별이 가능하고, 추정 모델은 스마트폰의 기종에 의존하지 않는다.

 실험 협력자 13명을 대상으로 파지자세의 식별이 가능한지 검증했다.심층 학습을 이용하여 추정 모델을 작성한 결과, 85%의 정밀도로 파지 자세를 식별하였다.향후, 본 수법의 편입에 의한 스마트 폰 어플리케이션의 조작성 향상이나, 장시간 같은 파지 자세로의 스마트 폰 사용에 기인하는 질환의 예방에 도움이 될 것으로 기대되고 있다.

논문 정보:【In Proceedings of the 2022 CHI Conference on Human Factors in ComputingSystems】ReflecTouch: Detecting Grasp Posture of Smartphone Using Corneal Reflection Images

게이오 대학
도쿄공과대학

첨단의 교육·연구를 추진해, ICT·AI의 미래를 만드는 이공계 종합 대학.

공학계 단과대학으로서 1986년에 탄생한 도쿄공과대학은 하치오지와 카마타의 2캠퍼스에 6학부와 대학원, 연구소를 보유하고 있습니다. 6 학부 모두에서 ICT 교육이나 AI 연구 등을 충실히 하고 있으며, 그 대처는 SDGs에 관련되는 것도 많아, 대학으로서 서스테이너블한 사회의 열매 […]

대학 저널 온라인 편집부

대학 저널 온라인 편집부입니다.
대학이나 교육에 대한 지견・관심이 높은 편집 스탭에 의해 기사 집필하고 있습니다.