基于头部的人机交互专利技术综述
孙阳丹
(国家知识产权局专利局专利审查协作四川中心 四川成都 610200)
摘 要: 利用头部姿态实现人机交互更加符合人体操作习惯,增加了用户沉浸感且解放了双手,被广泛应用于虚拟现实、残疾人辅助设备设计以及智能控制等领域。该文从头部交互专利申请状况介绍了头部交互的技术发展脉络,并结合各阶段专利申请趋势以及主要申请人分析了该技术的专利情况,并对专利技术的发展趋势做出总结。
关键词: 头部 人机交互 专利 申请趋势 重要申请人
人机交互是人与计算机设备之间的信息交互,在计算机领域日益重要。早期的人机交互主要通过操纵杆、键盘、鼠标、触摸板等设备实现,存在着交互便捷度不高、移动性差、用户体验不好的缺点。而智能化的人机交互模式主要通过头部运动、视线追踪、数据手套、脑电波等实现人机交互[1]。基于人的模型具有自然和增加沉浸式的特点广泛受到用户的喜爱。头部运动中包含着头部位置和朝向、头部轨迹以及面部表情[2],其在人际交流中被频繁使用,可以在一定程度上反映出人的行为意识,对理解用户对象的态度、意图等心理状态具有十分重要的意义。此外,基于头部的人机交互具有自然、直接、友好、解放双手等特点,促使其成为人机交互过程中一个非常重要的交互方式,因此,基于头部运动的人机交互方式是实现人与计算机系统自然交互领域的一大研究趋势,在体感游戏、残疾人辅助系统[3]、智能交通、智能控制等领域具有重要的应用前景。
1 基于头部的人机交互的技术发展路线
(1)基于头部的人机交互经历了从简单的开关控制,到多命令控制,到基于头部信号的情景交互。其大致交互流程包括头部信号采集、头部信号识别、获取指令和执行指令四大部分。该节主要对信号的两种获取方式——接触式感测和非接触式感测,以及信号处理技术这3个方面来从专利的角度阐述基于头部的人机交互的技术演进。
叶霭玲传这些话的本意是提醒我,白丽筠不是一个好东西。她的情报客观上让我看清楚了白丽筠究竟是怎么个情况。也理解了她为什么会有车子和房子。我有心当面问她关于诸多传说的真假,但是想了想还是把话咽下了。我们之间还没有烂熟到那种程度。但是,白丽筠已经邀请我到她的私人住所里去了。
根据涌流理论,当三个条件(挑战性-技巧平衡、清晰的目标和明确的反馈)具备时,涌流体验产生。在口译的过程当中,译员的目标十分清晰,简而言之,即将听到的语言译成另一种语言使双方达到沟通的目标;另外,当译员在译时接受到及时的反馈(如观众的反应、演讲人的眼神等)同时认为自己的口译能力能够胜任要求的时候,理论上译员会进入涌流状态。
(2)在1982—1995年期间,早期接触式感测方式包括光传感、电阻传感和超声波传感,其只能捕获静态头部信息,且捕获精度和准确度都不高,因此早期的基于接触式感测方式的人机交互只能应用于简单的控制操作,且因为精度和准确度无法得到保障,其推广也受到了阻碍。而此段时间的非接触式感测主要采用单摄像头来感测用户的头部图像,由于当时摄像头的分辨率比较低且对环境光的要求比较高,且图像处理技术也比较落后,很难识别出头部姿态。
(3)在1995—2010年之间,接触式的感测方式已经发展到了基于陀螺仪、加速度计、磁力计的头部感测。加速度计可以感测头部的运动速度,可以通过头部运动速度的快慢来实现不同的控制,例如公开号为WO2015/112432A1的发明专利,通过头部运动速度的不同,其翻页操作的速度也不一样。而在某些应用方面由于对精度的特殊要求,通常采用多个加速度计来测量头部在不同方位的运动,例如公开号为CN101034309A的发明专利则是采用六轴加速度计来采集头部信息,精度明显提升。此段时间,对于非接触式感测,主要采用多摄像头的技术来弥补单摄像头的缺陷,同时随着图像处理技术的提高和信号处理能力的提升,基于头部的人机交互发展越来好。而此段时间的信号处理方式,主要采用椭圆姿态估计、迭代姿态估计和置信度估计的方式。
(1)通过对基于头部的人机交互领域的国内外专利申请量进行分析发现,早在1982年,国外申请人就提出了用头部的动作来移动光标,但在相当长一段时间内,基于头部的人机交互几乎是处于停滞不前的状态,年均申请量不超过50件;直至2005年左右随着传感技术和信息处理技术的发展,基于头部的人机交互才慢慢地成为研究热点,此时专利申请量也呈现出缓慢上升的趋势;之后,随着智能终端、虚拟现实、智能控制的需求,基于头部的人机交互的专利申请呈现一个井喷的态势,专利申请量达到顶峰。
2 专利申请趋势主要申请人分析
(4)2010年以后基于头部运动的人机交互迅速发展,目前已经衍生到智能家居、智能汽车和终端控制、虚拟现实等领域。此段时间,公开号为CN101034308A的发明专利提出了将肌电传感器贴附在用户的脸部,如眼部和唇部位置,通过感测面部表情导致的肌肉信号的变化来感测不同的表情,实现了人机交互时的趣味化。而随着深度摄像机的发展,基于深度摄像头采集并识别头部姿态成为研究热点,利用图片信息中所包含的深度信息可以获得更全面的头部姿态信息,能够准确识别出头部的运动速度、面部表情。由于表情中富含了人丰富的情感,利用其来实现人机交互更具有人性化,也因此产生了基于表情来实现手机解锁、智能控制,基于表情来推测人的精神状态进而实现智能推送的技术。而随着图像处理技术的提升,由于非接触式感测不需要用户佩戴任何装置,用户体验更好,因此,非接触式的感测方式正在慢慢取代接触式感测方式。在信息处理方面,为满足人们头部姿态识别精度和快速响应速度的要求,一种新的对头部姿态实现预测估计的方案被提出。如专利公开号为CN105892658A的发明专利提出了首先获取头部运动的历史数据,其中历史数据用于指示头部在当前时刻之前的运动速度,根据历史数据,确定头部从当前时刻到目标时刻的角速度,根据头部从当前时刻到目标时刻的角速度,确定头部从当前时刻到目标时刻的姿态变化,并确定头部在目标时刻的姿态,实现了准确的预测头部的运动姿态,解决了在将头部人机交互应用到虚拟现实时,由于动作响应的延时导致的眩晕。
“旗舰‘定远号’居中,‘镇远号’在右侧护卫旗舰,‘靖远号’‘致远号’在左侧护卫,‘来远号’‘经远号’‘广甲号’‘济远号’‘超勇号’‘扬威号’两两一组,各分左右,排成人字阵型!”伴随着紧张的传令声,荷塘北岸的孩子们认真地握紧手中遥控器,控制着从荷塘北岸缓缓朝南行驶的十艘悬挂黄龙旗的航模舰艇。
(2)美国、日本、韩国、中国是头部人机交互领域的申请大国,其中申请量最大的几个公司分别为索尼、微软、高平、LG、BAE、三星、谷歌等。索尼公司的专利申请量排名第一,旗下有一个大的索尼计算娱乐公司;高平和谷歌公司为早期头戴式显示设备的主要开创者;BAE为军工企业;LG为显示技术领域的佼佼者。而国内的主要申请人包括联想、乐视、华南理工大学、OPPO、华为等。
3 结语
基于头部的人机交互技术越来越受到国内外企业的重视,被广泛应用到智能家居、智能汽车、终端控制、虚拟现实等领域,专利申请量快速增长;在头部的感测方式上基于非接触式感测正在逐步取代接触式感测;国外企业在该领域中布局较多,中国企业需要加大研究投入力度,防止侵权风险。
考考文献
[1]廖凌慧.人体交互装置的专利技术综述[J].科技创新与应用,2016(25):73.
[2]邢世蒙.头部运动姿态检测分析与设计[D].西北工业大学,2015.
[3]杨伟健.基于视觉和肌电信息融合的智能轮椅人机接口技术研究及应用[D].杭州电子科技大学,2015.
中图分类号: TP11
文献标识码: A
文章编号: 1672-3791(2019)03(c)-0237-02
DOI: 10.16661/j.cnki.1672-3791.2019.09.237
标签:头部论文; 人机交互论文; 专利论文; 申请趋势论文; 重要申请人论文; 国家知识产权局专利局专利审查协作四川中心论文;