军事指控系统多通道人机交互技术
陈建华,崔东华,罗 荣,肖玉杰,王 亮
(海军研究院,北京 100161)
摘 要: 在军事作战指挥过程中,人机交互是信息化装备与指挥人员之间的一种双向信息交流,自然高效的人机交互技术是保证战场态势准确感知和作战指令精确操作的重要手段。对多通道的军事指控人机交互技术发展与未来趋势进行了综述,从人机交互技术与军事指挥控制系统之间的重要联系出发,介绍了军事指挥控制系统的发展概况,指出了多通道人机交互技术是未来军事指挥控制系统的发展趋势。
关键词: 人机交互;指控系统;语音激励;手势识别;多通道融合
1 军事指控系统
现代战场信息来源繁多,战争态势瞬息万变。而目前的军事指控系统仍然停留在“以机器为中心”的阶段,大多采用基于图形用户界面的单一人机交互模式,导致作业人员认知负荷大、交互效率低等,难以满足信息化战争对人机交互提出的新要求。
为适应现代战争高度紧张复杂的战场环境,未来新型指控系统应当是一个具有适应性、以决策为中心的可视化人机环境。多通道交互正是这样一种“以人为中心”的自然高效人机交互技术。由此可知,多通道人机交互技术的研究和开发,对战场指挥决策意义重大,其必将在下一代新型军事指控系统中发挥巨大价值。
2 军事指控系统与人机交互技术
随着计算机技术的发展,人机交互技术的主要发展经历和趋势可以分为四个阶段[1-2]。第一阶段为字符界面——命令字符交互方式,通过固有命令行的形式实现计算机命令字符的输入以及显示,它是最原始的人机交互形式,信息内容单一、人机交互困难,具有可操作性差、交互效率低的缺点。第二阶段为图形界面——操作点击交互方式,通过各类直接点击图形的手段(如采用鼠标或直接触屏式),实现快速准确执行人机交互任务。目前最常见的形式为GUI/WIMP(Graphics User Interface/Windows Icons Menus and Pointing Device,图形用户界面/窗口图标菜单定点设备),它是目前军事指控系统采用的主要方式。第三阶段为影音环境——语音激励交互方式,如在常见的WIMP界面上,集成音频输入输出设备,实现人与计算机自然交流方式。它集成了智能语音语义理解、翻译和发音等关键技术,已在民用市场得到了推广。第四阶段为拟态环境——行为激励交互方式。随着日后可穿戴技术、图像处理技术、全息成像技术和虚拟现实技术等的进一步发展,指挥人员可身临其境地在模拟环境中实时与真实环境进行自由交流,态势呈现更为逼真。
人机交互方式对军事指挥系统至关重要,随着电子人机交互技术的出现、发展和演变,军事指挥系统也是应运而生、应势而长,呈现出不同的变化和发展趋势,以至于军事指挥的划代主要依据就是根据采用的人机交互方式的不同。据此可将军事指控系统显示交互发展和趋势分为三个阶段。第一阶段基于命令行方式的指控系统阶段,主要采用人机交互的字符交互方式,通过按钮或字符的方式实现指挥人员对武器装备的操纵。第二阶段为基于图形用户界面的指控系统阶段,大屏显示器、立式指挥桌等设备逐渐得到装配,实现了独立式指控系统到集中式指控系统的转变,也是目前应用最广泛的军事指控系统。随着智能语音、虚拟显示等第三代、第四代人机交互方式的发展,军事指控系统也将进入第三阶段:基于多通道人机界面阶段。
经过统计，当乐视网股价跌幅出现极端情况时，GARCH-VaR模型对股价实际损失的预测会失败。在90%的置信水平下，股价跌幅达到8.07%左右时，模型预测失败。在95%的置信水平下，股价跌幅达到8.84%左右时，模型预测失败。在99%时置信水平下，股价跌幅达到9.67%左右时，模型预测失败。模型预测失败说明风险不可控，所以当股价的跌幅较大时，为了控制投资风险，应及时止损，卖出股票。
3 多通道人机交互基础技术
Nigay L等人提出了一种称为“融合槽”的融合算法,将各通道交互信息融合在一起,成为多通道交互研究初期广泛应用的方法[23]。聂岩峰等人[24]针对传统指控系统中WIMP弊端,研究了包含手势、笔式等自然交互方式的多通道融合,提高了指挥控制系统的交互效率和能力。廖虎雄等人[25-26]提出了一种面向指挥所的多通道交互指挥空间架构,并根据设计的原型系统进行了任务分析验证试验。李昌岭等人[27]针对现有人机交互系统高效性、自然性和全面性不足的缺点,提出了一种面向战场指挥决策的多通道交互模型,并用于飞行智能体的语音激励和手势控制双通道交互验证试验。张国华等人[28-29]研究了能够多点触摸的双手手势与语音两个通道的人机交互模型,并应用于C2指控系统中,满足了指控过程中人机交互自然高效的要求以及多人协作有效性的要求。黄波等人[13]针对战场指挥过程中的多通道整合问题,提出了一种基于元动作的多通道整合模型,采用了多种融合方式,提高了系统对多通道任务的理解和执行能力。
1) 肢体语言交互技术
肢体语言是人类最自然的行为,与人的认知特点相吻合,体现了“以用户为中心”的交互理念,是适应指挥人员与指控系统间自然和谐对话的一种新的交互技术[3]。
乳腺癌是我国女性最常见的恶性肿瘤，其发病率占各种恶性肿瘤的7%～10%，且有逐年上升之势［1］。随着对乳腺癌生物学行为认识的不断加深，乳腺癌的治疗水平日益提高，但其死亡率也快速升高，导致患者预后不良的主要原因就是转移。肿瘤转移是一个多步骤、多阶段极其复杂的过程，受到多种转移相关基因的调控。近年来，已有许多关于乳腺癌各种转移相关基因的报道，但国内外对癌/睾丸抗原（cancer/testis antigens，CTAs）TEX14的研究较少，目前还没有关于TEX14与乳腺癌转移相关性的研究报道。
图1 Kinect体感交互设备
2013年,Leap公司发布了Leap Motion控制器(如图2所示),它通过两个摄像头捕捉红外线LED对双手在空气中的相对位置进行感知和测量,可对包括指尖位置、方向的运动及运动趋势进行识别,可用于浏览网页、阅读文章、翻看照片、绘画涂鸦等的虚拟控制,理论精度达到了0.01 mm。
图2 Leap Motion控制器
3) 语音技术
在国内,国防科技大学等单位[7-8]从分布式认识模型出发,研制出了一种支持双手多指触摸的光感应触控平台,为指挥空间内双手交互的设计提供依据。中科院软件研究所也对虚拟现实环境下的双手交互技术展开了长期研究,并在实际中得到应用[9]。
本书是美国顶级性教育专家黛布拉集三十多年性教育经验的经典之作，为畅销全美20年的性教育“圣经”。本书向父母们讲述了如何对自己的子女进行
2) 显示操控交互技术
显示操控交互技术目前已广泛应用于军事武器装备中,是影响指挥决策能力和效率的重要因素[10-11]。电子地图就是最典型的军事作战应用,随着显示操控技术的发展,电子地图从最原始的二维绘图逐步向三维地图过渡,未来的显示操控技术将使得军事地图更加逼真地模拟真实战场环境,表达的形式和内容更加丰富多样。
文献[12]指出未来舰艇指控系统显示技术技术体系包括三维显示、虚拟现实、全息现实、体感交互、电子沙盘等。目前多项关键技术已经得到了研究和利用。20世纪90年代,美国MIT实验室就已经构造出了第一个3D动态全息显示系统。后来国外进行了多次军事应用的尝试,如美军的CATT、SIMNET、C4ISR等现代军事电子沙盘,集中应用地理信息技术、虚拟现实技术、多媒体技术,实现了沙盘的智能化,为战术演练和军事指挥提供了更直观可达的认知。
该技术在民用领域已较为成熟,市场上也推出了多款体感交互设备。早在1999年,Pierce等人就开发了一套基于数据手套的双手交互系统——“Voodoo Doll”,主要用于对象间的相对位置关系调整,可用于简单的动作控制,如双手移动与缩放对象。2010年微软发布的Kinect体感交互设备(如图1所示),采用具有深度传感器摄像头得到人体深度数据,准确识别人体全身肢体行为,然后在计算机中重建三维场景,具有识别速度快、识别精度高、识别稳定性好的特点,目前已广泛应用于动画制作、人体运动测试、游戏互动等领域。
在军事指控系统中,双手交互是最有可能用于拓展指挥空间的肢体语言。美国Applied Minds开发的TouchTable双手触摸交互系统具有双手操作输入以及可视化界面,解放了士兵复杂的操作,已经装备美军[4]。美国MERL开发的DiamondTouch平台采用了光学触控技术,实现了双手交互及多人协作[5-6]。
语音输入可以解放作业人员的双手,作为一种未被利用的交互通道,可以很好地与其他通道融合[13]。目前对语音识别的技术越来越成熟。国内外的公司如微软、苹果、科大讯飞等都推出了较为成熟的语音识别软件,阿里巴巴、京东等电商也推出了数款内置语音助手的智能音箱。未来可见的是,随着云计算和人工智能的发展,更为成熟的智能语音技术的门槛将越来越低,使得语音识别技术更为通用和普及,促进其在军事指控系统中的良好应用。
4) 其他方面
多通道交互界面集成了传统交互设备、自然语音理解、肢体语言输入等多种输入通道,能够多维提取作业人员交互意图,弥补单通识别准确率和交互效率等带来的不足[19]。早在1989年,Cohen等人就证实了通过语音方式与鼠标的结合能够避免键盘与鼠标之间不自然的切换过程,提高交互效率。Hauptmannn和Oviatt等人早期的研究也表明将语音、手势等多通道融合起来交互,得到更多人的使用倾向,证明多通道人机交互充分利用人类不同的感觉通道,使得作业人员感觉更本能自然,体现了未来发展以人为本的思想[20-21]。由此可知,多通道人机交互不仅可以提升作业人员的交互舒适性和自然性,还能提高计算机准确识别作业人员指控意图,对未来武器装备性能的发挥将起到重要作用[22]。美国开发指挥和控制软件陆军未来指挥所(CPoF),是一个流动的信息和决策协作环境,可提供三维空中/地面视点和二维协同环境,通过多种方式可视化战场,已在伊拉克和阿富汗被美军和其联军使用,未来将在指控系统中展开多通道人机交互应用研究。为了促进多通道人机交互技术在军事指控系统中的应用,国内外研究人员开展了多通道融合技术研究。
4 多通道融合技术
在多通道人机交互系统中还可以存在其他几种方式,但因为较前几种而言它们的使用用途比较受限,这里只做简单介绍。目前正在进行的研究的包括脸部表情、视觉、力觉触觉、脑电信号等多种通道方式[3,14-18]。
基于GMS的滨海油田输油管线地下水污染物预测………………………………………陈 毅，陕 宁，杨 峰（5.33）
多通道交互是指具有两个及以上输入通道的人机交互方式,如采用“键盘+语音”的组合方式,这使得在指挥控制过程中允许作业人员使用更多更方便自如的交互方式。一般通过在传统的指挥人机交互系统中叠加一种或几种更自然的交互方式,强调“以人为中心”,使作业人员能以最本能的交流方式实施作业指令,不仅能够大幅提高交互的自然性和高效性,还能衍生出如跨平台协同作战指挥等新型指控样式。目前,国内外对多通道交互开展了较为深入的研究,并取得了一定的研究成果。
在多通道融合方面,目前的指控系统交互设备并不具备并行协作的基础架构。为实现多通道交互,需要对不同通道、不同形式的交互信息进行融合研究,最重要的是对多通道整合层进行技术攻关,可针对不同通道输出的任务进行基础任务分解,通过任务槽将不同通道的交互整合在一起,初步构架如图3所示。
图3 多通道系统整合模型框图
5 结束语
多通道交互方式大大降低了传统单交互方式输入单一、作业人员认知负担等造成的失误操作概率,因此是目前的军事指控系统发展的亟需技术。本文对多通道交互方式的基本融合模式进行了介绍,并着重分析了各项单通道人机交互方式的研究进展,指出:肢体语言交互肢体语言是人类最自然的行为,目前市场已具有成熟的肢体语言识别设备,是最有可能用于拓展军事指挥空间的交互方式之一;显示操控交互技术是影响指挥决策能力和效率的重要因素,已广泛应用于军事武器装备中,未来采用虚拟现实、全息现实等增强效果用于智能军事电子沙盘可助于战场态势感知;语音识别也是较为成熟的技术,是军事指控系统中一种未被利用的交互通道,可以很好地与其他通道融合。目前,国内外学者已经广泛开展多通道人机交互技术在军事指控系统中的应用研究,在多通道融合、多人协作等方面取得了不少进展。该技术具有广阔的应用情景,如在舰艇指控系统中,可用于战场态势图形指挥,通过多种交互手段全方位、多维度地对战场态势情报信息进行更为准确和精细的处理,提高战场指挥控制效能[12,30]。此外,该技术的界面集成更类似平常所用的手机界面,增加了作业人员的乐趣,在潜艇等枯燥环境中具有较好的应用前景[31-32]。另外,该项技术军民两用,还可以用于普通民用电子应用,如读书读报、新闻视频、家电控制等。
参考文献:
[1] 吴振锋, 赵克俭. 未来指挥所发展展望[J]. 火力与指挥控制, 2005, 30(4): 3-6.
[2] 裴燕, 徐伯权. 美国C4ISR系统发展历程和趋势[J]. 系统工程与电子技术, 2005, 27(4): 666-671.
[3] 凌云翔, 李锐, 老松杨. 基于多指触摸的指挥空间用户操作模型[J]. 计算机工程, 2009, 35(10): 1-3.
[4] 廖虎雄，老松杨，邵宏韬，等.基于触摸屏的双手交互指挥技术应用研究[J]. 国防科技大学学报，2011，33(4)：117-122.
[5] Smeaton A F, Foley C. Collaborative Searching for Video Using the Fischlar System and a DiamongTouch Table[C]. Proceedings of the First IEEE Interanational Workshop on Horizontal Interactive Human-Computer Systems, 2006.
[6] DIetz P, Leigh D. DiamondTouch: A Multi-User Touch Technology[C]. Proceedings of UIST 2001, 2001.
[7] 李锐, 凌云翔, 老松杨. 基于双手交互的指挥空间响应模型[J]. 计算机工程, 2008， 34(14): 274-276.
[8] 王鹏. 未来指挥所双手触摸式自然交互技术研究[D]. 长沙: 国防科学技术大学, 2007.
[9] 李江. 信息化战场下军事指挥决策的人机交互技术与方式研究[J].国防科技, 2009, 30(6): 9-12.
[10]郭廓, 登科, 安鹏. 新型显示操控人机交互技术发展趋势研究[C]. 第五届航天电子战略研究论坛, 2018(64): 27-41.
[11]沃得良,杨巍,鲁兴河. 超高分辨率显示技术在指挥控制系统中的应用[J]. 指挥信息系统与技术, 2018, 9(3): 85-90.
[12]徐勇. 舰艇指控显示交互技术发展[J]. 舰船电子工程, 2015, 35(10): 5-8.
[13]黄波, 周方, 孙亚民. 一种战场态势图形指挥系统的多通道整合模型[J]. 系统仿真学报, 2004, 16(10): 2135-2139.
[14]陈志才. 触摸屏技术在指挥控制系统中的应用[J]. 系统工程与电子技术, 1997(6): 24-27.
[15]李妍君. 基于人眼信息的人机交互技术专利技术综述[J]. 科技创新与应用, 2016(23): 44.
[16]庄严, 邓果. 基于虚拟现实的分布式军事装备训练系统构想[J]. 中国电子科学研究院学报, 2018, 13(5): 510-514.
[17]方志刚. 人机交互技术综述[J]. 人类功效学, 1998, 4(3): 64-66.
[18]张凤军, 戴国忠, 彭晓兰. 虚拟现实的人机交互综述[J]. 中国科学, 2016, 46(12): 1711-1736.
[19]李启元, 宋胜锋, 雷琴. 多通道战场态势交互系统研究[J]. 舰船电子工程, 2007, 27 (1): 14-16.
[20]Oviat t S. Multi-modal interactive maps: designing for human performance[J]. Hum Comput Interact, 1997, 12(1): 93-129
[21]Lucente M, Zwart G J, George A. Visualization Space: a Testbed for Deviceles Smulti-modal User Interfaces[C]. Proceedings of AAAI Spring Symposium on Intelligent Envrionments, 1998: 87-92.
[22]俞烈彬, 孟凡文. 武器装备系统中的人机交互新技术[J]. 电子世界, 2013(12): 164-165.
[23]Nigay,L,Coutar J. A Generic Platform for Addressing the Multi-modal Challenge[C]. Proceedings of ACM Conference on Human Factors in Computing System, 1995, 98-105.
[24]聂岩峰, 田田, 吴昊. 基于GIS指挥决策系统的多通道交互研究[J]. 计算机与现代化, 2013(1): 203-206.
[25]廖虎雄, 老松杨. 一个面向指挥所的多通道交互框架[J]. 国防科技大学学报, 2013, 35(1): 155-162.
[26]廖虎雄, 老松杨, 凌云翔. 一种面向指挥空间多通道交互的任务分析方法[J]. 计算机科学, 2012, 39(S3): 291-294.
[27]李昌岭, 李伟华. 面向战场的多通道人机交互模型[J]. 火力与指挥控制, 2014, 39(11): 111-116.
[28]张国华, 老松杨, 凌云翔,等. 指挥控制中的多人多通道人机交互研究[J]. 国防科技大学学报, 2010, 32(5): 153-159.
[29]张国华, 衡祥安, 老松杨,等. 面向指挥决策支持的多人协作交互模型[J]. 火力与指挥控制, 2011, 36(12): 15-19.
[30]燕厚仪. 指挥所智能交互的特点与关键技术[C]. 北京：第三届中国指挥控制大会, 2015.
[31]程飞. 潜艇指控系统人机交互技术发展分析[J].火力与指挥控制, 2013, 38(5): 5-9.
[32]程飞, 高贵朋. 潜艇指控系统智能化应用研究[J]. 火力与指挥控制, 2014, 39(5): 1-5.
Multi-modal Interaction Technology of Military Command and Control System
CHEN Jian-hua, CUI Dong-hua, LUO Rong, XIAO Yu-jie, WANG Liang
(Naval Research Academy, Beijing 100161, China)
Abstract :In the process of military command, man-machine interaction is a two-way information exchange between information equipment and the commander. An natural and efficient man-machine interaction technology is an important means to ensure acquiring accurate perception of battlefield situation and accurate operation of battle instructions. This paper summarizes the development and future trend of multi-modal military command and control system based on the important relationship between man-machine interaction technology and military command and control system, introduces the development of military command and control system, and points out that multi-modal man-machine interaction technology is the development trend of future military command and control system.
Key words :interaction; command and control (C2) system; voice incentive; gesture recognition; multi-modal fusion
文章编号： 1673-3819(2019)04-0110-04
中图分类号: E94
文献标志码: A
DOI: 10.3969/j.issn.1673-3819.2019.04.021
收稿日期： 2019-01-23
修回日期： 2019-02-11
作者简介：
陈建华(1989—),男,浙江金华人,博士,工程师,研究方向为武器系统运用工程。
“真笨！”哈雷德心想，“既然躲起来了，就别再发出声音！”果然，不出哈雷德所料，蒙着眼睛的小朋友循着声音找到他们，每找到一个，就发出一阵欢快的笑声。不过，因为哈雷德一直闷声不响地躲着，小朋友们竟然渐渐地把他给忘了……这样玩了几次后，哲学家走到依旧躲在角落里的哈雷德身边说：“你不觉得快乐吗？为什么我没有听见你发出笑声？”
多少年过去，到卡尔梅克共和国寻访土尔扈特人的踪迹仍停留在计划而未有行动，一拖再拖，唯一原由是时间安排上身不由已。2014年再次提出，经中国边疆研究所阿拉腾奥其尔、新疆师范大学巴图巴雅尔联系，确定2015年5月成行，决定主访卡尔梅克共和国首府埃里斯塔，顺访伏尔加格勒和阿斯特拉罕，俄罗斯科学院卡尔梅克人文科学研究所所长还发来了邀请函。遗憾的是，成行前夕又生变故而作罢。好事多磨，心有不甘，加之马大正将至“奔八”之年，可以行动自如的岁月毕竟有限了。终于在2017年4月正式成行。只是原先计划的三人小组，成了马大正和阿拉腾奥其尔两人了，巴图巴雅尔因教务在身，未能同行，留下永远的遗憾！
崔东华(1970—),女,硕士,研究员。
居民消费价格指数（CPI）是反映物价变动的宏观经济指标，而物价波动通常表现为通货膨胀或通货紧缩。因此，研究CPI波动影响因素也是研究通货膨胀或紧缩的影响因素。主要包括四个因素：市场供求、货币发行量、成本推动、经济结构。
(责任编辑：张培培)