程成[1]2002年在《虚拟环境人机交互技术研究》文中提出虚拟现实是一种崭新的计算环境，借助虚拟环境完成虚拟装配在制造业具有十分重要的价值和广阔的应用前景。虚拟环境的关键特性之一是交互性，机械制造领域的特点决定了虚拟装配对人机交互有更高的要求，直接操作技术已经成为一个瓶颈技术。因此，研究虚拟装配中的直接操作技术既具有重要的理论意义，同时对虚拟装配应用也具有重要的实用价值。 操作行为是人在生活和生产实践中掌握的基本能力。由于在现实世界中存在着物理定律的作用和人的复杂感知能力的协助，操作行为能够随心所欲地进行，人们通过装配操作行为完成产品的装配实验和装配生产。但是，在虚拟环境中没有物理定律的作用，人们很难建立对叁维虚拟空间的深度及环境中复杂关系的感知和认知，尽管叁维空间中的直接操作是一种最自然的人机交互方式，但至今它仍然是一个难点问题。本文是作者在国家863基础研究项目的基础上，在虚拟环境人机交互和虚拟装配研究方面的工作总结。以虚拟装配应用需求为驱动，从应用中的实际问题出发，紧紧围绕直接操作这个主题，展开深入细致的基础研究。 本文包含五个基本内容，一是完成了直接操作的时序化构造；二是给出了虚拟装配的交互模式；叁是提出了基于主动对象构造的感知机制及感知算法；四是给出了面向虚拟装配人机交互的装配体模型构造；五是给出了面向交互的装配体模型。对于实现自然和谐的直接操作这个目标来说，直接操作的时序化构造是基础和先决条件，虚拟装配的交互模式是核心，感知机制及感知算法是基础设施，面向交互的装配体模型是交互语义实现的核心内容。
陈双双[2]2017年在《面向自动控制的虚拟实验环境的研究与实现》文中指出虚拟实验环境是虚拟现实技术与传统实验教学的有机结合,涉及虚拟现实、人机交互、人工智能、计算机图形学、教育学等多学科的综合知识,其目的在于通过计算机生成一个“逼真”的叁维虚拟学习环境,使学生可以完全“沉浸”于其中,亲自动手操作各种实验设备,验证各种方法与原理,加深对理论知识的理解,大大提高学生实践动手能力和学习效果。同时,在虚拟实验环境中,学生可以打破传统实验环境的时间和空间约束,避免各种不安全因素,构想出各种实验方案,进行自主性、探索性学习,充分激发学生的创造力。本文面向自动控制虚拟实验环境的应用需求,研究了虚拟实验环境的设计与实现关键技术,一方面为高等教育信息化建设提供技术支撑;同时也为虚拟现实、人机交互技术的研究与应用提供验证平台。主要研究内容包括:1.提出面向自动控制的虚拟实验环境层次化体系框架。该框架由仿真平台层、应用层和人机交互层组成,既体现了虚拟环境的特征,又考虑传统实验教学的特点与教学策略,突出了虚拟实验环境的交互性、构想性、沉浸感、开放性等。2.研究了虚拟实验环境模型构建关键技术。结合自动控制中典型倒立摆实验,阐述了虚拟实验环境的几何建模、物理建模、行为建模等基本方法,具体分析了倒立摆系统稳定性模型及其行为构建方法,研究了虚拟角色的几何建模和行为控制方法,讨论了虚拟实验环境的渲染技术。3.研究了虚拟实验环境人机交互技术及其设计方法。在虚拟实验环境碰撞检测技术研究的基础上,设计了基于碰撞检测的虚拟环境语义信息交互机制;研究、设计了虚拟实验环境漫游控制及其交互方法,引导用户自主完成虚拟实验环境的操作;研究了体感交互技术,以及基于kinect的体感交互设计方法,实现了基于Kinect的虚拟实验环境体感交互及语音交互模式。4.面向自动控制中典型倒立摆实验,设计、开发了虚拟实验环境系统。目前该系统包括用户管理模块、虚拟环境漫游模块、倒立摆模型PPT演示模块、倒立摆实验演示模块、体感交互控制模块和系统性能测试模块。通过典型交互场景,测试、验证了虚拟实验环境系统功能及其交互方法的准确性和有效性。
刘小伟[3]2008年在《基于双目立体视觉的虚拟手势交互技术的研究与实现》文中提出虚拟现实(Virtual Reality,VR)技术是在计算机技术、计算机图形技术、传感器技术、人机交互技术等基础上发展起来的一门新型综合性技术。它的出现为人们提供了一种全新的人机交互方式,因此传统的WIMP交互界面和基于鼠标、键盘的交互工具和已不能适应在虚拟环境中进行交互的需要,而手势、立体显示等更自然的交互通道极大地提高了人机交互的自然性和高效性。其中对人手的运动跟踪和手势识别在当今的人机交互中起着重要的作用。而基于手势的交互技术需要研究的问题主要有手的模型、手势的输入技术和手势的识别技术等等。针对上述问题,本系统基于VR Juggler这个虚拟现实应用平台,利用数据手套Data Glove Ultra 14和open Inventor及Visual C++等开发工具,对人手的建模及手势交互进行了深入的理论研究和实际验证。主要研究工作概括如下:第一,首先深入研究了立体显示的原理及实现技术,根据现有条件提出使用分光技术,在新型开源平台VR Juggler的基础上,构建基于双目视觉的立体显示系统,并且很好地解决了其中的双机同步问题。第二,在分析了手的解剖结构和运动特点的基础上,运用层次建模的方法建立手的几何结构模型,之后,将每一根手指都看作是由转动关节和与之相连的连杆组成的操纵装置,合理添加父子约束关系,运用机器人学理论建立起手的运动学模型。并完成了现实世界中人手与虚拟环境中虚拟手的映射。最后,在上述研究的基础上,设计并实现了一个基于双目立体视觉的手势交互的原型系统。在这个系统中,用户可以对虚拟物体进行简单的操作,并可利用手势在虚拟环境中漫游。在其他虚拟环境的构建中,同样可借鉴本文的方法,深入研究其中的交互问题。
朱杰[4]2009年在《基于数据手套和跟踪器的人机交互技术的研究》文中研究指明虚拟现实技术在短短十几年里已经在工业、医学、教育、娱乐和军事等多个领域得到应用和发展,引起世人广泛关注,并对相关领域起着重大的推动作用。“交互”是虚拟现实技术的基本特点之一,也是虚拟现实技术发展的原动力。在虚拟现实技术的影响下,人机交互技术从传统的“人适应计算机”信息处理环境逐步实现“计算机适应人”,方式上将传统的显示器、键盘、鼠标等面向计算机的硬件设备转变为头盔式显示器、数据手套、空间跟踪设备等面向人的特色设备,内容上不再局限于数值计算、文字处理的交互,而是扩大到图像、声音、语言等多种形式的交互,效果上达到逼真的虚拟环境使用户产生身临其境的感觉。手势是人类日常生活中人与人之间最自然的一种交互方式。计算机为人们提供人类的自然交互技能,并与其创造的虚拟环境进行直接交互,达到或接近人类日常自然交互的灵敏和准确,是虚拟现实技术研究的主要内容之一。本文以数据手套和跟踪器为交互设备,基于手势识别技术实现虚拟手在叁维场景中显示控制以及对虚拟物体模型进行选取、移动、释放等操作,主要包括以下几个方面:1、从生理学角度全面分析了人手的骨骼特点和关节自由度,探讨了虚拟手叁维建模技术、OpenGL绘制技术和骨骼蒙皮绘制技术,建立了虚拟手静态模型;2、详细分析了人手运动特征,详细描述了手骨骼的层次关系和运动空间,建立了虚拟手骨骼拓扑关系。深入分析了虚拟手的运动控制原理,具体介绍了模型几何变换原理,构建了虚拟手的运动模型,实现虚拟手的动态控制。研究了骨骼皮肤变形技术,解决了关节边界处皮肤撕裂变形问题;3、详细介绍了数据手套的工作原理,建立了数据手套和虚拟手的运动映射过程。分析了手势识别技术的原理,研究了基于数据手套的手势识别过程;4、探讨了虚拟操作技术的概念、任务和操作分类。分析了跟踪器的工作原理,结合数据手套,应用光线投射技术,实现了基于手势识别的虚拟选择和操纵过程;5、在VC++开发平台上,应用OpenGL叁维图形程序构建了基于数据手套和跟踪器的人机交互系统。该系统应用数据手套和跟踪器这两种典型交互设备,实现在虚拟环境中虚拟手显示和动态控制的人机交互功能。
李辰龙[5]2017年在《虚拟现实系统中人机交互技术研究》文中研究指明虚拟现实人机交互是人机交互技术的最前沿的应用之一,与传统的桌面级人机交互不同,在虚拟现实系统中,操作者可以通过头戴显示器、人体姿态传感器等虚拟现实装备接入虚拟场景,在虚拟场景中对物体进行直接操作,并获得实时操作反馈信息,是一种具备多感知性、高真实性的沉浸式人机交互技术。本文研究一种基于视觉反馈和动作捕捉的典型非接触式交互系统,发现该系统普遍存在虚拟场景中人体与设备产生干涉这一问题后,对该问题进行了分析,针对这一问题,从底层碰撞检测算法直到上层人体姿态调整算法提出了优化、解决方案。论文首先总结、分析了现有的实时碰撞检测算法,针对各类算法的优劣选择基于二叉树结构的轴对齐包围盒树作为算法研究基础,并介绍了包围盒树构造、更新、遍历及基本几何元素相交测试的基本方案。针对虚拟环境下人机交互的特点及后续穿透现象的优化处理,本文深入地分析了碰撞检测算法的存储性能与计算性能;通过分析和对比间接交互与直接交互,提炼出直接交互过程中的关键影响因素,结合前人的经验,从包围盒树的整体结构、节点结构及基本几何元素间的相交测试叁个方面展开对算法优化的研究。最后,本文针对人机交互过程中普遍存在且难以解决的虚拟场景中人与设备之间发生穿透的问题,基于人体运动学,结合优化后的碰撞检测算法,以单只手臂为例,提出了基于多层次迭代求解的逐层分解法与基于权值全局求解的权值分配法两种关节调整方案,对穿透现象进行优化处理,并搭建虚拟场景进行实验测试。实验结果表明,此二种方法可以在大部分情况时解决穿透现象,对于某些特殊的人为情况,也可起到优化处理效果。
纪连恩, 张凤军, 付永刚, 戴国忠[6]2006年在《虚拟环境下基于语义的叁维交互技术》文中认为自然、高效的叁维交互技术是虚拟现实系统成功应用的关键.现有的交互技术主要是从几何层次上考虑如何有效实现交互任务,而对面向高层应用的交互任务的支持还不够.借鉴人类在真实世界中的认知原理,虚拟环境中的交互对象不仅具有外观意义上的几何属性,而且包含了与交互有关的规则、约束和供给等语义属性,这些虚拟对象称为语义对象.在系统导航、对象选择/操作等交互任务的执行中,通过语义对象可以实现高层交互语义的封装和解析.从应用角度提高交互技术的效率和可用性,为用户提供“直接操纵”之上的面向高层语义的交互隐喻,屏蔽交互技术的底层实现细节,使用户专注于应用领域相关的高层交互控制.
邓红[7]2007年在《叁维交互技术的研究与应用》文中进行了进一步梳理首先分析了现在流行的叁维交互设备及其使用情况。并对图形学原理的基本内容,包括叁维几何变换、坐标变换和叁维观察进行了研究。在此基础上进一步分析了对象操纵技术和漫游技术,并针对这两种技术在实际的应用,提出了设计准则,同时给出了基于二维桌面输入设备虚拟实体的拾取算法。讨论了碰撞检测技术,并给出了轴向包围盒AABB的碰撞检测算法。本文以燃气热水锅炉虚拟培训演练交互系统作为实现原型。原型系统的分析设计部分详细分析了本系统应采用的开发环境、系统数据库、场景漫游技术、对象操纵技术,并设计了交互系统的叁维引擎。在系统实现部分描述了场景模型及场景模型的加载,实现了数据库的引入,采用了路径漫游、桌面环境下的相机控制、基于目标等漫游技术,开发了OpenGVS环境中用函数控制的漫游程序。实现了虚拟手、音效、动画嵌入、图形菜单多种交互方式。特别针对采用透明纹理贴图的小场景与大场景融合时产生蓝边问题,提出了解决办法;对于一个场景的多项任务操作,采用了二维图形菜单的交互方式。给出了以叁维Widgets为核心的叁维交互框架的设计,并应用到系统中,实现了3D Widgets的交互。应用这个交互框架可以提高叁维交互环境中实体操作定位的精确度,并可以实现虚拟环境中对同一物体多项操作的选择。
刘剑锋[8]2010年在《虚拟环境下几种叁维交互技术的研究》文中研究表明为虚拟现实系统提供一系列丰富、可靠、自然的人机交互手段是虚拟现实与人机交互领域当前需要解决的问题之一。就此问题,本文研究了适用于虚拟环境下的几种叁维交互技术。提出了一种基于加速度计的叁维手势交互技术,先对加速度计的输入数据进行建模,之后与预定义的标准手势模型进行匹配,得出最佳匹配结果,最终完成特定的交互功能。设计了一种基于加速度计、陀螺仪、磁力计的肢体运动捕捉系统,在此系统之上提出了一种基于动作捕捉的叁维交互技术,借助传感器的输出数据来重建肢体主关节点空间坐标与运动轨迹,进而与虚拟物体进行叁维交互。提出了一种基于压力感应器的叁维交互技术,利用压力感应器获得用户重心偏移向量,以此控制叁维虚拟化身的运动。在此基础之上,本文将基于加速度计手势识别的叁维交互技术应用于虚拟数字奥运博物馆原型系统中,首先建立手势-语义映射表,训练标准手势,最后对输入手势进行识别,根据识别结果完成交互语义。实验结果表明,利用该算法可有效快速地识别出用户输入的手势,用户凭借此方法能准确无误地完成交互。除此之外,本文还将基于压力感应器、语音识别的叁维交互技术应用于虚拟驾驶模拟系统中,实现了用户通过压力感应器进行油门、制动等车辆操作,使用语音命令来进行系统的一般性控制,同时系统提供了丰富的交互反馈信息。实验结果表明,用户通过上述两个叁维交互子系统均获得了较为理想的交互效果。
张静[9]2006年在《基于计算机视觉的虚拟手交互技术研究》文中研究指明随着虚拟现实技术的出现,新型人机交互形式也应运而生,传统的二维交互正逐渐向叁维交互方向发展。虚拟现实中的人机交互与以往有着不同的特点,这种新型交互形式要能体现和谐自然和“以人为中心”的特征。其中,对人手的运动跟踪和识别在当今人机交互技术中起着重要的作用,研究它的主要目的就是为了实现既自然又直观的交互方式。 针对VCC实验室MOVE(多面沉浸式虚拟环境)系统的特点,本文将手部跟踪和识别引入到人机接口中,这更有利于系统今后的发展,使其具有更广阔的应用前景。本文的主要研究工作包括: 第一,双目视觉技术在人机交互中的应用:针对目前常用的手部跟踪设备——数据手套存在的缺陷,如价格昂贵、不灵活等缺点,本文利用摄像机拍摄的方法获取手的运动,避免了使用数据手套带来的不便,降低了对硬件的要求。双目视觉技术更易获得立体空间位置信息,因此本文基于双目视觉技术,着眼于对静态手形的识别,通过在手部设置关键点,简化了识别过程,保证了识别的实时性。 第二,手形仿真算法的研究与实现:由于人手是一个高自由度结构,而手形更是具有多样性和空间差异性等特点,这些必然增大了对人手运动仿真的复杂性。本文在分析手的运动学模型以及总结手运动约束关系的基础上,结合设计的简化计算模型,利用关节运动仿真算法推算出手指的运动位置,从而在虚拟环境中再现手的姿态,并进行了相关实验,实验结果证明了它的有效性。 第叁,基于骨骼动画的手形仿真:为了让参与者体验更为真实的视觉效果,本文引入骨骼动画的原理,用更逼真的手模型映射到骨骼上,通过骨骼带动手模型运动的方式实现手形仿真,为今后在MOVE系统中实现自然交互奠定了基础。
张丽敏[10]2018年在《基于传感器的虚拟现实人机交互技术研究》文中认为虚拟现实技术在短短的几十年里得到了迅猛的发展,虚拟现实技术在各个领域中的应用也变得越来越广泛。虚拟现实人机交互技术是以传感器为核心的,其通过不同类型的传感器来实现人机交互操作。为此,首先对虚拟现实的定义进行阐述,并基于传感器的虚拟现实人机交互技术进行的研究,探索分析了传感器在虚拟现实人机交互中存在的问题,以期能为传感器在虚拟现实人机交互技术中的进一步应用做出探索。
参考文献：
[1]. 虚拟环境人机交互技术研究[D]. 程成. 中国科学院研究生院（软件研究所）. 2002
[2]. 面向自动控制的虚拟实验环境的研究与实现[D]. 陈双双. 重庆邮电大学. 2017
[3]. 基于双目立体视觉的虚拟手势交互技术的研究与实现[D]. 刘小伟. 北京邮电大学. 2008
[4]. 基于数据手套和跟踪器的人机交互技术的研究[D]. 朱杰. 解放军信息工程大学. 2009
[5]. 虚拟现实系统中人机交互技术研究[D]. 李辰龙. 浙江大学. 2017
[6]. 虚拟环境下基于语义的叁维交互技术[J]. 纪连恩, 张凤军, 付永刚, 戴国忠. 软件学报. 2006
[7]. 叁维交互技术的研究与应用[D]. 邓红. 大庆石油学院. 2007
[8]. 虚拟环境下几种叁维交互技术的研究[D]. 刘剑锋. 浙江大学. 2010
[9]. 基于计算机视觉的虚拟手交互技术研究[D]. 张静. 合肥工业大学. 2006
[10]. 基于传感器的虚拟现实人机交互技术研究[J]. 张丽敏. 北京印刷学院学报. 2018
标签：计算机软件及计算机应用论文; 人机交互技术论文; 人机交互论文; 虚拟现实论文; 数据手套论文; 人机交互系统论文; 虚拟技术论文; 手势识别论文; 交互论文; 语义分析论文; 虚拟现实硬件论文; 手势操作论文; 人工智能论文; 场景应用论文; 虚拟装配论文;