面向博物馆的XR+展览交互系统设计与实现
汪 萍1，胡学钢2，王荣荣3，王 乐4
（1.安徽新闻出版职业技术学院 新闻传播系，安徽合肥230601；2.合肥工业大学计算机与信息学院，安徽合肥230601；3.芈炀科技研发部，上海201203；4.中央广播电视总台播出与传送中心，北京100859）
摘 要： 在科技高速发展的今天，博物馆的传统展览形式已不能满足社会需求，通过分析虚拟现实、增强现实和混合现实等不同技术的优点和关键技术，提出一种基于扩展现实技术的博物馆展览交互方案。实验表明，采用扩展现实技术可以实现虚实无缝融合，再现历史情景、延伸观赏空间、拓展文物内涵，让文化遗产焕发新的生命力，使观众有更深层次的交互体验，使博物馆能更好地发挥其教育和传播职能。
关键词： 扩展现实；虚拟现实；增强现实；博物馆；展览
博物馆基于保护目的，其展览基本以静物形式陈列在橱窗中，辅以简单的文字简介，随着科技的不断发展，特别是5G（第五代移动通信技术）的到来，媒体的传播方式已经开始由2D（2 Dimension）交互向3D（3 Dimension）交互转变，传统的展览形式已无法满足观众的需求，针对此问题国内外学者做了一些研究[1-3]，但大部分都集中在VR（virtual reality）的应用上，部分涉及AR（augment reality）和VR 的同步应用。从应用研究中发现，将VR、AR或MR（mixed reality）某项单一的技术应用于博物馆展览存在形式单一和内容局限的问题，长时间或全程只用一种视角或模式去观看会让观众产生视觉疲劳或兴趣渐减。为解决这一问题，本文基于最新提出的XR（extended reality）技术，给出一种面向博物馆的新型展览交互方案，其融合了VR、AR和MR这3种技术的优点[4]，观众在参观过程中可通过应用终端自主选择或切换观赏模式，提升了参观的交互性、趣味性和多感知性。
新时期乡镇水利工程管理工作，需要合理规划。首先，在乡镇水利工程施工时，需要各个施工部门相互配合，保障施工工作具有连续性。施工管理工作也应从各个部分进行针对性地规划设计。在施工之前，管理人员可以与工程设计人员讨论施工工作中存在的风险。在构建预防管理措施之后，划分管理区域，重点对可能出现的风险进行管理，提高乡镇水利工程管理效果。其次，在按照施工设计构建管理制度时，为了提高各个部分管理工作的连接性，需要定期开展施工管理会议。总结施工管理情况，分析相关的管理措施，提高乡镇水利工程管理水平。
预测是很重要的一步，也是跟写作相关的一个思考过程，看看这样一个标题，如果是学生自己会以什么样的思路展开文章。
1 开发工具与框架设计
1.1 开发工具
本系统基于IOS操作系统，用Objective-C语言基于苹果公司的ios sdk（苹果系统软件开发工具包）开发“博物馆XR+展览交互”App（移动端应用软件），其演示内容通过“三维建模”“图像标识”和“交互实现”这3大流程来实现[5]。
本系统以Unity3D 为主要开发引擎，通过3D Max或Maya软件完成三维模型和动画创作，输出.fbx格式文件导入到虚拟引擎中，利用图片标识技术、数据库调用技术和网络传输技术实现观众与文物之间的交互，通过C#程序编译语言加入计算机指令实现VR、AR与MR这3个模块内容之间的切换，最终观众可通过显示终端实现展览交互系统的虚拟漫游与实时交互，开发实现流程如图1所示。
图1 XR+展览交互系统的开发实现流程图
1.2 系统框架设计
虚拟场景搭建完成后，首先应为所有的墙体和地面添加碰撞属性（Mesh Collider组件），防止出现人物角色穿透建筑物的不真实感；其次添加第一人称视角，加入漫游交互功能；最后连上头盔测试以第一人称在故宫场景中虚拟漫游的情况。其中，通过计算机命令控制手柄的上下左右键以实现观众在场景中的自由漫游（见图4）。
很多人都说巩俐足够幸运，第一部戏就登上了国际舞台，但人生从来就没有凭空而来的幸运，如果有，那一定是有足够多的努力做铺垫。在拍摄《红高粱》时，巩俐提前两个月跑到农村体验生活，花一个多月的时间去学习挑水，即使双肩都磨破了皮也一声不吭，咬牙忍着。
2 系统开发实现
2.1 VR漫游模块开发
VR漫游模块的实现是利用宽视野立体显示技术，借助实时动作捕捉、跟踪定向技术、触觉、力觉、嗅觉等反馈技术，通过手柄、语音或动作等传达指令来实现虚拟漫游。该模块的核心技术为虚拟场景搭建和漫游交互功能开发。其中，虚拟场景搭建是虚拟漫游模块开发中非常重要的部分，模型的质量决定了博物馆VR漫游体验的真实感。本系统所有历史古迹场景模型均在3D Max里搭建，文物三维模型和动画在Maya 中创建，因这两个软件存在坐标系方位和单位比例不同问题，且最后都要在Unity 平台里开发，故在3D Max里搭建的模型在导出时应选择Export Selected模式导出，并修改单位为Metres（米）以匹配Unity里的单位，最终导出.fbx格式文件至Unity项目中的Assets文件夹下，通过Unity自带Shader（着色器）与Material（材质球）对三维模型进行颜色和材质的设置。本文以故宫博物院为例搭建模型与布局，如图3所示。
XR+展览交互系统中的AR交互和MR交互模块均可通过手机、平板或头显的摄像头来识别图像标识，调用系统数据库中链接的三维模型，通过三维注册定向技术可实时的将其定位在真实的三维世界中，在手机、平板电脑或头显眼镜上生成三维“数字展品”，从而实现交互体验。
图2 XR+展览交互系统框图
图3 在Unity引擎中重贴材质后的故宫博物院三维场景鸟瞰图
XR+展览交互系统分为3个模块：虚拟交互模块、增强交互模块和混合交互模块，分别实现“基于VR技术的虚拟漫游”“基于AR技术的增强交互”和“基于MR技术的混合交互”这3个功能。在手持终端上安装“博物馆展览交互系统”APP 后，观众可根据自己的喜好任意选择一种观赏模式，也可以综合VR、AR混合成MR形式输出，可随意切换观赏模式，系统框架设计如图2所示。
2.2 AR交互模块开发
人与空间环境的交互主要通过VR漫游模块来实现，效果如图7、8所示。该模块观众通过佩戴头显可以自由漫游在整个场景中，通过手柄操控可以抓取数字展品观看细节，转动头显还可以以720°的视角上下左右观看场景内的各个角落。
“以人为本、尊崇自然”。苏州的建城史就是一部人与自然和谐共生的发展史，苏州园林更是集中承载着“天人合一”、以人为本的世界观和价值观。在城乡规划中留足生态空间，在生活方式上提倡绿色低碳，在产业发展上注重绿色发展，市区建成区绿化覆盖率达42.2%。坚持古城活态化保护，把古城视为放大版的园林加以保护，不断提高人民群众在古城中的舒适度，严格按照与古城风貌协调的原则进行城市更新，增设配套设施，方便群众生活。
图4 基于脚本设置左手柄的漫游功能属性
当观众想从一种观赏模式切换至另一种模式时，点击显示屏左侧的“VR”、“AR”或“MR”按钮即可完成观赏模式的互换（如图6所示）。AR增强交互或MR混合交互模块都需通过调用终端设备的摄像头来捕获真实环境或进行图像识别。采用计算机视觉跟踪注册技术可算出摄像头采集到的位置数据，将位置数据持续的传递给渲染处理器即可实现将虚拟展品叠加到真实场景中的效果。
图5 在Unity中设置采集信息与网络Database的链接匹配关系
2.3 MR交互模块开发
混合交互模块融合了VR技术的沉浸性和AR技术的交互性，由VR和AR两个输出模块叠加而成。利用三维建模技术可以将古建筑从整体架构到内部装饰以虚拟数字化的形式与现实世界融合，通过多传感器融合技术可放大、缩小展品细节，还可以通过实时跟踪及三维定向技术围绕展品360°观看，它不会因观众位置和角度的变化而发生位置的变化或形态的扭曲，可拓展现有博物馆的展出空间和文化内涵。通过三维动画和交互控制技术可以让文物在真实世界里“活”起来、古迹场景“动”起来、字画人物“走”出来，重现历史情节、拓展文化内涵。当观众选择MR模式输出时，系统会将VR和AR两个模块的内容进行优化运算和输出，通过更精细的三维注册算法合并现实场景和虚拟世界，从而生成新的可视化环境，实现物理环境和数字对象更真实的共存。
3 交互实现
3.1 人与设备交互
本系统通过“XR+展览交互APP”来控制整个操作，本文以故宫博物馆为例，启动XR+展览交互系统，程序首先进入欢迎界面，界面上有3个观赏模式供观众自主选择，分别为VR虚拟漫游、AR增强交互和MR混合交互，观众可自由选择任意一种观赏模式[6]。若观众选择VR虚拟漫游模块，系统会调用预先制作好的三维场景开启虚拟漫游模式，通过佩戴HTC VIVE头显、操控手柄，观众可在虚拟博物馆视景中进行前、后、左、右的漫游。
实现以上交互技术的基础是图像标识技术和图像识别技术。本系统首先运用AKAZE 算法，基于Unity平台开发整合一套Vuforia SDK（对图片、物体、文本和标记进行识别和追踪的软件开发工具包）导入至已开发完成的Unity项目中；其次，创建AR Camera（AR采集摄像头）对平面图像或展品进行采集，在Vuforia（让应用拥有视觉的软件平台）中新建并上传关于博物馆项目的图片至网络端Database（数据库）；再次，为图片添加ImageTarget 标识，在Unity 引擎的Inspector 窗口选项中粘贴License Key（许可证密钥），设置与Database中上传图片的关联，将其链接到网络数据库端（见图5）；最后，把第一步中已建好的Prefabs（预制模型）导入至Hierachy窗口中的ImageTarget下面，调整模型位置、角度和大小，用C#程序语言设置交互预设，调试并发布.exe格式的程序至移动终端，即完成了图像的标识。当观众选择AR交互模块时，摄像头会将采集到的信息与网络Database中的图片进行匹配，若匹配就会立刻调用系统中对应的三维模型通过显示终端呈现。
图6 可随意切换的交互界面
AR 或MR 部分可直接在Pad 上观看，也可以通过HoloLens 眼镜来呈现。其原理是将HoloLens 和arkit（苹果的AR开发平台）同时连接上局域网，HoloLens把虚拟空间的信息也实时传给arkit一份，保证HoloLens 和arkit 在虚拟空间上同步，即眼镜端和手持终端设备的数据实时同步，这样观众既可以通过MR眼镜观看，又可以同步使用手机观看，从而实现了观赏模式的无缝切换以及设备的自由交互[7]。
3.2 人与空间环境交互
AR增强交互模块相比VR漫游模块而言，可以使博物馆展览交互系统实现更丰富的互动方式，可以在真实环境中叠加虚拟内容，赋予藏品“生命力”，构建出一系列观众无法在现实中见到的“鲜活”历史和场景，其交互实现愿望：首先需要用到AR的核心技术三维注册，即事先将现实世界中的二维或三维物体设定为标识物（Marker，即图像标识），其次通过移动终端（智能手机或AR眼镜）的摄像头对Marker进行识别和姿态评估（Pose Estimation），确定其位置，然后将其采集到的信息发送给增强工作站进行信息分析和处理，以Marker在现实场景中的中心为原点坐标系，即模板坐标系（Marker Coordinates），建立模板坐标系和屏幕坐标系的映射关系，并将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境进行完美匹配，最终实现三维虚拟模型与真实世界叠加呈现在现实终端。
图7 仰视室外建筑效果
图8 俯视室内陈设效果
3.3 人与展品交互
节水型高校建设实践与思考——以辽宁石油化工大学为例…………………………………………… 吴长宏，武荣华(11.18)
本实验基于Unity3D引擎，在处理器为2.9 GHz Intel Core i5，内存为8 GB 1 867 MHz DDR3，图形卡为Intel Iris Graphics 6100 1 536 MB 的MAC 电脑上，连接视场角为110°、刷新率为90 Hz 的HTC VIVE上，划定5 m×5 m的跟踪区对VR漫游模块进行仿真测试。
观众可用显示终端扫描提前做好标识的AR卡片，调出系统中事先链接的三维文物模型进行近距离地观摩与研究（见图9）。
图9 通过图像识别触发生成数字展品
4 实验结果与分析
本功能通过AKAZE算法基于opencv（跨平台计算机视觉库）技术进行图片识别与追踪，用slam（即时定位与地图构建）技术和opengl（开放图形库）实现三维实时渲染和显示[8]。
系统启动后选择VR漫游模块，观众可从端门往里自由行走参观，既可欣赏故宫博物院的外景，又可进入宫殿内部观赏室内陈设，它解决了故宫博物院由于历史地位特殊性所导致的只能远观的问题，漫游效果如图10所示。
图10 故宫内景漫游效果
为验证系统性能，保证漫游体验的真实感，本文做了3方面的实验对比：建好的Unity场景添加碰撞性能前后漫游效果；场景设置限行区域前后漫游效果；人物模型比例调整前后漫游效果。进行分别测试后发现，在Unity建好的场景中未加碰撞组件时，人物角色会坠落和穿墙，上不了台阶，不受任何建筑或墙体的阻碍；当给所有的建筑包括地面加上Collider（碰撞）组件后，人物角色可以正常走上台阶，不会再掉入模型内部，且墙体和建筑不会再被穿破。在场景中未添加限行区域前，人物比例也没有调小前，人物可直接跨过屋顶或踩在建筑物上行走，其视角高于建筑，无法从门洞下通过，不符合自然规律；当将人物角色的Scale数值全部调成0.2，且给场景设置Nabigation限行区域后，人物只能在地面上漫游，也只能从门洞下通过，实现了与现实世界一样的交互体验。测试对比结果如图11～14所示。
图11 未加碰撞性能漫游效果
图12 加碰撞性能后的漫游效果
图13 未设定限行区域和未调角色比例前视角
图14 设置限行区域和调小角色比例后视角
当观众切换到AR或MR模式后，系统需要调用显示终端的摄像头，本实验通过摄像头采集标识物的不同角度测试其对生成的数字三维图形是否有影响，取极端的0°和90°进行注册性能验证。故宫博物院历史地位特殊，受保护程度较高，不方便去现场进行AR和MR模块的测试，故采用小象图片进行性能测试。经实验发现，当采集角度为90°时，系统可以采集到标识图像中所包含的特征信息；当跟踪角度调整为0°时，系统也可采集到标识图像中的特征信息，可即时实现实时跟踪功能。测试结果如图15、16所示。
图15 采集角度为90°时渲染呈现的数字三维模型
图16 采集角度为0°时渲染呈现的数字三维模型
通过上述实验得出，基于扩展现实技术的博物馆展览交互系统具有真实的漫游体验和交互功能，观众可以根据自己的需求自由切换视角或观赏模式。对标识物采用特征检测及绘制的方法来进行跟踪注册，其不受采集角度和复杂环境影响，当观众需要观看展品承载的历史背景和文化时可切换至AR 或MR模式，它会生成数字化的三维内容叠加在真实环境之中，让场景动起来、展品“活“起来，与真实世界无缝融合。
5 结束语
本文基于扩展现实技术，综合虚拟现实、增强现实和混合现实这3大技术的优点，提出了一种基于扩展现实技术的展览交互系统，经反复测试表明，该方法能够在显示终端连续移动，且角度发生变化时它能自适应显示虚实叠加的效果。XR技术是虚拟现实技术发展的未来，将其应用到博物馆展览交互系统可让观众自由选择和切换观赏模式，增加参观的交互性和趣味性，也延伸和丰富了展览内容，解决了博物馆展品的“三高四难”问题，即高成本、高难度、高风险，难还原、难再现、难拆解、难描述的展品展览问题，为参观者带来了强烈的现场感和参与感，让传统展览形式中“沉睡的”文物古迹重获新生，为博物馆的发展注入新活力，其作为传统展览的补充能更好地发挥博物馆的社会教育和文化传播职能。
阿克苏诺贝尔粉末涂料全球照明市场经理Mark Reekie表示：“我们致力于寻求创新的解决方案，以减少对能源的消耗，降低我们对环境的影响。Interpon Reflex能满足对行业对反射性粉末涂料日益增长的需求，这正是我们以更少的资源创造更高的价值，也是阿克苏诺贝尔以可持续发展驱动创新的良好范例。”
参考文献：
[1] MARQUES D, COSTELLO R. Concerns and challenges developing mobile augmented reality experiences for museum exhibitions [J].The Museum Journal,2018,61(4)：541-558.
[2]CAPUANO N,GAETA A,GUARINO G,et al.Enhancing augmented reality with cognitive and knowledge perspectives a case study in museum exhibitions[J].Behaviour&Information Technology,2016,35(11)：968-979.
[3]ZHUANG Z Y.The application strategy of augmented reality in the museum exhibition[C].第十六届亚太科技中心协会年会论文集.北京：中国科学技术馆,2017.
[4]秦胜伟,李重,李金锋,等.校园漫游互动AR 系统设计与实现[J].系统仿真学报,2019,31(7)：1367-1376.
[5]唐婕.基于iOS平台的智能衣柜管理APP的设计与实现[D].北京：北京邮电大学,2017.
[6]李婷婷,王相海.基于AR_VR混合技术的博物馆展览互动应用研究[J].计算机工程与应用,2017，53(22)：185-189.
[7]郁有建,汪萍,陈子辉.基于虚拟现实与互联网的三维数字化园区安防监控系统：中国专利，ZL 2017 2 0220505.8[P].2017-3-8.
[8]林思源,何汉武,朱腾,等.基于方形边框标识的增强现实三维注册方法[J].传感器与微系统,2019(4)：62-65.
Design and Implementation of Museum Exhibition Interactive System Based on Extended Reality Technology
WANG Ping1,HU Xuegang2,WANG Rongrong3,WANG Le4
(1.Department of Journalism and Communication,Anhui Vocational and Technical College of Press and Publication,Hefei 230601,China；2.School of Computer and Information,Hefei University of Technology,Hefei 230601,China；3.Department of Research and Development,Miyang Technology,Shanghai 201203,China；4.Broadcasting and Transmission Center,China Central Television,Beijing 100859,China)
Abstract: Recently, with the rapid development of science and technology, the traditional exhibition forms of museums can no longer meet the needs of the society.By analyzing the advantages and key technologies of different technologies,such as virtual reality,augmented reality and mixed reality,an interactive program of museum exhibition based on extentecl reality(XR)technology is proposed.The experiment shows that the use of extended reality technology can realize the seamless integration of virtual and real,reproduce the historical scene,extend the viewing space,and expand the connotation of cultural relics. It also to make the cultural heritage renew its vitality, so that the audience can have a deeper interactive experience, and museums can better play their educational and communication functions.
Key words: extended reality；virtual reality；augmented reality；museum；exhibition
DOI： 10.13757/j.cnki.cn34-1328/n.2019.04.011
中图分类号： TP391
文章标识码： A
文章编号： 1007-4260（2019）04-0045-08
收稿日期： 2019-03-27
基金项目： 教育部科技发展中心高校产学研创新基金“北创助教”基金（2018C01042），安徽高校人才社会科学研究重点项目（SK2017A0919）和安徽省质量工程教学研究项目（2017jyxm0830）
作者简介： 汪萍（1985—），女，湖南怀化人，硕士，安徽新闻出版职业技术学院讲师，研究方向为虚拟现实技术、影音后期技术。E-mail：andilyna-521@163.com
标签：扩展现实论文; 虚拟现实论文; 增强现实论文; 博物馆论文; 展览论文; 安徽新闻出版职业技术学院新闻传播系论文; 合肥工业大学计算机与信息学院论文; 芈炀科技研发部论文; 中央广播电视总台播出与传送中心论文;