基于层次分析法的公众科学项目游戏化设计的评价指标体系构建*
薛 翔1赵宇翔1陈英奇2朱庆华2
（1.南京理工大学经济管理学院 江苏南京 210094）
（2.南京大学信息管理学院 江苏南京 210023）
摘 要： 目前针对公众科学项目的游戏化设计尚未形成系统性的评价指标体系。文章从公众科学项目自身特征出发，梳理了评价指标相关文献，构建了科研众包视角下公众科学项目游戏化设计评价指标体系，其主要包含教育目标、科学目标、游戏交互体验、系统保障4 个维度共计22 项评价指标。在收集专家数据，利用层次分析法确定各指标权重系数后发现，教育性和科学性仍是公众科学项目游戏化设计中的主要考量因素，而用户游戏交互体验和系统保障则居于次要地位，研究人员更倾向于将游戏化作为辅助设计手段。文章最后将评价指标体系应用于Foldit 项目的游戏化设计评估，尝试了现有公众科学项目游戏化设计中存在的游戏体验欠佳等问题，并对未来该领域的游戏化设计提出了若干建议。
关键词： 科研众包；公众科学项目；游戏化设计；评价指标体系；层次分析法
1 引言
公众科学（Citizen Science），又称社区科学、群智科学、公众参与式科学研究，是由科学爱好者、非职业科研人员乃至普通公众在开放科学环境下参与的一类科研活动［1］。 在公众知识素养不断提升、互联网技术快速发展和“大众创业 万众创新”的多重背景下，公众参与科学研究的热情日益高涨，各类公众科学项目大量涌现。为突破传统组织边界，最大限度挖掘大众智慧潜力［2］，科研众包理念应运而生［3］。 在科研众包模式下， 公众可以参与到科研活动的方方面面，从研究任务的设计、志愿者招募到数据采集、分析与处理等［4］，任何一个互联网用户都有潜质成为公众科学家［5］。
然而，在众包平台发展之初，发包方将物质奖励作为激发用户参与动机的主要手段，而众包任务本身的设计相对单调乏味。 此外，在项目的实际开展过程中，发包方往往不会过多关注志愿者的参与动机或体验，更多情况下持有一种“工具思维”，即将公众参与者视为数据采集和信息获取的渠道，导致用户长期参与的黏性和忠诚度均未达到预期。考虑到公众科学项目多为公益性质， 接包方更多是以志愿者的形式参与其中， 缺乏外部物质刺激导致内在驱动不足和项目冷启动的问题更为严重。鉴于此，越来越多的众包平台引入了游戏化设计以改善用户体验， 从而增强公众参与科研众包任务的内在驱动力和持久力。
供水安全与防洪安全并列为两大主体性、基础性的水安全，是粮食安全、经济安全、生态安全等涉水安全不可分离的基础，是影响国家安全的支撑性因子，供水安全与否不仅关乎基本人权和社会公平，影响到经济发展的稳定性和可持续能力，同时也是衡量一个社会福利水平高低的重要标尺，因此保障供水安全成为世界各国治水实践的中心任务，供水安全战略作用示意见图1。
游戏化（Gamification）是指将游戏元素应用于非游戏情境，最早出现在教育学领域［6］。 Zichermann［7］在研究中指出， 游戏化设计能够影响用户的动机和行为，在任务设计及激发用户参与度、忠诚度两个方面具有显著成效。在公众科学项目中已经涌现出一些较为成功的游戏化设计案例，如用于语言学习和翻译的DuoLingo、模拟蛋白质折叠的Foldit、模拟基因测序的Phylo、 分析历史记录的Old Weather 和映射大脑神经通路的EyeWire 等［8］。对已有案例综合梳理后可以发现，积分、勋章、成就、排行榜等游戏化元素的加入能够有效吸引和推动用户参与公众科学项目。
江西省水资源的一个不利特点，是时空分布不均、水资源分布与需求不匹配。全年降雨量的60%左右集中在主汛期4—6月，而用水量的60%则集中在主汛期后的7—9月，由于控制性水利工程少，往往出现汛期洪水成灾、汛后无水可用的局面。水资源开发利用能力不足，特别是水资源调蓄能力不足、供水保证率不高、水资源开发利用率偏低等问题仍然比较突出。一些水问题逐渐显现，甚至成为经济社会发展的制约因素。
就东北而言，由于耕地面积大，明春用肥集中，因此为了保障明春用肥，市场必须有足够的储备。特别对复合肥企业而言，如果明年临近春耕再开始生产是无法满足市场需要的。因此必须提前生产备货，这就要求复合肥企业提前采购基础肥料。
然而， 虽然在公众科学领域已经存在一些成功的游戏化设计案例， 但如何评价该领域的游戏化设计仍然缺乏必要的实证探索， 特别是缺乏系统性的评价指标体系对项目游戏化设计进行指导和评估［9］。因此本文尝试从公众科学项目基本特征出发， 结合已有游戏化设计评价体系研究成果， 构建科研众包视角下公众科学项目游戏化设计的评价指标体系。最后，本文将评价指标体系应用到Foldit 项目中，尝试总结出现有公众科学项目游戏化设计的不足和未来游戏化设计的开发策略。
2 相关工作
现有公众科学项目普遍面临项目任务枯燥、项目冷启动等问题， 因此需要在任务设计中融入激励机制，其目的在于优化用户体验，增强用户参与公众科学任务的动机［9］。Rotman［10］认为用户参与公众科学主要受到四类动机的影响：集体性（Collectivism）、利他性（Altruism）、利己性（Egoism）和原则性（principalism）。当个体由自身利益驱动参与项目时，利己性激励因素将发挥主要作用，这些激励因素包括学习知识和技能，扩展人际关系［11-12］、探索新的职业机会［13］、利用闲置资源［11］等。 利他性激励因素则会促使个体为了其他个体或群体的利益而参与到某个项目中，包括为科学研究做出贡献、保护自然和生物、帮助他人。 当个体为自己所属群体的利益而参与某项活动时，集体性激励因素如协助社区建设、对政府进行支持会发挥重要作用［13］。 而当个体参与项目是出于自己的一些原则时，原则性激励因素会起到主要作用，如责任感［14］。 Tinati 等［15］则在研究中发现，公众自身的奉献、学习、归属感需求，以及项目的挑战、娱乐和游戏属性等， 都是激励用户参与公众科学项目的重要因素， 并且用户持续参与公众科学项目的动机较加入初期可能发生根本性的改变。此外，有学者从用户退出动因角度着手研究后发现， 时间资源的限制和技术使用门槛是导致用户中途放弃参与公众科学项目的主要原因［16-17］。
作为享乐型自我目标系统的巅峰形式， 游戏化是目前用户激励设计中最受欢迎的形式之一［18］。 已有游戏化应用大都是从游戏中借鉴设计模式， 为用户提供类似于游戏的体验，如掌控、自主、流畅或悬疑等感觉［19-20］，从而达到增强用户参与某项活动或行为动机的目的。 同样的，在科研众包平台设计中加入游戏化元素，不仅可以将用户参与众包任务的动机由纯粹的理性追求向自我内在驱动转变［21］，还能够让用户在认知、情感和社交上获益［22］。 如积分作为最明显的游戏化元素之一，将其与其他元素巧妙结合，可以实现不同的游戏化目标，并在参与者之间形成群体竞争，提高用户完成科学任务积极性［23］。 有研究表明，若在任务初期告知用户最终可获得的游戏奖励，将明显提高用户参与兴趣，保障任务反馈的质量［24］。 此外，排行榜元素的具体应用和故事叙述的表现手法等在众包的展示中也存在积极影响［9］。
2003-2015年机场优势度与旅游业发展水平的耦合度保持在0.52～0.61之间，并呈现显著的波动下降趋势(见图2)，说明机场与旅游业发展具有较为紧密的耦合关系，但耦合度不断降低，二者呈现逐渐分离的状态，互动不显著。
鉴于游戏化在用户激励方面的显著效用， 部分学者已经尝试将游戏化设计纳入公众科学项目任务模式研究，如Bowser［25］发现游戏化能激发用户的灵感， Prestopnik［8］认为游戏化设计将对接包方的认知心理和行为产生影响，使其获得情感上的共鸣等。游戏化元素在公众科学项目情境中的成功应用，令用户能够充分发挥主观能动性， 在享受游戏娱乐体验的同时掌握相应科学技能，完成科研任务。 此外，在科学研究中游戏化设计还能对任务完成前后的质量进行控制， 让公众科学项目处于发包方的可控范围，保障数据的顺利获取与回收分析［22］。
总体来看， 虽然目前已有一些关于游戏化设计的论述和实证研究， 但公众科学项目游戏化设计尚未形成统一、体系化的理论研究成果，相关研究仍处于起步阶段，对公众参与、游戏化机制融入等方面也还未构建起标准的评价体系。因此，本文将借鉴已有评价指标体系，综合考量公众科学项目特征和情境，构建科研众包视角下的公众科学项目游戏化设计评价指标体系。
采用SPSS 21.0统计学软件对数据进行处理，计数资料以百分数（%）表示，采用x2检验，以P＜0.05为差异有统计学意义。
在党和政府的关怀下，塔巴林尼姑寺的尼姑们遵纪守法、爱国爱教，为社会团结稳定、藏区和谐稳定做出自己应有的努力和贡献。
3 公众科学项目游戏化设计评价指标体系构建
3.1 公众科学项目游戏化设计评价指标的确立
对游戏化应用项目中的游戏化设计进行评价，能够为服务提供商提供游戏化设计标准， 改善游戏的整体质量和用户的使用体验， 为游戏化机制的健康持续发展提供支持。 国内外现有游戏化设计评价研究普遍采取定性和定量相结合的方式， 主要可以划分为三类［26］：（1）侧重评估游戏化设计的教 学效果，突出游戏本身的教育意义；（2）侧重软件维度，评估软件的可用性、易用性、交互性等方面；（3）侧重简化评价维度，从可用性、内容性、娱乐性和交互性等方面进行评价［27］。 此外，在游戏评价研究中也积累了丰富的评价指标体系，如TEEM 教师评价框架［28］、学习游戏评价设计标准［29］、E/E Grid 评价体系［30］、严肃游戏评价体系［31］等。 这些成熟且兼具影响力的游戏化设计评价指标体系， 为游戏化设计的运用提供了判断标准和设计准则。
3.1.1 一级指标确定
公众科学项目自身往往具有一定的专业门槛和跨时空特征， 在项目中需要对参与用户进行相应的基础技能培训和操作引导， 同时公众科学项目也担负着向公众普及科学知识、 增强科学意识的教育任务。 鉴于现有研究中鲜有与公众科学项目游戏化设计相关的研究成果， 而公众科学项目游戏化设计和教育游戏均存在显著的教育性与游戏化特征， 因此对本文中公众科学项目的游戏化设计评价指标体系构建而言， 教育领域相关游戏化设计评价指标研究成果将具有较高的借鉴意义。 本文对国内外教育游戏评价领域较为成熟的指标体系研究文献进行了整理和归纳， 能够直观的看出教育游戏评价指标体系的研究进展（见表1）。
表1 教育游戏评价指标体系研究进展
由表中可以看出，首先，尽管现有教育游戏评价指标体系众说纷纭， 但需要包含教育性和游戏性两个基础维度已是学界共识。 因此在公众科学项目的游戏化设计中， 除根据项目内容制定相应的教育目标外，设计者还应将游戏质感、反馈、激励机制等影响用户游戏交互体验的因素纳入考虑范畴， 故将教育目标和游戏交互体验作为本文评价体系的一级指标；其次，在上述评价指标体系中还可以发现游戏系统中的可用性、易用性、技术性等因素也是影响游戏化评分的关键因素。 而在公众科学项目游戏化设计中，由于项目自身的开放性、群体协作性，大量不同背景的用户在系统内部进行检索、传播、聚合和评价等多种信息行为，对系统的稳定性、易用性等方面提出了更高的要求， 因此选择系统保障作为游戏化设计评价体系的一级指标。此外，不同于教育游戏更侧重于游戏的教育目标， 公众科学项目普遍存在教育和科学双重属性。 虽然科研众包下的公众科学项目打破了科学研究与公众间的藩篱，让公众接触、理解乃至参与科研成为可能， 但科研任务的简化并不意味着科学标准的降低或科学意识的淡薄， 因此有必要将科学目标作为一级指标， 以评价项目游戏化设计中内容的科学性。
通过一致性检验后， 本文将各级权重逐层相乘计算总权重，整合所有子层次指标权重计算结果，最终确定公众科学项目游戏化设计评价各项指标的权重系数（见表10）。
Yunnan province WANG Zhu CAO Guang-zhu QIN Rong-gao et al.(27)
3.1.2 二级指标确定
（1）教育目标。公众科学项目自身便带有显著的教育特征，在项目的发起阶段，需要对公众开展培训以确保所有参与者有能力完成相关科研任务； 而在项目的推进过程中， 科研任务内容和复杂度也可能发生迭代， 公众需要及时学习并掌握相关技能才能够顺利完成任务。为保证教学效果，在公众科学项目游戏化设计中， 首先需要确保游戏情境和背景应与项目内容、任务要求相匹配，使用户在培训中能够明晰任务目标、意义及完成期限，掌握任务所需技能；其次，基于认知理论，用户思维由认识理解向分析创造转变的过程是循序渐进、逐渐深入的［35］，公众科学项目游戏化设计需要拥有完整清晰、 符合用户认知规律的逻辑结构，游戏由易到难逐步提升，根据项目进展依次传授相关知识技能；第三，为防止用户在使用过程中出现操作或认知障碍， 游戏中应提供详细的注解和完备的操作指南；最后，参考其他教育性游戏评价体系［32］可以发现，游戏内容的实际价值也是教育效果评判的关键指标。
基于此， 本文总结出教育目标维度的具体指标内容（见表2）。
（2）科学目标。 与传统科研项目相比，公众科学项目中的科学传播范式已经由原先的科学普及、公众接收理解科学模式逐渐向公众参与并设计科学的新模式演变。为确保项目内容、实施过程的科学严谨性， 实现有效完成科研任务和提升公众科学素养的双重目标， 有必要对公众科学项目游戏化设计内容的科学性相关指标开展评估。
3．宋·天台金卞《游金庭观》：“寻真穷养浩，崇妙路迢迢。洞掩峰千叠，尘分水一条。白云生石壁，飞阁插崖腰。隐隐存仙迹，浑疑在碧霄。”[7]2426
表2 教育目标维度的具体指标内容
首先， 在公众科学项目开展过程中可能存在海量计算、大规模的样本采集、多样性分析等复杂的任务行为［3］，因此公众科学项目游戏化设计需要严格遵循科学标准，才能够保证最终结果的有效性；其次，游戏化设计内容还要能够实现提升公众科学素养的目标。 关于科学素养评估，Miller［36］最早提出了科学素养三维模型，包括对科学知识和术语的理解、对科学研究方法和过程的理解以及科学与社会间的相关关系的理解三个方面。 王素［37］则认为科学素养应包含四大核心要素：（1）对科学技术、术语、方法有一定认知；（2）理解科学、技术和社会三者间的关联；（3）拥有科学精神， 对科学保持一定的好奇和严谨的态度；（4）能够利用科学技术进行创造或解决世界问题。 2000 年OECD 发布的国际学生科学素养测试大纲（PISA）则更加侧重评估在科学技术情境下，学生能否展现出与其掌握的科学知识相匹配的科学能力水平［38］。 而一个具有科学素养的公民，应该理解科学，积极参与科学，对科学保持一定的好奇和严谨的态度， 因此科学态度和科学意识也应该在评价指标体系中占有一席之地［39］。 据此，本文选择了知识性、方法性和参与创造性作为科学素养方面的评价指标。 此外，作为一项跨越时空的大型科研任务，公众科学项目需要参与者群体协作才能够完成。 因此在游戏中有必要设计交流与讨论功能， 有助于促进不同科研团队在时间维度和空间维度的交流和创新，优化科研资源的配置［3］。
基于此， 本文总结出科学目标维度的具体指标内容（见表3）。
（3）游戏交互体验。游戏化是指在非游戏的情境中融入游戏化元素［40］， 在游戏化设计中游戏元素的合理利用能够增强用户参与的动机， 从而提高参与者的黏性和解决实际问题。 Houtari［41］则更加强调游戏化设计为用户带来的游戏性体验， 他认为游戏化项目不仅仅体现在游戏化机制的植入， 而是利用游戏般的体验来强化服务和功能， 最终创造更多的价值。 抛开公众科学项目游戏化设计的教育和科学外衣，游戏化设计的核心还应该是游戏，因此从用户的游戏交互体验角度对游戏化设计品质进行评价顺理成章。
表3 科学目标维度的具体指标内容
Chou［42］对用户游戏行为进行长期观察后总结出游戏化中影响用户参与体验的八大核心驱动力，具体包括：（1）重大使命感和召唤；（2）进度与成就感；（3）创造授权与反馈；（4）所有权与拥有感；（5）社交影响与同理心；（6）稀缺性与渴望；（7）未知性与好奇心；（8）亏损与逃避心。因此，在公众科学项目游戏化设计中应囊括以下四点：（1）成就感。 用户能够在游戏中实现自我价值，获得成就感；（2）互动性。互动性既是公众科学项目的显性特征， 也是科研任务完成的前提条件［3］，因此游戏中要能够满足用户的社交性、社区归属感需求，用户间可以互相交流、竞争或合作；（3）激励机制。在游戏中设置奖惩激励机制，研究表明经验、 勋章等游戏机制能够显著提升用户的持续参与兴趣［9］；（4）娱乐性。作为游戏化基本特性之一，娱乐性是人们参与、沉浸在游戏中的重要因素。而在公众科学项目游戏化设计中， 应注意弱化科学研究在公众心目中的严肃印象，增强游戏趣味性，满足用户的探索需求和娱乐需求。
3.2.3 指标权重分析
基于此， 本文总结出游戏维度的具体指标内容（见表4）。
表4 游戏交互体验维度的具体指标内容
（4）系统保障。由于公众科学项目大都依托技术平台建立， 因此用户参与行为将无可避免地涉及大量信息技术的使用， 信息技术接受模型尝试从理性角度分析了技术的有用性、易用性、态度等因素对用户行为意图的影响［44］。 在教育领域的游戏化实践中，已经积累了大量游戏案例， 这些游戏从本质上而言类似于软件产品， 而公众科学项目中的众包平台作为在线应用本身也需要从技术维度进行分析。因此，本文将借鉴教育游戏评价中的系统和技术性相关指标完成系统维度的指标构建。
在系统维度评估中， 可用性是最为重要的评价指标之一。 可用性研究领域专家Nielsen［45］在研究中指出，可用性评价包含5 个维度：可记忆性、可学习性、高效性、容错性和满意度。而在实际应用中，可用性因侧重点不同又进一步分解为交互效率、 用户界面、软件内容等二级指标。 由此可见，倘若将公众科学项目游戏视作一个完整的信息系统， 其可用性设计状况将对整个系统的交互效率、 用户满意度等指标产生深远影响。 此外，在公众科学项目中，不同背景的参与者在科研任务中可以扮演不同的角色，如数据采集者、汇报者、设备共享者等，用户能够在群体协作模式下完成研究设计、协作式信息分析、辅助式研究开发等工作［3］。 因此，公众科学项目游戏化系统需要具备一定的开放性， 降低所有潜在参与者的进入门槛， 同时该系统也需为用户在线协作活动提供必要的技术支持。
当CR＜0.1 时，判断矩阵通过一致性检验，此时判断矩阵的满意一致性较高。根据上述方法，可以计算出各判断矩阵的一致性检验结果（见表9）。
表5 系统保障维度的具体指标内容
3.1.3 评价指标体系的最终确定
《艺文类聚》卷一引《三五历记》云：“盘古氏开天辟地，分混沌，辨清浊，后乃有三皇。”《广博物志》卷九引《五运历年记》云：“盘古之君，龙首鳞身。”《山海经·海内古语》载：雷泽中有雷神，龙身人头，鼓其腹。”
在分别完成教育目标、科学目标、游戏交互体验和系统保障四个维度的评价指标体系构建后， 笔者发现各维度指标间存在部分重合，故剔除不同维度内概念相近的二级指标，仅保留该指标在核心维度的表达， 最终确定公众科学项目游戏化设计评价指标体系包含四个维度（A-D）共计22 项指标（见表6）。
3.2 公众科学项目游戏化设计评价指标权重的确定
通过文献分析， 本文完成了公众科学项目游戏化设计相关评价指标体系构建， 包含4 个维度共计22 项指标。 为进一步确定不同指标间的重要性，本节将采用层次分析法， 邀请专家评分并构建判断矩阵，计算评价体系内各项指标权重。
试验田于2017年6月9日整地做畦，11日人工播种（行距60 cm，株距25 cm），16日出苗，17日喷灌，21日防治二点委叶娥，23日定苗，24日按设计施基肥。7月15日化学除草，20日玉米螟防治，24日按试验设计追施尿素，9月21日收获。试验期间7月6日、7日、9日中雨，7月14日大雨，7月30日、31日中雨，8月2日大雨，8月13日中雨，8月20日大雨。、
表6 公众科学项目游戏化设计评价指标体系
3.2.1 指标权重计算
收集所有专家数据后，对其进行平均值运算，将运算结果作为建立判断矩阵的依据， 确定指标的两两相对重要性，建立判断矩阵并计算出权重（见表7）。
3.2.2 一致性检验
当判断矩阵的阶数n＞2 时， 往往难于构造出具有良好一致性的判断矩阵， 因此有必要进行一致性检验以判定由判断矩阵计算出的权重是否合理。 对于一致性的检验， 首先引入各个断矩阵的最大特征根λmax，再由
，求出CI 的大小，最后引入指标RI 值， 通过查看相应阶数的RI 值来检验判断矩阵的一致性。 倘若判断矩阵的阶数小于3，则判断矩阵具有较强的一致性； 如果判断矩阵的阶数大于2， 判断矩阵的一致性指标CI 与相同阶数的平均随机一致性指标RI（见表8）的比值，称为随机一致性比率CR，即
。
图3中的产品质量信用理论模型是企业产品质量信用关系模型的一种表达方式。产品质量信用意愿、产品质量提供能力是产品质量信用水平的内部决定因素，对应的影响指标为决定型指标。产品质量保障能力是产品质量信用水平的外在表现因素，对应的影响指标为反映型指标。即产品质量信用意愿、产品质量提供能力和产品质量保障能力三个方面是该关系模型的输入，输出的是产品质量信用水平。因此，企业产品质量信用评价的关系表达式可以表示为：
表7 各级指标判断矩阵及权重
表8 判断矩阵RI 数值表
因此，本文拟从可用性、易用性等角度构建公众科学项目游戏化设计系统维度指标体系（见表5）。
表9 各级指标判断矩阵一致性检验
从表中可以发现， 各判断矩阵的CR 值均小于0.1，所有矩阵均通过了一致性检验，具有满意的一致性。
此外，O’Brien［43］在研究中还发现美学对用户体验存在正向激励， 因此强化公众科学项目游戏的艺术感，能让原本枯燥的任务变得更加形象生动［43］。 而听觉、视觉、触觉多种感知的叠加组合，让用户能够全身心投入游戏，实现flow 状态，满足用户的沉浸式体验。最后，游戏化设计需要满足用户的自主和控制需求，在游戏中用户能够自主选择游戏难度、时长或者对游戏中各类设置选项进行控制以满足其个性化需求。
综上，本文选定教育目标、科学目标、游戏交互体验、 系统保障四个维度作为公众科学项目游戏化设计评价体系的一级指标。
公众科学项目游戏化设计相关研究目前还处于起步阶段，研究团体较为零散，且国内公众科学项目尚未普及，参与者规模较小。为保证研究的科学性和严谨性， 本文邀请公众科学项目研究人员以及其他深入参与过游戏化和公众科学项目设计的业界人员作为群体决策专家。 本文共计发放调查问卷20份，回收问卷20 份，有效问卷17 份，无效问卷3 份，问卷整体有效性为85%。
由表10 可以发现以下几点：
（1）公众科学项目游戏化设计评价指标体系的权重分布呈现两极化，极差达到0.1459。 其中，严谨性和科学意识权重均大于0.1， 说明作为科学研究活动，科学性仍然是公众科学项目游戏化设计中首要考虑的因素。 此外，权重排序前3 的严谨性、科学意识、内容价值性指标的权重系数明显高于其他指标，这也与公众科学项目的教育、科学双重目标相吻合。
（2）虽然公众科学项目游戏化设计需要强调游戏内容的科学性和教育性， 但娱乐性指标与系统易用性指标分列四、五位同样不可忽略。娱乐性指标靠前凸显了用户对有趣、愉快的游戏体验的需求，而易用性则表明在公众科学项目移植到游戏化情境中，系统技术层面用户更看重的是否能更加便捷、 有效地理解、执行任务。
表10 公众科学项目游戏化设计评价指标权重
（3）在权重前10 的二级指标中，教育目标和科学目标分别有三项， 游戏交互体验和系统保障各自拥有两项， 这表明本文游戏化设计评价指标体系一级指标设置较为合理，能够涵盖多数重点细分指标。此外值得注意的是，虽然娱乐性、系统易用性、系统稳定性、激励机制等指标受到了部分重视，游戏交互体验和系统保障两个维度下的二级指标权重整体排名仍相对靠后，说明在公众科学项目游戏化设计中，游戏只是一种表征形式， 是触发用户参与动机的辅助手段，尚未真正成为设计重点。
综上所述， 在本研究构建的公众科学项目游戏化设计评价指标体系中，教育和科学维度比重较大，游戏和系统维度相对较弱。在一级指标的权重中，科学目标（0.3944）、教育目标（0.2389）、游戏交互体验（0.1972）、系统保障（0.1694），科学性相关维度重要性最高，系统保障维度权重占比最低。表明现阶段专家更加看重游戏化背后的实施效果， 即实现公众科学项目的预期教育和科学目标， 对游戏化设计中用户体验和系统设计方面的关注还有待加强。
4 公众科学项目游戏化设计评价指标体系应用与分析
4.1 项目背景及评价体系应用
在一些任务粒度较高的公众科学项目中， 接包方在任务理解上存在一定难度， 若采取平铺直叙式的简单描述，很容易让用户对任务理解产生偏差，甚至放弃任务。 因此这类项目往往更需要进行游戏化设计优化用户体验， 吸引更多的用户参与以达到项目预期。Foldit 是较为成功的高粒度公众科学项目之一，该项目2008 年发布，玩家通过游戏内工具拖拽旋转蛋白质骨架，使得蛋白质能量最低。整个任务中用户有较强的自主性， 可以通过不断尝试提高自己的分数并将总结出来的一些高分技巧转化成下一版本的工具， 未来还可能依托大众智慧设计全新的蛋白质。用户在游戏过程中得到有效反馈，有较强参与感， 高任务自主性使得用户更愿意参与并分享传播这类项目，最终实现项目目标。因此，本文选择Foldit项目作为测评对象。
鉴于公众科学项目的参与者主要还是普通大众， 因此本文在实验者选择上还从用户体验维度出发，筛选出了12 名对普通游戏或教育游戏都有使用经验并且了解公众科学的普通用户。邀请他们在体验Foldit 游戏后，结合个人经验和感受对游戏各项指标评分（5 分制：1 分最低，5 分最高）。 最后，在收到所有用户评分数据后，笔者结合评价指标体系指标权重计算出Foldit 游戏的最终评分为3.5937 分（见表11）。
4.2 结果分析与讨论
经过计算可以发现，Foldit 项目总体得分较高。其在教育目标维度的游戏化设计得到了用户的普遍认可，如目标明确性、情境适应性、内容价值性等。用户的实际游戏体验也表明Foldit 游戏的科学教育目的得到落实，项目科研任务被完整移植入游戏情境，每步操作的提示能很明确的告知用户操作方法，得分进度条能有效显示当前的进度， 每步操作都能得到有效反馈，游戏系统的稳定性、易用性和开放协作性较好。
表11 Foldit 游戏化设计评价指标得分
然而，Foldit 项目也存在明显的缺陷， 如游戏性维度指标得分相对较低，艺术感、沉浸感、互动性等指标得分均低于3 分。通过访谈得知，用户普遍认为该游戏有难度，一是项目本身为英文界面，存在阅读理解门槛； 二是公众生物学知识欠缺， 基础不够扎实。 此外游戏整体设计不够精良，趣味性较低，虽然能比较高效地应对公众科学项目任务， 也添加了玩家对战、游戏排名等游戏元素，但游戏界面过于简单直白、缺乏情节铺垫，导致用户游戏体验欠佳，持续参与意愿快速降低。
膀胱爆炸损伤程度可由黏膜损伤至膀胱破裂，黏膜损伤者留置尿管即可。膀胱破裂者，如镜下见裂口通向腹腔或裂口较大伴活动性出血，应立即手术修补，并检查邻近肠道有无损伤。如为腹膜外损伤，破口较小且无活动性出血，可行保守治疗，保证尿液引流通畅。爆炸所致膀胱裂口常不规则且多发，修补时应仔细。
综上，Foldit 项目游戏设计简洁系统友好， 并且任务目标清晰明确， 能够帮助用户快速理解任务内容，提高参与者在蛋白质结构预测方面的能力。通过Foldit 游戏可以窥见，游戏化设计对公众科学项目推进存在直接的积极作用。 在公众科学项目的游戏化进程中， 发包方还需要加强游戏沉浸式体验方面的相关设计，在平台系统维度做好技术把控，保障系统的稳定性和易用性，让用户在参与过程中得到顺畅的游戏体验， 才能达成公众科学项目的教育与科学目标。
5 结语
本文从公众科学项目任务驱动的特征出发，梳理评价指标相关文献， 利用层次分析法和案例分析法， 构建了科研众包视角下公众科学项目游戏化设计评价指标体系，包含教育目标、科学目标、游戏交互体验、系统保障四个维度共计22 项评价指标。
在该评价指标体系中， 教育和科学相关维度被赋予了较大的权重，主要包括情境适应性、目标明确性、严谨性和科学意识等二级指标，说明在现阶段完成参与者技能培训目标和确保项目科学有效推进仍是公众科学项目工作重点。同时，系统保障维度的系统易用性、 稳定性等要素是科研任务有效执行的基础， 增强游戏设计中的娱乐性能够有效改善用户的交互体验。此外值得注意的是，在公众科学项目游戏化设计评价中， 用户的游戏交互体验维度权重却处于相对次要的地位。作为本文研究的重点之一，游戏化设计虽然已经在多个领域得到广泛运用， 但在公众科学项目中游戏化中学者还是倾向将其作为一种辅助手段，借助游戏形式将非游戏情境完美表达。但未来或许随着公众科学项目游戏化研究的展开和深入，游戏维度的重要性将逐渐凸显。
中国电子信息从1995年进入了高速发展阶段，所以“95”后比“90”后更早的接触到并了解到信息技术，而信息随着互联网的发展传递更加快速，也具有了越来越多的传递方式，例如：QQ、微信、微博等平台。网络直播属于较新的信息传递平台，主体用户是在校大学生，越来越多的网络直播平台突然冒出来，并且一夜之间火热起来，大学生们喜欢跟随潮流，将平时生活中遇到的发生的事情不仅仅只局限于用文字图片的形式分享给大家，而是网络直播给同学、朋友以及其他用户观看，分享自己的生活心情，思想政治教育工作者要结合现在“95”后大学生的特点，合理的运用网络直播开展思想政治教育工作就变得非常重要。
本文将评价指标体系应用到Foldit 项目中，总结出现有公众科学项目中游戏化设计存在的不足和未来游戏化开发的策略。 由于Foldit 满足原生项目的教育性和科学性要求，因此总体得分较为满意，但也存在公众科学项目的通病——游戏交互体验欠佳。在未来的公众科学项目游戏化设计中，发包方应继续深化“任务驱动，目标导向”的核心宗旨，依托任务情境加强游戏化元素的表征，同时注重提升系统质量，完善相关功能与机制。
参考文献 ：
［1］ 张轩慧，赵宇翔.国际公众科学领域演化路径与研究热点分析［J］.数据分析与知识发现，2017，1（7）：22-34.
［2］ 胡昭阳，汤书昆.众包科学：网络时代公众参与科学的全新尝试——基于英国“星系动物园”众包科学组织与传播过程的讨论［J］.科普研究，2015，10（4）：12-20，34.
［3］ 赵宇翔.科研众包视角下公众科学项目刍议：概念解析、模式探索及学科机遇［J］.中国图书馆学报，2017，43（5）：42-56.
［4］ 牛毅冲，赵宇翔，朱庆华.基于科研众包模式的公众科学项目运作机制初探——以Evolution MegaLab 为例［J］.图书情报工作，2017，61（1）：5-13.
［5］ WIEDERHOLD B K.Citizen Scientists Generate Benefits for Researchers，Educators，Society，and Themselves［J］.Cyberpsychology Behavior & Social Networking，2011，14（12）：703-704.
［6］ DETERDING S，DIXON D，KHALED R，et al.From game design elements to gamefulness：defining gamification［C］.Proceedings of the 15th International Academic MindTrek Conference：Envisioning Future Media Environments.ACM，2011：9-15.
［7］ ZICHERMANN G，CUNNINGHAM C.Gamification by Design：Implementing Game Mechanics in Web and Mobile Apps［M］.O'Reilly Media，Inc.2011.
［8］ PRESTOPNIK N R，TANG J.Points，Stories，Worlds，and Diegesis：Comparing Player Experiences in Two Citizen Science Games［J］.Computers in Human Behavior，2015，52：492-506.
［9］ 徐炜翰，赵宇翔，刘周颖.面向众包平台的游戏化框架设计及元素探索［J］.图书情报知识，2018，183（3）：6，28-36.
［10］ ROTMAN D，PREECE J，HAMMOCK J，et al.Dynamic Changes in Motivation in Collaborative Citizen Science Projects［C］.Proceedings of the ACM 2012 Conference on ComputerSupported Cooperative Work，2012：217-226.
［11］ Holohan A，Garg A.Collaboration Online：The Example of Distributed Computing［J］.Journal of Computer-Mediated Communication，2005，10（4）：1.
［12］ Mankowski T S ，Slater S J ，Slater T F .An Interpretive Study of Meanings Citizen Scientists Make When Participating in Galaxy Zoo［J］.Contemporary Issues in Education Research，2011，4（4）：25-42.
［13］ King K N，Lynch C V.The Motivation of Volunteers in The Nature Conservancy-Ohio Chapter，a Non-Profit Environmental Organization［J］.Journal of Volunteer Administration，1998，16：5-11.
［14］ CROWSTON K，FAGNOT I.The motivational are of massive online collaboration.submitted for publication［C］.2011.
［15］ Tinati R，Luczak-Roesch M，Simperl E，et al.An investigation of player motivations in Eyewire，a gamified citizen science project［J］.Computers in Human Behavior，2017，73：527-540.
［16］ Rotman D，Hammock J，Preece J J，et al.Does motivation in citizen science change with time and culture?［C］.Proceedings of the 17th ACM Conference on Computer Supported Cooperative Work & Social Computing：ACM，2014：229-232.
［17］ Jennett C，Kloetzer L，Schneider D，et al.Motivations，learning and creativity in online citizen science ［J］.Journal of Science Communication，2016，15（3）：5.
［18］ Morschheuser B，Hamari J，Koivisto J，et al.Gamified Crowdsourcing：Conceptualization，Literature Review，and Future Agenda［J］.International Journal of Human-Computer Studies，2017：S1071581917300642.
［19］ Kai H，Hamari J.A definition for gamification：anchoring gamification in the service marketing literature［J］.Electronic Markets，2017，27（1）：21-31.
［20］ Seaborn K，Fels D I.Gamification in theory and action：A survey［J］.International Journal of Human-Computer Studies，2015，74：14-31.
［21］ Jung J H，Schneider C，Valacich J.Enhancing the Motivational Affordance of Information Systems：The Effects of Real-Time Performance Feedback and Goal Setting in Group Collaboration Environments［J］.Management Science，2010，56（4）：724-742.
［22］ DETERDING S.The Lens of Intrinsic Skill Atoms：A Method for Gameful Design［J］.Human-computer Interaction，2015，30（3-4）：294-335.
［23］ CHOI J，CHOI H，SO W，et al.A Study about Designing Reward for Gamified Crowdsourcing System［C］.International Conference of Design，User Experience，and Usability.Springer，Cham，2014：678-687.
［24］ Kacorri H，Shinkawa K，Saito S .Introducing game elements in crowdsourced video captioning by non-experts［C］Proceedings of the 11th Web for All Conference，2014：1-4.
［25］ BOWSER A，HANSEN D，HE Y，et al.Using Gamification to Inspire New Citizen Science Volunteers ［C］.Proceedings of the 1st International Conference on Gameful Design，Research，and Applications.ACM，2013：18-25.
［26］ 叶长青，王海燕，王萍.数字化教学游戏三维评价体系架构［J］.远程教育杂志，2009，17（6）：71-73.
［27］ GARZOTTO F.Investigating the educational effectiveness of multiplayer online games for children［C］.Proceedings of the 6th international conference on Interaction design and children.ACM，2007：29-36.
［28］ McFarlane A，Sparrowhawk A，Heald Y.Report on the educational use of games［M］.TEEM（Teachers evaluating educational multimedia），Cambridge，2002.
［29］ Galvis A，Moeller B.Rubric for Assessing or Designing Playful Learning Spaces［J］.Playspace Public Paper，2002（5）：4-7.
［30］ MENA R J R.Game Assesement using the E/E Grid［M］.SensePublishers，2011.
［31］ ANNETTA L A，LAMB R，STONE M.Assessing Serious Educational Games［M］.SensePublishers，2011.
［32］ 沈娟.中美教育游戏评价指标体系比较研究［D］.杭州：杭州师范大学，2015.
［33］ 范云欢，崔金英.网络教育游戏评价量规的开发与应用研究［J］.中国教育信息化，2008（3）：10-12.
［34］ 赵阳.教育游戏评价指标体系研究［D］.郑州：河南大学，2012.
［35］ 鲍雪莹.信息素养教育游戏的评价指标体系构建及应用研究［D］.南京：南京大学，2016.
［36］ MILLER J D.Scientific Literacy：A Conceptual and Empirical Review［J］.Daedalus，1983，112（2）：29-48.
［37］ 王素.科学素养与科学教育目标比较——以英、美、加、泰、中等五国为中心［J］.外国教育研究，1999（2）：5-9.
［38］ 刘克文，李川.PISA2015 科学素养测试内容及特点［J］.比较教育研究，2015，37（7）：98-106.
［39］ 冯翠典.科学素养结构发展的国内外综述［J］.教育科学，2013（6）：62-66.
［40］ HAMARI J，KOIVISTO J.Why do people use gamification services?［J］.International Journal of Information Management，2015，35（4）：419-431.
［41］ Huotari K，Hamari J.Defining Gamification-A Service Marketing Perspective［C］.16th International Academic Mindtrek Conference.ACM，2012.
［42］ YU-KAI CHOU.Gamification&Behavioral Design［EB/OL］.［2019-03-28］.http：//yukaichou.com/gamification-examples/octalysis-complete-gamification-framework/.
［43］ O’BRIEN H L，TOMS E G.The Development and Evaluation of a Survey to Measure User Engagement［J］.Journal of the American Society for Information Science and Technology，2010，61（1）：50-69.
［44］ DAVIS F D.Perceived usefulness，perceived ease of use，and user acceptance of information technology［J］.Mis Quarterly，1989，13（3）：319-340.
［45］ （美）JAKOB NIELSEN.刘正捷，等译.可用性工程［M］.北京：机械工业出版社，2004.
Developing Evaluation Index System of Gamification Design in Citizen Science Projects based on Analytic Hierarchy Process
Abstract The gamification design of Citizen Science Projects has not yet formed a unified and systematic theoretical research results. Researchers lack a quantitative evaluation index system to guide and evaluate the gamification design of citizen science projects. After combing the literature related to the evaluation index of gamification design, the study constructs the evaluation index system of gamification design of citizen science projects. This evaluation index system includes four dimensions: educational goals, scientific goals, game interaction experience, and system security. After collecting the data of experts and analyzing the weight coefficients of each index by using the analytic hierarchy process(AHP), this study finds that education and science are still the main considerations of citizen science projects' gamification design, while users' game interaction experience and system security are in the secondary position, which suggests that researchers are more likely to use gamification as an auxiliary design tool. Finally, the evaluation index system is used to evaluate the gamification design of the Foldit project. The shortcomings of the gamification design in the existing public science projects are summarized, and the future gamification development strategies are put forward.
Key words scientific crowdsourcing; citizen science projects; gamification; evaluation index system; AHP
中图分类号： G315
文献标识码： A DOI：10.11968/tsyqb.1003-6938.2019042
*本文系国家自然科学基金面上项目“基于科研众包模式的公众科学项目运作与管理机制研究”（项目编号：71774083）与中央高校基本科研业务费专项资金资助项目“大数据驱动的公共文化服务价值共创机制研究”（项目编号：30919011104）研究成果之一。
收稿日期： 2019-05-20；
责任编辑： 魏志鹏；通讯作者：赵宇翔（yxzhao@vip.163.com）
作者简介： 薛翔（1995-），男，南京理工大学经济管理学院硕士研究生，研究方向：人机交互、社会化媒体；赵宇翔（1983-），男，南京理工大学经济管理学院教授，博士生导师，研究方向：人机交互、社会化媒体；陈英奇（1993-），女，南京大学信息管理学院硕士研究生，研究方向：网络信息资源管理；朱庆华（1963-），男，南京大学信息管理学院教授，博士生导师，研究方向：社会化媒体、用户信息行为。
标签：科研众包论文; 公众科学项目论文; 游戏化设计论文; 评价指标体系论文; 层次分析法论文; 南京理工大学经济管理学院论文; 南京大学信息管理学院论文;