HERG收益框架及其在学术研究影响评价中的应用，本文主要内容关键词为：学术研究论文,框架论文,收益论文,评价论文,HERG论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
学术研究产生的影响大体上可以分为学术影响和非学术影响。传统的研究影响评价主要关注前者，但近年来学者们的关注范围也逐渐扩展到非学术影响上。非学术影响是指学术研究成果对政策、管理与专业实践、社会行为或公共话语等方面的影响[1]。传统的评价方法如同行评议、文献计量和引文统计等已经不能满足评价这种较宽泛影响的需要。因此，一些学者已经开始研究并开发新的评价框架和方法[2-5]，试图对学术研究的广泛影响进行综合评价。HERG收益框架就是其中的一项重要研究成果，英国Brunel大学的卫生经济研究组(the Health Economics Research Group，HERG)[6]在20世纪90年代中期开发了这个框架，研究人员最初将其用于医疗服务研究领域，经过十余年的发展和完善，目前这个框架已经被广泛应用于多个领域的学术研究影响评价中。我国目前在非学术影响评价方面的研究还非常少，本文旨在通过对国外研究的介绍和分析来引起国内对该类问题的了解和关注。
1 HERG收益框架的基本内容
1.1 框架的理论基础
该框架的基础来源于知识运用理论，该理论兴起于20世纪70年代，主要关注知识和研究如何转化为政策的理论问题。Buxton和Hanney在设计HERG收益框架时将Carol Weiss和其他学者对“研究应用”的研究进行分析并总结出五种“研究应用模型”：经典／纯粹／知识驱动模型(classic/purist/knowledge-driven model)、问题求解／工程模型(the problem-solving/engineering model)、政治模型(the political model)、启迪／渗透／“石灰石”模型(the enlightenment/percolation/limestone model)和交互式／社会互动模型(the interactive/social interaction model)。收益框架采纳了这些知识应用模型的基本观点，将其中的各种概念放进一个“输入—输出”模型的大框架中来分析。收益的概念要比研究应用更为宽泛，它既包括整个知识转化过程一端的知识，也包含了另一端对研究进行应用所产生影响的评价，而研究应用又是这些大量后续收益的关键内容[2]。
1.2 框架构成
整个框架由两个部分构成：一个是用来描述从研究中获得的各种收益的“多维收益类型”，另一个是描述整个研究过程的逻辑模型。
1.2.1 多维收益类型
多维收益类型是对学术研究中产生的各种类型的收益所进行的综合和归类，同时也是评价研究产出及成果的标准。虽然其“收益类型”部分在后来的应用中经历了多次重述和修改，但其整体结构并没有大的变动。
最初设计的收益类型包括五个部分：知识、研究收益、政治和管理收益、医疗部门收益及较广泛的经济收益。后经过Buxton和Hanney的进一步验证又增加了两个子类B(iv)和D(v)（具体见表1）[7]。对社会知识库的贡献是收益框架的第一部分，通过学术研究产生的知识可以是全新的或是实证性的，并且通常以各种出版物和专利申请书为载体。评价这部分内容常用的方法有同行评议、文献计量和专利分析等方法。B类收益实际上主要是对学术研究领域的影响，这部分内容的评价对基础性研究和方法性研究来说尤为重要。这类收益最初只有前面三项内容，后又添加了第四项“员工发展／教育收益”。C类收益是对较为广泛的政治和行政活动的影响，研究能够在各种环境下影响到政策决策，特别是为政策制定提供进行决策支持的信息库(Ci)。D类主要是对医疗服务部门的影响。收益框架对这部分内容的定义相对具体，涉及降低服务费用、提高服务质量和效率以及促进公平等多方面内容。而最后一类“较为广泛的经济收益”则包括从研发中产出的创新商业利用(Ei)和对医疗人力方面的贡献(Eii)。
表1 HERG收益框架多维收益类型[7]
1.2.2 逻辑模型
收益框架的逻辑模型是描述研究收益如何发生的概念框架，它通过七个阶段和两个界面来展示如何评价以及在哪个阶段评价不同类型的收益（见图1）。这个框架将“输入—输出”观点和学术研究与其环境之间的渗透性界面的分析结合在一起，将具体的学术研究项目用“输入—加工—原始产出”来描述。“阶段0”表示其活动发生在具体项目开始之前，在这个阶段需要进行研究需求评估(Research Needs Assessment)。与研究需求评估相关的是研究项目及其环境之间的第一个界面“界面a”，即项目详述、选择和委托(Projects Specification，Selection and Commission)。经过这个界面，研究活动经历研究输入（阶段1）和研究处理（阶段2）两个阶段后获得原始产出（阶段3），原始产出包括产出的知识和研究收益。之后会遇到另一个界面“界面b”，它主要是研究产出的传播。通过这个界面会引出二次产出(Secondary Outputs)（阶段4）和一般的应用(Application)（阶段5），二次产出即是政策与行政决策，而应用则表现为行为的变化。在整个过程的最后会产生影响或最终成果（阶段6）[2]。
经过不断地完善，这个逻辑模型现在已经充分考虑到政治环境和专业环境的重要性以及科学研究的复杂性。它不仅使知识库和研究环境在模型中较清晰地展现，并且还引入和强调了整个过程中发生的各种反馈。这样，学术研究系统和较广泛的政治环境、专业环境和工业环境之间界面的概念以及这些界面的渗透性水平都成为这个模型中的关键元素[8]。
然而，这个HERG收益模型只是一个帮助进行学术研究评估的逻辑模型，而不是一个描述研究应用如何发生的精确模型。因此，不可能完全将收益的类型与模型中的某个具体阶段联系起来，但可以大概识别它们之间的关联关系。例如，收益类型中的前两类（知识和研究收益）都是从研究中获得的原始产出（阶段3）；而C类收益（政治和行政利益）则与二次产出（阶段4）相关联；D、E两类收益则是研究的最终成果（阶段6）[9]。
表2 研究收益类型与收益模型关联表
2 HERG收益框架在研究评价实践中的应用
2.1 HERG收益框架内容的泛化
最初开发HERG收益框架的目的是为了评价医疗服务研究的投资收益情况，但后来这个框架也被应用在许多不同的领域。为了使其符合不同评价项目的具体要求，研究人员将HERG收益框架内容做相应的修改泛化从而将其推广应用。
Buxton等人曾使用该框架来评价英国国民健康服务机构(National Health Service，NHS)在北泰晤士河地区的研究投资收益情况（以下简称NHS项目），他们在D类（医疗部门收益）中增加了一个名为“组织发展(organizational development)”的子类，其目的是为了反映这样一个事实：社区机构和志愿者组织参与研究后，可能会增加资金和资源投入、扩充网络、获得更高的地方或国家地位，或者实现其他的组织发展，这最终可能会导致该机构提供服务的增多[11]。另外，HERG和RAND Europe还使用该框架为医学慈善机构“英国关节炎研究运动组织”(UK's Arthritis Research Campaign，ARC)评价其资助研究项目（以下简称ARC项目）[7,9]，评估人员通过与ARC内部人员和相关领域重要人员进行访谈，吸收了这些人员相关意见的基础上将收益类型及模型各阶段名称都进行了泛化，使得这些名称更适用于基础科学研究及相应的资助模式。之后，HERG收益框架还被用于评价英国经济与社会科学委员会(the Economic and Social Research Council)所资助研究的政策影响与实践影响（以下简称ESRC项目），研究其资助的项目如何影响政策、从业者行为和公众舆论[8,12]，这项活动将该框架的应用范围扩展到评价社会科学领域的广泛影响上。该评价项目对收益的类型做了一些向社会科学领域的推广处理：一方面是将收益类型的内容拓展到社会科学领域，例如，将D类“医疗部门收益”改为“对实践的影响”；另一方面是将类型的名称从“收益(benefits)” 改成“影响(impacts)”，例如，将C类“政治和行政收益”改为“对政策的影响”（见图2）。这些泛化处理工作大大拓展了HERG收益框架的应用领域和评价范围，使其逐渐成为学术研究影响评价的重要框架。
图1 HERG收益框架逻辑模型[10]
图2 HERG收益框架收益类型的泛化
2.2 基于HERG收益框架的评价方法
个案研究和问卷调查是评价学术研究影响的常用方法。但是面对获得的大量定性资料，评价人员往往面临资料如何组织的难题。HERG收益框架的收益类型和逻辑模型为这些评价方法的使用提供了组织和相互比较的模板。其逻辑模型描述了学术研究从最初的研究开始（阶段0）到研究过程（阶段2）再到研究成果的传播（界面b）及最终对人们和社会的影响（阶段6）的整个过程，因此为个案研究提供一个通用的结构，能确保每个研究的同类信息记录在同一位置[12]。使用这种通用结构的好处是有助于案例间的比较分析，例如可以从中识别出学术研究成功转化为社会影响的相关因素[7]。
HERG收益框架为调查问卷的设计提供了基础，能帮助调查获得有关研究项目系统、全面的收益信息。Buxton就曾在NHS项目中以HERG收益框架为基础最早开发了邮寄问卷(postal questionnaire)[11]，这个问卷后来也被一些医疗领域的评价项目修改并使用[13-14]。这些问卷调查的对象通常是从事这些研究的研究人员及其用户，通过他们来搜集研究项目产生影响的详细信息。与问卷调查相比，个案研究是一种资源密集型方法，但它能为整个研究转化为广泛影响的过程提供有益启示，能使得研究内容更为详细。在实际应用中，甚至有的项目只使用个案研究的方法，利用HERG收益框架对这些案例的丰富信息进行组织[9,15]，但更多的项目是将问卷调查和个案研究这两种方法结合起来使用，首先利用调查问卷对多个研究项目进行调查，再对少数几个项目做详尽的个案分析[11-14]。
2.3 学术研究影响的定量评价与可视化表示
不管是调查问卷还是个案研究都只是对被评价研究的收益（影响）进行较分散的定性描述，如果将五个收益类型中的定性描述转换成定量的测度，就能更为直观地展示研究产生的影响。研究人员为此开发了德尔菲评分法，即由相关的专家小组通过反复商讨来达成最终的评价结果[1]。首先要按照HERG收益框架的收益类型对每个研究项目获得收益（影响）的定性描述信息进行组织来准备总结表；然后设计一个用于评分的量表，量表的底端代表没有产生收益，顶端则代表最大的收益；再由专家小组根据研究项目总结表的内容在量表上对这些研究项目所产生的影响进行评分。整个评分过程可以设定几轮来完成，后面的每一轮中研究人员都可以依据之前共享的评分信息来对前一轮的评分进行更正，直到最后一轮得出每个收益类别的最终分数。对于这些专家评分的一致性检验，英国关节炎研究运动组织评价项目[7]和新西兰卫生研究与发展组织ZonMw的“医疗技术评估(Health Technology Assessment，HTA)”影响评价项目[14]都采用了兰德公司的RAM方法(RAND/UCLA Appropriateness Method)[16]来分析专家间的一致性水平和不一致性水平。整个评分过程中，评分系统的可靠性及评分量表的严谨性是得出有价值评价结果的关键。
为了提供每个收益类型中收益水平的直观表示，ARC项目还开发了名为“收益分布(payback profiles)”的收益可视化展示方法，即在一个“蛛网图”的每个轴上为每项研究标上收益分数，以此生成一个五边形，用这个五边形的大小和形状来表示每项研究的收益情况。一个“蛛网图”上可以同时标注多个项目，如使用透明填充(transparent fill)和分布的相互覆盖方法就能获得有关这组研究收益相似性水平的信息。图3展示了两组“收益分布”，每组分别包含了四个研究项目。因此，这种方法还能展示了成组研究项目收益分布的相互比较信息[7]。
图3 使用人工数据生成的两组“收益分布”[7]
3 框架的评价与讨论
HERG收益框架的最大特点在于其多维影响类型的设置。这些影响类型涉及的学术研究影响类型非常全面，将各种影响都囊括其中，同时又不受具体某一种“研究应用”模型的限制。但这也常被批评为不切实际，而事实上确实有许多案例其最终成果很难识别出来[8]。多维影响类型的一个特别价值在于它鼓励在每项评价活动中对利益有一个比较系统和清楚地考虑。在评价中并不需要顾及所有维度，所以这有助于将这些维度置于大环境中，并确保选出的那些维度是关键的[10]。但是，HERG收益框架设置的收益类型中大类和子类之间并不不具有排他性，因此不可避免地会有收益或影响重复计算的风险。
学术研究从研究产出到最终产生政策、经济、社会、实践等各种影响要经历极为复杂的过程，而HERG收益框架则强调从研究产出到影响评价的过程是线性的，这样就大大简化了整个过程的复杂性。这种简化的逻辑模型为评价学术研究的产出和成果提供了一个可操作的框架，但同时也引出另外两个问题，一个是归属问题，即学术研究是否是产生那些各种各样影响的真正关键驱动因素；另一个是附加性问题，也就是说，如果没有被评价的具体项目，这些影响会实现的程度[8]，这涉及如何将学术研究的贡献与其他驱动因素相比较的问题。另外，作为一种前向追踪(forward-tracing)方法，它也会相对忽视学术研究交流和实施的情境[1]。虽然关注逻辑模型中所有阶段的调查问卷和个案研究会在一定程度上提供一些这方面的信息，但想要彻底解决却仍然是个难题。
学术研究产生的影响可能是多样的和特殊的，而这些影响也不一定以标准形式来分布，所以单个个案样本只会提供不均匀或误导性的画面。为了应对这一问题就必须在分析时将一个研究计划中的所有项目都包括在内，随之就会产生资源严重密集的问题[1]。因此，在实际的评价项目中多是挑选部分项目做个案分析，或使用少数几个个案作为问卷调查的补充评价方法。由于不是分析所有的研究项目，那么确定合理、有效的项目样本选择方法就成为去除偏见、提供公正评价的关键。
收稿日期：2011-03-30