知识产权政策评估指标体系的构建及其应用研究，本文主要内容关键词为：指标体系论文,及其应用论文,知识产权论文,政策论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
一、引言
知识产权政策是指政府以国家的名义，通过制度配置和政策安排对于知识资源的创造、归属、利用以及管理等进行指导和规制的规定[1]，具体包括各级、各类政府部门为实现知识产权发展目标而制定的知识产权战略、法令、措施、办法、方法、制度、条例等。加入世界贸易组织以来，我国知识产权事业进入了快速发展的阶段。知识产权制度作为鼓励和保护创新的基本制度，在推动自主创新、建设创新型国家中发挥着重要的作用。近年来，从国家到地方都出台了许多知识产权政策①。这些政策制定得是否科学？实施的效果如何？如何对现有的政策进行完善？如何更加科学地制定和执行新的知识产权政策？所有这些问题都有赖于科学的知识产权政策评估。要对知识产权政策进行评估，首先必须建立起一套科学的知识产权政策评估指标体系。但是到目前为止，不论是在理论研究还是在实践操作层面，我国都没有建立专门针对知识产权政策的评估指标体系，给相关部门的工作带来了很大的困难。
从国内外研究的现状来看，国外的知识产权政策大都归属于创新政策的范畴，对知识产权政策的评估往往包含于创新政策评估中，单列出来的研究成果并不多见②，但是国外在创新政策的制定和管理方面具有较丰富的研究成果与实践经验[3-5]，可以为我国开展知识产权政策评估提供一定的借鉴。从国内的研究来看，知识产权与政策评估是近年来理论界研究的两大热点，但是对两者的交叉研究很少。目前知识产权政策评估方面的文献可分为两类：一类是对知识产权政策进行介绍和述评，例如：袁晓东(2006)介绍了我国科技项目中知识产权政策的演变及不足之处[6]；郭丽峰、高志前(2004)评价了我国鼓励自主知识产权的政策[7]；彭茂祥(2006)初步探讨了如何构建我国知识产权公共政策体系的问题[8]等等。这些文献只是对知识产权政策的内容、功能等进行描述，并不是严格意义上的、规范的政策评估。第二类是对知识产权政策实施效果的评价，这类文献从今年开始才出现，例如：黎运智、孟奇勋(2008)介绍了韩国知识产权政策运行的绩效[9]，管煜武(2008)初步分析了上海市专利资助政策导致的专利价值的变化[10]，齐欣、张继东(2008)评价了政府支持企业发展自主知识产权政策的效果[11]等等。这些文献只是对政策运行效果的评估，并没有涉及政策制定和实施等重要环节，也没有设计出系统的政策评估指标体系③。可见，知识产权政策评估是我国知识产权研究中非常薄弱的环节，亟需加强。
2008年6月《国家知识产权战略纲要》正式发布，标志着我国的知识产权工作进入了新的发展阶段。通过国家层面知识产权战略的推进，我国还会不断地出台各类知识产权政策，为此必须加快建立科学的知识产权政策评估体系，这对推进我国知识产权政策的科学化进程和创新型国家的建设，具有重要的理论价值和现实意义。本文将构建知识产权政策评估的指标体系，设计指标权重，并且通过对上海市专利资助政策的评估实例，对指标体系进行检验。
二、知识产权政策评估指标体系及权重的设计
（一）知识产权政策评估指标体系的设计原则
建立科学的评估指标体系是知识产权政策评估取得成功的关键和保证。为保证指标体系这一度量工具的有效性和可信度，主要遵循以下原则设计指标体系：
1.系统性原则 要求指标体系具有足够的涵盖面，能充分反映知识产权政策绩效的系统性特征，各指标之间逻辑严密、层次分明。既要包括反映知识产权政策绩效活动结果的静态指标，也要包括反映知识产权政策制定、实施的动态过程指标。
2.可操作性原则 一是充分考虑指标数据的可获得性，要求能够通过资料查阅、问卷调查、现场访谈等方式采集到指标数据，尽可能避免评估主体在评价时的主观随意性；二是合理控制指标体系的规模，避免形成庞大的指标群或层次过于复杂的指标体系。
3.有效性原则 指标体系必须与被评估知识产权政策的内涵与结构相符合，能够反映知识产权政策绩效的主要特征，经得起指标的效度检验。
4.动态性原则 指标体系要具有适当的可扩展性，能够根据不同的评估对象、评估要求和评估阶段灵活地增加或删减指标。
（二）知识产权政策评估指标体系的设计流程及方法
建立知识产权政策评估指标体系的出发点是把知识产权政策绩效结构系统中涉及的各个领域的复杂关系简单化，用适当的评估指标获取尽可能多的评估信息。为确保质量，设计如下流程以建立知识产权政策评估的指标体系（见图1）。
首先，在知识产权发展战略的指导下，界定知识产权政策评估的内涵、目标及对象。随后，在大量查阅国内外政策评估、知识产权方面的相关理论研究和实践成果的基础上，以知识产权理论、政策过程及政策评估理论、利益相关者理论等多种理论为依据，深入分析知识产权政策过程、政策绩效的形成机理和绩效特征，并以此为基础设计指标体系。
在设计初步的指标体系时，还应选择恰当的逻辑框架。具体包括：(1)“4E”逻辑框架：即经济性(economic)、效率性(efficiency)、效果性(effectiveness)、公平性(equity)，此框架是目前国内外公认的建构公共部门（或公共产品）绩效评估指标体系的基本主题，它同样适用于知识产权政策（属于公共政策）的评估。(2)“输入—转换—输出”的系统论逻辑框架：它强调系统从输入到转换到输出的过程，是经典的绩效评估模式。(3)政策制定—政策实施—政策结果及其影响的政策过程框架[15]。这三类逻辑框架是指标设计的重要依据，渗透于各个评估维度和评估指标中，要求针对知识产权政策的制定、实施、效果等全过程，展开效率、效果、效益、公平性等多方面的评估，为知识产权政策的去向（继续、调整、终结）、相关资源的合理配置等提供依据。
图1 知识产权政策评估指标体系的设计流程及方法
依据指标设计原则和逻辑框架，设计指标体系的层次结构及初步的二级指标体系，并通过专家访谈和问卷调查进行修正，待二级指标确定后再逐层细化到三级和四级指标。由于初步构建的绩效评估指标体系具有较强的主观色彩，必须对其进行检验和修正，以增强评估指标的科学性和可操作性。主要采用以下方法：(1)自我检验。将备选的四级指标逐一对照指标体系设计原则、知识产权政策绩效特征等进行筛选，删除不符合要求的项，调整、完善指标，力争达到逻辑的严密性和完整性。(2)专家检验。将初步的评估指标体系制成专家咨询表和访谈提纲，采用邮寄信件、电子邮件、现场访谈等方式，邀请来自学校、研究机构、企业的相关专家进行筛选[4]，删除那些隶属度偏低的指标，并综合专家的修改意见进行指标调整。三是实证检验。运用设计的指标体系对《上海市专利资助办法》等政策进行试评估，以检验指标体系和评估方法的科学性及可行性。根据试评估中发现的问题进一步修正指标体系。通过以上检验方法，不断地修改和完善指标，最终确定知识产权政策评估指标体系。指标体系的内容确定之后，再为每个四级指标设计详细的操作系统，包括每个指标的含义、所占的权重、可选的评估主体、评估方法及评分标准等，以便于实践操作。
（三）知识产权政策评估指标体系的建立
依据上述设计流程，考虑知识产权政策评估的质量要求和复杂性，采用四级树状式指标体系结构。首先，根据设计指标体系的目的，将指标体系的目标层定为“知识产权政策绩效”。再确定知识产权政策评估的基本维度和要素（一级指标），包括知识产权政策制定(A1)、知识产权政策实施(A2)、知识产权政策效果(A3)3个一级指标。在此基础上再细化分解出6个二级指标、13个三级指标和48个四级指标（详见表1、表2），形成结构合理的递阶指标体系结构。从指标类型看，成本指标与业绩指标相结合、定性指标与定量指标相结合、静态指标与动态指标相结合。
1.知识产权政策制定环节的评估 知识产权政策制定主要评估知识产权政策的制定过程及决策程序的规范性、科学性，以及政策方案本身的科学性、合理性等内容。该指标下设政策程序（B1）、政策方案(B2)两个二级指标，具体考察政策依据、政策方案的拟制及论证、政策目标、政策方案的具体内容等情况。政策依据指标(C1)主要从知识产权政策制定的理论依据（国内、国外）、该政策问题
2.知识产权政策实施环节的评估 知识产权政策实施环节的评估主要是考察知识产权政策实施机制的完备性和政策实施的成本及效率等方面，该指标下设政策实施机制(B3)、政策实施成本及效率(B4)两个二级指标，具体评估知识产权政策传达、政策落实、政策监督与反馈、政策资源的投入和资源的利用效率等内容。知识产权政策传达指标(C5)考察对特定知识产权政策的宣传情况（途径、力度）以及相关主体对政策的认知度；知识产权政策落实指标(C6)考察相关政策的配套程度、实施知识产权政策所需的信息系统的完备情况、采取的政策手段的合理性、政策执行主体及政策对象的素质、政策的稳定性等方面；政策监督与反馈指标(C7)考察知识产权政策监督机构的设置情况及其能力、政策主体对实施中出现问题的反应能力和纠错能力；政策资源投入指标(C8)考察为实施特定知识产权政策所投入的人力资源、资金及其它社会资源的水平；资源利用效率指标(C9)考察各类投入资源（尤其是人力资源和财政资金）的使用效率。
3.知识产权政策效果的评估 知识产权政策结果的评估是对知识产权政策目标的实现程度（政策预期的目标，尤其是可量化的目标）、政策直接目标之外的效果，如政策效应和影响力、满意度等方面进行综合的评估。该指标下设知识产权政策直接效果(B5)、知识产权政策附带效果及效应(B6)两个二级指标，具体考察政策目标的实现程度、政策问题的解决程度、政策综合影响、满意度等方面。政策目标的实现程度指标(C10)需结合特定知识产权政策的目标加以设置，例如：针对“专利资助政策”目标的实现程度，可以设置专利申请量及其增长情况、专利授权量及其增长情况、发明专利授权量及其增长情况等细化的四级指标；政策问题解决程度指标(C11)考察知识产权政策实施后对短期和中期内该政策问题的解决程度，预测长期内该政策问题的解决程度，以及该政策是否会引发出新的政策问题。政策综合影响指标(C12)考察知识产权政策造成的长远的、综合的影响，例如：对地方综合竞争力、市场竞争机制的影响、区域或产业知识产权发展绩效的提升、公众知识产权意识的提高等等。满意度指标(C13)考察政策客体、政策实施主体、公众对知识产权政策的满意程度。
细化的四级评估指标体系见表2：
以上根据知识产权政策过程及知识产权政策绩效形成的原理，构建了详细的四级指标体系，它可以作为知识产权政策评估实践的理论框架和依据，具体操作时可根据评估对象的特点、评估目标和评估阶段等灵活地增减指标。为便于操作，课题组还为每个指标建立了详细的操作手册，明确每个指标的含义、统计口径、权重、评估主体、评分标准、适用时间及适用范围等。
（四）知识产权政策评估指标权重的确定
以上建立的知识产权政策评估指标体系并不是内部完全独立的递阶层次结构，不同层级指标集之间可能相互影响，有些指标之间存在相互影响、相互依存的关系，例如：知识产权政策内容和政策落实的状况会影响到知识产权政策直接效果等指标。综合考虑到权重设计的科学性和可操作性，采用以下方法来确定权重：
1.通过层次分析法确定前两级指标的权重将评估指标体系分为目标层0（知识产权政策绩效）和若干准则层（例如：第一层包括A1知识产权政策制定、A2知识产权政策实施、A3知识产权政策效果三个指标；第二层包括B1-B6六个指标）。采用1-9标度标准，按照层次分析法原理，综合考虑来自高校和知识产权局的8名专家的意见，构造O-A判断矩阵和A-B判断矩阵，进行层次单排序计算并通过一致性检验，再进行层次总排序最终得出一、二级指标的权重（结果见表1）。
2.通过专家评定法确定三、四级指标的权重 由于三、四级指标的数量较多，考虑到可操作性，在确定前两级指标权重的基础上采用专家评定法给出权重。首先拟订各个指标重要性评价表，请专家做出评价。每个指标按照重要性分为：A很重要、B比较重要、C一般重要、D不太重要、E完全不需要等五个级别。调查表向名专家发出，并分为理论组和实务组进行对照，理论组调查对象包括来自高校和知识产权局的专家共8名，实务组包括来自企业知识产权管理部门的负责人10名。将对照结果进行t检验及X2检验，取平均值并检查误差，并对平均值取整处理。结果显示两组专家评分无显著差异，说明专家评价具有可信性。将全部专家评价累加求平均值，并对平均值取整处理得出三、四级指标的权重（结果见表2）。
三、知识产权政策评估指标体系应用实例：上海市专利资助政策的评估
知识产权政策评估实践应遵循有效性与可行性结合的原则，选择那些政策意义重大、政策效果与环境变化之间因素关系相对明显、政策实施已经有一定时期的政策展开评估。上海市知识产权局于1999年首次出台了上海市专利资助政策，并分别于2001年、2003年、2005年、2007年进行了多次修订。该政策自实施以来，对提高上海市的专利申请数量和授权数量起到较大的促进作用，但是在专利资助的质量、效率和公平性等方面也引起了一些质疑。为此，选取上海市专利资助政策作为评估对象，以本文构建的知识产权政策评估指标体系为基础，对该政策实施近十年来的绩效展开评估。
（一）上海市专利资助政策评估的指标选择及权重安排
根据上海市专利资助政策的具体情况，按照系统性、易理解性、可操作性等原则，对知识产权政策评估的通用指标体系进行调整，前三级指标及权重维持不变，四级指标由原先的48个精减为39个，最终构建了“五层叠加、逐层收敛”的评估指标体系。其结构如下：
第一层为总目标层，描述评估对象（上海市专利资助政策）的综合绩效水平。
第二层为一级指标层（要素系统层），反映上海市专利资助政策的主要外显特征。包括：上海市专利资助政策的制定(A1)、上海市专利资助政策的实施(A2)、上海市专利资助政策实施的效果(A3)三个指标。其权重分别为22%、25%、53%。
第三层至第五层分别为二级、三级、四级指标层，将一级指标逐层细化为可测的具体指标，以全面反映上海市专利资助政策的制定、实施及效果的状况。整个指标体系共设二级指标6个，三级指标13个，四级指标39个。其中二、三级指标名称将“知识产权政策”改为“专利资助政策”，其余内容及权重均不变。四级指标及权重的变化如下：政策依据(C1)下删除原指标D3，其余三项指标权重各为2%；政策目标(C3)下删除原指标D12，其余三项指标权重分别为1.5%、1.5%、1.0%；政策方案具体内容(C4)下删除原指标D18，其余五项指标权重分别为2%、1%、2%、2%、1%；政策传达(C5)的权重改为2%，下设两个四级指标权重各为1%；政策落实(C6)的权重改为10%，删除原四级指标D23，其余五项指标权重各为2%；资源投入(C8)的权重改为2%，删除原指标D32；资源利用效率(C9)的权重改为3%，下设两个指标的权重各为1.5%；政策目标的实现程度(C10)下设指标改为⑤：专利申请量增长率(10%)、专利授权量增长率(8%)、其它政策目标达成度(7)；政策综合影响(C12)下删除原指标D45，其余两个指标权重分别为5%、4%；满意度(C13)下删除原指标D48，其余两项指标权重各为4.5%。
（二）上海市专利资助政策评估的方法
通过资料查阅、问卷调查、专家访谈等方式获取相关的信息。评估组围绕上海市专利资助政策和评估指标，针对不同类型的调查对象精心设计调查问卷和访谈提纲。调查对象包括：企业知识产权管理负责人（上海市知识产权示范企业和其它类型的企业）、知识产权和政策评估方面的外部专家、政策制定部门及政策实施部门的相关人员。问卷中对每个四级指标都制定了详细的五级评分标准，以方便做答。满分为5分，最低分为0分。少数指标采用扣分制或加分制，其余指标根据现实状况与理想标准的符合程度评分。为满足评估精度的要求，评分时可以采用小数（如某项指标的评分为3.3分）。问卷回收及访谈结束后，对三类对象的调查问卷分别进行了统计分析，结果表明调查结果可信。评估组还查阅了大量的文献和统计资料，例如：近年来上海市出台的各项知识产权政策、各年度上海市专利申请数量和专利授权数量及在全国的排名情况、其它省市出台的专利资助政策等等。对收集到的信息和问卷调查结果进行综合分析，得到每项四级指标的得分，经加权汇总后得到最终的评估结论。
（三）上海市专利资助政策评估的结果
经过评估，上海市专利资助政策的总体情况良好，总分为83.40分，但是仍然存在一些需要改进的地方。前二级指标的得分如下表所示：
1.对上海市专利资助政策制定(A1)情况的评价 此项指标的最终评分为80.73分。其中政策程序(B1)的评价相对较高，该政策在拟制及论证过程中，能够比较充分地展开调查，表现良好。但是政策方案(B2)的得分只有78.83分，虽然该政策目标表达清晰，可行性较强，但是现有政策的目标定位主要是促进专利申请的数量，而没有将专利申请的质量提到同等重要的层面。政策方案的易理解性和公平性都有待提高。
2.对上海市专利资助政策实施情况(A2)的评价 此项指标的最终评分为79.40分。在政策实施机制(B3)方面，政策传达工作表现出色，能够高效地宣传政策内容，但是缺乏完善的信息系统，电子政务服务水平有待提高。此外，虽然对该政策实施的情况设立了复议与听证的程序，但是对相关部门的约束力不够，监督机构有待完善，而且该政策每两年修订一次，政策稳定性不足；在政策的实施成本及效率(B4)方面，该政策在人力资源投入及其使用效率上表现很好，但是该政策实施所需的资金规模过大，机会成本较高。此外，专项资金的利用效率和公平性有待提高。为避免出现追求数量忽略质量的情况，必须加强对专利质量的把关与监控。
3.上海市专利资助政策效果(A3)的评价此项指标的最终评分为86.45分。在政策的直接效果(B5)方面，该政策实施后导致专利申请数量和专利授权数量两个重要指标明显增长，效果显著，但是该政策也可能引发新的问题，例如：专利申请质量未能充分保证，政策倾斜可能造成对其他政策对象的不公平等；在政策的附带效果和效应(B6)方面，该政策对促进公众知识产权意识和综合实力的提高等方面有一定的积极作用，政策客体对该政策的满意程度较高，但是政策客体仍然认为该政策有提高的空间。
总体来看，上海市专利资助政策评估的结果良好，但是该政策还存在以下突出的问题：专利申请的质量难以保证；专项资助设定有失公平；重复资助难以预防；对申请国外发明专利的资助力度不足；专项资助初审质量有待提高；政策的易理解性和便利性不够。根据国家知识产权局2008年关于规范专利资助政策的文件精神，在借鉴广东、北京、浙江等地相关政策经验的基础上，应考虑从以下方面完善上海市专利资助政策：政策目标兼顾专利申请的数量与质量；政策制定环节注重不同主体的广泛参与；按比例资助、以比例差异体现政策倾斜；逐步调整专项资助的内容，重视后期的补助与奖励；改变资金的发放程序；政策文件的表述更加清晰、简化；建立有效的政策监督与反馈机制等等。
四、结语
科学的知识产权政策评估是知识产权政策制定和政策执行科学化的重要保障，是及时纠正知识产权政策偏差、调整知识产权政策的前提条件，也是知识产权政策走向科学化和决策民主化的必由之路。近年来我国对知识产权的重视程度不断提高，各级政府相继出台了一系列知识产权政策，但是却很少关注这些政策制定及实施的绩效，在知识产权政策评估方面的理论研究和实践还很少见。建立科学的知识产权政策评估指标体系是展开评估的关键和保证，本文设计了构建指标体系的原则、流程和多维逻辑框架，通过专家访谈、问卷调查、实证检验等多种方式，构建了包含3个一级指标、6个二级指标、13个三级指标和48个四级指标的知识产权政策评估指标体系，采用AHP方法、专家直接评定法等方式确定了指标的权重，并且运用这一指标体系对上海市专利资助政策进行了评估。根据评估结果和上海市知识产权局相关部门的反馈，本指标体系具有较强的科学性和可操作性，能够较好地应用于知识产权政策评估的实践。
不同地域、不同层级政府出台知识产权政策的背景、政策实施环境等方面可能存在较大差异，而且不同知识产权政策的目标和内容也会存在较大的差别，因此无法设计一套适用于所有政策及环境的评估指标体系。实际操作中，可以此指标体系为基础，根据特定的评估目标、评估政策的特点等，考虑知识产权政策过程的可度量性、相关数据可获取性等因素，灵活地选择和增减指标，并相应地调整指标权重⑥。此外，知识产权政策评估指标体系只是评估体系的一个组成，其作用能否有效发挥，还取决于它与评估主体、评估模型与方法、评估流程、评估信息的收集、评估结果的使用等诸多要素的契合程度，只有这些要素协同运作，才能构成完整、科学的知识产权政策评估体系。
注释：
①以上海市为例：上海市政府于2004年颁布《上海知识产权战略纲要(2004-2010)》，自该《纲要》实施以来出台了一系列配套政策。2007年4月上海市知识产权局按照“促进知识产权的创造、推广知识产权的运用、强化知识产权的管理、加强知识产权的保护”四大板块，将近年来出台的27项知识产权政策汇编成《知识产权—支持创新行动》。
②例如：Diane M.Zorich(2004)介绍了博物馆知识产权政策评估的步骤与内容，但只是定性描述，缺乏可操作的方法（见参考文献[2]）。此外，国外的公共政策过程比较规范，因此创新政策评估的重点往往是对政策效果的评估，而目前我国更需要在政策制定及实施环节展开评估。
③国内目前关于知识产权评估的研究成果较多，主要是对专利、商标等知识产权价值的评估，以及对知识产权存量、企业知识产权管理绩效等方面的评估（见参考文献[12-14]），这些评估至多只能作为知识产权政策实施效果评估的一部分，并不是真正意义上的知识产权政策评估。
④对指标体系的调查共分两轮。第一轮调查主要针对初步设计的二级指标体系，调查对象包括高等院校的知识产权专业和公共政策专业的专家3名、政府知识产权管理部门（上海市知识产权局）的相关专家2名，以及上海市知识产权示范企业知识产权管理部门负责人3名。第二轮调查主要针对完整的指标体系，调查对象包括上海市知识产权局的有关专家共6名、高等院校相关专业的专家6名、上海市知识产权示范企业15家及其它类型的企业11家。
⑤实际上，与专利申请量和授权量指标相比，有效专利的数量及其增长情况更能体现专利的水平及上海地区的核心竞争力，在政策目标达成度中应该设置此指标。但是，由于上海市公开的专利申请统计资料中并无此指标，因此这里评估时并未采用有效专利指标。
⑥建议前三级指标基本维持不变，仅将指标名称改为相应的政策名。重点调整四级指标，尤其是根据不同的知识产权政策，调整政策目标、政策方案、政策目标实现程度、政策综合影响等下设的四级指标和权重，具体操作时可采用专家咨询等方法。可参考本文中上海市专利资助政策评估的例子。
标签：政策评估论文; 知识产权管理论文; 绩效指标论文; 绩效目标论文; 绩效反馈论文; 专利分析法论文; 专利管理论文; 政策影响论文; 申请专利论文; 科学论文;