摘要：当前，各行各业的信息化建设已到了关键阶段，但针对信息系统使用效果的评估尚无一套成熟的模式，仍然多种多样、五花八门，且无规律可循。那么，对信息系统当前主流评估考核模式进行总结归纳并进行应用，显得尤为重要。
关键词：信息化建设；信息系统；考核模式
0问题的提出
随着计算机技术、通讯技术的飞速发展，信息系统在企业生产和管理中日显重要，信息系统使用的好坏直接关系到企业的命运。因此，对信息系统的考核成为人们日益关注的热点[1]，进而如何构建更加科学、适用的信息系统考核指标体系成为当前每个企业亟需解决的问题。本文将对搜集到的大量国际、国内优秀文献进行分析，总结出一套当前信息系统常用的考核模式，并设想如何应用于电力基建业务中。
1信息系统考核指标体系现状
为了更全面、深入的对当前信息系统考核指标体系现状进行展示、阐述、分析，本节将首先对搜集的文献情况进行说明（包括，文献来源、数据预处理过程、数据集建立过程、分析方法的确定），再进一步对相关文献进行分析。
1.1文献说明
1.1.1文献来源
此次文献收集主要通过线上、线下双渠道进行开展，以线上渠道为主。针对线上内容，通过百度文库、维普网、万方数据、中国知网、南方电网技术情报中心等渠道进行检索。以 “指标体系”、“评价指标体系”、“考核指标体系”等，作为一级检索关键词，检索范围包括文章的题名、关键词、中文摘要以及主题。在此检索的基础上，以 “信息系统”、“信息系统信息系统”、“信息系统”等，作为二级检索关键词。共检索出与信息系统考核指标体系相关的文献共44份。来源于，期刊发表的文章13份，硕士/博士论文18份，企业内部资料（包括，标准、资讯）13份。针对线下内容，通过与南方电网公司基建部沟通，获取《国家电网营销信息化系统信息系统评价工作规范》1份，作为后续重点研究的对象。
1.1.2数据预处理
此次文献收集，对所收录的文献中原始信息逐一分解，按文献名称、作者、来源、收集渠道、发表时间、文章类型等内容，规范、准确、有序地录入计算机中，为数据有效统计打下坚实的基础。
1.1.3建立数据集
在Windows平台上，应用Excel建立信息系统考核指标体系数据集。数据集主要包括，每份文献所蕴含的核心思想及可借鉴之处。经过进一步梳理、统计，进而为文献的分析做准备。
1.1.4分析方法确定---文献分析法
此次文献分析，应用传统文献法对现行国际、国内主流思想及较为成熟的案例进行统计，并运用归纳法将获得的文献收集成果进行辩证的分析和总结。重点关注在电力行业中信息系统考核指标体系中各模块的构建使用频率较高的案例。
1.2现状分析
通过对线上检索的44份和线下收集的1份关于信息系统考核指标体系相关文献的研究发现，同信息系统考核指标体系构建密切相关的文献27份，占比60%。进一步对上述27份文献研究发现，构建信息系统考核指标体系时，主要有以下五个步骤：框架搭建、指标选取、权重分配、量化的计算方式选择、组织形式（包括，考核工作程序、考核方式、考核方法、考核要求及程序、指标体系构建原则），具体如下图所示：
其中，框架搭建思路方面可借鉴文献11份，指标选取依据方面可借鉴文献2份，权重分配方法方面可借鉴文献3份，计算方式方面可借鉴文献6份，组织形式方面可借鉴文献5份。
1.2.1框架搭建
收集到关于考核指标体系框架搭建方面的文献11份，其中，期刊类文献4份，硕士/博士论文6份，企业内部资料1份。分别来源于现代情报、华北电力大学、水电自动化与大坝监测、辽宁科技大学、华南理工大学、东方企业文化•东方智慧、科技通报、《国家电网公司营销信息化系统评价工作规范》等期刊、毕业论文或企业内部资料，来自华北电力大学的毕业论文4份，占比最大。
对上述文献分析发现，关于考核指标体系搭建主流思想有分层级构建评价指标体系、指标分解思路中的层次化、信息标准化评估模型中的两个层面与五个指标等，其实质均属于分层级构建评价指标体系，只是因各文献所构建的指标体系其承载的内容不同而有所差异。
1.2.2指标选取
通过甄别、收集得到适合于该项研究的先进案例共2份，分别是来自于维普网的《广东电网物资管理信息系统信息系统评价体系研究》和万方数据的《宁东供电局营销信息化系统实用化运行管理》，且都以期刊的形式发表。
当前，针对信息系统考核中指标选取方面，通常以信息系统中所填写的数据本身为主（如：数据的准确性、完整性等），并结合各企业实际情况附带信息系统的覆盖程度及流程的固化程度等。例如，《广东电网物资管理信息系统实用化评价体系研究》中用于评价信息系统使用水平的指标为：系统运行模式、系统覆盖率、数据完整性、流程固化度；《宁东供电局营销信息化系统实用化运行管理》中用于评价信息系统使用水平的指标为：数据完整性和准确性、流程操作执行度、网络覆盖率。
1.2.3权重分配
根据相关文献查询，现阶段不论是我国还是国外对于指标权重的计算都有很多方法，大致分为两类，即分别从主观和客观上进行赋权评价。主观上的方法主要是定性分析，根据专家的主管感觉评断出一个权值，德尔菲法和模糊的综合评价法都属于此类；客观上的方法是通过各指标间的联系和差别系数来计算权值，主要成分的分析方法、灰色关联度、TOPSIS评价法等属于此类。
通过百度文库、中国知网、南方电网技术情报中心等渠道，甄别、收集到关于考核指标体系中权重分配的相关文献共3份，《基于熵权集的大坝分部位动态健康评价方法研究》文献发表的载体属于EI收录的中文期刊。上述文献中，应用德尔菲法/专家评估法进行权重分配的文献2份，层次分析法的文献1份。
1.2.4计算方式
关于考核指标体系最终量化得分计算方式的相关文献查询范围较为广泛，甄别、收集到相关文献共计6份，分别来自于期刊（如，经济学动态、水电自动化与大坝检测、广东电力、电力信息与通信技术），硕士/博士毕业论文（如，华北电力大学毕业论文），企业内部资料（如，国家电网）。其中，属于电网企业文献4份，非电网企业文献2份。
通过对上述相关文献分析发现，当前，考核指标体系最终得分计算方式主要有：各指标设定阈值法（目标值）、百分制折算法、加权求和法等。其中，百分制折算法较为常见。如，水电自动化与大坝监测期刊所刊载的《水电生产管理信息系统应用评价实践》和国家电网公司实施的《生产管理信息系统信息系统评价指标（试行）》，均应用于此方法。
1.2.5组织形式
在考核指标体系构建和实施过程中，除了上述四项关键任务以外。还将包含评价工作程序、评价方式、评价方法、评价要求及程序、指标体系构建原则等内容。现就上述内容，对同行（如，国家电网）相关好的做法进行分析。
通过对同行相关文献的搜集并分析发现，国家电网公司通常采用的方法为，在评价工作程序中，采用自评价和公司统一考核结合的方式开展；评价方法上，实行月度评价统计、季度评价考核的机制，并采用总部、各省级公司、建设管理单位和现场项目部（业主、监理和施工项目部）多层评价机制；评价要求及程序上，各分子公司未达到目标值需上报专项分析报告、总部评价需下属公司进行申报；在考核指标体系构建原则方面，大庆石油学院学报所刊载的《综合评价指标体系构建方法》给予了明确，包括，指标尽可能全面、不重叠、易于取得。
2电力基建业务信息系统考核指标体系构想
从现状分析结果发现，构建信息系统考核指标体系各关键环节均有较为主流的思想和优秀案例，现结合主流思想和优秀案例对构建电力基建业务信息系统考核指标体系进行设想及探索。
注：本文所述电力基建业务主要指南方电网公司所辖基建业务。
2.1框架搭建
根据南方电网公司特点，结合文献分析结果，在搭建考核指标体系时建议通过分层级构建考核指标体系的方式开展，即设定三级考核指标体系，分别为目标层、准则层、指标层。目标层为实施效果的影响，准则层为实施效果影响的具体领域，指标层为每个具体影响方面的指标。
2.2指标选取
基于同类企业先进案例分析，结合《2016年公司基建项目管理信息系统实用化考核及数据质量治理工作方案》，在指标选取方面建议以信息系统中所填写的数据本身为出发点，如：关注数据的准确性、完整性、及时性等。同时兼顾操作人员对信息系统的熟悉程度及数据的权威性（不得擅自修改）。具体指标选取需广泛征求该领域内的专家、各层级人员，尤其是操作层人员的意见，最终确定考核指标。
2.3权重分配
鉴于对收集文献的分析，结合南方电网公司拥有诸多电力行业专家的实际，并且确保能够听取操作层人员的意见，使最终构建的考核指标体系得到公司员工的广泛认同，建议在权重设置时通过德尔菲法（专家评估法）开展。在邀请专家时，需包含信息系统领域、基建专业领域，且邀请的专家需涵盖该领域管理层、操作层，并根据实际情况可邀请第三方专家进行评估，进而确保权重取值的科学性、适用性。
2.4量化计算
通过德尔菲法得出各指标权重以后，建议采用百分制折算法对评价结果进行量化，并针对得分区间设置等级，如：90-100分为A级，75-90分为B级，60-75分为C级，60分以下为D级。
鉴于2015年刚上线企业管理信息系统2.0，对于评价结果仅公布等级认定而非具体考核结果得分，可以缓解下属单位因为得分不理想而造成的心里压力和精神负担，当基建项目管理信息系统等子系统运行一段时间后再进行得分排名。
注：每个等级中，得分小的临界点属于该等级，如，90-100为A级，则90分为A级。
2.5组织形式
根据南方电网公司实际，建议在考核工作程序上，采用分子公司自评、网公司考核/第三方外部考核的形式开展；考核方法上，实行半年自评价和年度考核的机制，网公司/第三方外部考核的单位按照一定比例进行抽选；评价要求及程序上，在网公司/第三方外部考核中，对于考核结果处于D级的建设单位，需上报专项分析报告至分子公司，再由分子公司对下属处于D级的所有建设单位进行统计、分析并上报网公司。网公司将在下一个考核周期进行复查，直到考核结果高于D级为止。同时，在构建考核指标时，遵从指标尽可能全面、不重叠、易于取得的原则。
3结束语
文章中尽可能详细、真实、全面、深入的对所收集的文献进行剖析，并在电力基建业务中的应用进行构想，后续将通过对南方电网公司所辖单位进行调研，进一步验证构想的科学性、合理性、适用性。
参考文献：
[1] 闵文杰；陈建明；张仲义；信息系统评价指标体系及方法的研究[期刊论文]- 铁道学报2000（10）
论文作者:姜唯1,屈从军2,孙红燕2
论文发表刊物:《电力设备》2017年第8期
论文发表时间:2017/7/19
标签：信息系统论文; 指标体系论文; 文献论文; 评价论文; 指标论文; 公司论文; 权重论文; 《电力设备》2017年第8期论文;