大数据技术在协同场景监控中的应用
许家伟，李 蕊
(海南电网有限责任公司信息通信分公司，海南 海口 570208)
摘 要 ：跨企业信息集成(协同场景监控平台)作为大数据技术在协同场景监控中的创新应用，是企业对内部信息系统协同业务处理的监控中心。该平台整合海南电网公司内部多个信息系统中的海量协同数据，利用大数据技术进行海量数据的采集、存储、处理和展现，实现跨部门、跨业务域的数据资源流动，同时通过大数据分析的结果设计协同监控指标，快速定位各信息系统业务协同中出现的异常情况，辅助公司各级管理人员了解协同问题整体情况，跟进协同问题闭环处理过程，平台结合实际业务需求，设计开发一系列实用功能，利用平台可智能识别并自动推送的相关协同问题和解决方案，利用平台大数据可视化工具可将数据分析结果以丰富的计算机图形直观地进行展示，有效地提高协同问题解决效率，提升企业精益化管理水平。
关键词 ：企业协同；监控平台；大数据技术；精益化管理
随着企业级信息系统协同集成接口的陆续上线，在协同业务实用化的过程中，前端大量业务系统数据传递至其他相关协同系统受多方因素影响，缺少有效监控多个信息系统协同业务数据集合的工具和方法[1-2]，使得信息系统协同数据无法得到有效整合以及提取分析，导致协同问题及异常难以准确定位，在发现协同问题后，对大量问题无统一分类，缺少对问题的自动捕捉和监控等协同问题发现机制[3]，常常在出现异常时无法及时有效地进行跟踪和追溯；其次，协同问题责任方不明确，需要多次协调解决，导致问题沟通及排查花费较长的时间；此外，协同问题的统计数据量极大且十分繁杂，目前汇总上报仍为手工统计数据，效率低且易出错，导致无法实时准确掌握协同问题的总体情况；最后，对协同业务问题统计信息没有直观的方式进行展示，需要依靠人工在后台对统计数据进行监控，发现问题后还需联合厂商运维人员分析后才能进行问题解决，导致管理人员难以通过前台了解协同业务全局状况，严重影响了企业级信息系统的实用化。因此，需要开展基于大数据技术的跨企业信息集成(协同场景监控平台)的建设，实现对营销、资产、财务、GIS等系统的协同场景相关指标的监控、以达到对协同业务数据传递失败信息的实时掌握，利用大数据技术实现对协同问题的定位、分析和处理，以及对协同场景实用化指标情况的定期统计。
美国的社会学家Becker于1960年最早提出了组织承诺的定义，认为组织承诺是员工随着对组织的单方投入的增加而不得不继续留在该组织的一种心理倾向。加拿大学者Meyer与Allen，将组织承诺定义为，体现员工和组织之间关系的一种心理状态，隐含了员工对于是否继续留在该组织的决定。两位学者在对诸多关于组织承诺的研究基础之上进行了分析，提出了组织承诺的三因素模型，三个因素分别是：情感承诺、持续承诺和规范承诺。
1 业务分析
通过对协同业务现状的分析，在了解现有协同业务管理情况的基础上，发现在当前协同业务推进过程中尚有较大的提升空间，如：各业务系统相互独立，无法查看各业务系统协同流程的全过程视图；无法查看协同流程在不同业务系统中的办理进度和处理痕迹信息；缺少异常闭环处理功能，系统间的协同监控覆盖率低；缺乏完整的协同大数据监控分析功能；并且上报数据靠人工的方式进行统计，工作量较大、效率较低且易出错。因而在现有的情况下，各协同场景应用接口的繁忙程度、协同同步数据频率、协同失败出错地点等应用过程数据缺少详细记录的工具，无法跟踪每个协同业务应用问题的状态及详细处理过程信息，协同业务应用过程出现异常无法追溯和直观展现。
针对上述问题，如何通过对各个业务系统协同过程中产生的数据进行分析监控，实现监控与督导企业流程的全线畅通与高效成为本课题研究的重点。因而，首先我们将通过问题的及时监控并将问题进行分类统计、同时监控其处理问题整体情况以及解决方法，分析不同角色在协同业务管控中的预期工作目标，通过管控协同流程的每个环节促进整体协同目标的达成，其次，通过设计协同监控指标以及分析统计脚本[4]，利用大数据技术进一步梳理业务数据的关联关系，包括业务系统及其之间的业务关系、各业务系统涉及的数据等，最后结合梳理结果提炼出跨企业信息集成(协同场景监控平台)的需求，通过应用大数据的关键技术提供问题自动定位、辅助解决与智能闭环等平台服务，改善协同服务质量，提升协同问题的处理效率。
随后，国务院于2004年3月制定颁布了《全面推进依法行政实施纲要》（国发〔2004〕10号）（以下简称《纲要》）。《纲要》首次提出“法治政府”的概念，指明法治政府的基本内涵，要求以建立“行为规范、运转协调、公正透明、廉洁高效”的行政管理体制作为法治政府的基础，把忠实履行宪法和法律赋予的职责与保护公民、法人和其他组织的合法权益紧密结合，不仅是对1999年颁布的《国务院关于全面推进依法行政的决定》的深化、细化和发展，也是对改革开放以来我国依法行政实践经验的总结和凝练，更是今后一段时期全面推进依法行政、建设法治政府的行动纲领。
2 系统功能实现
2.2.4 系统管理
2.1 系统整体设计
2.1.1 业务层-大数据采集
综合分析系统的功能需求[14]，依据“自顶向下，逐步分解”的原则，将业务分析阶段反映协同业务需求的业务层、数据层、应用层、展示层的逻辑层次模型进行合理的划分和设计，从而转换为可以具体实施的信息系统的物理模型，详细地确定出待办任务、问题管理、全景展示、流程自定义及考核指标等功能，形成业务协同系统的功能结构，并实现短信/邮件通知、问题责任人指派等自定义配置的功能，详细功能结构如图2。
图 1系统整体设计图
Fig.1 Overall design diagram of the system
2.1.2 数据层-大数据存储
2.1.4 展示层-大数据展现
在高中数学的学习中，与实际生活联系比较紧密的一块内容莫过于排列组合、概率，这一块内容与其他章节的衔接并不紧密，知识点较少，概念也不多，只是需要思维的灵动性较强，从问题的内容直接联系实际情况的直接表露，加上分类、分布思想即可解决，极易激发学生的直觉思维.
在高校践行教育资源共享这个目标时，一定要尽可能减少非正确的观点和理念，以免产生妨碍共享的压力，同时还必须注意维护本校利益在实现共享过程中不受侵害。高校教育资源最头等的发展方向是为本校师生服务，因此，高校本身必须加强对”共享”含义的认识：遵循规章制度是理性且恰当收费的根本，不合理收取共享费用最终会导致“名利两空”的后果。那么怎样才能确保被共享的资源服务本校师生的时间和让其他学校使用两不误呢？笔者建议，建立分级、分类共享监督和评价机制，同时把握该机制运行的重点，确定监督和评价主体。比如按照来源不同把评价主体分为三种：国家、地方政府和市场。
场景监控管理提供了对协同业务全流程的监控，厂商运维人员可借助业务流程的展示了解协同业务流转情况，一旦协同场景失败，系统将自动触发，记录协同问题的基本信息、问题发生的原因、报文及业务数据信息，将相关问题进行分类，并进行问题发起。问题发起后，会在相关处理人员的待办任务中显示，同时应用大数据的检索引擎与挖掘功能[16-17]从问题知识库中检索相同或相似类型的问题及其解决方案，并根据问题跟踪、督办功能，以短信、邮件的方式通知起单人员或者相关运维厂家，使信息部门管理人员能够及时跟进问题情况，对重点问题或长时间未解决问题进行督办，实现对问题进行快速的定位和处理，减少问题的积压，提高问题分析的效率，提升问题的管控能力，同时起单人员根据解决方案自行整改或通过联系运维厂家进行问题整改，因此对每个问题的处理可得到及时的跟踪及辅助解决方案的建议。
利用大数据集成管理技术[7-8]能够将不同来源、格式、特点、性质的数据在逻辑上或者存储介质上有机地集中，为系统存储一系列面向主题的、集成的、相对稳定的数据集合。对于协同数据而言，其来源十分广泛，数据类型极为繁杂，为避免采集数据后，数据存储关系和方式出现问题导致数据无法进行有效的分析和处理，在处理大数据之前，首先要对数据源的数据进行抽取和集成，从中提取出实体和关系，经过关联和聚合之后采用统一的结构，搭建数据仓库，将统一结构的协同业务基础数据通过多种维度保存起来。同时，在数据集成和提取时需要对数据进行清洗，保证协同数据的质量及可靠性；其次，利用大数据存储管理方法简化数据存储，使数据存储具有良好的扩展性，同时依据上述的大数据集成管理技术为系统提供全面的数据共享，解决了内部各系统间的数据冗余和信息孤岛的问题，为大数据处理与分析做好了数据准备。
协同场景监控平台利用可视化工具[12-13]将大数据分析的结果转换成直观可视的图形，使用分析图形总结复杂的数据，为不同层级管理人员提供丰富的统计分析图形界面，从场景分类、业务系统、问题分类等不同的分析维度对服务总量、成功率、解决率等不同分析视角进行可视化展示，利用多维度、多视角、多样式的大数据可视化技术通过各种交互元素充分诠释了大数据展现技术的丰富内涵，此外，系统提供了逐步钻取分析的功能，满足不同角色对协同接口的统计需求。借助电力大数据的数据展现技术[13]可帮助管理人员更直观、准确地理解大数据分析结果表达的意义及重要的细节层次，了解各信息系统协同运作的整体运行状态，同时，通过图形获取信息的直观速度相比文字获取信息速度更加直接快速，使得协同决策者或责任人能够对变化的问题有更快的识别和更多的时间做出反应。
2.2 系统功能设计
如图1，通过应用大数据采集工具及过滤算法[6]，将营销系统、资产系统、财务系统、人力资源系统、主数据平台、4A平台、GIS平台7大业务系统的接口调用日志、相关业务表等数据抽取到协同场景监控平台数据仓库，实现对各信息系统的大规模分散数据源的采集，从而建立业务层的大数据采集，同时，利用大数据的采集工具能够稳定的支持和应对高吞吐的数据量写入，保证数据的稳定性，为进一步数据的存储、处理分析打下坚实的基础。通过主动式的大数据抽取，使协同场景监控平台更具有主动性，数据来源更具针对性，同时可根据业务量配置数据获取频度，使问题发现更及时，便于后续协同问题的发起及处理。
图 2系统功能模块图
Fig.2 Module diagram of system function
2.2.1 全景展示与报表设计
2.1.3 应用层-大数据处理
全景展示提供丰富的统计内容及可视化展示效果[15]，扩大协同服务考核的覆盖率，对大量的协同服务进行监控，利用图形图像及应用各种不同的交互元素的大数据展示技术与方法提供包括对场景情况统计、问题分类统计、问题督办率统计、问题解决率统计及报表管理等内容的可视化展示，利用简单的图表将对上述业务的统计或关注焦点表征的可视化呈现，了解和解释复杂的信息以及细节层次关系，帮助业务责任人提高业务协同相关信息的加工及传递的效能，使业务领导者能够更快的理解和处理信息，从而达到对场景问题的快速识别和处理，促进协同工作的开展。
冲砂支洞的开挖也较特殊，使用高峰质点速度控制技术，从现场和检测数据显示，即保证了隧洞开挖质量和速度，又保证了永久砼衬砌不被干扰。说明在这种条件下爆破施工可以保证质量和安全。
2.2.2 场景监控管理
在应用层中，系统有效地应用大数据技术将协同指标数据分析为有效的信息，将信息提炼为知识，最终以知识促成决策和行动[9-11]。在实际协同场景中，平台借助大数据分析技术从海量业务数据中针对性地对指标相关数据做统计性的搜索、分类、比较、聚类等的分析和归纳，将各种指标数据维度建立起来，找出潜在的指标模态与逻辑规律，将不同的错误描述数据分析转化为系统可识别的信息，并按照设定的指标和规则对错误描述进行智能解析，将各种维度随意组合进行深入分析，实现主动式的问题发现、问题归类及问题分派，并通过短信、邮件的方式通知相关处理人员，此外根据大数据统计分析的成果，将指标接入平台中并将前期收集的指标问题解决方案进行固化，进一步丰富问题知识库，辅助相关人员进行问题的快速处理，通过这种闭环管理的方式对协同问题进行跟踪处理，为决策人员提供决策支持。
2.2.3 任务管理
设置待办及已办任务页面，通过问题的发起自动关联相关的任务责任人，责任人的待办任务页面显示具体的问题，同时对不同的问题可进行归类，具备相应的问题知识库，储存多种类型的问题及解决方案，配合大数据检索功能[18]，能够帮助厂商运维责任人快速查找问题的详细信息，提高问题的查找与处理效率，已办任务页面同样根据问题进行归类，利用大数据检索可快速查找历史已处理问题的详细信息及解决方案，从而辅助业务人员快速完成任务的处理，实现任务的闭环。
2.1.1 线性关系的考察。以对照品溶液浓度为横坐标(X)、峰面积为纵坐标(Y)，绘制标准曲线，得出回归方程。结果显示(表1)，绿原酸、葫芦巴碱、D-(-)-奎宁酸和咖啡酸分别在14.6～146.0 μg/mL(r=1.000 0)、10.2～102.0 μg/mL(r=1.000 0)、11.6～116.0 μg/mL(r=0.999 8)、0.499 5～4.995 0 μg/mL(r=0.999 8)的浓度范围内线性关系良好。
在对电力企业协同业务深刻了解的基础上，运用信息系统规划方法论进行指导，对系统的整体架构进行设计[5]，总结出大数据技术在业务协同针对业务分析数据上采集、存储、挖掘分析及展示的具体思路，从业务层、数据层、应用层、展示层的层级明确各逻辑结构层次的主要功能，而后再依据业务需求进行系统功能的设计，最终完成系统的开发。
系统管理主要提供自定义配置功能，对其他业务系统和参数设置的集合，主要包括流程的自定义、查询自定义、短信邮件自定义、责任人自定义等，该系列功能的应用能够辅助系统管理员对短信发送内容及发送规则、指标统计脚本、指标规则、指标问题解决方案及相关问题责任人自定义等功能进行灵活配置，使得流程与各环节指标绑定的设置更符合实际的业务需求，该模块的设置是系统运行前的准备，是其他模块功能运行的基础，实现相关业务指标的数据源、数据的配置能够支撑大数据抽取及脚本统计查询，从而使系统更加智能化。
3 系统效益分析
3.1 社会效益
通过大数据的应用与系统建设，可有效地促进海南电网公司提高生产经营管理水平，很好地衡量公司的运行状况，更好的实现各业务系统的协作运行，提高公司协同场景处理的效率和准确性，为公司经营管理决策提供强有力的支撑，可以在一定程度上提升公司的社会影响力，使企业能够提供更加优质和稳定的电力服务和产品，从而使电力企业更好地服务于社会，促进社会经济增长，提高社会对企业的满意度。
3.2 管理效益
通过大数据的应用与系统建设，将使横向各业务系统之间的业务协同工作更加顺畅，问题发现更加及时，定位更加精确，解决问题的流程更加合理，实现财务、人资、营销、资产等领域的无缝衔接，更加有利于企业全面协调发展，实现协同管理水平及协同问题处理效率进一步提升，节省企业管理的成本，具有极大的管理效益。
3.3 经济效益
通过大数据的应用与系统建设，对于协同场景指标数据的统计会更加准确，可以实现从多维度、多层级进行汇总统计，减少数据统计的工作量，提高工作效率，从而使员工职责更清晰、层次更分明、分工更具体，在不增加人员的情况下，提高工作的效率和质量，大大减少了跨部门协同作业的工作量，节约了大量的人力、物力、财力的成本，具有极佳的经济效益。
在物理层面，网-源-荷-储作为系统的整体进行效率优化和运行控制，实现供需有效匹配，提高能源利用效率。在信息层面，以大数据、云计算、物联网、移动互联网为代表的技术创新，提高了能源系统的运行效率，建立起实时反映电力成本和供需关系的交互媒介。实现了能源与信息的高度融合，推动了能源商业模式的创新。在融合层面，能源与信息高度融合，业务和商业模式得以创新，推动电网向市场、集约、高效方向转变。
4 结束语
基于大数据技术的跨企业信息集成(协同场景监控平台)的建立，为海南电网公司解决目前各业务系统之间的协同问题提供了有效的技术支撑。协同场景监控平台应用了大数据的数据采集、存储、处理及展现技术，对海南电网公司营销、资产、财务等7个业务系统中的大量数据进行采集并进行清洗和预处理工作，实现对业务协同关联关系的分析，其次，对协同大数据进行存储和处理，实现各信息系统的大规模分散数据源的整合，同时，通过数据分析设定的指标和规则对错误描述进行智能解析，采用问题闭环管理的方法，由系统智能识别问题并配合邮件、短信的通知提醒功能，有效地实现了协同问题处理的全过程管控，实现了对协同问题的快速定位和及时通知处理，提升了协同问题处理的效率，对问题解析完成后，应用大数据可视化工具，使各层级人员能够直观、清晰地查看协同问题处理的情况，使协同场景监控透明化、数据化展示真实的协同应用运营情况，结合大数据检索，快速查询相同或相似类型问题的解决方案，辅助业务人员的快速整改，不断提升业务系统协同场景应用成功率，实现了对协同业务的精益化管理。
参考文献 ：
[1] 彭小圣，邓迪元，程时杰，等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报，2015，35(03)：503-511.
PENG Xiaosheng，DENG Diyuan，CHENG Shijie，et al.Key technologies of electric power big data and its application prosperts in smart grid[J].Proceedings of the CSEE，2015，35(03)：503-511.
[2] 任国卉.电力企业大数据应用分析[J].电力大数据，2018，21(10)：62-67.
REN Guohui.Application and analysis of big data in electric power enterprises[J].Power Systems and Big Data，2018，21(10)：62-67.
[3] 沈凤杰，才洪全，徐洪涛，等.省地两级电网紧急控制装置协同监控系统设计[J].电力系统保护与控制，2017，45(06)：126-132.
SHEN Fengjie，CAI Hongquan，XU Hongtao，et al.Design of collaborative monitoring and control system for emergency control device used for province-district two-level power grid[J].Power System Protection and Control，2017，45(06)：126-132.
[4] 何蛟，黄兴德，赵琳，等.以提升整体绩效为目标的电网企业协同管理体系研究与实践[J].华东电力，2014，42(11)：2419-2424.
HE Jiao，HUANG Xingde，ZHAO Lin，et al.Collaborative management system of power grid enterprises for enhancing the overall performance[J].East China Electric Power，2014，42(11)：2419-2424.
[5] 李龙辉.电力公司协同办公系统的设计与实现[D].成都：电子科技大学，2018.
[6] 周雅.智能化电力调度数据专网建设方案研究[J].电力系统保护与控制，2015，43(06)：133-137.
ZHOU Ya.Analysis on intelligent construction scheme for power dispatching data network[J].Power System Protection and Control，2015，43(06)：133-137.
[7] 刘树仁，宋亚奇，朱永利，等．基于Hadoop的智能电网状态监测数据存储研究[J]．计算机科学，2013，40(01)：81-84．
LIU Shuren，SONG Yaqi，ZHU Yongli，et al.Research on data storage for smart grid condition monitoring using Hadoop[J]．Computer Science，2013，40(01)：81-84.
[8] 王德文，肖凯，肖磊.基于Hive的电力设备状态信息数据仓库[J].电力系统保护与控制，2013，41(09)：125-130.
WANG Dewen，XIAO Kai，XIAO Lei.Data warehouse of electric power equipment condition information based on Hive[J].Power System Protection and Control，2013，41(09)：125-130.
[9] 宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战[J].电网技术，2013，37(04)：927-935.
SONG Yaqi，ZHOU Guoliang，ZHU Yongli.Present status and challenges of big data processing in smart grid[J].Power system Technology，2013，37(04)：927-935.
[10] 黄彦浩，于之虹，谢昶，等.电力大数据技术与电力系统仿真计算结合问题研究[J].中国电机工程学报，2015，35(01)：13-22.
HUANG Yanhao，YU Zhihong，XIE Chang，et al.Study on the application of electric power big data technology in power system simulation[J].Proceedings of the CSEE，2015，35(01)：13-22.
[11] 王相伟，史玉良，张建林，等.基于Hadoop的用电信息大数据计算服务及应用[J].电网技术，2015，39(11)：3128-3133.
WANG Xiangwei，SHI Yuliang，ZHANG Jianlin，et al.Computation services and applications of electricity big data based on Hadoop[J].Power System Technology，2015，39(11)：3128-3133.
[12] 赵林，王丽丽，刘艳，等．电网实时监控可视化技术研究与分析[J]．电网技术，2014，38(02)：538-543．
ZHAO Lin，WANG Lili，LIU Yan，et al．Research and analysis on visualization technology for power grid real-time monitoring[J]．Power System Technology，2014，38(02)：538-543．
[13] 沈国辉，佘东香，孙湃，等．电力系统可视化技术研究及应用[J]．电网技术，2009，33(17)：31-36．
SHEN Guohui，SHE Dongxiang，SUN Pai，et al．Research and application of power system visualization technology[J]．Power System Technology，2009，33(17)：31-36(in Chinese)．
[14] 段凯.河北电网省公司协同办公系统设计与应用研究[D].北京：华北电力大学，2016.
[15] 赵腾，张焰，张东霞.智能配电网大数据应用技术与前景分析[J].电网技术，2014，38(12)：3305-3312.
ZHAO Teng，ZHANG Yan，ZHANG Dongxia.Application technology of big data in smart distribution grid and its prospect analysis[J].Power System Technology，2014，38(12)：3305-3312.
[16] 曾四鸣.大数据挖掘技术在电力行业中的应用[J].电力大数据，2017，20(09)：81-84.
ZENG Siming.The application of big data mining(DM)technology in power system[J].Power Systems and Big Data，2017，20(09)：81-84.
[17] 李巍，袁晓婷，李俊杰，等.基于数据挖掘的电力需求侧管理综述[J].电力大数据，2018.21(01)：10-13.
LI Wei，YUAN Xiaoting，LI Junjie，et al.Review of electric power demand side management based on data mining[J].Power Systems and Big Data，2018.21(01)：10-13.
[18] 屈志坚，陈阁.容错存储的电力系统监测数据查询优化技术[J].电网技术，2015，39(11)：3221-3227.
QU Zhijian，CHEN Ge.Query optimization for power system monitoring data with fault-tolerant storage[J]Power System Technology，2015，39(11)：3221-3227.
Application of big data technology in collaborative scene monitoring
XU Jiawei1，LI Rui2
(Information and Communications Branch of Hainan Power Grid Co.，Ltd.，Haikou570208 Hainan，China)
Abstract ：As an innovative application of big data technology in collaborative scene monitoring，cross-enterprise information integration(monitoring platform of collaborative scenario)is the monitoring center for enterprise's collaborative business of internal information systems.The platform integrates massive collaborative data in multiple information systems within Hainan Power Grid Co.，Ltd.，and utilizes big data technology to collect，store，process and display massive data，so as to realize data resource flow across departments and cross-business domains，At the same time，through the results of big data analysis，collaborative monitoring indicators are designed to quickly locate the abnormal situations in the business cooperation of various information systems，assist the company's management at all levels to understand the overall situation of the coordination problem，follow up the closed-loop processing of the coordination problem，the platform combined with the actual business needs，designed and developed a set of practical functions，using the platform to intelligently identify and automatically push related collaborative problems and solutions，the platform big data visualization tool can be used to visually display the results of data analysis with rich computer graphics，which can effectively improve the efficiency of collaborative problem solving and improve the lean management level of the enterprise.
Key words ：enterprise collaboration；monitoring platform；big data technology；lean management
文章编号 ：2096-4633(2019)04-0055-05
中图分类号： C39
文献标志码： B
收稿日期 ：2018-11-21
作者简介 ：
许家伟(1974)，男，本科，工程师。主要从事信息化建设与运维方面工作。
(本文责任编辑：范 斌)
标签：企业协同论文; 监控平台论文; 大数据技术论文; 精益化管理论文; 海南电网有限责任公司信息通信分公司论文;