基于网络爬虫技术服务的质量管理分析论文_金华芳1,叶华2,吕易佳3

(1国网丽水供电公司运维检修部 323000;2国网浙江缙云县供电公司 323000; 3国网丽水供电公司 323000)

摘要:从20世纪60年代起步的电力行业信息化,经过四十多年的发展,形成了一定的规模。但由于各省市电力企业独立规划和运作,始终没有形成统一的信息化标准规范。加之复杂的专业应用使得同一企业各职能部门只根据自身的需求单独立项,开发功能单一、开放性较差的专用系统,往往使一个电力公司内同时运行着成百上千的计算机系统。这些不同的系统功能不同,开发工具不同,结构也存在很大差异,而最大的问题就是数据的不可兼容,最终形成了数量众多的“信息孤岛”。这种情况给企业领导的经营和决策造成了很大的混乱。因此我们需要一个能够运行在现有系统上的或者未来的其他系统上的功能插件,支持网页上已有数据的抓取、模板的管理、信息的自动生成和填报。本文将对网络爬虫技术的一些探讨性的研究。

关键词:网络爬虫、信息、数据分析;

在这种背景之下,电力各业务部门所具有的业务系统、数据资源每天都在増长。信息管理归纳抓取已经成最大的难题。但是人的能力是有限的,对面如此庞大的资源数量,人类要从中找出与检索内容相符的内容是一件非常巨大的工程。面对这些海量的数据中,怎样才能从成千亿的数据中找出符合要求的数据。众多的系统为后台工作人员造成了相当大的工作压力,尤其是涉及到一些工作流的流转的系统,需要对数据反复的复制粘贴和计算验证,造成了工作量的严重浪费。

1.主要研究内容

随着信息化的发展,电力各业务部门所具有的业务系统也逐步增多,众多的系统为后台工作人员造成了相当大的工作压力,尤其是涉及到一些工作流的流转的系统,需要对数据反复的复制粘贴和计算验证,造成了工作量的严重浪费。

需要一个能够运行在现有系统上的或者未来的其他系统上的功能插件,支持网页上已有数据的抓取、模板的管理、信息的自动生成和填报。

本研究方向就是对现在的需要此类插件的系统进行汇总,设置模板,分析数据来源,为后期的功能开发奠定理论基础。

2.项目管理和方案目标

2.1项目管理

(1)实施计划安排

按照技术规范的要求,以《国家电网公司生产运行管理信息规范(最终稿)》要求为蓝本,在融合电力企业配电网业务管理规范基础上进行项目安排。

(2)质量标准的制定

行有行规,质量的追求是无止境的,并且是有代价的,因此必须将对质量的要求以标准形式固定下来,达到了标准就算通过,不达标准就要返工。

(3)作业质量管理

作业管理应有明确的程序和质量保证体系。程序和质量保证体系的建设应以“技术规范”的作业标准来进行。

根据项目实施流程,建立质量保证体系,对项目进行检查,跟踪质量保证体系运作过程和分析造成不良工程的主要因素,制定相应的措施和制度,明确质检和整改责任人,使工程的质量一直处于闭环控制状态。

(4)文档管理

按照“招标采购技术规范”的要求制定文档模板并组织实施,文档管理要做到:及时、真实、符合标准。

及时指的是文档制作要及时,归档要及时。

真实指的是文档中的数据必须是真实有效的。

符合标准指的是文档的格式和填写必须规范。

提交的文档包括:

Excel表格形式低压设备台帐

已分类整理、命名的低压设备照片文件

CAD格式的以1:500地形图为底图的台区图

文档在实施过程中至关重要,它有助于项目管理人员和实施人员开展具体工作,有助于管理人员监督与指导,有助于用户了解软件的工作和应做的操作,同时,也是项目实施完成所必须要交付一些文件的保证。所以,实施文档的质量是整个实施过程中不可缺少的部分。厂家按照CMMI3级的要求制定文档模板并组织实施,文档是过程的踪迹,文档管理要做到:及时、真实、符合标准,我们在实施型项目中也参考这种理念。及时指的是文档制作要及时,归档要及时。真实指的是文档中的数据必须是真实有效的。符合标准指的是文档的格式和填写必须规范。

2.2方案目标

第一步,广泛搜集资料,对在用的信息系统进行调研,全面分析抢修用表单的流程和数据来源;

第二步,研究网络爬虫技术,根据业务需求进行插件的初步设计;

第三步,根据初步设计进行软件的详细设计,并且开发和部署;

第四步,上线并且培训。

3.技术方案

针对客户的要求,拟定插件的设计效果图如下:

登录界面:

4.技术支持服务

4.1 技术服务

(1)咨询服务

本公司具备多年的行业系统集成经验,累积了大量的技术、业务方面的知识和经验,同时本公司与相关系统集成公司建立长期战略合作伙伴关系,在电力行业各类应用上强强联合,共同推进电力行业性的应用。秉承一贯的开放性原则,本公司和合作伙伴向客户提供了各类专业咨询服务,共同分享这些成果。

(2)系统例查

售后服务不应仅仅担任"救火车"的角色,更重要的是应能防患于未然。本公司的系统例查服务将定期或不定期地检查和总结系统运行过程中的隐患,并及时提醒用户,有可能的话立刻除去有关隐患。

(3)性能调优

为让应用系统运行得更加快速有效,对主机、网络设备、数据库等的各项参数配置都要进行多级调试,以适应系统的需要。由于系统业务的复杂性,性能调优可能要反复多次。

(4)故障响应

系统硬件和系统软件出现故障时,本公司协调有关各方,帮助用户尽快定位故障,并解决故障。应用软件出现故障时,本公司将帮助用户尽快排除故障,并在必要时及时到现场解决故障。

4.2支持方式

(1)现场维护

本公司将定期对全系统进行检修和性能调整,以保证系统安全、可靠、高效运作。同时为客户日常维护中的问题和措施提供指导。

当客户系统有故障发生时,本公司的维护服务工程师迅速赶赴现场进行诊断和故障排除。

(2)热线电话咨询

本公司的维护服务组提供长期的7x24小时的热线电话技术咨询服务,解决与系统有关的技术咨询和故障分析解决方案。

本公司的热线电话还7x24小时接受客户的故障报告,实时响应 客户请求。

(3)远程登录诊断维护

在客户授权的情况下,本公司的技术员通过远程登录方式对系统进行诊断和故障排除。该方式也适用于客户授权的定期远程登录例行检查。

(4)远程登录下载

本公司网站上常设技术服务页面,会员客户可以随时登录下载最新的升级软件和补丁程序,实现自助式的软件升级。

4.3服务流程和服务质量保证

本公司根据ISO9001质量体系,制定并采用规范的服务流程。

(1)服务档案建立

本公司采用完整的客户服务工单式流程,为所有客户的项目工程建立服务档案,每次服务均有详细记录,并得到客户的签字确认。

(2)服务监督

对于客户的服务,本公司专门的项目管理人员会对客户服务请 求的实施情况进行监督,确保客户的请求在规定的时间内得到响应和最终解决。

5.项目质量保证

为了保障项目能够顺利完成,除项目管理本身之外,还要考虑建立项目的保障体系,即组织保障体系、制度保障体系与技术保障体系。

5.1组织保障体系建设

由于低压普查数据的采集与整理,涉及的设备多,内容杂,项目的范围决定了整个工作要完成好是一项艰巨的,比认真程度、比工作细致程度的任务,这就要求集中项目实施团队中各专业技术力量来确保项目得成功建设,因此需要一个强有力的组织体系来保障项目的成功实施。

5.2制度保障体系建设

在项目实施过程中,项目组应根据国网相关规范,同时,结合现状,统筹考虑,摸索出了一套适合自身管理需要的方法,同时能把项目实施时好的经验用制度的形式固定下来,作为以后深化实施工作时的工作规范和标准。

5.3技术保障体系建设

(1)人才培养

项目在实施过程中涉及的内容广、时间紧,因此实施团队中的成员需要是相关专业性人才。这样才能跟上项目的整体实施进度,使整个项目顺利开展。

(2)技术规范的建立

针对局方的要求,还需要进一步完成包括数据采集、文档格式等相关技术规范。

(3)项目质量管理

a.质量保证体系

实施的质量保证活动,是涉及各个小组间的贯穿整个项目过程之间的重要活动,必须建立一个规范的质量保证体系,以明确组织内部的质量保证业务,保证各项活动的顺利开展。同时,制定质量保证计划,确定质量目标,确定在每个阶段为达到总目标所应达到的要求,对进度做出安排,确定所需的人力、资源和成本等等。具体来说质量保证内容通常应包含质量保证承诺、阶段性评审、全面或抽样测试、质量验收过程和问题汇总反馈过程等,以保证项目达到预计效果。

b.工程标准和规范

项目实施过程中,将严格按照承诺的项目实施范围,按照各项技术标准和规范的要求进行实施。

c.变更控制和评审

变更控制是做好项目范围控制的有力措施,变更控制的主要方法是变更评审,这也是保证项目质量管理的一个重要任务。下面是关于变更控制的一些要点:

1)变更可能由用户提出或由项目组提出,每一个变更必须记录成文档。

2)变更的批准,重大的变更需由项目领导组批准,其它变更有项目管理组决定。

3)一个确认的变更须得到批准后才能继续进行时,需要使用变更申请流程。

d.工程质量管理标准

本项目的施工工程质量,将受项目领导组、项目监理和项目管理小组的监督。同时,项目的工程质量将严格按照技术数据表的各项指标接受考核。

(4)风险控制预案

实施型项目的风险管理是工程实施管理的重要内容。在进行低压普查项目时,要辩识风险,评估它们出现的概率及产生的影响,然后建立一个规划来管理风险。风险管理的主要目标是预防风险。

论文作者:金华芳1,叶华2,吕易佳3

论文发表刊物:《电力设备》2016年第18期

论文发表时间:2016/11/30

标签:;  ;  ;  ;  ;  ;  ;  ;  

基于网络爬虫技术服务的质量管理分析论文_金华芳1,叶华2,吕易佳3
下载Doc文档

猜你喜欢