欧盟《通用数据保护条例》(GDPR)要求下的数据应用实践论文

欧盟《通用数据保护条例》(GDPR)要求下的数据应用实践

中国银行(卢森堡)信息科技部 魏来

欧盟《通用数据保护条例》或称《一般数据保护条例》(以下简称“GDPR”)已于2018年5月25日正式实施。GDPR的正式实施,对于欧盟国家个人数据的收集管理、数据的可见性以及使用限制,即个人数据的保护制定了原则和规范。同时,GDPR合规性不受自然地理的限制,只要存储和处理了欧盟数据主题的数据,都必须遵守该条例。以此为基础,当前包括金融机构在内,尤其是置身于欧盟国家的B2B、B2C等各类中外资机构和企业,都制定了相应的数据安全管理办法和数据使用操作流程以符合相应的监管要求。此外,大数据时代背景下的数字化转型、社会数字化迅速发展,这些存储和处理了包括个人数据在内的金融机构或企业在改善业务决策、总部集团并表、内部精细化管理、外部监管报送、经营业绩分析并可视化、建立客户单一视图和客户画像等方面都有各类基于数据沉淀、深入分析和充分挖掘的数据应用需求。本文并不针对GDPR条例进行政策解读和深入分析,仅基于GDPR的合规要求,针对企业内部并非高数据量和高并发的通用需求场景,结合目前主流应用体系架构,充分利用企业现有资源提升效率、安全可控、优化流程,以实现轻量级企业数据结果集定时自动生成、并通过企业内部邮件系统,向数据使用的提出方定向完成数据的主动推送功能,提出一种可行性解决方案。

一、基本的数据使用和处理流程

为符合GDPR的合规要求,一般情况下,企业内部的数据使用和处理流程主要包括以下几个方面:首先,前提是数据主体同意在有限的范围和周期内保存数据信息;其次,对于数据使用的提出方,必须明确数据使用用途和时间范围,并承诺数据使用完毕后及时删除,在得到预先制定的审批流程和指定的数据保护官批准后,数据管理方再进行生产数据向测试环境的迁移拷贝,按照数据使用提出方的要求生成数据信息,然后通过加密邮件的方式发送给具体的数据需求提出者,并通过电话方式告知加密文件的密码;最后,数据使用提出方在使用完毕后,及时删除数据,数据管理方释放测试环境,抹掉迁移拷贝的生产数据。上述数据处理流程,如果通过建立专用的数据生成和推送服务器,做好相应的配置,针对不同的数据信息自动推送到指定数据使用提出者,日常仅对该服务器做好访问控制和安全策略的管理,不但可以有效提高数据处理能力,也极大地保证了数据传输上的可控性和保密性。

二、基础架构搭建

首先可以确定的是,无论数据和应用的规模如何,传统的两层C/S体系架构作为难扩展、不便维护的应用服务端已经不再适用于目前发展的需要;另外,作为低成本和低门槛的Access + Excel模式,虽然也能解决部分临时性的数据分析和数据需求,但是对于IT部门人员有限、相对业务人员有较高开发要求、数据需求频繁且多变的情况,再加上Access的安全性较差和对SQL语句的支持较弱,至多作为某部门内部应用,而较少采用在企业级应用上,因而也不在此赘述。事实上,对于业务部门透明且简单易用,对于IT部门便于开发维护和易于管理,除使用一些专门的ERP企业管理软件,尤其针对数据量级虽然不大,但是分析统计口径多变且频繁的应用场景,再加上对底层原始数据不能直接访问的管控要求,目前在很多企业内部都是通过使用自主建设的MIS管理信息系统或者数据加工平台,即WEB应用端+主流关系型数据库的B/S部署方式进行数据加工处理和数据展现。其中的应用端无论是采用JSP +Servlet + JavaBean的传统WEB应用体系架构,还是目前最流行的基于J2EE的三层B/S体系架构(如SSH或者SSM),需结合企业的资源情况和应用场景进行最优选择。此外,由于BI商业智能的解决方案被广泛地采纳和使用,可以利用ETL工具将业务系统数据进行抽取、清洗转换和载入,实现基础应用数据的整合;同时,利用数据库自带的数据导出方式,或者选择支持多个数据源和数据结果文件、并且支持与绝大多数流行开发工具接口集成的代表性BI报表软件,例如Crystal Reports,配合使用WIN平台的批处理命令、VB Script和任务计划,定时启动邮件发送系统完成定向发送。整体架构如图1所示。

一是把人本作为最高价值目标。党的十九大报告中,将“以人民为中心”“坚持人民主体地位”作为新时代中国特色社会主义思想的基本内涵。“枫桥经验”50余年的实践正是“以人民为中心”的生动阐释。从诞生到现在,“枫桥经验”始终把人放在第一位,把促进人民群众的幸福与发展作为所有工作的出发点和落脚点;同时,把群众路线贯穿到所有工作的全过程,充分依靠人民群众化解矛盾纠纷,推进社会治理。

图1 整体架构示意

数据访问层(DAL):SQL Server/Oracle + ETL用于数据处理和作业调度;业务逻辑层(BLL):Tomcat/WebLogic + JDK用于业务逻辑封装;用户展现层(UI):ASP/JSP/报表工具 + VB Script + Mail Client用于推送和展现。

三、结合具体数据应用的解决方案

例如,有某业务部门提出,针对目前存量的贷款客户,需要根据其贷款期限、贷款种类等信息,提前预判近期贷款到期的客户清单,并且需要在每周一主动预警。首先通过批处理脚本调用SQL命令的方式,完成一系列数据准备后,将该类客户信息以(贷款到期日期-系统当前日期)的顺序排列,并利用SPOOL工具输出至Excel并调用压缩工具完成压缩和加密,然后在批处理脚本中的最后调用VB Script,以实现发送邮件功能,在对应的VB Script中,配置好具体接收邮件地址信息,最后配置任务计划,将该作业配置在每周一自动运行。

采用SPSS 17.0软件对数据进行分析处理,计量资料以(均数±标准差)表示,采用t检验;计数资料以(n,%)表示,采用χ2检验,以P<0.05表示差异具有统计学意义。

配合ETL作业调度的功能,轮询监测应用层数据一旦完成装载和加工就绪,同时将自动化引入数据漂白或者脱敏以降低个人数据泄露的风险,再通过WEB应用程序或者作业调度工具调用数据生成和自动发送的批处理作业,势必更加事半功倍。需要注意的是,在后端数据加工处理和逻辑封装过程中,尽可能地合理建模、做好数据的优化整合,以便IT人员在开发设计WEB端应用和数据信息文件时,简化前端数据加工逻辑,减少前端数据处理压力和资源占用,以提升响应效率。同时还需要谨记,一旦传输完毕,通过自动化的方式及时删除销毁所生成的数据,并定时审计。

另有某业务部门提出,需要不定期通过某个固定的客户清单,对目前存量的所有客户信息数据进行模糊查询和匹配,以筛选命中的客户信息,进行进一步的业务分析。首先向数据使用提出部门提供固定数据格式的客户清单上传和后端数据库载入接口,然后通过配置数据库的触发器功能,一旦发现客户清单发生了更新变化,便触发客户信息扫描程序,匹配出相应的客户清单,最后在批处理脚本中调用第三方的BI报表软件和压缩软件以及发送邮件的VB Script,完成数据有条件触发生成和自动发送的一系列操作。

另外,配合第三方的BI报表软件使用,对Crystal Reports Ninja加以介绍。以增强代码的可读性和可维护性,这是一个用C#语言,基于Crystal Reports Exporter的完整重写。它是在.NET Framework4.5上运行的开源Windows控制台程序,可以加载外部Crystal Report文件并按照指定文件格式导出,如CSV,XLS,XML,PDF等,以及直接输出到打印机,同时还支持输入单个或者多个参数。由于是一个命令行应用程序,那么它可以由任务计划程序,批处理文件,命令行程序以及WEB API或者WEB应用程序调用。只需要根据32位还是64位操作系统,选择安装由SAP提供的x86或者x64版本的Crystal Reports Runtime类库引擎,该程序即可运行。

杨鹏是郑渊洁之后,作品最得小读者真心认可的少数几位儿童文学作家之一。小读者认为,鹏哥是真正懂他们的。鹏哥写出了他们心中想要的英雄——可能不是那么完美,可能成绩并不太好,可能还有这样那样的缺点,但这些孩子勇敢、善良,能够及时改正错误,敢于面对邪恶,敢于面对挑战。这样的主角,就是他们自己,他们也可以成为这样的英雄。

GDPR所带来的挑战和机遇并存,事实上,也有教科文献早就证实,好的监管会带来更好的产出,在数据管理方面亦是如此。科技引领,创新驱动,借鉴敏捷开发方法论,利用现有资源,选择和建立好处理模式,在安全可控的前提下,结合实际应用场景,迭代开发、充分复用、灵活配置,利用自动化方式实现业务支撑,在类似的轻量级IT项目管理中均具有非常重要的意义。

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  

欧盟《通用数据保护条例》(GDPR)要求下的数据应用实践论文
下载Doc文档

猜你喜欢