大数据时代下的流量经营系统建设
文/吴敏
摘 要
本文结合中国移动上海公司流量运营平台的建设，对系统建设思路以及运用的关键技术进行阐述，结合实时营销、终端换机等实例，介绍了如何通过系统平台的运营支撑来实现多场景业务模型运营，如何在移动互联网时代的发展下进行实时、高效的接触点智能营销，进而提升用户服务感知，进而转变运营商的收入结构，实现流量经营时代的利润提升。
【关键词】 流量经营 大数据 智能 分析处理DPI DFI
1 项目概述
1.1 项目背景
随着移动通信技术的不断演进，中国移动已从话音经营时代进入流量经营时代，大数据时代下运营商确立了以智能管道（物理网络）和聚合平台（商业网络）为基础，以扩大流量规模、提升流量层次、丰富流量内涵为经营方向，以释放流量价值为目的的一系列理念、策略和行动的集合。流量经营的最终目的是顺应移动互联网的发展，转变运营商的收入结构，达到利润最大化。为了避免“被管道化”，流量运营分析系统当之无愧地成为了运营商大数据时代的炼金术。
中国移动在2012年流量经营工作上的主要方向上提出：要把握移动互联网时代特征，努力加强流量经营。提出了五点要求：
（1）要提供好用易用的管道，不断提高核心网质量；
（2）要将终端补贴重点向中低端智能手机倾斜；
（3）要做好手机上网客户培训和主动关怀工作；
（4）要提升手机上网使用感知；
（5）要加强流量的精细化经营。
如何通过业务支撑系统更好的助力互联网时代的电信运营商的流量经营，实现加强流量经营的工作要求是本项目课题主要研究的方向。
1.2 项目建设方向
1.2.1 把握流量特点
存在问题：用户上网行为千差万别，特征差异大，有待深度掌握。
工作方向：建设流量经营分析支撑系统，精准把握用户互联网行为特点，实现移动互联网领域的精准营销，提升流量经营工作效果和效率。
对于ICP-AES分析，可调节的仪器参数主要有射频发生功率、工作气体流量(包括冷却气、辅助气、雾化气)、蠕动泵转速、观测方式等。其中射频发生功率、雾化气流量和辅助气流量是影响分析线信号的关键因素[19-20]。
2.2.2 精进老技术-“数据仓库”
存在问题：流量结构不合理，2G承载过高，访问感知差。
工作方向：加强TD网络建设，加大TD智能终端、MIFI的营销力度，加快WLAN热点补盲，有效分流2G网络压力。
1.2.3 释放流量价值
原始流量信息数据解析：利用“协议分析”技术，深度检查和解析互联网数据报文，从中获取原始的流量信息数据：例如“应用协议”信息、URL信息、UA信息。最终为后续流量的分析运营，提供海量、精准信息。
总之，医疗行业是一个令人充满敬意的行业，坚持以人为本原则，体现医者仁心的高尚精神，提升医学生的人文素质，激发医学生对职业的热爱，构建和谐的医患关系， 让医学生在日常学习、生活和社会实践中体会到人文精神，坚定的从医信心，才能真正实现“健康所系，性命相托”的伟大使命。
对于互联网流量信息中含有大量的敏感信息数据，在项目实施中，如何保证信息安全无差错？
1.2.4 扩大流量规模
存在问题：普及率和人均流量有待进一步提升。
工作方向：降低用户上网门槛，创造便利上网条件，培养用户流量使用习惯，扩大流量用户规模。
2 流量经营系统的建设思路
建设流量运营平台，支撑解决流量供给、提升流量价值、个性化流量营销等流量经营工作建设流量运营平台，支撑解决流量供给、提升流量价值、个性化流量营销等流量经营工作上海公司紧跟流量运营四大工作方向，核心解决流量供给、提升流量价值、个性化流量营销三方面问题，建设省级流量运营平台，整合用户级流量信息数据，强化平台与各网络条线资源的融合互通，实现全能力流量运营工作。
目标一：提升引流能力，用更低的成本获得更多的有效流量，获得更多的客户接触机会。
由图4可知，漂烫温度与冷冻时间交互作用无显著性关系，漂烫温度和冷冻时间对脆度和含油量影响较大。当漂烫温度与冷冻时间大于90 ℃和2.9 h时，产品标准化综合得分降低。
目标二：提升流量转化成收入的能力，提升向客户成功推销产品的概率。
比萨大学的研究人员利用功能磁共振成像记录了大脑在7周时在清醒及睡眠阶段的活动图像。他们发现，大脑运动处理相关区域对于人类活动作出的反应在7周时和在成年时相似。这表明，人类大脑视觉中枢在7周大时已经发育成熟。
2.1 流量经营系统建设的思考
面对海量的和非结构化的互联网流量信息数据，我们该如何“烹饪”它？
面对高实时性要求的应用功能，我们该如何“满足”它？
网络侧数据和计费侧数据都接入了，怎么“呵护我们的系统生命线”？
工作方向：做好流量定价策略，丰富流量套餐资费，通过GPRS叠加包、闲时流量优惠包等资费手段，释放用户流量需求。
对于用户GPRS上网行为的实时捕获，与网络侧协同，则直接复用了网络侧实时捕获GPRS上网的能力，并实现实时对接到流量运营平台。
系统能力的互通，需要？不需要？
2.2 关键技术的实现：海量非结构化互联网流量信息数据精准处理
上海日均网络流量达4万G(2012年数据)，日均流量信息接口数据为1T。随着移动互联网的发展，此数据量还会逐步增长，预计到2013年底，日均流量信息接口数据量至少在1.5T以上。互联网信息数据中包含了大量的非结构化信息数据：如内容文本数据、XML和HTML网页数据等。面对海量的和非结构化的互联网流量信息数据，引入多项创新技术进行精准处理。
2.2.1 引入新技术-“分布式处理”
搭建Hadoop分布式环境：利用低成本的PC服务器和存储，构建Hadoop分布式环境。
使用MapReduce模型进行编程：基于MapReduce 编程模型，开发数据处理程序。最终消化掉互联网的海量数据。
问卷的问题设计主要针对目前在中国企业社会责任报告评级专业的团体，以确定因素集及各个子集因素的权向量，了解他们在中国乃至全球的社会责任报告评价指标体系实践情况。问卷则由企业社会责任报告评级专家表现各个子集因素的权向量。
1.2.2 落实四网协同
数据的处理必须依赖数据仓库，因此必须充分运用。
寻访中，印象深刻的有：利丰雅高的VOCs催化燃烧装置，通过微负压原理吸收在印刷过程中产生的VOCs，集中起来后通过催化燃烧的方式进行处理；盛通则是在原材料的采购上进行选择，将环保从源头做起。新星在生产橡皮布时，用延压法代替涂布，实现了橡皮布制造过程的零排放等等。
压缩大数据量表，提供访问速度：对大数据量表，进行压缩处理，以提高该表的访问速度。
分区表和多维集群的应用：按照业务创建分区表，更加均匀分布大数量表；按照常用维度，创建多维集群应用层表，提供查询性能。
2.2.3 流量报文数据处理利器-“协议分析”
权筝今天在小花园跟何东分手后就打电话找发小儿丁香。丁香一听出了这么大的事儿，马上请假来见她。丁香是精神病医生，俩人分析结果，何东是恐婚，给他点时间让他不恐。
存在问题：套餐内外差价大，用户需求受到抑制。
2.2.4 “爬虫、分词”-非结构化内容文本数据处理
爬虫技术：通过URL自动的抓取互联网上信息数据，包括用户访问的原始内容文本数据。
为了探讨小麦根尖细胞中O2－·含量升高的原因，进一步检测了一系列与ROS代谢相关酶的活性。如图2A所示，与对照相比，10 mmol／L硝酸盐显著降低SOD活性，降低了21.0%。相反，硝酸盐处理能够显著提高POD活性，10、60 mmol／L硝酸盐处理分别提高 POD活性11.8%和 147.5%（图 2B）。由图2C可知，硝酸盐处理对分解H2O2的酶CAT活性影响不大。因此，硝酸盐能够显著提高POD活性，而只有低浓度硝酸盐能够降低SOD酶活性。
分词技术：将获取的内容文本，进行合理、正确的切割，使文本计算机化，为后续内容分析和挖掘提供输入。
(2) 化学灌浆：采用气动注浆泵进行化学灌浆，掌子面注浆加固主要作用是固结掌子面坍塌体和堵水，因此固结强度要求不高，注浆效果现场控制，主要指标是将坍塌体固结或无流沙涌出即可。注浆压力一般控制在5 MPa～10 MPa。
2.3 流量数据的智能处理和实时联动
2.3.1 智能感、智能知分析功能
智能感：主要包含应用分析、终端分析、内容分析以及位置分析。精确定位终端用户需求，全面分析终端用户上网偏好，通过对数据的深度分析和结果固化、沉淀，掌握客户习惯偏好、行为等信息，识别个性化需求。
智能知：支持实时营销、快速挖掘用户的行为偏好，并及时将数据传输到营销平台，为用户进行快速准确的营销提供及时的数据。
2.3.2 实时营销平台功能
实时营销引入了多种大数据接口，能处理传统数据库和应用无法分析的数据：从C3智能感知平台的大数据流；从小区短信输出的A口信令数据、互联互通信令数据；IVR的12580按键数据。
（1）实时营销使用的是NoSql技术的数据内存数据库，能应对大量的事物频繁的更新等实时性较高的操作
（2）结合了经分的常规数据，对用户做更细致的分群，过滤，提高营销的效率
（3）多渠道统一管控，设置优先策略，各营销之间的并行关系，依赖关系等配置
The frequency of patient concomitant disease is presented in Table 1.
2.4 数据完整性维护保障
（1）消除单点故障保障方式，通过多进程部署，增加管理进程控制，在进程异常时保证数据不丢失。
1）增加管理模块实时监控各个进程的活动状态、控制数据流、收集进程状态。
为了验证提出的交互双模自适应降阶无迹卡尔曼滤波算法的有效性，采用MATLAB软件进行仿真验证。将式(6)表述为：
其次，从项目人员角色上明确权限。明确项目实施人员的角色，严格区分测试人员、开发人员。测试人员有人数限定。开发人员只能访问开发环境，测试人员只能访问测试环境。
3）当进程异常，管理模块主动检测，将数据分流到其他进程。
（2）文件方式保障方式，在系统异常或主动运维时，可以以保存文件的方式，保障数据完整性。
系统异常情况如下：
1）增加管理模块实时监控各个进程的活动状态、控制数据流、收集进程状态。
由表1可知，100个水产样品中有52个样品检出了甲醛，甲醛含量为0.48～63.37 mg/kg，平均值为7.65 mg/kg，76.9%的样品本底含量为0.2～5.0 mg/kg，表明多数水产品中甲醛的本底含量处于低端水平。鱼类甲醛含量相对其他水产品较高，其中海水鱼甲醛检出率高于淡水鱼；海水鱼类中鳕鱼含量最高，平均含量高达39.02 mg/kg，其他海水鱼的甲醛含量均低于20 mg/kg，淡水鱼检出率大大低于海水鱼，且甲醛含量均低于6.16 mg/kg；其次为鱿鱼，平均含量高达21.23 mg/kg；贝类和其他类水产品含量最低。
2）所有模块与管理模块定时心跳。
3）当进程异常，管理模块主动检测，将流数据先保存成文件，再由其他进程补充处理文件。
（3）互联网全量分析应用平台采用“DFI+DPI”两种技术相结合分析数据业务。
监测会话连接或数据流的状态等流量行为初步分析判断数据应用并监测应用层协议特征、业务流和控制流关联，协议行为判断具体数据应用。新增近50款应用：如http 下载、http 浏览、微信、微博、BT、迅雷、PPStream、QQ、飞信、魔兽、PPLive、Skype…等。
2.5 实时精确AP推荐功能的实现
通过算法进行基站和热点匹配，预先配置区域规则。通过基站实时捕获用户GPRS上网行为，实时匹配目标用户属性字段，实时推送目标用户到营销管理平台。
实时捕获、实时匹配、实时推送基于实时消息接口：与网络侧的处理模块衔接，采用MQ消息接口；与营销管理平台处理模块的衔接采用WebService接口；内部处理模块衔接采用Socket接口。
系统功能的方向，最全面的？最需要的？
采用内存实时匹配。业务应用场景实时性要求高，且基本都是小批量用户匹配。因此无法采用传统的手段，即在数据库中匹配、判断用户属性字段，而采用在内存中完成了这些处理，以保证处理的实时性。
2.6 人员、设备、数据，信息安全三维保证
信息安全永远的高压线。复杂的项目实施和大量的敏感信息，使得信息安全有很多隐患。流量数据敏感信息较多，如用户账号信息、用户位置信息、终端信息、访问内容信息、使用应用信息。同时，项目实施过程复杂，项目实施人员多、厂商非PSO的人员参与多、实施工期长、涉及多个服务器环境。项目实施又绕不开数据，如何保障信息安全？
首先，从项目实施环境上物理分离。项目实施环境：分别搭建正式环境、测试环境、开发环境，三境分离。其中正式环境存放正式数据，测试环境的数据由正式环境分发生成，开发环境的数据由测试环境抽样生成。
2）所有模块与管理模块定时心跳。
第三，数据加密、历史数据加强保障。测试环境中的敏感信息数据，事先准备好加密程序或者算法，在数据分发时，进行统一加密；测试环境的数据周期只能存在历史数据，比如上个月或上个星期的。
2.7 功能架构设计聚焦关键业务需求
如果建设全体系的监控指标、全方位的分析维度、全流程的系统功能？面对着系统提供的各式各样的全面的系统功能，不仅增加了使用上的不便，也让很多功能出现了局部重复，并失去了针对性。为了支撑系统大而全的应用功能，系统处理的数据量往往增大了很多，这将直接增加系统运行负荷，影响系统性能。建设大而全的系统，系统的建设周期会加长。这将可能会影响系统支撑业务发展的时效性。
流量运营，目前尚处于刚起步阶段，因此无法实现最全面的功能。且系统随着业务的发展不断有新需求，业务一直在发展，探索阶段无法做最全面的系统。指标是无穷尽的，换个单位，也许就变成另外一个指标了。因此需要聚焦业务人员最为关心的指标，然后努力实现它们。维度只是分析的角度，并非所有的角度都是正确的，因此需要聚焦业务人员最为需要的分析视角。系统功能是为业务发展服务的。而业务发展是有时间要求的。我们需要尽可能快的完成业务人员最为需要的系统功能支撑，这样才是对业务最有效的支撑。
综上，我们确定了系统的定位：不是纯分析型系统，必须是支撑业务发展的系统。
装备“长矛”-营销能力互通：实现流量运营平台和营销管理平台对接，可以直接将流量运营平台的分析成果，如用户群、热门内容和应用等，直接作为营销资源，用于营销。例如：新入网用户推荐功能，就是在流量运营平台监控新入网用户的终端型号和流量情况，捕捉适合推荐流量套餐的用户后，推送至营销平台进行营销推荐。
装备“盾牌”-服务能力互通：对于流量运营平台中生成的、可用于服务维系支撑的分析结果和资源，形成管理功能，在系统具备与外围服务维系类系统能力互通后，即可使用。例如：终端配置指导功能，就是定期分析GPRS上网失败和彩信发送失败的清单数据，获取失败用户终端型号。在与OTA平台对接后，自动化向用户推送终端彩信上网配置信息。
3 流量运营平台的应用
开展基于流量运营平台开展自动化换机用户营销活动，实时发现用户换机行为，通过服务新机用户的关怀行动挖掘二次营销机会。
压实度是一个十分重要的关键指标，若压实度达不到要求，孔隙率就大，平整度衰减就会加快，导致路面耐久性降低。所以，一般要求压实度要达到98%以上。
根据终端换机应用模型，平台根据不同的用户情况进行分析，推送不同的换机服务营销场景。可以查询每款机型每天用户数的变动情况，为设置具体的终端换机营销场景提供支撑；
（1）可以根据操作系统、屏幕、双卡等参数设置场景，进行灵活配置；
（2）可通过“终端换机场景管理”新增所需的换机场景，从而实时抓取符合条件的换机用户；
（3）可查看已设置的换机场景及具体配置信息；
（4）可直接点击“营销”按钮，实现营销方案的配置和生成，针对换机用户发起实时营销。
将有换机行为的，在活动中有套餐升级的用户与未升级用户进行对比，观察其流量变化。
（5）从数据中可以看出，有套餐升级的用户5月提升量明显高于未升级的用户，提升比例大于未升级用户的2倍以上。
（6）5元升10元的用户提升比例最高，达205%；10元升20元相对较低，提升比例为88%。
（7）5元升20元的用户人均流量低于10元升20元的用户，但提升比例高于10元升20元用户。
（8）观察换机用户在换机前后，套餐升级前后的流量变化，以期找出最合适的换机营销时间。
4 项目总结及展望
作为运营商流量经营时代的主要分析平台，上海移动流量运营分析系统自2012年建设以来，逐步实现了流量偏好分析、沉默与低使用量客户促进、流量促进提升、网络协同分析、终端运营应用、高价值用户流失预警、新业务营销、运营效果评估这八大类流量分析模型，以及四大类关键时刻场景运营、八类属地化深度分析报表，并在实际生产中取得了较好应用效果，有力的支撑了大数据时代的流量经营战略落地。
此外，对于互联网流量信息数据的研究结果，如用户偏好模型、终端信息库、应用特征库、内容分词分类等，我们该如何“共享”？这也是项目组不断思考的，对于共性化结果，建议建立共享信息库；个性化结果，建立交流平台。对于共性化的的研究结果，建立共享信息库：如终端信息库：终端信息，全国通用；应用特征库：互联网应用特征，无地域差别。对于个性化的的研究结果，则可建立交流平台，便于借鉴好的算法、模型，交流研究经验。如用户偏好模型：通过交流平台借鉴思路、算法，交流建模经验；内容分词分类：通过交流平台借鉴分类体系，交流内容分类标签经验。
高速的4G时代下，流量运营也将不断的支撑新业务新技术的发展，结合营销和服务不断为用户提供更便利的服务感知，顺应移动互联网的发展，向扩大流量规模、提升流量层次、丰富流量内涵为经营方向发展，助力转变运营商的收入结构，实现和用户的双赢。
参考文献
[1]中国移动通信集团上海有限公司2012数据流量分析系统建设工程项目建议书,2012.
[2]中国移动通信集团上海有限公司2013数据流量分析系统优化工程项目可研报告,2013.
[3]中国移动通信集团《移动数据流量经营指导意见》，2014.
[4]流量二期项目建设方案,2013.
作者简介
吴敏（1980-），女，上海市人，硕士学位，高级工程师。研究方向为IT项目管理。
作者单位
中移（上海）产业研究院 上海市 201260
标签：流量经营论文; 大数据论文; 智能论文; 分析处理论文; DPI论文; DFI论文; 中移(上海)产业研究院论文;