上海宽带技术及应用工程研究中心 上海 200336
摘要：能耗问题一直是制约数据中心可持续发展的关键问题。特别是随着云计算、大数据的快速发展，数据中心的规模越来越大，能耗也随之増加。因此，降低云数据中心能耗，已成为一个急需解决的、对于环境和经济发展具有重要影响的重大社会问题。本文针对云数据中心软件，对云数据中心软件的节能机制和系统原型进行探讨，希望能够为相关工作人员提供参考。
关键词：云数据中心；云计算；软件；节能
引言
当前数据中心设备的有效利用率普遍较低，研究云数据中心的软件节能关键技术对构建绿色云数据中心，促进数据中心的持续健康发展有着极其重要的作用。在研究和实际运行中，做好数据计算、数据存储和数据传输三个环节的软件节能关键技术的研究，可以通过软件节能技术来减少云数据中心的能源消耗，支撑数据中心的可持续发展。
1云数据中心基于用户为特征的资源分配调度
基于用户行为特征的资源调度框架主要由用户行为数据收集模块、用户行为特征分析模块、资源调度策略计算模块和资源调度控制模块四大模块组成。其中，用户行为数据收集模块负责收集本地用户行为信息，并将收集到的数据上报给用户行为特征分析模块；用户行为特征分析模块对用户提交任务和查看任务结果的行为数据进行统计与分析，然后构建时间片段内的负载模型和用户预期完成时间模型，并通过反复训练来提高该模型的准确度；当用户的行为习惯模型训练完成后，资源调度策略计算模块将会自动按服务类别，将用户行为习惯模型进行聚类，然后自动计算任意时间片段的最佳资源分配策略，并采用唯一的服务类别编码，将这些策略统一存储在云计算的综合控制中心的资源调度控制模块；在云计算服务实施过程中，当任务调度模块收到任务管理模块的任务调度请求后，其将根据服务编码，查找当前时间片段的资源分配策，并严格按照预设的策略进行任务调度和资源分配。
2基于用户行为特征的资源分配调度算法
云计算平台的资源分配与调度策略与任务密度和用户期望完成时间两个关键参数密切相关，所需要的是持续收集每个用户的行为信息，并为每种行为设定不同的权重，然后通过神经网络预测模型计算时间片段的任务密度和用户期望完成时间。从业务系统软件的角度来看，用户的行为可以分为；提交任务、查询任务执行进度、查看任务执行结果等。用户的行为并不完全是随机的，他们在不同的时段内有着重复的特征，所以也是可预测的。用户行为特征信息表构建算法主要解决用户行为习惯建模的问题，应用用户行为习惯描述模型，通过持续地收集每个用户在不同时间內的任务提交行为习惯数据，并查看任务执行报告的行为数据，进而动态地构建任意时间片段内的每个用户的行为模型。并通过汇总这些行为数据来预测任意时间片段内云服务的负载模型以及用户的预期任务完成时间模型。最后计算每个时间內的最隹资源分配与调度策略。
3用户感知的高性能集群重复数据删除存储系统
面对大数据存储的多节点、高性能和高概率的存储节点动态调整的挑战，必须设计一个全新的集群重删体系架构，要求同时满足下述三个特征：１）高重删率：系统采用全局重删，存储节点的増多不会影响重删率的下降，集群系统的重删率应该与单节点系统保持在同一水平；２）高性能：单节点性能损耗低，集群系统的总性能能够随节点的增加而线性增加；３）高扩展性：存储网络节点间的交互开销不会随着节点的増多和性能提升而成倍增加，从理论上，支持无限节点的扩展。物理节点只提供负载均衡和虚拟节点映射管理功能，具体的重复数据删除处理工作全部由虚拟节点完成。因此当物理节点动态调整时，外部应用程序无感知，相关数据迁移全部在后台完成，具有良好的可扩展性。
4云数据中心基于业务感知的网络传输模型的研究
4.1模型抽象与问题分析
数据中心的网络总能耗是由服务器通信所带来的能耗和交换机为实现数据交换所消耗的能耗两部分组成的，其中网络设备配置包括：交换背板类型、线卡类型、线卡数量以及网络接口配置速率等。随着数据中心服务器的増多，或者传输数据总量的增加，能耗都会线性增加。在云计算时代，数据中心网络流量模型出现了明显的变化。以分布式架构为主的云数据中心，各类业务软件的系统架构都天然地将各业务模块分散在多台服务器上，并通过网络来实现协调作业。此外，由于用户对数据对象的请求往往呈现重尾分布规律，基于端到端的单播传输方式造成了大量的重复数据在网路上传输。显然，在这种新的业务模式和流量特征下，传统的通过链路整合来实现网络节能的方法己经不能有效降低数据中心的网络能耗。减少无效数据传输量和降低数据跨交换机的次数，才能有效减低数据中心的网络能耗。
4.2业务感知的网络模型
在云数据中心，受分布式软件架构的影响，网络中存在大量的数据被重复传输。该问题无法通过链路整合或者设备休眠等节能方法来解决，因为网络设备无法感知被传输的数据是否为重复数据。但是，如果交换机、路由器等网络设备知道自己链路中所传输的数据业务类型以及业务节点映射关系，那么就可以通过规划合理的VLAN来缩短数据的流动路径减少网络能耗。虚拟交换机的两端分别连接着物理网卡和多块虚拟网卡，同时虚拟交换机内部维护一张映射表，根据MAC地址寻找对应的虚拟机链路进而完成数据转发。
4.3数据流处理过程
１）当数据包从虚拟机发出后，首先将通过虚拟机上配置的虚拟网卡，虚拟网卡会根据一些既定的规则决定如何处理数据包，例如放行、阻隔或者修改；２）在被网卡放行后将转发至虚拟交换机，虚拟交换机根据自身保存的流表对数据包进行匹配，如果匹配成功，则按照相应的指令进行数据包操作；如果匹配未成功，则将数据包发给拴制器等待相关流表的指定和下发；３）当数据包需要通过物理网卡转发时，它将会被发送到与虚拟交换机相连的物理网卡上，进而被转发给外部网络设备，系统可以通过驱动虚拟机迁移来实现网络拓扑按预定目标进行调整，最终实现整个网络可以按照业务软件的需求动态分布和调整。
结语
能耗问题一直是制约数据中心可持续发展的关键问题。特别是随着云计算、大数据的快速发展，数据中心的规模越来越大，能耗也随之增长。在今后的研究中，可以结合最新的计算虚拟化技术、存储虚拟化技术和网络虚拟技术来构建低功耗的计算、存储和网络组件，尝试着探索适合大规模云数据中必的软件节能机制和系统原型，从而实现从IT系统的源头上降低云数据中心能耗需求。
参考文献：
[1]周景才.云数据中心软件节能关键技术的研究[D].武汉大学，2016.
[2]刘渝.云计算数据中心若干节能优化算法[D].吉林财经大学，2015.
[3]本报记者赵静.设计技术成数据中心节能关键[N].政府采购信息报，2014-03-17028.
注：课题编号：15DZ0501200
课题题目：模块化数据中心设计与节能评估的关键技术与共性技术标准研究。
论文作者:郑贤清,方行
论文发表刊物:《基层建设》2017年第22期
论文发表时间:2017/11/20
标签：数据中心论文; 用户论文; 数据论文; 节点论文; 模型论文; 模块论文; 节能论文; 《基层建设》2017年第22期论文;