面向电信运营商的容器云SDN云网一体化方案研究
李铭轩 邢 鑫 王本忠
联通云数据有限公司 北京 100084
摘 要 随着SDN技术的发展 ，网络IT化是未来网络演进的方向，而在IT领域，集约化和虚拟化是目前主流的发展方向，如何实现云和网的统一发展也是目前电信运营商重点关注的领域。基于电信运营商现有的资源部署和网络建设现状，文章提出面向电信运营商的容器云SDN云网一体化整合方案。在此基础上具体阐述网络部署方案和总体技术架构，并且对未来容器云SDN云网一体化的应用场景进行分析。
关键词 微服务；容器技术；云网协同；SDN
引言
容器云技术的推广改变了传统的以虚拟化技术实现IaaS资源的交付，业务系统基于虚拟资源实现业务部署和业务开通能力。容器技术打破以往只交付虚拟资源的流程，将业务系统直接封装到容器镜像内部，直接实现业务能力的交付。随着容器技术在互联网行业的展开，电信运营商从基础IDC资源到上层业务能力资源开放相比较于其他互联网企业有着无可比拟的优势，主要体现在IDC资源交付管理、运维质量管理、客户体验提升、市场运维支撑、云管理平台等诸多方面[1]。
与此同时，伴随着SDN技术的广泛应用，电信运营商的网络资源如何更好地支撑电信运营商的业务发展需求，如何更快速地实现资源整合，如何将电信资源作为能力开放出去，从而为新的业务应用上线提供很好的网络支撑以应对目前快速发展的互联网化应用需求，是目前电信运营商积极探索的领域[2]。
2.2.3 产量。磷肥施用量与产量密切相关。施用磷肥都能增加小麦产量。施用磷肥的小麦平均单产为462.2 kg，比未施用磷肥的小麦单产419.0 kg增产43.2 kg，增加10.32%。
基于容器云SDN技术实现云网一体化在跨数据中心调度、整合资源、快速迭代开发以及应用快速部署等方面有很大的优势，是现阶段该领域比较热点的研究方向。本文的重点正是从容器化的角度，研究面向电信运营商的现有容器技术和SDN架构如何实现基于容器云SDN云网一体化部署，同时实现数据中心资源的整合以及业务应用的快速上线。
1 现有电信运营商的资源分布特点
现有电信运营商的基础资源采用集中化方式进行部署，主要集中在全国几个比较大的数据中心内，虽然有些运营商在省地市还存在较小规模的数据中心，但其主要面向本省业务进行承载[3]。以中国联通为例，目前，在全国有几个集中部署的规模较大的数据中心，数据中心分布呈现自东向西划分为：业务区域节点、业务核心节点等，比如：廊坊基地、呼和浩特基地、贵安基地、深汕基地以及硅谷基地等。机架总数达到20 396个，其中，廊坊基地机柜总数为8 395个、呼和浩特基地7 151个、贵安基地2 827个、深汕基地936个、硅谷基地1 087个。
现有中国联通较大规模的数据中心主要承载集团五大域的业务系统。每个数据中心承载的业务系统类型不同，其主要的业务承载和未来布局策略如表1所示。
为了对比菌渣、无机肥添加量对受重金属污染土壤通气状况的影响,分别设置菌渣添加组和无机肥添加组,对土壤孔隙率进行测定,结果如图2所示,图中a,b,c,d表示各处理组间的显著性差异(P＜0.05).
从现有的业务系统部署分布来看，大部分的业务系统都是部署在不同的数据中心内，结合未来中国联通业务系统布局策略规划来考虑，需要满足以下几个方面。1)符合每一个领域的业务发展特点；2)为每个领域分配满足扩展容量需求的数据中心空间；3)满足两地或者多地部署要求；4)与当地运维能力结合较好；5)首要考虑成本问题。
1)机架资源分配不均衡。目前，联通五大基地的建设规模存在很大的差异。从机架总数、租用机架等方面，廊坊基地和呼和浩特基地在机架建设规模上远远超过其他基地的建设规模。从图1可以看出，廊坊基地由于靠近北京，而且建设规模比较大，因此，在用户租用、加电机架总数等方面都处于比较饱和的状态。与此同时，机架资源利用的紧张情况也比较突出。
表1 业务系统基地部署分布表
数据中心之间实现L3层Vxlan网络VPN打通[12]。实现SDN与容器云平台的业务融合，通过容器云平台来实现容器进程和硬件网络的统一开通和部署。
图1 2018年基地资源统计情况图
此段对话是关玉明的女儿凡向他介绍自己男友时的一段对话，因为英文中“Chappy”和“Chubby”（表示“胖嘟嘟的”）两词发音相似，因此这应该是关玉明与他女儿玩的一个略带玩笑的文字游戏，而中文中“查佩”与“胖嘟嘟”两词的发音并无相似之处，因此译者省略了此处的语言文化信息，将其译成“茶杯”，使中国观众获得了相似的语境效果。
2)空闲资源分配不均衡。现有的数据中心空闲资源存在严重的分配不均衡的情况，而呼和浩特等基地在建设规模上和廊坊基地差不多，但是其资源空闲情况比较严重。分析其原因，首先是由于廊坊的地理位置更靠近北京，在运维等方面更加方便；其次是呼和浩特基地离北京较远，同时该基地属于新建基地，部分业务还未迁入该基地，导致目前空闲资源较多。与此同时，由于呼和浩特基地建设在西北部，无论是电力成本还是运维成本都远低于廊坊等基地。因此，后续的资源混合利用，业务系统的迁移以及跨数据中心的资源调用就成为必需。
3)利用率分配不均衡。在资源利用率方面，图1从客户利用率和机房利用率两条曲线显示，调研和分析的基地存在严重不均衡的情况。以廊坊基地为例，客户利用率和机房利用率接近饱和。而呼和浩特基地不论是在客户利用率还是在机房利用率方面都存在严重不足的情况。而贵安基地、深汕基地以及硅谷基地则存在客户利用率很高，而机房利用率比较低等问题。
记得1998年，也就是香港回归的第二年。那一年，我二十出头。也曾有意无意地问自己：下一个十年，会是什么样子？
结合上述几大基地目前的资源统计状况的分析所总结的几个方面的问题，分析其根本原因在于，有些基地属于新建基地，目前还处于刚刚投入使用的阶段，比如呼和浩特基地；同时，基地建设离北京、上海等一线城市距离较远，用户的业务系统引入等方面还需要一些时间；另外，呼和浩特基地由于造价和成本较为低廉，未来将是中国联通重点推广的数据中心之一。与此同时，有些基地在运营商的规划中属于逐步下线的基地，比如硅谷基地，由于地处北京上地的黄金地段，同时承载了办公区域的职能，基地本身的规模发展受到限制，在公司规划层面属于逐步下线和外迁的基地。因此基地本身的客户利用率很高，而机房利用率需要逐步降低和机房腾退，最终将业务迁移出这些计划下架的数据中心。运营商后续需要考虑跨数据中心的资源混合调用以及业务系统迁移等问题。
由于容器云更面向业务系统，其自身的微服务化容器编排调度能力可以实现用户无感知的业务系统迁移，从而为用户提供很好的用户感知。因此将采用容器云SDN云网一体化方案来解决上述运营商数据中心利用不均衡和业务系统迁移等问题。
2 容器技术介绍
与此同时，一个业务系统一般需要由多个容器组件组成，共同实现业务系统的总体功能，而多个容器组件的协同处理需要由一个统一的容器编排平台来实现整体的资源调度和网络通信机制等[6]。目前，比较流行的容器编排平台主要是Kubernetes平台，其总体架构如图2所示。
容器技术是目前比较流行的一种资源共享方式，它可以在按需构建操作系统实例的过程当中为用户提供极大的灵活性[4]。Docker是一个开源的应用容器引擎，开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的服务平台上，也可以实现虚拟化。容器是完全使用沙箱机制，互相之间不会有任何接口，从而保证了容器应用的安全性[5]。
结合目前Kubernetes的技术架构，采用主从模式来实现管理节点(Master)对从节点(Node)资源能力的调度，其中就包括网络能力以及硬件资源的调度。由于Kubernetes容器云平台属于开源项目，其集成了诸如Flannel、Calico等诸多开源网络组件[7]，但是只围绕容器创建虚拟网络实现容器之间以及容器与外部的网络通信和IP地址分配等功能[8]。而在实际网络配置尤其是跨数据中心之间的资源访问和业务访问存在很大的局限性。因此，网络的制约性为电信运营商在后续的业务扩展方面带来瓶颈[9]。如何解决这个瓶颈？现有的电信运营商大规模推广的SDN技术将为其提供很好的解决方案。本文也将着重阐述面向业务的容器云SDN云网一体化技术的实现方案以及应用场景。
3 实施方案
本文从电信运营商现有的业务领域特点出发，结合容器云SDN云网一体化技术，提出了面向电信运营商实际情况的容器云SDN云网一体化技术以及具体实现方案。
3.1 系统整体架构
基于现有电信运营商的业务形态，主要分为五大域的业务系统：M域、D域、O域、E域以及B域等。从中长期业务系统规划来看，将逐步把业务系统迁移到容器云平台上来，由容器云平台实现整体业务系统承载。在容器云平台和SDN之间通过统一对接的方式来实现，如图3所示。
村小组代表大会应该制定并通过章程(村规民约)，这是村自治的基础，关系到全体村民利益。因此在制定的时候，应最大限度听取村民意见，并保证顺利实施。村民小组代表大会还可以聘请一名专业的法律顾问，为其提供法律指导和帮助，进一步规范权力行使。
依据上述整体技术架构，本文选取两个数据中心实现容器云SDN组网方式，在两个数据中心划分不同的物理资源进行平台部署和资源纳管[11]。其网络部署如图4所示。
(3)建立灵活动态的薪酬体系。独立学院没有国家财政拨款，靠自收自支维持其办学过程中所需各种经费需求。结合当前我国新一轮事业单位改革及绩效工资改革的大背景和契机，应充分利用自主办学和机制灵活的优势，根据市场需求和自身的条件，制定符合独立学院发展特征的灵活薪酬体系。高校提供的薪酬体系、各项管理制度、工作环境、沟通渠道等外部报酬决定了教师的去留。留人，更要留心，独立学院不仅要保障学校教职工的福利待遇和地位，更应采取积极有效的措施提高教师对“工作”本身所带来的归属感、成就感等内部报酬。
图2 Kubernetes技术架构图
3.2 网络实施部署方案
容器云管理平台可以实现跨数据中心的网络资源纳管。在提供纳管服务时，将下发SDN控制器插件(SDN-CNI-plugin)以及SDN控制器代理(SDN-CNI-agent)到服务器上，以实现SDN控制网络的纳管[10]，并为物理服务器创建真实网络。同时，容器云管理平台将实现真实网络组件管理能力封装，直接面向业务系统提供云网一体的资源编排和调度协同能力。
两个数据中心的控制器通过SDN统一接入适配层。实现对上层北向接口的统一封装。两个数据中心之间通过WAN控制器接入云间DCI。
以用户末端温度需求为主机功率输出依据。用户末端所需温度设定后，室内末端会因人流量增减而产生热源变化、出/回水管线长短、水管保温是否良好、水的流速和室外天气温度变化等因素，均会导致出现多种变量而造成负荷的不同。智能节电管理系统根据各种变量的变化，实时动态调节主机负载，以满足末端负荷的需求。使主机的能耗可以快速、准确、合理、适度加减载，直接与末端需求相适应。通过对中央空调系统末端的动态监测，并参考室外温湿度，室内环境温度需求，实现空调主机负载率跟随末端负荷需求而同步变化。从单纯生产变成以需定产实现节能目的。智能节电管理系统平台管理模式如图1所示。
结合目前主要的数据中心运行情况，现有的资源利用率还存在着严重分配不均衡等问题。本文选取了廊坊基地、呼和浩特基地、贵安基地、深汕基地以及硅谷基地所承载的资源利用情况，从机架建设、机架利用以及用户利用率等角度来进行分析，结果如图1所示。从图1中可以看出，五大基地在资源利用情况上各不相同。
数据中心内部通过内部控制器实现Spine-Leaf典型网络模型，实现内部的二层网络的Vxlan连通。从而实现了业务平台与底层服务器资源在网络上的打通以及实际的网络监控能力。
以容器云管理平台实现资源的统一管理和调度，底层直接通过SDN统一接入适配层，对接下面不同数据中心的SDN，从而实现SDN控制器北向接口标准化和统一接入；南向接口可以适配不同厂商的SDN设备，这种架构符合现有的运营商数据中心网络现状。
3.3 技术实施方案
在技术实现方面，本文以Kubernetes容器云管理平台为例，通过实现SDN插件的方式实现与Kubernetes容器云管理平台自身所自带的CNI标准接口对接[13]，从而当Kubernetes在创建容器Pod时，实时将相关信息反馈给SDN插件，再由SDN插件将信息反馈至Kubernetes集群里面的网络控制器(SDN-net-master)，通过网络控制器和SDN控制器的联动来实现实体网络的控制。其具体的技术实现如图5所示。
依据上述技术实现方式，通过在Kubernetes集群节点部署SDN插件的方式在创建POD的同时，将信息同步给SDN-CNI-plugin，同时，SDN-CNI-plugin为POD打上标签。SDN-CNI-agent负责收集信息并将信息统一反馈给SDN-netmaster，并由SDN-net-master反馈给SDN控制器(SDN Controller)配置路由表和网络访问策略。通过SDN Controller实现对容器网络流量的监控和网络分析、网络物理隔离等，从而实现了容器云平台对真实网络的纳管。
图3 容器云SDN总体技术架构图
图4 网络实施部署图
图5 容器云SDN技术实现图
4 应用场景
基于容器云SDN技术云网一体化是目前比较热门的研究领域，尤其是随着容器技术的发展，越来越多的应用业务系统逐步将微服务化迁入到容器云平台进行部署和运营，而现有容器网络资源能力已经无法满足业务发展的需求，尤其是在网络安全性、可计费、随时根据业务需求动态调整等方面，容器云SDN技术能够满足上述场景的需求[14]。概括来说，未来容器云SDN技术的应用场景主要体现在以下几个方面。
1)能够适应复杂异构的基础架构。由于容器云平台能够适配底层不同的基础架构，因此，对于未来基于不同基础架构上的系统部署都可以很好地适配。而现在对于基础设施资源管理方面比较热门的研究领域Open Infrastructure正在推进开放式的基础设施和架构，而容器云SDN云网一体化技术正好能够满足Open Infrastructure的要求，从而可以很好地屏蔽掉底层异构资源的差异化。
此外，世界其他各国也对3D打印技术的发展提出了一系列规划与目标，可见，3D打印技术的高速发展时期就在当下。
2)端点可迁移，能够保持IP不变。由于容器云SDN云网一体化技术的业务系统采用容器化部署，业务系统通过服务发现和服务路由对外暴露服务能力，因此，对于外部的IP地址可以保持高度的统一，内部容器之间的私有IP地址可以实现动态变化。同时，由于容器云平台对于容器的资源调度管理是通过自身的编排调度算法来实现的，容器云平台可以根据底层资源的利用情况，动态地将容器迁移到空闲的服务节点上，从而可以实现业务系统的端点在容器云集群内部自动迁移，而让用户无感知。对外暴露的服务目录可以绑定几个固定的IP地址。这样在IPv4平滑过渡到IPv6的升级改造过程中，将带来极大的方便。业务系统无需更改内部的实现方式，而只需要在业务系统层进行修改即可。
3)服务发现、负载均衡。基于容器云SDN一体化技术的解决方案，从容器云的角度来说服务发现是容器云编排调度能力的优势和特点，通过容器云内部的编排工具的调度能力来实现资源的均衡分配。同时，现有的容器云负载均衡能力可以实现对F5等硬件负载均衡设备的控制和调度，从而可以实现业务系统的硬负载均衡能力，大大提高业务系统的动态访问处理能力。
4)端到端流量精细控制。结合SDN对物理网络的控制和集成，容器云SDN云网一体化技术突破容器云原有的虚拟网络组网方式管控不到实体网络的局限性，可以在端到端流量精细化管控等方面实现相应的功能。从而可以通过容器云平台对接SDN控制器下发控制策略、流量计费和分析。可以根据容器云的编排调度能力实现智能网络的自适应匹配[15]。为后续的人工智能云网一体化业务提供很好的技术支撑。
5 结语
未来在业务微服务化架构和容器云平台的推广过程中，尤其是在运营商网络大规模实现网络能力软件定义化的背景下，面向电信运营商的容器云SDN云网一体化需要整合自身的IT资源、业务需求以及网络架构等能力为业务系统提供业务系统容器化、网络资源扁平化的一体化调度能力，从而使未来的电信运营商在开展业务上线、业务系统更新迭代以及资源整合等方面更加得心应手。通过本次容器云SDN云网一体化方案的研究，也更好地证明了容器云和SDN两者技术在业务层面和网络层面的结合能够更好地发挥云网一体化的优势。
参考文献
[1]李铭轩,魏进武,张云勇.面向电信运营商的IT资源微服务化方案[J].信息通信技术,2017(2)：48-55
[2]王飞.基于Docker的研发部署管理平台的设计与实现[D].北京：北京交通大学,2015
[3]张建,谢天钧.基于Docker的平台即服务架构研究[J].信息技术与信息化,2014(10)：131-134
[4]孙海洪.微服务架构和容器技术应用[J].金融电子化,2016(5)：63-64
[5]李铭轩.基于Arda的容器化大数据应用研究[J].电信技术,2016,8(11)：29-33
[6]孙宏亮.Docker源码分析[M].北京：机械工业出版社,2015
[7]童晓渝,吴钢,张云勇.后电信时代[M].北京：人民邮电出版社,2010
[8]刘思尧,李强,李斌.基于Docker技术的容器隔离性研究[J].软件,2015,36(4)：110-113
[9]仇臣.Docker容器的性能监控和日志服务的设计与实现[D].杭州：浙江大学,2016
[10]肖俊.基于Docker的跨主机容器集群自动伸缩设计与实现[D].西安：西北大学,2015
[11]李丽新.基于Mesos和Docker构建大数据平台技术研究与应用[J].吉林建筑大学学报,2016(5)：81-84
[12]Dharmesh Kakadia,卡卡迪亚,崔婧雯,等.Mesos：大数据资源调度与大规模容器运行最佳实践[M].北京：电子工业出版社,2015
[13]王璞.解析Docker如何催生新一代PaaS[J].软件和集成电路,2016(7)：74-76
[14]叶翼安.一种基于Docker构件化集成交付的软件仓库模式设计与实现[D].广州：华南理工大学,2015
[15]ivenvd,chchen,chengwei.基于Docker的Auto Scaling实践[J].程序员,2014(9)：102-107
Research on Cloud Network Integration Scheme of Container Cloud and SDN for Telecom Operators
Li Mingxuan Xing Xin Wang Benzhong
China Unicom Cloud Data Company Ltd.,Beijing 100084,China
Abstract With the development of SDN technology,network IT is the direction of future network evolution.In the IT field,intensification and virtualization are the mainstream development directions.How to realize the unified development of cloud and network is also the interest that telecom operators are paying attention to.Based on the status of the exiting resource deployment and network construction,a cloud network integration solution is proposed to integrate container cloud and SDN for telecom operators.On the basis of the above mentioned,it elaborates the network deployment plan and the top technical architecture,and then analyzes the application scenarios of cloud network integration of container cloud and SDN.
Keywords Micro-Service; Container Technology; Cloud Network Integration; SDN
作者简介
李铭轩
硕士，电子学会会员，从事技术研发和标准跟踪工作；主要研究方向为大数据技术、云计算技术、业务平台技术和IT支撑系统技术；参与CCSA、GSMA、ITU等国内外标准组织的会议。
邢 鑫
工程师，主要负责网络规划、IDC基础设施建设、实施方案，统一云化研究等工作。
王本忠
联通云数据有限公司运维部技术总监，长期从事通信技术研究、通信设备研发和运营商网络规划建设等。主要研究方向为下一代开放网络、IT与CT融合技术和产品研发、云网一体化技术架构、云计算。
标签：微服务论文; 容器技术论文; 云网协同论文; sdn论文; 联通云数据有限公司论文;