电信云网络架构及对云网融合的要求
毕以峰
中兴通讯股份有限公司 南京 210012
摘 要 电信网络虚拟化对电信运营商来讲是挑战和机遇并存，如何实现传统网络向SDN/NFV新网络的转型，成为摆在运营商面前的一道难题。为帮助运营商提升网络运维效率，降低运维成本，提高产业竞争力，文章从云网融合环境以及电信云特点等方面对其网络架构和部署要求进行了分析和归纳，认为电信云是基于虚拟化、云计算等技术实现云网融合的一个场景，以NFV 、SDN为主要技术，并结合电信云网络的特点开发网络功能，可以构建一个资源可全局调度、能力可全面开放、容量可弹性伸缩、架构可灵活调整的云化平台；电信云所需的自动化网络功能，是构建该云化平台的关键技术之一，它保证了运营商网络在云化转型过程中多个层面的网元之间通信的自动化调整、运维和网络安全防护。文章可以为运营商研制电信网络虚拟化方案提供参考和借鉴，促使运营商最终实现网络的软化和云化。
关键词 云网融合；虚拟化；电信云；网络架构；NFV；SDN
引言
云网融合是基于业务需求和技术创新并行驱动带来的网络架构的深刻变革，使得云和网高度协同、互为支撑、互为借鉴的一种概念模式。云网融合包含云和网两个方面：以云为核心，云计算业务的开展需要强大的网络能力的支撑；以网络为核心，同样要借鉴云计算的理念实现网络资源的优化。随着云计算业务的不断落地，网络基础设施需要更好地适应云计算应用的需求，并能更好地优化网络结构，以确保网络的灵活性、智能性和可运维性。
云技术从2006年AWS开始，经过了10多年的发展，IaaS/PaaS/SaaS三层模型架构已经成型。云技术的普及以及计算能力的提升，使得电信网元采用云技术来承载成为可能，从而使得硬件通用化、软硬解耦，一方面运营商可以大幅降低CAPEX、备板备件的库存，另一方面也可以通过网元的软件化来缩短新业务的面市周期，提升网络的弹性、利用率以及峰值情况下的服务质量[1]。云的多租户、自动化网络管控、可视化运维，以及5G技术采用的网络切片功能[2-3]的需求共同推动了SDN技术，从而使得在IaaS层面，网络可以完全实现计算、存储的自动化编排并即刻生效。DC内的SDN广泛使用Overlay技术，支持网络软硬解耦、多厂商部署的场景，也将SDN的重心放在云网络虚拟化的支持上，而非参与网络拓扑的故障收敛处理。
电信云是云网融合的一个场景。电信云基于虚拟化、云计算等技术实现电信业务云化，以NFV、SDN为主要技术，以构建一个资源可全局调度、能力可全面开放、容量可弹性伸缩、架构可灵活调整的云化平台[4]。电信云所需的自动化网络功能，是构建该云化平台的关键技术之一，它保证了运营商网络在云化转型过程中多个层面网元之间通信的自动化调整、运维和网络安全防护，促使运营商最终实现网络的软化和云化。
1 电信云网络特点和发展趋势
过去10年间电信网络固网IP的流量增长了十几倍，移动网络由于智能手机的普及，流量增长了上百倍。从产业环境来讲，智能终端、服务互联网化、网络技术以及同业竞争的因素推动了流量的高速增长，但是面向用户的服务能力的增长并未伴随流量使用价值的外延同步扩大，同时通信市场用户渗透率已经趋于饱和，无法获得和流量增长同等的收益增长。从经济学的角度来讲，所有产品/服务最终都是竞争对手，竞争的是消费者/组织的支出预算和时间。通信服务是一类使用价值，在接近饱和的市场中不同通信方式之间的竞争更为直接，数据流量的高速增长使得报表上的数据通信收入高速增长，但是由于客户对于通讯的预算基本固定，需求价格弹性接近于1，数据收入的增长必然会带来传统语音、短信类业务的下降，因此通信业无法从简单的流量提速中获益，而是要扩大通信网络的使用价值外延。
网络系统的严格管理是企业、机构及用户免受攻击的重要措施。对网络的管理思想麻痹，对网络安全保护不够重视，舍不得投入必要的人力、财力、物力来加强网络的安全管理。
“中国风”指“三古三新”结合的中国独特曲风。而典型“中国风”歌词多运用修辞手法，其中尤其以“用典”手法的应用最为突出。
2)垂直扩展，从提供通信能力到提供IT基础设施，从通信服务商扩展为提供包括计算/存储在内的数字化时代的IT基础设施服务提供商，包括基于边缘DC的高性能属地化云服务提供商、CDN、高速企业存储服务等等。
3)进一步垂直向上扩展，从IT基础设施服务扩展到其它行业，包括已有IPTV业务的改良以及和第三方内容提供商的合作，提供娱乐服务。
电信网元不同于IT网元，对可靠性和容灾有严苛要求。一般来说，其可靠性要达到99.999%电信级别。这就要求电信云网络从各个层面提供可靠性和容灾保护，包括服务器设备、网卡设备、交换机设备、交换机链路、网关设备，至少要提供1+1的冗余。
一般来说，物理组网需要进行严格的组网隔离，部分运营商要求多层级的隔离，例如第一层级实现业务网络、存储网络和管理网络的隔离，并使用防火墙对跨不同的网络通信进行防护。
③混合网元兼有信令面网元和用户面网元的特点，需要同一个虚机上部署多个、多种类型端口，即多个SRIOV端口和OVS端口共存，例如PGW的虚拟化形式vGW。
2 电信云网络及对云网融合的要求
电信云网络具有其自身的特点，对云网融合的要求与IT网络有很大不同，主要体现在如下几个方面。
钱海燕平缓了半天的情绪后，才开口说：“爸，你放心吧。启明的手术很顺利，没事的。”外婆的事已经够难过，她不想父母再为她操心。
2.1 支持多种模式通信
虚拟终端类型多样，通信模式各有不同，要求电信云需要同时支持多种模式通信，网络功能复杂。
1)横向扩展，从人——人、人——服务的通信扩展到机器——机器的通信，IoT的高速发展提供了这一契机。
（3）教学课程形式的愿望。在希望开设课程的学生中，有498人（30.9%）最喜欢合作学习式，539人（33.5%）最喜欢案例教学式，356人（22.1%）最喜欢自学—辅导式，115人（7.1%）最喜欢传递—接受式，仅有103人（6.4%）最喜欢现象分析式，且不同年级、性别、任职的学生对教学形式愿望的差异有显著性（P=0.018，P=0.034，P=7.427×10-5）。
1)电信网元虚拟化场景多种多样，总得来说可以分为三类：负责控制、策略管理、网络运维以及计费的信令面网元，负责媒体业务转发和路由的用户面网元，以及同时具备以上两者功能的混合网元。
①信令面网元的通信流量小，消耗带宽低；控制功能强，占用内存资源相对大。一般推荐使用OVS类型的虚机端口进行通信，比如vHSS。
②用户面网元流量大、带宽要求高，并且对时延较为敏感，比如vFW等，一般推荐SRIOV的部署模式。
电信云的虚拟化是将现有的CT化基础设施转换成面向未来的ICT基础设施，承载电信业务以及适合于运营商开展的IT化普适业务。云、SDN、NFV[5]是三大关键技术，其中云化数据中心技术是基础，应用SDN将网络改造为按需构建的多租户网络，同时承载异厂家多种NFV网元，并且为提供IT服务提供了基础。
2)根据运营商的特定要求，某些网元需要部署在物理服务器中，这样网络还需要支持裸金属服务器的网络通信。
印度国父圣雄甘地曾警示人们：地球可以满足人类的需要，但无法满足人类的贪婪。联合国提出的《21世纪议程》也指出，地球所面临的最严重的问题之一，就是不适当的消费和生产模式，导致环境恶化、贫困加剧和各国发展失衡。若想达到适当的发展，需要改变消费方式，以最高限度利用资源和最低限度产生废弃物[22]。这就要求我们必须做到适度消费，要根据经济能力和合理需要理性购物、理性消费、适当消费。少买不必要的衣服，加强旧衣利用；适量选购食物，杜绝餐桌浪费；理性选购住房，避免严重的资源浪费。总之，从抑止过度消费入手来减轻生态环境所承受的压力。
3)根据运营商的特定要求，某些网元需要部署在容器中，还需要支持容器网络的通信。
2.2 可靠性、容灾要求高
2018年1月，阿里电商转型的新零售试水产品“盒马鲜生”正式入住莱蒙都会，对处于业态调整困境中的莱蒙都会而言，无疑是一个极大的刺激性利好。
除此之外，还要提供高效的备份恢复能力、异地容灾能力。对虚拟层面，配置虚机的重生和自愈等要提供自动化的网络调整能力。
最后说芽。芽是长成植株、分化器官的基础。按芽的着生部位分为顶芽和侧芽，按芽的性质分为叶芽和花芽，花芽又分为顶花芽和腋花芽。大家都知道顶花芽结果好，修剪时以选留顶芽停长、侧芽饱满、枝向斜生的枝条为好。
2.3 故障检测和倒换时间要求苛刻
电信云网络不仅对可靠性和容灾有着超高的要求，对故障检测、设备倒换也有着超高的时间要求。例如，网络设备版本升级或者主备倒换，对通信业务的影响不能超过50ms；要求网络设备启用BFD机制，实现链路的快速双向检测，以备在网络出现任何故障的时候，业务能及时切换到备用设备和备用链路上。这些都是IT云不具有的。
2.4 网络安全要求高
电信网元的安全性要求极高，从物理组网层面到虚拟网络层面都有严苛的要求。
为适应当下文旅融合发展的需要，强化济南大学文化产业的学科建设，强化旅游和文化创意的理论和实践研究，为全省文化和旅游产业的发展提供服务和决策参考，促进济南大学与文旅企业的校企合作，11月23日，济南大学旅游文化创意研究院正式成立。
在业务网络内部，又分为“对外暴露区域”、“隔离区域”和“核心管控区域”，不同区域之间通过不同类型的防火墙实现等级保护；管理域和存储域又要划分不同的网络平面，不同网络平面的互访被严格禁止。电信云网络部署物理架构如图1所示。
2.5 流量检测有特定要求
传统的电信网络有合法监听的要求，电信网络云化之后继承了这一要求；另外，电信云为了实现自动化的运维和网络分析，需要对网络中的信令和数据进行实时采集和分析。鉴于以上两个方面的驱动，在电信云网络中，需要具备精准的、自动的数据布控和采集能力，特别是电信网元虚机终端在迁移和重生的时候，流量采集的策略要实现自动化跟随调整。
图1 电信云网络部署物理架构
此外，采集的流量输送上也存在复杂的要求，例如，流量要是同时送往多个目的地(例如：政府和大数据中心等)，需要在多个分析仪上负荷分担(媒体面流量大，一个分析探针来不及处理，需要多个并行工作)，流量可能送往远端的监控设备(比如输送到省中心的政府监控部门)。
2.6 网络协议要求高
因为电信云网络中多种类型通信模式并存，不同的通信平面对网络的服务质量要求各不相同。一般来说，信令面的通信QoS要求要高于媒体面的通信，但是媒体面的通信又要区分多种业务等级，比如VoIP和上网业务。因此电信网络需要从承载层面支持QoS的保证机制，根据不同的业务需求，为其配备不同的QoS等级，在网络拥塞的情况下能保证高优先级业务的优先开展。
1)主机型网元通信：一般的网管网元EMS或者编排网元的通信，如图2的紫色线。
2)路由型网元的自身通信：一般使用网元的loopback地址对外通信，如图2的橙色线。
3)路由型网元承载的终端用户的通信：一般需要大量的路由条目，并且需要OSPF、BGP路由协议进行路由学习和发布，配合静态路由BFD实现高可靠性，如图2的红色线。
4)其他通信类型：某些场景下，存在多个企业APN，或者是Gi-LAN业务链的情况下，还要支持MPLS、GRE、QinQ等路由协议。
2.7 网络服务质量要求高
如第2.1点讲到的，因为电信网元多种多样，其对通信协议的要求也各有不同，总的来说分为以下几类。
2.8 网络带宽要求高
电信云中存在媒体面的路由型网元，比如vGW、vBRAS；另外随着5G业务的增加，以及固网光进铜退带来的流量爆炸式的增长，这类网元的带宽需求也呈现指数级的暴涨，而这类网元是部署在服务器上的，其网络流量最终通过电信云网络输送到骨干网或者Internet，对电信云网络提出了很大的带宽要求。特别是在存在业务链(Service Function Chain，SFC)的情况下，同一个流量会在电信云的数据中心内部迂回2～6次，造成流量的几倍级的增长。对电信云网络的转发能力带来了极大的挑战。
图2 电信云网元对路由协议的需求示意图
2.9 时延要求
云基础设施的规模效应非常显著，集约化建设的大型数据中心可以获得比中小型数据中心5～10倍的单位运维、供电、网络成本的节省。但是集中化必然带来远离客户，使得客户到云服务的时延大大增加、网络质量难以保证，并且长距离的高带宽网络代价昂贵，难以承载VR、大量数据采集等时延、带宽敏感型业务，这使得运营商主导的基于边缘数据中心的云服务具有显著的差异化优势，并且更进一步地使靠近接入网络的边缘计算技术[6]也成为可能。
为了适应未来5G移动网络的演进要求，满足APP的高实时性要求，云网融合的架构需要能够提供超低时延网络传输性能。除了提高设备的转发性能之外，网络部署上需要考虑进一步下沉网络，以支持边缘计算等功能。例如，网络中尽量采用基于ASCI芯片的转发设备，实现边缘DC网络的云化，实现多DC的互联等功能。
2.10 网络动态调整的频率相比公有云低
电信云中的网元相比于公有云应用有一个特点，就是网元虚机数量和型号等都是提前规划好的，而且为了保证电信网元通信的可靠性和业务尽量不受影响，其部署、撤销、弹缩的操作频度相比于公有云的虚机也弱不少。
3 电信云网络部署推荐架构
电信云网络作为云网融合的一种场景，除了具备云网的一般特点之外，还有上述独有的特点和需求。根据电信云的特点，我们推荐如下的组网架构形式，如图1所示。
电信云网络架构纵向分为DC GW(Border LEAF)、SPINE和LEAF交换机三层。在DC GW外侧接防火墙和外网，在LEAF交换机接服务器，交换机采用堆叠、双活或者ECMP部署方案以提供高可靠性。横向根据功能不同，分为计算域、存储域和管理域，分别由业务网络、存储网络和管理网络负责其通信，某些特定需求下还要从管理域划出特定的带外管理域。为了保证安全性，管理域/存储域与计算域的通信要经过管理防火墙的过滤和保护。
计算域的服务器上启用虚机、裸金属服务器或者容器，用于安装电信虚拟网元VNF，VNF之间及对外的通信采用云网联动的Overlay网络，Overlay网络通过SDN集中控制，VxLAN隧道封装，根据虚机的动态创建、销毁、扩缩容、重生及自愈，动态地调整虚拟网络以满足VNF的通信要求。根据VNF的安全等级不同，又将其隔离为Exposed Zone(暴露区域)、DMZ Zone(隔离区域)和Core Zone(核心管控区域)。其中Exposed Zone的VNF主要是复杂对外通信的路由型网元，比如核心网的vGW；DMZ Zone中建议部署不直接对外暴露但是需要跟Exposed Zone网元直接通信的VNF，例如vMME等；Core Zone的安全等级最高，主要部署核心签约数据网元等，比如HSS等。不同安全等级的Zone通信需要经过防火墙保护。
存储域主要部署存储服务器或者磁阵，用于提供云存储，供VNF按需申请消费；控制域主要安装云控制节点和SDN控制器，用于实现对云、网的联动控制和编排。
更大的挑战远不止此。在一个更长的时间尺度中看，CBA23年，山东男篮一直处于动荡不安的状态，俱乐部不断易主，球队风格一变再变，专业化运营无从谈起，长远规划更是纸上谈兵。一个颇有意味的迹象是：山东男篮史上，还没有一位东家表达过打造百年俱乐部的雄心，西王也不例外。
有谁注意过一杭呢？有谁明白此刻他那纷乱的心思呢？那棵不动声色的黄桷树吗？即便懂，也不会说。收荒匠们代步的破自行车在墙根斜靠着——一杭老是觉得，其中一辆很像是去年自己在楼下丢的。有时，他会装作不经意地走近去看，却又怕被人看出自己的用意，不敢看得太仔细，所以，每次都不能确定，这就成了一个谜。虽然他也知道，即使是自己的，又能如何呢，却还是忍不住要想。
业界内已经对DC外部的P骨干网络、移动回传、城域、DCI Underlay网络的演进达成一致认识——采用S R 作为演进技术路线。对于DC内部采用VxLAN的技术构建Overlay的虚拟网络，DC内部可以视为一个L2VPN域，VNF相当于vDC L2 VPN中的一个客户设备，特别是vRouter类的VNF，例如vGW或者vBRAS，是WAN网络的一部分，因此WAN SR的路径编排需要包括此类VNF。
从1932年起，尤其是中共临时中央由上海迁到瑞金后，国民党反动派在对中央苏区进行军事“围剿”的同时，加紧了对中央苏区的经济封锁。这使苏区急需的布匹、棉花、煤油、电池、医药器材、军火原料，特别是食盐严重短缺，直接影响军民日常生活与健康，影响红军战斗力。而苏区盛产的稻谷、茶油、土纸、竹木等农林产品又销不出去，以致减少了工农群众的经济收入，抑制了苏区生产和经济文化建设。为此，中央苏区各级党组织、苏维埃政府和群众团体紧急动员，带领广大群众投入反封锁斗争。全总苏区中央执行局雷厉风行，刘少奇亲自抓这项工作。
业界当前正在考虑如何对vDC内外采用同一技术，实现网络的统一演进。其中，使用SR over VxLAN的方式是对现网影响最小，推进最简单的方式，如图3所示。层次上，将DC外部网络和DC内部的Overlay网络实现互通和统一编排，既满足业务网络的统一协调和控制，又对DC内部的物理网络的影响降到最低，避免对底层网络功能过分依赖。
图3 电信云网络部署逻辑组网
4 结语
云网融合和电信网络虚拟化的目标是采用SDN/NFV技术重构运营商网络，降低CAPEX/OPEX的同时实现业务、运营的敏捷化，在此过程中，部分运营商开始构建自己网络业务的研发能力，实现业务的快速市场响应。这一过程势必使得传统供应商-运营商的生态链发生颠覆性的变化。在过去的30年中，实际上这一趋势已经在缓慢演进之中，比如上层的BOSS系统和部分软件业务系统运营商已经尝试自研或委托第三方开发，SDN/NFV技术使得网络本身进一步软件化、开放化，从而使得运营商可以自主研发的范围扩大到网络业务。
随着CT基础设施的重构，网络软件化的深化，网络产业越来越像软件产业，在其中硬件供应商、平台提供商、应用软件提供商、系统集成商各司其职，对于网络规模足够大、自建研发队伍的收益和投入可以平衡的运营商会倾向于自研部分业务编排及应用软件，使用设备供应商提供的组件来构建自己的网络；另外部分运营商客户仍然会选择主要的CT业务提供方作为系统集成商来交付网络系统，并且承担长期的售后服务。
鉴于电信云网络的特殊架构和需求，NFV/SDN技术在网络中的部署也具有差异性，运营商和设备商需要针对电信云的特殊要求和关键功能，为其研制特定的方案和开发特定的功能。电信云的虚拟化技术也在日新月异的发展中。智能网卡和业务卸载技术、容器技术正在加速成熟并不断地应用于电信云的虚机化改造中；带内遥测技术、智能化流量采集和分析技术，网络自检和自愈技术都在快速发展，为满足运营商的智能运维提供了新思路。另一方面，我们也必须认识到，电信网络云化的构建不是一蹴而就的事，需要试点实践，由简入繁一步一步地实践和探索。
参考文献
[1]中兴通讯.中兴通讯CO重构技术白皮书[R].2018
[2]System Architecture for the 5G System;Stage 2： 3GPP TS 23.501：2017 [S/OL].[2019-03-01].https：//portal.3gpp.org/desktopmodules/Specifications/SpecificationDetails.aspx?specificationId=3144
[3]Procedures for the 5G System：3GPP TS 23.502; Stage 2：2017 [S/OL].[2019-03-01].https：//portal.3gpp.org/desktopmodules/Specifications/SpecificationDetails.aspx?specificationId=3145
[4]Openstack.Networking Service APIs[EB/OL].[2017-09-21].https：//developer.openstack.org/api-ref/network/
[5]ETSI.Network Functions Virtualisation (NFV); Ecosystem; Report on SDN Usage in NFV Architectural Framework： ETSI GS NFV-EVE 005 V1.1.1[S].Sophia Antipolis Cedex-France： ETSI,2015
[6]ETSI.Mobile Edge Computing (MEC);Framework and Reference Architecture (V1.1.1)：ETSI - GS MEC 003[S].Sophia Antipolis Cedex-France：ETSI,2016
Telecom Cloud Network Architecture and the Requirements for Cloud Network Integration
Bi Yifeng
ZTE Corporation,Nanjing 210012,China
Abstract Telecom network virtualization is both a challenge and an opportunity for the operators.How to realize the transformation from traditional network to SDN/NFV is a difficult problem for them.In order to help the them improve network operation and maintenance efficiency,reduce operation and maintenance cost,and improve industrial competitiveness,this paper analyzes and summarizes their network architecture and deployment requirements from the aspects of cloud integration environment and telecom cloud characteristics.Here is the conclusion.Telecommunication cloud is a scene of cloud and network convergence which is realized on the basis of virtualization,cloud computing and other technologies.A cloud-based platform could be built,on which resources can be globally scheduled,ability can be fully open,capacity can be flexibly changed,and architecture can be easily adjusted,which takes NFV and SDN as the main technologies and develops network functions by combining with the characteristics of the telecom cloud network.The automatic network function required by the telecom cloud is one of the key technologies to build the cloud-based platform.It ensures the automatic adjustment,operation and maintenance,and network security protection of the communication among the network elements at multiple layers in the cloud-based transformation process of the operators’ network.This paper can provide references for the operators to make telecommunication network virtualization plan and urge them to realize the softening and cloud-based network eventually.
Keywords Cloud Network Convergence; Virtualization; Telecom Cloud; Network Architecture; NFV; SDN
作者简介
毕以峰
硕士，毕业于南京理工大学通信与信息系统专业。现任中兴通信有线规划部vDC规划工程师，主要研究方向为移动通信网络演进、vDC/SDN网络和NFV技术。申请专利70余篇，已经授权近20篇，提交国际标准提案近百篇。
标签：云网融合论文; 虚拟化论文; 电信云论文; 网络架构论文; NFV论文; sdn论文; 中兴通讯股份有限公司论文;