容器技术能否成为运营商转型的“发动机”
中国电信股份有限公司湖南分公司|刘印 林鸿雁
为了满足新业务创新与交付的敏捷性需求，运营商一直在探索IT技术转型，这种转型有多个维度，应用转型是其中之一。容器技术最早出现在2000年左右，但直到2013年才开始成为热点技术，近两年有了飞速发展。由于运营商行业中有很多高并发应用，对IT性能和弹性都有较高要求，分布式架构可以很好地满足这类应用的需求，是应用转型的一个主要方向。因而，容器技术与分布式架构相得益彰，未来会发展成为新型应用平台的核心。
容器平台建设关键组件及技术选型要点
目前，以Docker为代表的新一代容器技术有几个主要特点：第一个是共享底层操作系统，并提供了一定的隔离与资源访问控制能力，相对于虚拟化技术，可以更少地占用资源，更快地加载应用；第二个是新的应用封装技术，极大地简化了应用的交付与运维管理，提高了应用的可移植性和兼容性，但代价是需要重新打包应用，甚至重构应用，才能充分利用容器技术的优势；第三个是开放性，容器及相关技术的飞速发展得益于开源社区的大力支持，在容器运行时和容器编排等核心技术组件上标准化程度非常高，有利于运营商基于开源或商业产品来打造自己的解决方案，选型自由度高。
容器编排工具的选择
在生产环境中大规模部署容器应用时，必须选择好容器编排工具进行自动化管理，容器编排工具的基本功能有4个。
●编排和调度。根据策略自动化部署容器应用，智能选择部署位置，并对容器化应用提供全生命周期管理。
随着时代的进步，现代科技水平不断提高，互联网技术使得人们日常生活与工作带来了翻天覆地的变化，教育行业亦是如此。互联网应用范围的不断扩大，为古典书籍研究创造了有利的条件。首先，借助网络平台学生准确查阅古典书籍中的生僻字，比如《道德经》中生僻字比较多，应用输入法也难以准确写出。其次，通过老师制作的教学微课件，借助互联网软件有效整合图片、视频与音乐等资源，一般将微课时间控制在4-6分钟，最长不能超过10分钟。比如《孙子兵法》文学作品制作的微课，通、挂、支、隘及远是其地形主要分类，单纯依靠古籍提到的内容，是无法明确这些地形的具体样貌的，借助微课音视频资料的讲解，学生轻而易举地分辨清楚。
●镜像的远程同步与分发。企业通常需要在多个场点上部署容器应用，最佳策略是在每个场点部署本地镜像仓库，同时实现这些镜像存储服务节点之间的智能复制，以提供镜像分发和镜像同步等服务。
●服务可用性管理。监测应用和服务的可用性，出现故障时可以自动修复，避免人工操作，这在大规模部署场景下尤为重要。
混凝土浇筑主要质量控制点之一“浇筑前”，严格控制“人、材、机”。人员方面，配置有经验的工人进行混凝土振捣；材料方面，在现场进行混凝土坍落度试验，保证混凝土和易性适合肋拱施工；在机械方面，对临时发电机、拌合站、罐车、吊车进行检查保养；仓面使用2个50 mm软轴振捣棒，备用2个50 mm软轴振捣棒。
行政主楼景观： 行政主楼至学生公寓(一期)是校园的南北轴线，是贯穿校园的最长轴线且与图书馆轴线交叉，并有着良好的区位和气候条件，适宜塑造成为工师校园的绿化美化走廊，形成景观绿肺。
最近两年，主流的容器编排与调度工具主要有Kubernetes、Mesos(DC/OS)和Swarm三种，三种工具特色鲜明，下表是三者的对比分析。
由表项分析得出以下结论：Swarm与Docker容器引擎等组件结合紧密，优点是使用简便，缺点是仅支持容器应用的管理，扩展能力相对较弱，适用于中小规模场景；Mesos曾经是最受追捧的编排工具，对常见的工作负载均有较好支持，并且最先支持大规模容器部署环境，Mesos的弱项是跨平台能力和可管理性；Kubernetes源自Google的Brog项目，社区活跃度高，发展速度最快，目前已经发展成为最受欢迎的编排工具，K8s对微服务框架有非常好的支持，也有较强的跨平台能力，技术先进性明显。Google将K8s项目移交给CNCF管理之后，生态系统变得更加完善，CNCF于 2017年发布的调查报告显示，已经有77%的容器用户采用K8s作为编排工具。K8s已经发展成为事实上的标准。
表 主流容器编排工具特性比较
容器镜像管理
容器镜像管理解决方案主要分为SaaS和本地部署两类，出于性能、可靠性和安全性的考虑，企业环境下应用容器时，都倾向于在本地部署容器镜像仓库，例如Docker官方的公共镜像仓库可以作为基础镜像的来源使用，但不适合用来存储企业自身的容器镜像，也不适合作为生产环境的镜像源来使用。因此，运营商需要建立自己的企业级容器镜像仓库。一个功能完善的镜像仓库应该具备下述三大功能。
图1 容器网络与安全配置示例
●支持多用户的验证与授权机制。镜像仓库是一种共享服务，必然要支持多用户场景，因此集成的验证、授权与审计功能非常重要，还要支持不同用户之间的协作，方便镜像共享。
覆盖和连通度是无线传感器网络最基本的两个问题。如图2(a)所示,当满足全覆盖时,任意节点和相邻节点之间的最短距离一定小于等于2Rs,只要节点的通信半径Rc大于每个节点的最短通信距离,即满足Rc≥2Rs,就可以构成连通的网络,不需单独考虑连通度的问题[17]。图2(b)所示的百分比覆盖场景中,节点间的距离不再受限于2Rs,因此必须单独考虑网络的连通度问题。
●如何保障容器平台的可靠性与安全性。要在生产环境中采用容器技术，必须有一套经过验证的、成熟的技术平台。相对于虚拟化，以容器技术为核心的应用平台还处在发展阶段，相关的工具和解决方案有待完善，原有的管理方法可能不适用于容器平台，确保容器平台安全可靠地运行，是一项不可忽视的任务。
三是对以“合同”之名行“行政”之实不服的救济方式。出让人在出让合同中将一些实为行政行为，通过合同约定为合同行为或者出让人在行使合同权利时，借 “合同”之名，行“行政强制”之实运用国家强制力实施的一些行为，因这些行为本质上属于行政行为，受让人可通过行政复议、行政诉讼的方式进行救济。如合同约定出现违约行为时收回开采权、注销采砂许可证、停业整顿等。
●自动扩展与升级。自动实现应用的副本管理，根据负载实现应用的弹性伸缩，滚动升级以实现不中断业务的应用程序更新。
容器的网络与安全
相对于其它的管理任务，容器的网络与安全管理最具挑战性。计算和存储资源相对独立，可以基于集群来进行管理。而网络和安全则不同，地址与路由的管理以及访问控制策略的管理都必须是全局统一的。根据调研，发现目前可服务于容器的网络与安全解决方案主要分为两大类：基于物理网络的解决方案和基于虚拟网络的解决方案。
基于物理网络的解决方案采用Underlay的方式来转发数据包。以目前应用最广范的Calico为例，它采用纯3层模式，通过管理iptables规则来实现跨主机的路由，不需要像Overlay方案一样多次封包解包，这样转发效率可以得到保障。但最大的缺陷是功能受限，只能提供，基于iptables的路由和访问控制功能，可管理性差，与现有的网络解决方案也不兼容。
图1展示的是一个容器网络与安全实现的参考范例，整体架构是在现有的二/三层物理网络基础上构建一个虚拟网络，这个虚拟网络通过边界虚拟路由器集群与外界相连，实现南北向流量的转发。内部则利用多个虚拟交换机建立独立的二层网络，各网络之间相互隔离。容器管理平台PKS和网络管理平台NSX-T的管理资源采用独立的网络来部署，与虚拟化平台等管理节点归属于现有的管理网络，以保证管理平台的性能和安全性。
虽然实现学生的个性化学习在当今教育普及化、大众化的形势下难以普遍落实，但并不意味着各学校没有实践过这种适合学生特点的教学方式。笔者通过参与学校几年的自考本科教育辅导，在教学实践中逐步探索、设计出基于学生个性化学习需要的“课前检测、课中应用、课后推荐”混合式教学模式。
上述容器网络解决方案的功能都不够完整，企业可以考虑将现有虚拟化和云平台中使用的SDN解决方案延伸到容器环境，这样做可以带来诸多好处。一是实现基于图形化界面的统一管理能力，可以在一个管理平台上统一管理物理机、虚拟机和容器的网络和安全服务；二是层叠技术解耦了物理网络，有非常好的兼容性，未来可以对接各种异构网络环境；三是功能全面，集成了南北向和东西向的路由及访问控制，负载均衡等功能，实现全面的策略驱动网络；四是缺省提供租户间隔离功能，安全性较高。
K8s与NSX-T集成实现容器网络与安全配置实例
基于虚拟网络的解决方案特点是功能不受限于物理网络，有更好的兼容性和扩展性，但是和我们现有的网络解决方案都不相容，功能也不够完善，特别是监控和分析能力和我们的需求有较大差距。这些项目中目前影响力最大的是Flannel，它也是Kubernetes缺省采用的容器网络解决方案。
此外，每个K8s集群，以及每个集群内部的租户分区命名空间都采用一套相互独立的网络，每个独立网络采用单独的地址段，当容器启动时自动分配IP地址。上述能力的实现得益于PKS与NSX-T的集成，当我们在K8s集群中创建新的命名空间时，NSX会自动创建与之对应的网络，这样可以降低管理负担，并有效提升安全性。
容器技术主要应用场景
当前业界以容器技术为核心的解决方案主要有以下几种场景，分别对应新应用改造的不同阶段。
基础容器平台类。包括容器运行时服务、容器集群服务等。这一类解决方案主要用来提供容器类应用的运行环境，因为其涵盖的组件相对较少，技术门槛低，通常在导入容器技术的第一阶段采用，技术关键点是应用封装与镜像管理、容器应用的编排与调度，容器平台资源服务实现、服务的可管理性与安全性。
PaaS平台建设的第一阶段是在生产环境中建设容器云平台，主要服务内容为容器集群及容器应用的部署和运维；第二阶段是扩展以容器为核心的新一代应用平台，完善容器集群服务，利用现有的开源或商业产品构造具有特色的、自主可控的非结构化PaaS平台；第三阶段是PaaS平台的深入应用，利用PaaS平台的服务能力，加快应用开发并加强基础组件的共享，减少重复建设并提升应用的运维服务水平，实现新应用在生产环境中高度智能化和自动化运维。
●与其它组件的集成。编排工具是核心但不是全部，需提供完善的管理接口，特别是API接口，以对接容器平台上的其它功能组件。
以容器技术为核心的应用服务平台类。即新一代PaaS平台，与传统PaaS相比，有轻量化、非结构化的特点，包括基础容器平台类服务，以及相关的各种应用开发与管理组件，复杂度较高，需要同时考虑应用开发与平台运维部门的需求，以建立一个贯穿应用全生命周期的平台，技术关键点是与IDE环境的集成，自动化应用交付与运维，应用扩展性、可用性以及应用的更新与升级。
挑战仍存，逐个突破
目前运营商对容器的应用尚处在探索阶段，部分省级运营商已经成功地将一些新应用部署到了容器平台之上，积累了很多相关的经验。但是结合实际情况，本文总结了容器云平台建设的难点与挑战。
●有大量不适配容器平台的应用。运营商行业信息化建设较早，经过多年的发展，积累了很多应用，这些应用多是采用集中式架构的有状态应用，虽然可以将这些应用打包成容器镜像，但简单地重新打包并不能充分发挥容器平台的弹性优势，需要同时管理物理机、虚拟机和容器环境，这会增加运维管理的复杂性。而创新型应用，如一些面向互联网、物联网的新业务，适于优先部署到容器平台。
切实有效推进有机农业的持续稳定发展，2005年相关部门发布《国家有机产品标准GB/T19630》等方面法律法规，为有机农业的良好发展提供重要的法律支持。同时，国家《植物保护法》立法工作的深入实施，为当前有机农业植物保护工作的有序开展提供了重要的保障。全面有效的监控有机农业植物的总体生产种植情况，监督其流通市场的各个环节，将能够充分规范植物的具体保护操作。
任宏志先生表示，2019年格劳博将继续大力开拓中国的电动汽车市场，根据中国客户的实际需求提供量身定制的方案。任总坚信格劳博在中国新能源汽车领域的业务必将获得节节攀升。
●新技术带来的学习成本与选择成本较高。相对于虚拟化技术，容器平台的门槛更高，需要掌握大量的新知识、新技能。容器生态环境中充斥着大量的开源组件，这些开源组件功能良莠不齐，发展路线与前景各有不同，路线选择错误可能导致不断变换跑道的麻烦。如果全面拥抱容器开源体系，企业需要投入大量人力跟踪前沿技术发展方向，解决开源组件的未知缺陷。
●镜像安全服务。镜像安全是容器安全中的重要一环，比较关键的技术手段是镜像内容的扫描和镜像的发布控制。企业需要定期对镜像包内部的文件进行安全性扫描，以发现脆弱性和安全风险；也要对镜像进行审核，只发布那些签合安全与质量控制规范的镜像供用户下载使用。
●如何构建适应容器应用运行的运维体系。容器化改造之后，一台宿主机上运行的容器可以成百上千，如何对这些容器的故障进行维护，需要对原有的运维流程、团队与技术工具进行更新升级以适应新的业务情况。现在主流的容器技术厂商可以提供包括K8S、多资源池管理、容器网络管理和容器资源自动化运维的整体解决方案，可以帮助我们快速建设容器云并提供相关的容器运维知识转移，保障运营生产的安全和稳定。
李波：东川红土地景区，位于东川西南部，原属新田乡和法者乡，2005年两乡合并后改称“红土地镇”。2011年昆明市成立“倘甸产业园区及轿子山旅游开发区”（简称“两区”），此后，红土地镇又交由“两区”托管。红土地景区分散，加起来大约100平方公里。景点主要有水坪子的梯田（月亮田），陷塘地的落霞沟，花沟的老龙树，花石头的锦绣园，大垭口的五彩地、还有119道班的打马坎。
中国电信开发 运维一体化的容器
在计划建设容器云的时候，中国电信选择建设一个支撑容器应用部署和运维的容器云。该容器云可以支持微服务化的应用和各种云原生应用（如图2所示）。
图2 容器云平台总体架构
首先确定K8S技术平台的选型。将容器平台定位于新应用的运行平台，帮助解决传统上应用发布慢、弹性差、资源利用率低三个问题，更加适应新兴云原生类应用微服务化、分布式的开发与部署架构。运营商等可以先试点后推广，积累云原生类应用容器平台建设与运行经验，再逐步推进旧应用改造，迁移到容器平台上来。
选择主流的支持K8S容器技术方案，在麓谷与荷花园两个数据中心之上构建跨数据中心多活的K8S容器平台。跨数据中心的架构让应用在两个数据中心容器中平衡部署，利用容器调度平台让应用节点在两个数据中心平滑移动，同时保证了高可用及容灾场景。
在容器网络与安全方面，可以采用SDN的技术方案，替代开源的容器网络组件，提高全网容器的安全隔离及网络流量可视化的能力。
利用可视化自动化与智能化手段，实现新旧应用、虚拟机与容器、传统部署架构与微服务架构等混合异构环境统一监控统一运维。
将容器平台能力包装成自动化服务，与现有IaaS服务平台及ITIL运维平台整合。形成完整的基础架构即代码（Infrastructure as a code）能力，为DevOps的推进奠定坚实的基础。
容器平台建设初步实现了敏态稳态双模业务一体化运维，有利地支撑了开发运维一体化进程。后续我们将进一步围绕容器平台推动跨平台一体化融合、智能化运维提升以及新技术业务赋能等工作，加快网络智能化、业务生态化、运营智慧化步伐。
编辑｜梅雅鑫 myx@bjxintong.com.cn
标签：应用平台论文; 云平台论文; 网络解决方案论文; 运营商论文; 物理网络论文; 运维管理论文; 运维一体化论文; 集群服务论文; 中国电信股份有限公司湖南分公司论文;