浅析吉林移动经营分析多租户系统资源调度算法
张若峰，张巍
摘要： 吉林移动公司在2015-2017年完成了经营分析分布式系统改造，以X86集群替代了传统的小型机系统。在大数据云计算系统环境下的自动化分布式作业调度，通过建立服务器资源量化评价模型和作业运行资源需求评估模型，首先需要将计算机系统物理资源通过虚拟化技术抽象为相互独立的虚拟资源，然后将计算任务分配到符合调度策略的最佳虚拟机节点上去。通过智能化、节约化的资源分配机制，将资源池中的服务器所包含的CPU、内存、存储、网络带宽等资源，高效合理地分配给不同的作业作业，从而实现资源的负载均衡、按需分配、资源利用率最大化。
关键词： 吉林移动；经营分析；资源调度
传统模式下，由申请人提交作业申请工单给资源池管理员，通过工单流转方式进行作业的发起、处理、反馈，效率较为低下。资源池管理员审核工单后，凭借经验手工划拨服务器的cpu、内存、硬盘存储、网络带宽等资源，授权给待运行作业，对管理员的经验要求较高。作业完成后，才能将占用的服务器硬件、网络资源的权限释放，而出于系统稳定性考虑，管理员必须等到释放之后才能进行下次分配，引起空置资源的浪费。为了解决手动分配作业调度的种种弊端，必须建立自动化的作业调度和分配机制，提高分布式作业的运行效率，提高资源池中服务器及其资源的利用效率。
1.3.2 腹内压（intra-abdominal pressure，IAP）测定［8］ 通过膀胱内压法间接测定IAP，每6 h测定1次，记录干预期间IAP水平。
为提高资源配置的效率，自2017年吉林移动开始自主研发经营分析多租户系统的资源自动调度算法，取代人为干预的半自动算法，将X86集群中的CPU、内存、存储、网络带宽等资源进行动态的分配，为不同类型作业分配相应资源，并实现全系统冗余资源的均衡负载。该算法主要应用在吉林移动经营分析多租户系统中，为不同的数据使用用户进行的作业进行资源分配。下文将主要基于云资源智能分配算法的核心要素和具体应用表现：
一、资源调度模型数学建模
（一）资源评价模型
在多租户环境下的资源调度，首先需要将计算机系统物理资源通过虚拟化技术抽象为相互独立的虚拟资源，然后将计算任务分配到符合调度策略的最佳虚拟机节点上去。如何将虚拟资源进行抽象并通过节点属性对节点的计算能力进行有效表示，是云计算资源调度的一个关键问题。本算法将一个虚拟机资源表示为：
场域视角下惠特曼公共身份的建构 ……………………………………………………… 刘兰兰 戚 涛（2.100）
将算法的各个阶段分段包装成独立模块，通过标准接口进行数据互通，项目共分为三个主要模块，即资源打分、作业预测和智能调度模块。
作业预测模块主要根据历史作业的输入、输出、处理复杂度将作业分为不同类型，根据不同类型作业的历史执行情况获得该类作业资源使用的平均结果，换算为该类作业的资源需求值。对等待的作业进行队列排序，赋予作业以一定的优先级，对优先级参数实现可配置，简化对作业队列的维护，同时通过作业关联关系可以设置作业的前后置作业，使得复杂、多依赖关系的作业群可以在系统中有序执行，提高系统对复杂需求的处理能力。
资源打分模块主要通过将服务器CPU、存储、网络带宽等物理资源进行逻辑抽象为相互独立的虚拟资源，通过评估模型将上述资源进行组合，换算为资源能力值，通过图表方式将各个资源以拓扑图标注参数的方式可视化展现，使得维护人员可以通过该模块对全局资源的访问变得简单易行，查找资源的元数据关系变得直观，通时以资源属性列表方式对外提供标准数据接口。
在物理服务器上运行的各虚拟机的计算能力是通过多方面来评估的，根据在实际场景中的约束条件，建立以下节点评价模型，如以下公式所示：
其中，
代表第m个租户的固定资源评价值，
分别代表虚拟机CPU、内存、硬盘存储、路径带宽的评价值，
其中，m代表一个租户的编号，
分别代表第虚拟机中CPU性能参数、内存参数、硬盘参数和带宽参数，且满足
分别代表第m个虚拟机中的CPU利用率、内存利用率、硬盘传输率、网络吞吐量。
（二）节点作业执行速度的预测模型
针对在多租户环境下虚拟机计算节点的计算特征，根据租户积累的任务执行速度的历史数据对下一次任务执行速度进行预测评估。在多租户系统中的每个计算节点的当前负载程度可以查询，并且在历史记录中，上一次作业完成的平均负载程度可以查询，根据这两项数据，利用以下公式建立模型对任务执行速度进行预测：
其中，ak 代表第k次执行速度预测时系统的实际负载程度，
代表对序号m的计算节点的第k次执行速度的预测执行速度，
代表序号为m的计算节点的第k次作业实际的执行速度，执行速度的单位为MIPS，ρ 为预测执行速度在预测模型中的权重系数。参与作业执行的每一个节点在作业完成后会将本节点的本次作业执行情况进行记录，记录中包括作业执行速度以及系统负载程度。在节点负载程度中我们采用几个量化的指标进行衡量，系统负载程度的度量模型如以下公式所示：
ρbandwidth 分别代表虚拟机CPU、内存、硬盘存储、路径带宽的评价值的权重，且
采用变频器可以使各种 T况下机泵的电耗降至最低。若流量降低，节电率则会大幅度增加．况且变频调速器的性能价格比总的呈F降趋势，其容量又在进一步大型化、高压化。所以，在石化企业全面推广变频调速器是必要的。
（三）资源节点综合评价模型
租户提交的计算任务在寻找合适的计算资源节点过程中，首先，根据节点评价模型和节点作业执行速度的预测模型建立节点的计算能力整体评价模型，模型公式为：
贵州中部长顺苹果产区雨水多光照差，建议套袋栽培，有利于果实着色，隔离药剂，提高品质。而威宁地区，紫外线强，果面光洁度较差，外观品质差，但能保证果实品质，可根据市场需求选择性套袋。建议有技术条件的区域进行无袋栽培。
第一，构建基于云资源智能分配算法模型，提升对作业、资源的量化评估能力。模型包括资源评价计算模型、作业预测模型、新作业适配等多个评价环节，将资源池中的服务器及其资源进行量化，将作业平均运行速度/负载进行量化，使得作业的使用资源可以有效适配，保障了作业自动分配资源并运行的可能性 。
二、使用算法的机制和装置
近日，来自拉菲罗斯柴尔德集团的“菲常学园”葡萄酒品鉴课程，在北京、上海、广州、深圳、成都五地陆续开启，报名踊跃。在课堂中，学员可以在导师吕杨（全球唯一华人侍酒师大师）、凌子（业内权威课程开发顾问）、小皮（荣获6大国际专业资质认证）、唐丽燕（ASC全国培训总监）的引领之下了解不同葡萄酒产区的风土风貌，品鉴多达9款拉菲罗斯柴尔德集团臻选酒款，轻松入门葡萄酒世界。
通过对租户虚拟资源的固有资源（cpu、内存、物理存储）、网络状况（带宽、距离）、当前运行状态进行统一建模，从多角度对租户的计算能力进行表达，尽可能准确的对租户的计算能力进行描述，并从中找出最符合计算要求的计算节点，以高效的完成资源调度任务。
(2) 有关微网电能质量的关注点 微网内存在逆变器型微电源和旋转电机型微电源(微型燃气轮机)以及大量的非线性负载,可能会造成谐波污染、电压波动、电压(频率)闪变、环流等问题,所以微网的电能质量问题依然是未来微网的研究热点之一。
作业调度模块在接到新的作业时，首先通过作业预测模型计算，获得该作业的资源需求值；再通过资源评价模型，分配具备等价资源能力值的资源，使得该作业获得资源的使用权限并直接开始调度执行。
三、算法主要创新点
其中，λ 为调节参数，通过调节该系统，对模型中节点固定资源计算能力以及该节点对计算任务的实际执行能力进行适应性调整，以达最优的计算效果。
第二，基于云资源智能分配算法构建分布式作业调度机制，提升全局作业处理效率。原有的作业调度机制以工单和人工方式进行作业的调起，处理效率较低，且空置资源的使用和新作业的资源授权必须由管理员完成。新机制自动化、电子化的实现了原机制的所有功能，而其效率远高于原机制。
第三，利用分布式作业调度机制创新资源分配模式，提升分布式系统的整体服务能力。通过使用分布式作业调度机制，可以保障资源池中的所有服务器及其包含的CPU、内存、硬盘存储、网络带宽等资源的有效利用，而其增加的成本接近于零，体现了“降本增效”的工作原则。
通过上述主要模块以及权限管理、安全管理等基础要求，使得对复杂作业的调度管控和全局资源负载平衡达到了新的高度和精度。
四、算法应用情况
自2018年1月算法正式上线以来，月均完成作业数量约为1880个，X86集群负载使用率低于87%，历次割接、断网等操作均未影响算法的稳定性，为吉林移动各地市分公司完成数据统计、产品设计、资费预演等生产活动提供了有力的支撑。
在云资源智能分配机制上线后，系统整体作业处理数量显著增加，增长了约3.6倍，平均负载率降低22%，单台服务器的资源峰值占用率降低了15%，全系统的生产效率得到有效提升，而资源负载则有效的进行了平均。
经济效益方面，云资源智能分配机制本省属于自主研发，因此其开发成本基本为零，但由于引发了系统生产能力和资源平均负载能力的提升，相当于节省了购买硬件资源的成本：目前经营分析分布式系统的硬件投资，包括所使用的CPU、内存、存储、机柜、网络设备等，上线以来累计节省成本超过3500万元。
社会效益方面，云资源智能分配机制的上线，标志着我省分布式云计算系统能够为未来公司经营决策、一线营销提供更加强大的分析处理能力，提高业务部门服务满意度。同时，通过服务器负载平均和智能分配再利用等机制，可以有效延长服务器硬件资源的使用寿命，对于提供更加稳定、高效的经营分析产品提供了保障。
成本策划是以利润目标为导向，基于收益为视角，以产品定位为前提，以“三全”和全成本费用为成本管控思路[2]。成本策划是真正意义上的事前成本控制，先订立利润目标是区别于目标成本的最大特点，企业或投资者是以“经营”角度为第一维度，也就是说，所有管理行为均要以利润为先。
（作者单位：中移信息技术有限公司吉林中心）
作为吉林移动自主研发项目，该项目已经通过中移动集团公司专利预审，专利编号“JL1610010”。
标签：吉林移动论文; 经营分析论文; 资源调度论文; 中移信息技术有限公司吉林中心论文;