国家自然科学基金国际合作重点项目 《高效能数据中心 — 数据中心资源的优化组织与调度》 — 项目背景及成果简介

一、 研究背景与意义

1.1 什么是数据中心？

关于数据中心（Data Center），维基百科给出了如下的定义：数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。

通常，数据中心是指在一个物理空间内实现信息的集中处理、存储、传输、交换、管理，而计算机设备、服务器设备、网络设备、存储设备等通常认为是网络核心机房的关键设备，其中关键设备运行所需要的环境因素，如供电系统、制冷系统、机柜系统、消防系统、监控系统等通常被认为是关键物理基础设施。

1.2 数据中心的构成

数据中心，尤其是云计算数据中心，一般包含如下几大部分[1]：

  • 基础环境：主要指数据中心机房及建筑物布线等设施，包括电力、制冷、消防、门禁、监控、装修等；
  • 硬件设备：主要包括核心网络设备、网络安全设备、服务器、存储、灾备设备、机柜及配套设施；
  • 基础软件：服务器操作系统软件、虚拟化软件、IaaS服务管理软件、数据库软件、防病毒软件等；
  • 应用支撑平台：一般来讲是具有行业特点的统一软件平台，整合异构系统，互通数据资源和具体应用软件。

1.3 数据中心的重要性及发展趋势

海量数据的产生，促使信息数据的收集与处理发生了重要的转变，作为云计算技术的重要物理依托，数据中心已经成为与人力资源、自然资源一样重要的战略资源。在当前信息时代，只有对数据进行大规模和灵活性的运用，才能更好的去理解数据，运用数据，才能促使我国经济的快速高效发展，体现国家发展的大智慧。

当前，全球数据中心呈现数量不断增长，规模不断扩大，应用不断增长的趋势。数据显示，2010年以来，全球数据中心持续增长，2019年，全球超大型数据中心数量约447个；至2020年，全球超大新数据中心将达到485个。从部署机架来看，2019年全球数据中心部署的机架数量约为495.4万架。预计2020年机架数将超过498万架[2]。

1.4 数据中心的能耗

近年来，云计算技术发展迅猛.作为云计算的物理平台和重要基础设施，数据中心的数量和规模都得到了前所未有的发展.与此同时，数据中心极低的资源利用率和巨大的能耗问题日益突出，数据中心能效的研究已经成为了近年来学术界与工业界关注的热点.

数据中心能耗主要来源于IT设备、照明系统、空调系统、供配电系统等，其中IT设备的能耗约占总功耗的约45%，空调制冷系统占40%，供电系统10%，照明系统5%左右。关于数据中心能耗构成的比例，国内外很多企业和学者都做了大量的调查与研究，虽然研究结果中各部分占比不尽相同，但能耗构成因素及排序基本相同，如图1所示[3]。

图1. 数据中心能耗来源分布图

当前数据中心的资源利用率极低，典型数据中心的资源利用率通常在5%到25%之间[4]。为了追求高性能，保证服务质量和可靠性，现有的数据中心普遍采用冗余资源部署策略，不论负载如何，所有的服务器都将处于最高速率运行状态。因此，数据中心数量和规模的不断扩展以及极低的资源利用率，直接导致了巨大的资源浪费，其中包括计算、存储、通讯等资源、能源、其他辅助性资源的无效使用。统计数字显示，2017 年全球的数据中心总功率约为416太瓦(TW),约占全球发电总量的 3％。比英国这个拥有 6500 万人口的工业化国家的能耗高 ！40％。在数据中心数量比较多的美国，2017 年美国的数据中心就消耗了超过 900 亿千瓦时的电量，需要 34 家大型燃煤电厂发电，才能满足美国这些数据中心的电力需求[5]。数据中心巨大的资源能耗不仅仅给运营商带来巨大的经济负担，也给社会来了沉重环保的压力，全球环保组织GeSI（Global e-Sustainability Initiative）估计，到2020年数据中心的温室气体的排放将占到信息技术领域的18%[6]。

1.5 项目研究的意义

由于 CPU、内存、存储设备所组成的大量硬件服务器和网络系统约占据数据中心总成本的45%，这些多维度资源（CPU、存储、内存和网络带宽）的低利用率从根本上导致了巨大的成本消耗和能源浪费。因此，数据中心对资源的低利用率和能源消耗，严重阻碍了数据中心本身的发展以及节能型社会的创建，已成为一个急需解决、并且对技术、经济、环境发展具有重要影响的重大社会问题。

二、 项目简介

当前数据中心的资源利用率低，耗能大，导致巨大的资源浪费，已经严重阻碍了数据中心本身的发展以及节能型社会的创建，已成为一个急需解决、并且对技术、经济、环境发展具有重要影响的重大社会问题。针对数据中心的能效问题，有中国科学院计算技术研究所刘志勇研究员牵头，联合华中科技大学（金海教授和刘方明教授），西班牙马德里高等研究院网络所（Dr. Antonio Fernandez Anta）、美国天普大学（Dr. Jie Wu）和美国加州大学河滨分校（Dr. Shaolei Ren）共同承担了国家自然科学基金国际合作重点项目《高效能数据中心–数据中心资源的优化组织与调度》（项目批准号：61520106005，执行期限：2016.1 – 2020.12）。

在项目执行期间，共发表文章合计94篇，其中期刊文章包括如JSAC、IEEE/ACM Transactions等顶级刊物34篇，会议文章包括如ISCA、INFOCOM、ICDCS等顶级会议文章60篇，文章被引用次数合计1287次。组织项目国际合作者学术研讨会11次，受邀做特邀报告10余次，参与和组织国际会议 20余次。

三、 项目成果简介

本项目的主要研究成果包括理论研究成果和应用研究成果两部分。

3.1 理论研究成果

3.2.1 超线性多项式代价函数下的网络路由代价优化的困难性

针对在网络能耗全局优化领域中受到广泛关注的NP-难问题-代价函数为超线性幂函数的路由问题，我们首次在计算复杂性领域中研究并给出了此问题的困难度因子。在该研究的路由问题中，每条链路e关联有一个代价函数f(le)=(le)α，其中le表示链路e上的通信负载。此问题的目标是：为每一个通信请求计算一条路径，使得总代价Σe f(le)最小化。由于采用了速率缩放这种节能技术的网络设备功耗与其负载满足超线性幂函数关系，研究上述路由问题对于从全局角度优化网络能耗有着重要意义。我们以一个难以近似问题-广义限制满足问题（CSP）作为归约起点，通过在问题的规约中应用随机化技术，证明了除非NP ZPTIME(npolylog(n))，否则上述路由问题的没有 -近似的算法。我们的不可近似结果意味着目标函数为最小化 的路由问题的困难度为 。我们的困难度结果从理论上扩展了目前已知的拥塞最小化路由问题的困难度结果。详细研究成果见参考文献[7]。

3.2.2 虚拟机到物理机的能效优化分配策略

我们首次从理论上研究了基于能耗代价函数的虚拟机到物理机的广义分配问题，即将一组虚拟机（VM）分配给一组物理机（PM），使得所有PM消耗的功率最小。我们称这个问题为虚拟机分配问题（VMA）。本研究工作与先前工作的关键差异包括：（1）可变数量的PM，（2）每个VM恰好分配给一个PM（即，VM不能部分实施）和（3）每个活动PM的功耗最低。我们根据PM的容量或数量是否有界，研究了四个特定的VMA子问题， (C,m)-VMA，(C,·)-VMA，(·,m)-VMA和(·,·)-VMA，其中C和m分别为PM的容量和数量。我们从理论上证明了这些子问题都是强NP-难问题，不存在FPTAS的优化算法。对于这些问题的离线算法，我们证明了(·,m)-VMA和(·,·)-VMA 存在PTAS的优化策略，并给出了(C,m)-VMA和(C,·)-VMA 问题的下界近似比率。对于这些问题的在线算法，我们分别给出了它们的上届和下界近似比率。详细研究成果见参考文献[8]。

3.2.3 多租户数据中心联合激励机制设计

针对多租户数据中心管理者无法优化租户服务器的问题，我们首先分析了影响多租户数据中心的能效优化问题，并提出了“非合作关系”来描述多租户数据中心管理者与租户、租户与租户间在能效优化中的不协同问题，并且提出了一种全新的激励机制Co-Colo，在优化租户本地服务器能效的同时，通过公共服务器资源平台实现租户间的能效联合优化。我们将Co-Colo建模为一个整数规划问题，设计了具有（1+ε）近似比的算法和近似比为2的贪心算法，并且引入VCG真实性拍卖理论，严格证明了Co-Colo机制的可行性和真实性。在此基础上，我们提出了基于Stackelberg博弈理论的服务器共享激励机制，建立了多租户数据中心管理者与租户间空闲服务器供需市场关系，将服务器共享机制与Co-colo机制联合建模，提出了面向市场的激励机制MicDR， 证明了该机制的真实性和可行性，并且通过混合整数非线性规划问题设计了具有（1+ε）近似比的算法。详细研究成果见参考文献[9,10]。

3.2.4 新的数据中心资源调度理论和技术

针对数据中心的效能问题，我们从数据中心内部和数据中心间两方面，研究了资源调度理论与技术。在数据中心内部，我们利用数据中心能耗效率的变化特性，提出了针对数据中心单位能耗效率因素的作业和任务调度算法，实现了一个高能效与绿色感知的MapReduce优化框架GreenMR，从而提高使用可再生能源的收益。在数据中心间，我们针对云计算数据中心的碳减排问题，建立了云服务的能耗成本、响应时间与碳排放之间的多路平衡优化模型，进而运用理论严密的李雅普诺夫优化方法设计并分析了基于碳排放感知的跨域数据中心最优在线控制体系，包括跨域数据中心之间的负载均衡策略、各数据中心内部的服务器状态调度策略、服务器CPU计算速率的动态控制策略。我们通过严格证明以及由真实电价、碳排放及网络流量历史数据驱动的大规模仿真实验，验证了该体系在节能减排方面的有效性，为信息产业的深度碳减排提供了可行性量化分析和前瞻性指导。详细研究成果见参考文献[11,12]。

3.2 应用研究成果

3.2.1 多租户数据中心能效的优化方法与联合建模

为了解决多租户数据中心管理者与租户之间的“非合作关系”问题，在Co-Colo机制和MicDR激励机制的基础上，针对节能、功耗预测和应急需求相应，我们提出了多种多租户数据中心能效的优化方法：（1）提出了面向节能的多租户数据中心激励机制ESCo。该机制强调在管理者为节能支付的预算有限情况下，通过激励租户实现租户服务器的节能量最大化。同时提出了一种可以实现机制稳定的奖励分配算法，并验证了ESCo的有效性。与现有激励机制相比，ESCo可实现14.47%的节能效果。（2）提出了一种有真实性和可行性保障的多租户数据中心激励机制MesPP，开发了一个具有（1-ε）近似比保证的近似算法，实现了在有限成本预算下最大限度地减少多租户数据中心的能源消耗。与现有激励机制相比，可实现12.23%的节能效果。（3）提出了两种粗粒度和细粒度两种激励机制，通过一种函数式投标方案解决了多租户数据中心的IT与冷却系统之间的“非合作关系”问题，实现了多租户数据中心的IT与冷却系统的联合优化。通过引入VCG理论，保证了两种激励机制的可行性和真实性。与现有激励机制相比，粗粒度和细粒度激励机制可分别降低节能成本20.50%和28.34%。详细研究成果见参考文献[9,13,14]。 

3.2.2 数据中心容错、能耗与性能的联合优化技术

为了降低任务处理失败率并优化数据中心能效，我们提出多种面向数据中心能效与容错的联合优化方法：（1）提出了一种动态任务分配和调度方法，基于到达任务的分类将任务分配到从资源利用的角度考虑的最合适的虚拟机中，从而降低任务的平均响应时间。在兼顾资源利用率和能效的前提下，设计了一个弹性资源容错分配策略和任务整合策略，实现了对数据中心资源利用率和能效进行持续优化。（2）提出了一种AI驱动的能量感知主动容错调度方案。首先，基于机器学习方法的预测模型，将到达任务分为“易失败任务”和“非易失败任务”。然后，利用矢量重建方法从易失败任务中构建超级任务，并将这些超级任务和非易失败任务分别调度给云数据中心中最合适的服务器。实验表明，该方案可以智能地预测任务失败，具有更好的容错能力，并降低总能耗。（3）提出了一种基于功率预测和阈值排队模型的区域环境数据中心生态友好的动态任务调度方法，以提高服务质量。首先实现区域数据中心的功率预测，将任务根据截止时间降序排序，并迁移到区域数据中心的区域队列中，然后进行基于阈值的排队模型的任务调度。此方法不仅能提高能效，同时可兼顾保持服务水平协议。详细研究成果见参考文献[15,16,17]。

3.2.3 数据中心网络可靠传输协议及流调度策略

数据中心存在大量多对一通信模式的应用，共享链路上的交换机已成为通信瓶颈，进而导致频繁地丢包和重传。针对这一问题，（1）提出了一种链路层的可靠传输协议PABO，在短时拥塞的情况下，通过暂时将包逐层按原路径弹回上游的方法，来达到利用网络自身能力消除拥塞的目的。PABO在链路层提供了区分流的流控方法，将短时拥塞的处理尽量保持在网络端解决，不需要主机端的干预；当网络端无法解决拥塞时，逐层将拥塞的信号传到流的源端。PABO相对于原有的机制能有效缓解拥塞，优化整体传输时延。（2）提出了一种用于多路径quic（MPQUIC）的在线数据包调度算法- PStream。基于流和路径的匹配特性构建了调度问题的优化模型，并设计了基于优先级的流调度机制，使得每个流从开始就并发利用分配的路径，减少了快速路径上的突发传输。我们基于MPQUIC开源实现了PStream，在高路径异构的情况下，我们的调度程序可以减少多达25.4%的页面加载时间。（3）设计了一种MPQUIC调度器-PriorityBucket，通过对组成关键渲染路径的流进行优先级排序，可以有效减少首次渲染和页面加载时间。与现有的MPQUIC调度器的比较，在高路径异质性的情况下，PriorityBucket可以将首次渲染时间和页面加载时间分别减少34%和35%。详细研究成果见参考文献[18,19,20]。

3.2.4 数据中心IT设备和冷却系统能效联合优化策略

数据中心的能耗主要来自两个重要的子系统:IT系统(如服务器、网络)和冷却系统。当前的研究大多仅考虑IT系统或冷却系统中的能源优化。因此，需要通过协同优化IT系统和冷却系统的能效，开发有效的数据中心节能技术。（1）我们提出基于多智能体深度强化学习的数据中心能效联合策略。为了提高IT与冷却系统在处理高维状态空间和大型混合离散-连续动作空间时的协作能力，提出了一种混合多智能体结构。为解决其与冷却系统响应时间不同的问题，提出了一种异步控制优化算法。实验结果表明，与现有的联合优化方法相比，MACEEC可以在保证温度约束和服务质量的同时，有效提高数据中心的整体能源效率。（2）提出了基于边际成本和任务分组的节能任务调度策略，以协调优化服务器和冷却系统的能耗。在冷却系统中，考虑不同的冷却模式，设计了冷却系统的能耗模型，使用分段函数描述了冷却系统不同阶段的不同能耗率。结合冷却系统和服务器的能耗，提出了数据中心的联合能源优化方案。实验表明，该策略在节能方面优于现有的联合优化方法。（3）提出了基于任务实时分类调度的数据中心联合能效优化策略。首先，提出风冷系统与水冷系统相结合的方式，并建立了IT设备功耗与冷却功耗的函数关系。其次，通过分析能耗联合优化模型的函数特点，基于任务的分类标签实施数据中心任务的实时调度，实现IT功耗与冷却系统功耗的联合优化。详细研究成果见参考文献[21,22]。

3.2.5 分布式网络全局能耗优化策略-HDEER

针对不同的网络架构的能效优化，我们提出了分布式网络全局能耗优化策略-HDEER，以分布式的方式优化全局网络能效同时兼顾网络延迟。HDEER具有如下特点：1，从网络全局角度考虑降低网络的能耗，而不是仅仅从网络设备（如交换机、路由器或者服务器）角度考虑降低网络能耗；2，不需要集中收集网络全局路由状况的信息，而各个网络节点只需依据本节点的信息加上邻居节点间的通信进行计算；3，无需网络中的一个中心控制节点对路由做出优化的计算和决策，该决策和控制有网络各个节点分布式做出，而免去了中心控制的环节；4，同时兼顾网络传输的延迟和网络能耗的节省双重因素，而且可以按照管理员的需要进行这两方面的权衡。HDEER可以在不引入明显额外网络延迟的情况下，显著节省网络能耗。详细研究成果见参考文献[23]。

参考文献

  1. https://www.xianjichina.com/news/details_142997.html
  2. https://www.qianzhan.com/analyst/detail/220/200722-0f6ae688.html
  3. https://www.cenews.com.cn/company/201902/t20190219_893534.html
  4. Glanz James. Power, pollution, and the internet. New York Times, Sept. 23, 2012
  5. Eric Masanet, Arman Shehabi, et.al. Recalibrating global data center energy-use estimates. Science, 2020, 367(6481):984-986.
  6. Understanding and abstracting total data center power, Proc of WEED. 2009[2018-05-20]. http://seelab.ucsd.edu/mobile/related_papers/22_weed09.pdf
  7. Y. Shi, F. Zhang, Z. Liu. Hardness of Routing for Minimizing Superlinear Polynomial Cost in Directed Graphs. International Conference on Theory and Applications of Models of Computation, 2017.
  8. Arjona J, Fernández A, Mosteiro M, et.al. Power-efficient assignment of virtual machines to physical machines. Future Generation Comp. Syst. 2016, 54: 82-94.
  9. Ce Chi, Fa Zhang, Kaixuan Ji, Avinab Marahatta, Zhiyong Liu*, “Improving energy efficiency in colocation data centers for demand response”, Sustainable Computing: Informatics and Systems (SUSCOM), 2021, 29(B): 100476.
  10. Youshi Wang, Fa Zhang, Ce Chi, Shaolei Ren, Fangming Liu, Rui Wang, Zhiyong Liu, A market-oriented incentive mechanism for emergency demand response in colocation data centers, Sustainable Computing: Informatics and Systems (SUSCOM), 2019, 22: 13-25.
  11. Zhaojie Niu, Bingsheng He, Fangming Liu，Not All Joules are Equal: Towards Energy-Efficient and Green-Aware Data Processing Frameworks. IEEE International Conference on Cloud Engineering, Berlin, Germany, 2016
  12. Zhi Zhou, Fangming Liu, et.al. Carbon-aware online control of geo-distributed cloud services. IEEE Transactions on Parallel and Distributed Systems,2016,27(9):2506-2519.
  13. Ce Chi, Kaixuan Ji, Avinab Marahatta, Fa Zhang, Youshi Wang, and Zhiyong Liu*, “An Incentive Mechanism for Improving Energy Efficiency of Colocation Data Centers Based on Power Prediction”, in 2020 IEEE Symposium on Computers and Communications (ISCC), July 7, 2020
  14. Ce Chi, Kaixuan Ji, Avinab Marahatta, Fa Zhang, Youshi Wang, Zhiyong Liu*, “An Energy Saving-Oriented Incentive Mechanism in Colocation Data Centers”, in workshop of 2020 29th International Conference on Computer Communications and Networks (ICCCN) August 3, 2020
  15. Marahatta A, Qin X, Chi C, et.al. PEFS: AI-driven Prediction based Energy-aware Fault-tolerant Scheduling Scheme for Cloud Data Center, IEEE Transactions on Sustainable Computing, 2020.  DOI: 10.1109/TSUSC.2020.3015559
  16. Marahatta A, Pirbhulal S, Zhang F, et.al. Classification-based and energy-efficient dynamic task scheduling scheme for virtualized cloud data center. IEEE Transactions on Cloud Computing, 2019, DOI:10.1109/TCC.2019.2918226
  17. Avinab Marahatta, Ce Chi, Kaixuan Ji, Carlos Juiz, Fa Zhang, and Zhiyong Liu*, “Eco-friendly Dynamic Task Scheduling for Regional Data Center”, In Proceeding of The Eleventh ACM International Conference on Future Energy Systems (e-Energy’20), June 12, 2020.  https://dl.acm.org/doi/abs/10.1145/3396851.3402920
  18.  Xiang Shi, Lin Wang, Fa Zhang, Kai Zheng, Max Mühlhäuser, Zhiyong Liu, PABO: Mitigating congestion via packet bounce in data center networks. Computer Communications, 2019, Vol. (140-141): 1-14.
  19. Xiang Shi, Lin Wang, Fa Zhang, Biyu Zhou, Zhiyong Liu*, “PStream: Priority-Based Stream Scheduling for Heterogeneous Paths in Multipath-QUIC”, in 2020 29th International Conference on Computer Communications and Networks (ICCCN), August 3, 2020.
  20. Xiang Shi, Fa Zhang, Zhiyong Liu, “PriorityBucket: A Multipath-QUIC Scheduler on Accelerating First Rendering Time in Page Loading”, in workshop of Proceedings of the Eleventh ACM International Conference on Future Energy Systems, June 12, 2020.
  21. Ce Chi, Kaixuan Ji, Avinab Marahatta, Penglei Song, Fa Zhang, Zhiyong Liu*, “Jointly Optimizing the IT and Cooling Systems for Data Center Energy Efficiency based on Multi-Agent Deep Reinforcement Learning”, in workshop of Proceedings of the Eleventh ACM International Conference on Future Energy Systems, June 12, 2020.
  22. Kaixuan Ji, Ce Chi, Avinab Marahatta, Fa Zhang, and Zhiyong Liu*, ” Energy Efficient Scheduling Based on Marginal Cost and Task Grouping in Data Centers”, In Proceeding of The Eleventh ACM International Conference on Future Energy Systems (e-Energy’20), June 12, 2020.
  23. Zhou B., Zhang F. Wang L.et.al. HDEER: A Distributed Routing Scheme for Energy-Efficient Networking，IEEE Journal ON Selected Areas in Communications，2016.34(5)：1713~1727.