超大规模计算影响数据中心发展

在可预见的将来，由于许多企业决定放弃拥有自己的数据中心，并将应用程序迁移到云平台，这些少数公司将会占据云计算市场的大部分增长。图1显示了2020年的超大规模数据中心的预计增长，以及预期在这些数据中心驻留的服务器的百分比。到2020年，预计大规模客户将会采用所有售出的服务器的47%。对于诸如惠普和戴尔这样的传统硬件提供商来说，这种情况预示着更窄的客户群，同时将拥有更高的技术敏锐度和更密切的关注底线。HPE和戴尔将看到他们为超大规模客户提供的服务器超过了“无名”白盒供应商，并可以更好地提供客户需要的产品。标准的服务器配置并不再适合所有客户。越来越多的人将开放式计算作为一种降低成本和提高效率的途径。

新的网络拓扑将为超大规模数据中心的南北向流量和东西向流量带来更高的带宽。 Facebook公司已经公开了基于商品交换机设计的规范，并向全世界展示了软件定义网络(SDN)和网络功能虚拟化(NFV)的诸多优势。

对于超大规模数据中心运营商来说，电力输送和冷却新方法的创新使其设施中的机架功率密度得以提高，同时提高整体基础设施的效率，从而产生极低的PUE。以下讨论了电力基础设施在使超大规模数据中心尽可能可靠和高效运行方面发挥的作用。

当今网络上最强大的厂商名字是互联网热潮期间在20世纪80年代和90年代开始发展的超大规模厂商。微软公司成功打造成了当今超过900亿美元的庞然大物，其产品从全球数据中心足迹推动的操作系统和办公软件包转向SaaS(Office 365)和PaaS(Azure)。亚马逊公司于1994年开始从一家在线书商成为了一个价值1700亿美元的电子商务巨头，并且还成为全球规模最大的云计算服务提供商。

Facebook公司是全球最大的社交媒体企业，在全球各地拥有众多大型数据中心。阿里巴巴是中国规模最大的电子商务商，并且正在将其数据中心覆盖范围扩展到国外。谷歌在20世纪90年代开始时是从一个研究项目发展起来，并迅速成长为互联网上最大的搜索提供商。该公司也依赖多个地区的海量数据中心来提供用户在搜索网络时所期望的快速性能。其他大型且快速增长的超大规模数据中心运营商还包括苹果、腾讯、百度、eBay等。

大多数超大规模数据中心的建设者都拥有自己的基础设施。超大规模数据中心运营商原本采用HPE、Dell EMC、思科等公司制造的硬件，如今转向采用台湾和中国ODM厂商(如广达、英业达、富士康、超微、浪潮等)提供的低成本、专用定制和“开放式”计算和网络解决方案。

在过去的几十年中，数据中心行业的机架功率密度与计算和存储密度相应地增长。如今在单一机架中的服务器和硬盘比以往任何时候都要多。而一个典型的IT机架的轴功率为1-3千瓦，如今20到40千瓦的负载在单个机柜中也是常见的。美国国家可再生能源实验室报告表明，每机架30千瓦的部署普遍存在。

谷歌公司的全球基础设施负责人Joe Kava表示，该公司在2015年使用了5.7兆瓦的能源。其中数据中心的能耗占了绝大多数，这也是谷歌公司为其云计算园区采购可再生能源获得领先地位的原因。

基于英特尔、AMD、NVIDIA和ARM的最新芯片技术提供的新服务器每秒可提供更高的运算速度和每瓦操作性能。与此同时，数据中心房地产的成本在大多数市场上涨，导致运营商寻求更高的IT机柜来更有效地利用空间。有的运营商甚至采用一个装满IT设备的高大圆柱，但密集的部署将会产生大量散热问题，数据中心架构师必须采用空气或水作为冷却介质。有一些数据中心设施同时部署这两种冷却方式。

•更改设备的部署方向，以创建自然的热通道和冷通道。

•在空置的机架空间使用盲板以确保冷空气不会泄漏到热通道中。

•实行热通道或冷通道遏制。

•自然对流可以通过精心设计的设施流动空气，冷空气下沉到地板上，热空气上升到天花板。因此，对冷通道采用高架冷空气设计，并在机架背面提升天花板或烟囱，以驱动空气通过IT系统。

绝热冷却依赖于通过体积膨胀引起的气压变化来减少热量的过程。在数据中心中使用绝热过程以促进有效利用水和电的“自然冷却”方法。

液体冷却非常适合机柜功率和热密度超过以合理速度流动的空气的冷却能力(高达几百CFM)的应用。液体冷却有多种形式：冷却门、冷冻搁板、直接喷雾冷却到芯片上等等。 “在高性能计算领域，其制冷方案都将转向液体冷却。”Eurotech公司技术总监Paul Arts说，“在我们的设想中，扩张是唯一的途径。我们认为这是新一代高性能计算的开始，拥有巨大的力量。我们正处于革命的开始阶段。”

最终，冷却决策将取决于数据中心将运行的参数：维护/维修的频率、可用技术人员的数量、维修的允许时间、期望的功率效率水平等等。

许多论文记录了数据中心行业在21世纪初日益增长的电力需求。如果摩尔定律和服务器虚拟化对行业没有帮助，电力需求的增长可能会超过美国总发电量的10%。相反，IT行业在监管自身方面发挥了领导作用，使IT系统更加节能。英特尔公司和AMD公司致力于减少服务器芯片(CPU)的功耗，并且随着每代CPU的产生，他们改进了每个周期的指令，并减少了每条指令的功率，同时保持在给定的功率范围内。

展望未来，许多超大规模数据中心运营商正致力于为其数据中心设施提供可再生能源。首先通过购买可再生能源证书和电力抵消(从当地公用事业购买水力发电等绿色能源的电能)，现在许多超大规模数据中心都使用燃料电池或太阳能阵列的电能。苹果公司和Facebook公司已经有多个数据中心采用太阳能的电力。微软公司在怀俄明州夏延拥有沼气发电厂，并从Pilot Hill Wind购买风力发电，并在全球各地建设大量太阳能发电设施。亚马逊公司在德克萨斯州建立了一个253兆瓦的风力发电场，而谷歌公司所有的数据中心在2017年全部采可再生能源。

“我们是全球最大的可再生能源企业购买者。”谷歌公司技术基础设施高级副总裁Joe Kava说。

IT行业也有许多关于最适合超大规模数据中心的电力基础设施的建议。在早期，Facebook公司的机架设备采用了480V/277V交流电源，而机架上IT负载采用12V 直流电源。谷歌公司提出了采用48V直流电为服务器供电，直接转换负载点电源以48V运行到主板运行CPU、内存等所需的工作电压和电流。在谷歌公司实施的项目中，从电源到机架的电力为480/277的交流电(或400V/230V交流电)，通过三相整流器将交流电转换为直流电为机架设备供电。微软公司最近的开放计算项目采用了480/277V 交流电源为机架设备供电，而服务器采用277V电源，服务器机箱中带有两个三相电源，并支持与机架服务器配套的基本(非智能)PDU。

对于那些寻求采用发电设备运行数据中心的公司来说，在现场生产直流电源并将其输送到机架上是很有意义的。在这种情况下，将380V直流电源引入机架，并通过DC-DC转换器转换到48V是一种选择。或者甚至可以将48V直流电源输入到机架上，这取决于与电源的距离。

每个数据中心都是为了实现功能、等待时间、正常运行时间、成本和价值目标而构建的。电力传输基础设施的选择与这些目标密切相关，并由数据中心运行的软件栈的稳健性和灵活性所缓解。未来的超大规模数据中心可能会从虚拟机迁移到容器，并提供“无服务器”计算模式。而人们有关数据中心采用交流电源和直流电源的争论将会持续下去，而部署机架上的燃料电池等新技术也将越来越受欢迎，为数据中心业主和运营商提供可再生能源以支持超大规模数据中心将成为一种强制性要求。人们需要了解有关超大规模计算的更多信息。