赵康：数据中心电气设计相关问题探析

数据中心常见标准对比

除GB 50174 - 2017《数据中心设计规范》国标外，在数据中心行业中最常见的标准是ANSI / TIA - 942 - B - 2017《Telecommunications Infrastructure Standard for Data Centers》和Uptime标准。常见标准对比见表1，其中Tier等级划分被人们所熟知，对于Colo（Colocation）主机托管数据中心能够取得Uptime等级认证具有商业价值。

图片

 固有可用性Ai和运行可用性Ao

可用性是数据中心系统设计的核心要求之一，可用性的计算包括观测法、解析法（方框图法RBD、空间法）、蒙特卡洛分析法等，复杂的数据中心通过RBD无法计算出可用性，需采用相关软件分析计算。

根据IEEE Std 3006.7 - 2013《  IEEE Recommended Practice for Determining the Reliability of 7 × 24 Continuous Power Systems in Industrial and Commercial Facilities》（《工业和商业设施中7 × 24连续电力系统可靠性测定的推荐规程》），可用性是指：① （一般）在其可靠性、可维护性和维护支持的综合方面，项目在规定的时刻或时间段内执行其所需功能的能力。② （作为单个组件或系统的性能指标）组件或系统运行并令人满意地执行其预期功能的长期平均时间值。③ （作为未来预测）组件或系统在时间t运行的瞬时概率。

从标准的描述概括可用性：在某个考察时间，系统能够正常运行的概率或时间占有率期望值。

固有可用性（Ai）是指：部件或系统运行并满意地执行其预期功能的长期平均时间值。Ai只考虑故障修复的停机时间，不包括物流时间、预防性维护等。

Ai = MTBF/(MTBF+MTTR)    （1）

式中：MTBF —— 平均故障间隔时间；

  MTTR —— 平均故障维修时间。

设备使用期间状态如图1所示，MTTR和MDT最大区别是MTTR不包括零件采购、人员动员、物流时间以及预防性维护时间等；MTTF用于一次性设备的更换，如灯具、熔断器等不可修复项。

图片

固有可用性Ai和运行可用性Ao不同，Ai为观察到的最大可用性，不包括物流和人为预防的时间，是假设技术人员在设备出现故障时可以立即进行操作，但在实际运维环境中，运行可用性Ao才能真实反映实际操作情况。

Ao =MTBM/(MTBM+MDT)   （2）

Ao< Ai，如Ai可用性为5个9，意味着停机时间为5.25 min / 年，实际中重大停电、停机修复时间远大于5 min，而且无法评估相同中断总时间下多次中断和1次中断的差异性，故年停机时间采用Ao评估更符合项目的实际情况。

供配电架构

数据中心常用供配电架构包括了2N + 1、2N、N + 1、DR、RR等，笔者结合IEEE Std 3006.7 - 2013标准提供的BR（Block Redundant）和DR（Distributed Redundant）架构，针对其应用和变化进行分析。

 >>>>  N + 1架构

2N供电架构逻辑简明独立，但投资和运营成本大，整体50 % 电源配置处于空载状态，除金融、银行企业等采用此架构外，互联网公司采用的并不多。如何应用N + 1架构是数据中心配电的趋势和价值，N + 1架构的核心如图2 ~ 图4所示。BR和RR（Reserve Redundancy）架构本质上一样，RR架构强调后备冗余性，可由高低压柴油发电机和市电变压器组合；BR架构强调整体单元颗粒度块冗余，多由1台低压柴油发电机和1台变压器作为1个单元。BR架构或称catcher bus system，国外互联网公司应用较多，最大优点是能够持续模块化扩容，而Colo数据中心DR配电架构较多，因为招标或客户在签署SLA（Service - Level Agreement，服务等级协议）协议时可能要求租赁区域内两路电源都来自UPS，而DR架构恰恰在供电单元内能满足此要求。

图片

 >>>>  颗粒度划分及BDR架构

国内外对于市政电源的认可度不同：国内认为电网可靠，而国外因基础设施建设早，私有运营、联合营运模式的影响，认可发电机比电网更可靠，故基于两者的认知不同和标准的差异，划分的供电系统架构和颗粒度不同。同时国外数据中心较少采用中压柴油发电机，中压柴油发电机 + 集中冷冻站基本上属于一次投入，中压柴油发电机在分期建设情况下不利于对整个系统做集中测试，采用低压柴油发电机和变压器组合更利于进行分期模块化分割。

图5、图6分别为典型的BR架构、DR架构，采用低压柴油发电机均可满足国标A级数据中心供电要求。BR架构最大的劣势是采用了大量STS运维程度复杂；而DR架构最大的劣势是当1组UPS单元故障退出时，Racks负载在线成了单个UPS单元供电，故有部分架构在DR的基础上配置STS，但可增加的可用性并不多：根据IEEE Std 3006.7 - 2013标准数据，相同配置下DR架构的固有可用性为0.999 995 6（未配置STS）和0.999 996 9（配置STS）。

图片

BR + DR架构优势结合形成BDR架构，这样系统既具有BR架构的扩展性，又具有DR架构末端负载同时都在两路UPS组上的优势。当然DR架构可以在1个供电单元颗粒内分母线段完成，也可以在多个单元间交叉完成。由于物理分割较难，笔者建议在1个供电单元（发电机 + 变压器）分母线段完成，如图7所示。

图片

 >>>>  母线隔离架构

 >>  N + 1 UPS母线隔离

N + 1常指UPS配置，如图8、图9电源采用常见N + 1配置，UPS采用并机形式，UPS进线来自同1段母线（假双路），或来自不同的2段母线（进线母线隔离）。

图片

 >>  多母线分段隔离架构

 >  多母线分段隔离BDR架构

某项目架构母线方案如图10所示（不同于常见的N + 1形式，即1台发电机和1台变压器组成1个供电单元），在国内项目中应用不多。原因是基于Uptime认证的条件下，要求容错、冗余、在线维护要求不同，母线的故障隔离在国内IDC设计中未得到重视。

图片

该架构母线主要特点：① 主母线两段母线冗余，设置母联隔离，隔离母线故障，同时能够对母线在1个供电单元内进行在线维护；② UPS静态旁路和主回路分别位于不同母线段，隔离母线故障，保证冗余；③ UPS输出采用母线分段隔离方式，隔离母线故障，多母线可并列运行；④ DR架构分配母线设置旁路，用于检修维护；⑤ PDU配电单元采用4母线DR架构方式，末端机柜均为两路UPS电源，电源使用率75 %。

笔者在此架构基础上增加ATSR（ATS Redundant）大母线catcher bus，采用冗余BR供电单元，整体外网示意如图11所示，则该系统在供电单元内形成DR分配，整体架构为BDR，ATSR单元可位于II段低压母线或I段低压母线。

图片

基本运行情况：① Q1、Q2、Q4三选一闭合，Q3平时处于闭合状态，检修主母线时可断开Q3；② Q5 ~ Q8平时断开状态，也可并机运行，当负载允许时，可关闭单个UPS，检修母线；③ A ~ E母线段设置分配母线检修旁路。

 >  单元系统容量

笔者建议，1个供电单元可按单台变压器2 000 kVA考虑为6 + 1模块BR分配，如图11所示。我国多个地区10 kV供电容量为12 000 kVA，供电部门考虑电网和环网调度，经常要求用户10 kV总容量为12 000 kVA（常见项目2路进线），实则单路10 kV的供电容量基本上限为12 000 kVA。

 >  DR架构的分配使用率

DR架构以3段母线或3组UPS组交叉为例，电源使用率λ = 2/3。实际工程中采用4段或6段母线；当母线段或UPS组为n段时，负载最多平均分布交叉组数量为

图片

，整体使用率λ = (n-1)/n（n ≥ 3）。如图12（a）为4段母线分段最大组合形式，λ = 3/4（n = 4）；4段母线也可以组成如图12（b）所示手拉手环形组合形式，电源使用率λ = 2/3。采用母线段的馈线数m（单个母线段的馈线数）可更为直观地反映系统平均分配情况，此时电源使用率λ = m/(m+1)，随着母线段分组的增加电源使用率增加，但系统之间分交叉更为复杂，不利于维护和检修。

图片

数据中心模块化、预制化

 >>>>  模块化布局

模块化数据中心（MDC）是为了降低数据中心的建设成本和运营成本，能够快速部署、分期投入，模块化意味着可以根据客户的需求定制空间，同时具备快速可复制性，每个独立的POD（Point of delivery）都有独立的电源和冷却系统，具备独立运营性和出租性。模块化包括设备模块化、布局模块化、功能模块化、交付模块化。

图13为模块化数据中心布局，同时供冷单元和电力（发电机、供电模块）基础设施位于建筑物外，在远离服务器机架的地方进行维护和维修，最大限度地减少人工干预对可靠性的影响，常见于国外数据中心，服务基础设施位于室外广场，同时对场地安全提出要求。

图片

 >>>> 仓储式数据中心

国标数据中心可以是民用建筑或工业建筑，仓储式模块化数据中心是模块化的表现形式之一，以钢结构大平层单层工业建筑为主，包括旧厂房改造和新建。新型仓储式数据中心具备土建模块化、系统预制化、部署集群化、交付一体化特点，多用于土地、自然冷却、电力等资源丰富，规划容积率要求低的工业园区。功能区标准化，设备采用方仓预制化，机柜区采用微模块布置，可以缩短部署周期、降低成本。如图14所示是某仓储式数据中心平面布局示意，采用了预制化电力模块、预制化柴油发电机等。

图片

快速布置室外预制化集装箱式发电机，可以有效规避建筑空间占用、送排风、输油、设备安装及二次更换等多种问题。除考虑风向和散热、噪音因素外，国外数据中心集装箱式发电机出于环保要求烟囱经常高位排放，但国内在此方面要求不高。

 >>>>  智能电力模块预制

......

本文有删减，全文载于《建筑电气》2023年第10期，详文请见杂志。版权归《建筑电气》所有。作者：赵 康，男，上海璞佳建筑设计有限公司，工程师，主任工程师。 本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。