数据中心交换机 buffer 需求分析白皮书
目录
1引言 (3)
1.1DC 的网络性能要求 (3)
1.2国内OTT 厂商对设备Buffer 的困惑 (4)
1.3白皮书的目标 (4)
2Buffer 需求的经典理论 (5)
2.11BDP 理论 (5)
2.2Nick Mckeown 理论 (6)
2.3经典理论的适用性 (6)
3基于尾丢弃的buffer 需求 (9)
3.1丢包的影响 (9)
3.1.2丢包对带宽利用率的影响 (9)
3.1.3丢包对FCT 的影响 (12)
3.2大buffer 的作用 (13)
3.2.1吸收突发，减少丢包，保护吞吐 (13)
3.2.2带宽分配均匀 (14)
3.2.3优化FCT (15)
3.3DC 内哪需要大buffer (15)
3.4需要多大buffer (17)
3.5带宽升级后，buffer 需求的变化 (19)
3.6 小结 (19)
4基于ECN 的buffer 需求 (21)
4.1ECN 的作用 (21)
4.2ECN 水线设置 (23)
4.3基于ECN 的buffer 需要多大 (24)
5基于大小流区分调度的buffer 需求 (27)
5.1大小流差异化调度 (27)
5.2大小流差异化调度如何实现大buffer 相当甚至更优的性能 (27)
5.3基于大小流差异化调度的buffer 需要多大 (28)
6 总结 (28)
7 缩略语 (29)
1 引言
1.1DC 的网络性能要求
近几年，大数据、云计算、社交网络、物联网等应用和服务高速发展，DC 已经成为承
载这些服务的重要基础设施。
随着信息化水平的提高，移动互联网产业快速发展，尤其是视频、网络直播、游戏等行业的爆
发式增长，用户对访问体验提出了更高的要求；云计算技术的广泛应用带动数据存储规模、
计算能力以及网络流量的大幅增加；此外，物联网、智慧城市以及人工智能的发展也都对DC
提出了更多的诉求。
为了满足不断增长的网络需求，DC 内的网络性能要求主要体现在：
?低时延。随着深度学习、分布式计算等技术的兴起和发展，人工智能、高性能计算等时延敏感型业务增长迅速。计算机硬件的快速发展，使得这些应用的瓶颈已经逐渐由计
算能力转移到网络，低时延已经成为影响集群计算性能的关键指标。因此，时延敏感型
应用对DC 网络时延提出了更高的要求。目前DC 内，端到端5-10 微秒时延已经成为
主流的目标要求。
?高带宽高吞吐。数据时代的到来，产生了海量的数据，如图1-1。基于数据的应用（如图像识别）的推广，使得网络数据呈爆发式增长，小带宽已经无法满足应用对传输
速率的需求。部分应用场景下，带宽成为制约用户体验的瓶颈。高带宽高吞吐对于提升大
数据量传输的应用性能有着至关重要的影响。为了应对大数据量传输的
应用需求，目前，百度、腾讯、阿里巴巴等互联网企业的DC 都已经全面部署100GE
网络，阿里巴巴更是规划2020 年部署400GE 网络。
图1-1 数据中心内存储的实际数据
数据来源：中国IDC 圈
?极低丢包率。丢包需要重传，甚至RTO 超时，造成带宽的浪费。目前，不少DC，通过使能PFC（Priority-based Flow Control）实现无损网络。
1.2国内OTT 厂商对设备Buffer 的困惑
为了满足应用的发展对DC 网络性能提出的更高要求，国内OTT 厂商除了上层的应用优化外，希望对DC网络架构以及交换设备做进一步的优化，以提升网络整体性能。DC 内的设备buffer 成为关注的重点。
经过与国内OTT 厂商交流后发现，OTT 厂商对设备buffer 存在两点主要困惑：
?设备buffer 需要多大。设备buffer 大小一直备受关注。大buffer 能吸收突发，减少丢包，但同时也会带来排队时延的增加；小buffer 能保证排队时延较低，但却无法吸
收突发，影响链路的带宽利用率。OTT 厂商都迫切想知道，在目标场景下，多大buffer
的设备能满足业务需求。
?使能ECN 后，ECN 的水线该设多大。ECN 使设备能尽早的反馈拥塞信息，避免排队时延过长，同时减少丢包，但是ECN 的水线设置对网络性能影响较大。如果水线过
低，则链路会欠吞吐；水线过高，则会造成时延增加，同时无法体现ECN 尽早反馈
拥塞的优势。因此，OTT 厂商迫切需要ECN 水线设置的经验指导。
1.3白皮书的目标
在本白皮书中，我们梳理了目前业界关于DC 交换机buffer 的观点和结论，结合本身对buffer 的认识理解，通过理论和仿真分析，试图回答关于设备buffer 的两个基本问题：设备buffer 需要多大以及ECN 水线该设多大。
考虑到，目前DC 现网中的主流场景包括：基于尾丢弃的TCP 拥塞控制网络，基于ECN 的TCP 拥塞控制网络，以及使能大小流差异化调度的TCP 拥塞控制网络。因此，本白皮书分别在三个DCN(Data Center Network)场景下分析交换机buffer 需求的相关问题，期望对交换机buffer 的设计以及使用提供经验性的指导。
2 Buffer 需求的经典理论
2.11BDP 理论
关于网络设备buffer 大小需求，最早的经典理论是Villamizar 和Song 在1994 年提出的
1BDP(Bandwidth Delay Product)理论，也称为Rule-of-Thumb。这里的BDP=C×RTT ，其
中 C 为瓶颈链路的带宽，RTT 为链路的往返传输时延。
1BDP 理论做出如下假设：（1）传输层协议为基于丢包的TCP，丢包速率减半；（2）在链
路中仅有一条长流；（3）网络只有一跳，TCP 流对buffer 的占用如图2-1 所示；（4）
buffer 需求的目标是保证跑满链路带宽。
图2-1 一条TCP 流的buffer 占
用
在t1 时刻，TCP 的发送端感知到丢包，此时TCP 的拥塞窗口CWND 从Wmax 减小到
Wmax/2，而TCP 流的在途数据量inflight=Wmax。由于在途数据量在传输管道中或者在
buffer 队列，因此inflight=BDP+B ，其中 B 为设备buffer 大小，于是可以得到
Wmax=BDP+B。
在t2 时刻，buffer 队列排空，inflight≤CWND，发送端以Wmax/2 的窗口发送数据。此时，
数据报文无排队时延，数据包的RTT= 链路的往返传输时延，TCP 流的发送速率=Wmax/2/RTT，为了保证跑满链路带宽，TCP流的发送速率应该等于链路的瓶颈带宽C。
因此，C=Wmax/2/RTT，得到Wmax=2C×RTT 。
综合Wmax=BDP+B=2C×RTT，得到B=BDP=C×RTT。也就是说，单流情形，设备1BDP
的buffer 能保证出端口跑满链路带宽。
考虑到在不止一跳的网络拓扑中，当前设备buffer 排空的t2 时刻，流的RTT 包含除当前设
备buffer 以外的其他设备的buffer 排队时延。因此，要保证不欠吞吐的1BDP 设置中的
时延需考虑队列时延。
n 2.2 Nick Mckeown 理论
斯坦福大学的 Nick Mckeown 教授在 1BDP 理论的基础上，分别考虑多流同步和异步的情形，进一步扩展了 buffer 需求的理论。
（1） 多流同步。流的同步指的是不同的流的发送窗口的大小变化锯齿曲线相位同步，即 发送
窗口同时增大或减小。通常，多流同时发起、多流在设备处同时丢包以及多流之间 接近的 RTT 都会增加多流的同步性。对于在同一瓶颈链路传输的同步多流，在设备处叠 加后的发送窗口的大小变化曲线，就是多条锯齿曲线的同相叠加，与一条流的锯齿曲线
类似。因此，应用 1BDP 理论相同的推导逻辑，可以得到同步多流情形，要保证跑满链 路带宽，设备所需的 buffer 仍然为 1BDP 。
（2） 多流异步。流不同步时，多流的发送窗口值形成的锯齿曲线会相互错开。如果流数
足够多，假定各流的窗口值独立同分布，则根据中心极限定理，多流的窗口叠加后，形
成的总的窗口值服从正态分布。此时，多流叠加的窗口值的变化与单流窗口值的变化存
在 n 的关系，其中的 n 为大流的条流。因此，多流异步时，为了保障不欠吞吐，设备 所需的 buffer 为 BDP/ 。
2.3 经典理论的适用性
经典理论都是针对广域网中的骨干网路由器的 buffer 需求提出。相比于广域网，数据中
心的跳数更少，时延更短，业务的流量模型也不同，经典理论在 DCN 是否适用？ BDP 理论在多流时是否依然适用？考虑到 buffer 溢出丢包后发送端需要 3 个冗余 ACK 才将窗口降半，假设多流的 buffer 占用曲线如图 2-2 所示。假设 DCN 中共有 n 条流， 流 i 的窗口值大小为 W i ，流 i 的 RTT 为 RTT i 。
图 2-2 多 TCP 流的 buffer 占用
在 t 1 时刻，buffer 溢出丢包，但由于源端无法立刻感知到丢包，收到 ACK 后，仍然会继续增大窗口值，继续发送数据包，导致 buffer 持续占满。经过 3RTT 后，在 t 2 时刻，各流收到 3 冗余 ACK 后感知到丢包，此时多流的窗口都从 W i 降低到 W i /2。在 t 2 时刻降窗口
之前，各流的窗口值之和
∑n W
i 为各流的总在途数据报文，而这些报文或者在管道 中，或者在 buffer 队列中，因此 ∑n
W
i =BDP+B 。
在（t 2，t 3）期间，由于流的窗口值小于在途的报文数，于是各流停止发送报文，buffer 队列排空。
n
n i
在 t 3 时刻，各流已收到足够的 ACK ，使得在途数据报文数≤
∑n
W i
/ 2 ，于是各流开始 恢复数据发送。W 要/保2
证此时链路不欠吞吐，则各流的发送速率之和应该为瓶颈链路带宽 C 。因此，∑ i
= C 。假设 RTT
=max{RTT }，则 C = ∑ W i / 2 ≥ ∑ W / 2 ， n
RTT
max
i
n
RTT i
n
RTT max
因 此 ， 有
∑ W i
≤ 2C ? R T
m T
a 。x
将 ∑
W i =BDP+B 代 入 ， 可 得 B ≤ C ? R T m T a =x B D m P a
。x 所以，buffer 为 1BDP 可以保证链路打满带宽，即 1BDP 的理论在数据中心依然适用。
BDP/ 理论成立需要满足两个基本假设前提：多流窗口值异步以及多流窗口值独立。 如果网络中的多流的窗口值不满足异步性和相互独立性，则多流叠加后的窗口值和单流
窗口值之间的
关系将失效。在 DCN 中，尤其是大数据、图像识别等应用为主的 DCN 中，MapReduce 以及参数服务器等这类分区/聚合(Partion/Aggregate)的 incast 通信模式非
常常见。在 incast 的流量模型中，多流同时或者在临近时间发起，窗口开始同步增长，
同时由于 DC 跳数少，多流的 RTT 接近，且多流在设备 buffer 溢出时丢包，同时减小窗
口，加强了多流的同步性。因此，DCN 中的多流的窗口值在较多的应用场景下比较同 步。此外，DCN 中发生拥塞，通常是在 inca s t 流量下，或者负载均衡失败的场景下。此时，多流共享同一瓶颈链路，多流窗口值同时受到同一物理带宽的限制。因此，DCN 中 的多流的窗口值在拥塞时，相互之间并不独立。
综上可知，DCN 中的多流在多数情况下，并不满足 BDP/
理论多流窗口值异步以及
多流窗口值独立的前提假设。因此，在 DC 中，BDP/ n 的 buffer 理论并不适用。 为了验证经典理论的适用性，我们在图 2-3 所示的 DCN 中仿真 120 条 incast 大流分别
在 buffer 大小在 1BDP 和 BDP/
n 时链路的吞吐，结果如图 2-4，2-5 所示。
图 2-3 测试拓扑
i
n n n
图 2-4 Buffer=1BDP 链路吞吐
图
2-5 Buffer=BDP/ 链路吞吐
从结果可知，当 Buffer=1BDP 时，链路能跑满带宽，当 Buffer=BDP/
时，链路欠吞
吐。由此可知，在 DC 内的 incast 场景下，BDP/ 的 buffer 理论并不适用。
n n n
3 基于尾丢弃的buffer 需求
当前，国内主流的DCN 都是采用基于丢包的TCP，DC 内的交换机大都配置的尾部丢弃
的buffer 队列管理机制。因此，基于尾丢弃的TCP 流量拥塞控制是现网中的普遍场景。
Arista 于2016 年发布了该场景下的buffer 需求白皮书，都提出了交换机大buffer 的结
论。
本章通过仿真分析，结合梳理Arista 的白皮书，深入分析基于尾丢弃的TCP 场景下，与
buffer 需求相关的几个核心问题，包括丢包的影响，大buffer 的作用，DC 内哪需要大
buffer，需要多大的buffer，以及在网络带宽升级以后，bu ffer 需求的变化。
3.1丢包的影响
对基于丢包的TCP 而言，丢包是影响DCN 整体性能的重要因素。本节采用如图3-1 所
示的拓扑，仿真分析丢包的影响。
图3-1 TOR 内流量仿真拓扑
3.1.2丢包对带宽利用率的影响
丢包对带宽利用率影响的一个直觉性认知是丢包率越高，带宽利用率越低。事实上，具体到
不同的场景，丢包对带宽利用率的影响不同。
全大流不同负载下，丢包对带宽利用率的影响。仿真通过设置不同的流数来配置不同的负载，在不同的交换机端口buffer 大小下，得到不同的丢包率以及吞吐损失，
如图3-2 所示，其中的吞吐损失=（1-实际带宽利用率/负载）×100% 。由图可知，
50%负载时，0.2%的丢包率，吞吐损失达35%，大流的带宽利用率受丢
包影响较大。这是由于大流的稳态窗口较大，丢包后，窗口减半导致较大的带宽损
失。
（c ）90%负载
（b ）70%负载
（a ）50%负载
图 3-2 大流在不同负载下的丢包率与吞吐损失
此外，不同的负载（即不同的流数）下，丢包率与带宽损失的关系如图 3-3 所示。
图 3-3 大流在不同负载下的丢包率与带宽损失的关系
由图可知，丢包率减少，带宽损失显著降低，且在相同的丢包率水平下，负载越重 即大
流流数越多，带宽损失越少。这是因为大流流数越多，每流的稳态窗口越小，
某流丢包窗口减半降速后，损失的带宽越少。
全小流不同负载下，丢包对带宽利用率的影响。仿真中，每主机在 0~1s 内随机发起 2930 条、4100 条、5400 条 5KB~100KB 的小流，分别实现 50%、70%、90%的负载，
得到不同负载下，小流的丢包与带宽损失，如图 3-4 所示。小流在不同丢包率下的链路吞吐曲线如图 3-5 所示。
由图 3-4 可知，90%负载时，0.016%的丢包率造成 51.8%的带宽损失，即较小的丢 包率
便会造成小流平均带宽利用率的严重恶化。这是由于小流每流的数据包个数较
（c ）90%负载
（b ）70%负载
（a ）50%负载
RTO
0%丢包率
0.016%丢包率
RTO
RTO
0.177%丢包率
2.13%丢包率
少，小流的丢包，极易出现缺少 3 个冗余 ACK 无法触发重传的情形，从而出现 RTO 超时，造成带宽的空闲，使得平均带宽利用率的严重恶化。
图 3-4 小流在不同负载下的丢包率与吞吐损失
图 3-5 小流在不同丢包率下的链路吞吐
由图 3-5 可知，在 1s 内，带宽损失较少；1s 以后，带宽利用率显著降低。这是由于每流的窗口极小，即使发生小流丢包或 RTO 超时，其带宽能迅速由 1s 内不断发起的
新流获得，带宽损失小；1s 后的数据包为丢包或者 RTO 超时的重传报文，由于
此时源端缺少数据，导致带宽大量闲置，造成带宽利用率低。因此，链路在非 RTO
空闲期，丢包对小流的带宽利用率影响极小，丢包降低小流的平均带宽利用率是由
RTO 造成带宽空闲所致。
（c ）90%负载
（b ）70%负载
（a ）50%负载
3.1.3 丢包对 FCT 的影响
FCT 是指流的第一个数据报文发出开始到流的最后一个数据报文被接收端接收为止的 时间。从用户体验的角度，FCT 就是下载一段视频所需的时间，打开一个网页耗费的时
间，提交一份网购订单到服务器的时间等等。近年来，FCT 或者平均 FCT 受到越来越
多的关注，成为网络的主流优化目标。
基于 3.1.2 节的仿真实验，得到大小流在不同负载下的丢包率与平均 FCT 的关系，分别如图 3-6 和 3-7 所示。
图 3-6 大流在不同负载下的丢包率与平均 FCT 的关系
（c ）90%负载
（b ）70%负载
（a ）50%负载
图 3-7 小流在不同负载下的丢包率与平均 FCT 的关系
由图 3-6，3-7 可知，丢包对小流平均 FCT 的影响巨大，对大流平均 F C T 的影响相对较大。这是由于小流丢包极易出现 RTO 超时，导致单流的 FCT 由 us 级恶化成 200ms 级，造成平均 FCT 的严重恶化；大流吞吐敏感，仿真结果中丢包造成的大流吞吐损失
不超过 50%，因此大流的 FCT 恶化不超过 2 倍。
在实际大小流混跑的流量中，降低小流丢包率能减少小流 RTO ，显著提升平均 FCT ； 而降
低大流丢包率，也能提升大流的平均 FCT ，但提升幅度没有小流大。
3.2 大 buffer 的作用
由 3.1 节可知，丢包会造成带宽利用率降低，FCT 恶化。因此，优化 DC N 网络性能的一个直接的方法就是使用大 buffer 的交换机。本质上，大 buffer 主要有以下三个方面的作用：
3.2.1 吸收突发，减少丢包，保护吞吐
设备 buffer 最初设计的本质功能便是吸收突发、保护吞吐。DC 中，存在着大量的 incast
流量，大buffer 能有效的吸收突发，减少丢包重传，从而保护链路的平均吞吐。
我们通过构造 incast 流量场景，采用图 3-1 所示拓扑，每个主机同时发起 60 条流，总共240
条流，采用大小流数量 2:8 的流量模型，得到不同 buffer 大小下的丢包率，如图 3-9 所示，由图可知，设备buffer 增加能显著降低流的丢包率。
带宽
(a) 小 buffer 带宽分配
带宽
(b) 大 buffer 带宽分配
(a) 不同 buffer 小流丢包率
(b) 不同 buffer 大流丢包率
图 3-8 不同 buffer 下的丢包率
3.2.2 带宽分配均匀
通过研究大小 buffer 下流之间的带宽公平性，得出结论：大 buffer 下，多流的带宽分
配更均匀。原因在于小 buffer 导致丢包不公平，可能部分不幸运的流总被丢包，无法
获得带宽，而部分幸运的流能稳定增速，获得更多的带宽，从而使得各流的带宽分配 不均匀。
我们通过构造类似的场景，仿真多流在大小 buffer 下的带宽分配，结果如图 3-12 所示。由结果可知，大 buffer 带宽分配比小 buffer 更公平。这是由于小 buffer 能缓存的数据包较少，不同流的数据包达到的先后顺序，使得先占用 buffe r 的流获得较多带宽，而后
到流的数据包被丢弃，导致丢包降速不公平；而大 buffer 能缓存大量的数据包，缓存溢出时，每流丢弃的数据包的个数与流的发送窗口大小正相关，使得占用带宽更多的流丢 包更多，降速更多，从而使得各流的丢包降速更公平，带宽分配更公平。
图 3-9 多流的带宽分配
(Mbps) (Mbps)
(a) 小流的平均 FCT
3.2.3 优化 FCT
通过研究不同负载大小 buffer 设备下，平均 FCT 的变化，得出结论：小 buffer 下，平均 FCT 随负载显著增加；负载越重，大 buffer 改善 FCT 的作用越显著，95%负载下， 大 buffer 能获得 50 倍的 FCT 优化。
为了进一步分析大 buffer 对大小流 FCT 的优化的差异，在不同 buffer 下，分别单独仿真分
析大小流的 FCT ，得到结果如图 3-14 所示。由结果可知，大 buffer 带来小流 FCT 超过 60 倍的改善，对大流带来大约 2 倍的改善。这是由于小流对丢包敏感，大 buffer 能
显著减少小流丢包，避免 RTO 超时重传，使小流的 FCT 从 200ms 量级降低到 us 量级， 从而大幅改善小流 FCT ；而大流对吞吐敏感，大 buffer 可减少丢包，保障吞吐，从而改善大流 FCT 。但由于大 buffer 下，大流的吞吐较小 buffer 下提高倍数有限，使得大流的FCT 改善幅度有限。
图 3-10 不同 buffer 流的
FCT
(b) 大流的平均 FCT
3.3 DC 内哪需要大 buffer
大 buffer 方案对于提升 DC 整体网络性能简单有效。但 DC 内，以 Clos 架构为例（如
图 3-15 所示），脊交换机(spine)和叶交换机(leaf)哪需要大 buffer ？
图3-11 Clos 架构
假设DC 组网是Clos 架构，以带宽管道的模型说明DC 内一般的跨机架流量访问时，DCN 的拥塞情况。假设DC 内的incast 流量，目的主机个数较少，源主机个数较多，DC 收敛比<1，则该场景下的带宽管道模型如图3-16 所示。
图3-12 跨机架流量的带宽管道模
型
从图中可直观的看出Spine 下行和Leaf 下行为网络中的两处带宽瓶颈点，由于TCP 的特性，网络拥塞将首先发生在带宽最小的leaf 下行处，leaf 成为拥塞点，此时Spine 将不会成为拥塞点。如果业务的流量模型发生变化，目的主机增多，使得leaf 下行的总带宽大于spine 下行的总带宽，则spine 下行将成为带宽瓶颈，spine 成为拥塞点。如果业
务的流量是机架内的流量，则拥塞点只可能是leaf 处。因此，DC 内同时最多只有一处
成为带宽瓶颈，出现拥塞，哪拥塞，哪才需要大buffer。
DC 内的拥塞点由网络拓扑和业务的流量模型决定，网络拓扑决定了spine 的数量、s pine 的下行带宽以及leaf的下行带宽，业务的流量模型决定了源主机和目的主机的个数以及是机架内或是跨机架的流量。对于机架内的流量，leaf 是拥塞点，需要大buffer。对于跨机架的流量，如果spine 个数×spine 下行带宽（即spine 下行总带宽）大于目的主机个数
×leaf 下行带宽（即leaf 下行总带宽），则leaf 下行成为带宽瓶颈，leaf 成为拥塞点，需
要大buffer；否则，spine 成为拥塞点，需要大buffer。
以2 个spine，6 个leaf，leaf 下行带宽为10GE，spine 下行带宽为40GE 的场景，仿真验证一个leaf 下不同个数主机成为目的主机的情形下，网络中spine 和leaf 的拥塞情况，结果如图3-17 所示，其中Sp(5:1)表示前5 个leaf 下的所有主机为源主机，Lf（2:x）表示第6 个leaf 下的x 台主机为目的主机，即leaf 的下行总带宽为10xGE。
图3-13 不同场景下spine 和leaf 的平均队列长
度
由图可知，当leaf 下的目的主机数x<8 时，即leaf 下行总带宽小于spine 的下行总带宽
80GE 时，spine 几乎无队列，buffer 占用少，leaf 的队列较长，buffer 占用大。当leaf 的目的主机数x≥8 时，即leaf 下行总带宽大于spine 的下行总带宽80GE 时，spine 的队列较长，buffer 占用大，而leaf 几乎无队列，buffer 占用少。因此，DC 内，如果业务主要
是机架内的流量，则leaf 是主要拥塞点，需要大buffer；如果业务主要是跨机架流量，
且流量模型中l eaf 下行是带宽瓶颈，如收敛比大于1 的组网或者目的主机个数较少，
leaf 是主要拥塞点，需要大buffer，否则，spine 是主要拥塞点，需要大buffer。
3.4需要多大buffer
要研究清楚DC 内交换机多大buffer 足够，首先需要理清buffer 合适的判定标准。如果
buffer 设置的目标是保证不欠吞吐，根据第二节的结论，1BDP 足够。考虑到目前DCN
优化的主要目标为FCT，接下来以FCT 优化作为buffer 是否足够的判定标准。
首先，基于图3-1 中的拓扑仿真不同并发流数下设备buffer 的占用情况，结果如图3-
18 所示。由图可知，并发流数越多，设备buffer 的队列长度越长，需要更大的buffer
来保障尽量少丢包，从而优化FCT。
图3-14 不同并发流数下设备buffer 的最大和平均队列长
度
业界指出DC 内单个主机的最大并发流数为100~1000 条。因此，我们以1000 条并发流（大小流数量2:8）为例，仿真不同buffer 大小的场景，并分别统计大小流的FCT、丢包
数、链路利用率以及小流RTO 次数，结果如图3-19 所示。
（d ）小流 RTO
（c ）链路利用率 （b ）小流
（a ）大流
图 3-15 1000 条并发流在不同 buffer 大小下的性
能
由图可知，设备 buf fer 大于 1BDP 以后能跑满链路带宽，保证链路不欠吞吐，此时丢包对大流 FCT 影响极小，增大 buffer 只能小幅提升大流的 FCT 。小流的 FCT 主要受小流RTO 次数影响，增大 buffer 能显著降低小流的丢包率，减少 RTO 次数，从而优化小流
FCT ，当小流无 RTO 后，继续增大 buffer 无法再优化小流的 FCT 。因此，此场景下，每10GE 端口 20MB 的 buffer 就能满足 FCT 优化的要求。综上可知，设备的 buffer 足够的判
定标准是保证链路不欠吞吐，小流无RTO 即可。
为了进一步研究 RTO 对 FCT 的影响，我们对比仿真了 RTO=200ms 和 RTO=20ms 下的网络性能，结果如图 3-20 所示。
图 3-16 不同 RTO 场景下的 FC T
从图可知，R TO 从 200ms 减小到 20ms 后，设备 buffer 需求由原本的 20MB 降低到 5MB 。
这是由于 RTO 减小后，小流发送端能更快地感知 RTO 超时，重传丢失的数据报文，从而优化 FCT 。 也就是说，小的 RTO 设置，降低了小流发生 RTO 超时对 FCT 恶化的影响，从而弱化了网络对流无RTO 的要求，进而减小对设备buffer 的需求。
（b ）业务扩容
（a ）业务量不增
放大
Buffer 需求点 综上可知，DC 交换机需要多大的 buffer 与并发流数相关，并发流数越多，所需 buffer 越大。交换机 buffer 大到能保障不欠吞吐，小流尽量无 RTO 即可。以每 10GE 端口 1000 条并
发流为例，每端口需要 20MB 左右的 buffer 。
3.5 带宽升级后，buffer 需求的变化
随着网络流量的暴增，对链路带宽提出了更高的要求。目前，不少企业已经开始带宽 升级，
着手部署 25GE/40GE ，甚至 100GE 的网络。带宽升级后，buffer 需求是否会发 生变化？ 为此，我们以图 3-1 的拓扑，对比仿真了 10GE 和 25GE 链路的网络性能。假设 10GE 链路
业务运行为每主机 60 条流，共 240 条流。考虑到带宽升级后，业务可能会发生变 化。分别仿真了业务保持不变（流数不变）、业务聚合但规模不变（总流数不变，源主 机数减
为 2 个），以及业务扩容 2 倍（总流数增长为每主机 120 条流）四个不同的场 景。不同场景下网络的性能（FCT 衡量）如图 3-21 所示。
由结果可知，10GE 升级到 25GE 后，业务不扩容时，保障业务 FCT 的最优 buffer 需求不变，如果业务扩容 2 倍后，保障业务 FCT 的最优 buffer 需求增加 50%。因此，带宽升级后，
若业务不扩容，则buffer 需求不变；若业务扩容，则buffer 需求成比例增加。
3.6 小结
本节主要分析了基于尾丢弃的 TCP 拥塞控制场景下数据中心 buffer 需求的几个核心问
题：
（1） 小流丢包极易出现 RTO ，导致小流的带宽利用率和 FCT 严重恶化；丢包使大流吞
吐降低，流数越多，丢包导致大流的吞吐损失越小，丢包对大流 FCT 的影响相对较小。
（2） DC 设备大 buffer 的作用主要是吸收突发、减少丢包、保护吞吐，使带宽分配更均
匀，以及优化 FCT 。
（3） DC 内哪是带宽瓶颈，哪需要大 buffer 。
（4） 确定 buffer 多大合适的标准是保证不欠吞吐，小流无 RTO 。在 1000 条并发流的场景，每 10GE 端口需要 20MB 左右的 buffer 。
（5） 带宽升级后，buffer 需求随业务成比例增加。
4 基于ECN 的buffer 需求
4.1ECN 的作用
ECN 是RFC3168 中的一个TCP/IP 扩展，ECN 与丢包一样，是一种拥塞反馈的方式。
不同于丢包反馈拥塞，ECN 通过对超过设置水线的数据报文打ECN 标记，如图4-1 所示。
图4-1 ECN 标记示意
图
ECN 的作用主要体现在：
（1）减少甚至避免丢包，从而减少小流RTO。这也是ECN 的本质作用。相比于buffer
溢出丢包才能反馈拥塞，E C N 使源端能更早的感知拥塞，从而尽早的降速，防止buffer 溢出丢包，从而避免小流RTO。我们设置相同的设备buffer，分别在50%和90%负载下，
仿真对比了基于尾丢弃的TCP 和基于ECN 的TCP，结果如图4-2 所示。
图4-2 ECN 减少
RTO
数据中心交换机 buffer 需求分析白皮书
目录 1引言 (3) 1.1DC 的网络性能要求 (3) 1.2国内OTT 厂商对设备Buffer 的困惑 (4) 1.3白皮书的目标 (4) 2Buffer 需求的经典理论 (5) 2.11BDP 理论 (5) 2.2Nick Mckeown 理论 (6) 2.3经典理论的适用性 (6) 3基于尾丢弃的buffer 需求 (9) 3.1丢包的影响 (9) 3.1.2丢包对带宽利用率的影响 (9) 3.1.3丢包对FCT 的影响 (12) 3.2大buffer 的作用 (13) 3.2.1吸收突发，减少丢包，保护吞吐 (13) 3.2.2带宽分配均匀 (14) 3.2.3优化FCT (15) 3.3DC 内哪需要大buffer (15) 3.4需要多大buffer (17) 3.5带宽升级后，buffer 需求的变化 (19) 3.6 小结 (19) 4基于ECN 的buffer 需求 (21) 4.1ECN 的作用 (21) 4.2ECN 水线设置 (23) 4.3基于ECN 的buffer 需要多大 (24) 5基于大小流区分调度的buffer 需求 (27) 5.1大小流差异化调度 (27) 5.2大小流差异化调度如何实现大buffer 相当甚至更优的性能 (27) 5.3基于大小流差异化调度的buffer 需要多大 (28) 6 总结 (28) 7 缩略语 (29)
1 引言 1.1DC 的网络性能要求 近几年，大数据、云计算、社交网络、物联网等应用和服务高速发展，DC 已经成为承 载这些服务的重要基础设施。 随着信息化水平的提高，移动互联网产业快速发展，尤其是视频、网络直播、游戏等行业的爆 发式增长，用户对访问体验提出了更高的要求；云计算技术的广泛应用带动数据存储规模、 计算能力以及网络流量的大幅增加；此外，物联网、智慧城市以及人工智能的发展也都对DC 提出了更多的诉求。 为了满足不断增长的网络需求，DC 内的网络性能要求主要体现在： ?低时延。随着深度学习、分布式计算等技术的兴起和发展，人工智能、高性能计算等时延敏感型业务增长迅速。计算机硬件的快速发展，使得这些应用的瓶颈已经逐渐由计 算能力转移到网络，低时延已经成为影响集群计算性能的关键指标。因此，时延敏感型 应用对DC 网络时延提出了更高的要求。目前DC 内，端到端5-10 微秒时延已经成为 主流的目标要求。 ?高带宽高吞吐。数据时代的到来，产生了海量的数据，如图1-1。基于数据的应用（如图像识别）的推广，使得网络数据呈爆发式增长，小带宽已经无法满足应用对传输 速率的需求。部分应用场景下，带宽成为制约用户体验的瓶颈。高带宽高吞吐对于提升大 数据量传输的应用性能有着至关重要的影响。为了应对大数据量传输的 应用需求，目前，百度、腾讯、阿里巴巴等互联网企业的DC 都已经全面部署100GE 网络，阿里巴巴更是规划2020 年部署400GE 网络。 图1-1 数据中心内存储的实际数据 数据来源：中国IDC 圈
东莞IDC数据中心设备项目投资分析报告 规划设计/投资分析/实施方案
东莞IDC数据中心设备项目投资分析报告 近年来，互联网、大数据、云计算和物联网等行业的蓬勃发展，对数 据的存储、交换、计算等的应用需求不断增加，使得大数据发展需求下对 上游基础设施领域的需求持续旺盛，促进了IDC需求的不断增加。近年来，各国5G技术的发展和商用化的推广将进一步促进IDC行业爆发增长。未来，IDC行业将成为物联网、云计算及5G技术的不断完善与发展下又一风口。 该IDC设备项目计划总投资10201.37万元，其中：固定资产投资7582.04万元，占项目总投资的74.32%；流动资金2619.33万元，占项目 总投资的25.68%。 达产年营业收入25582.00万元，总成本费用20319.60万元，税金及 附加203.11万元，利润总额5262.40万元，利税总额6191.36万元，税后 净利润3946.80万元，达产年纳税总额2244.56万元；达产年投资利润率51.59%，投资利税率60.69%，投资回报率38.69%，全部投资回收期4.08年，提供就业职位433个。 本文件内容所承托的权益全部为项目承办单位所有，本文件仅提供给 项目承办单位并按项目承办单位的意愿提供给有关审查机构为投资项目的 审批和建设而使用，持有人对文件中的技术信息、商务信息等应做出保密
性承诺，未经项目承办单位书面允诺和许可，不得复制、披露或提供给第 三方，对发现非合法持有本文件者，项目承办单位有权保留追偿的权利。 ...... IDC是数字化转型的基础设施，国内方面，我们认为在新基建的推动下，IDC行业有望迎来内生动力（云计算）和外部驱动力（产业政策）的共振。我们认为零售型业务和定制型业务长期来看皆具备发展潜力，不同公司基 于各自禀赋有望走出自己的最佳成长路径。重点推荐：数据港、光环新网、奥飞数据；建议关注：宝信软件等。
智慧科技-计划管理系统 技术白皮书 1产品定位 各级科委目前对科技计划的管理主要采用电子文档化的管理模式。随着业务工作发展与政府服务职能的深化，业务信息的数据量也不断积累和扩大，现有的管理方式对业务工作的支撑力度开始显得不足，主要体现在信息记录的格式缺乏统一性、信息由多人管理较为分散、对信息的查阅和利用不够便捷等。因此，建设科技计划管理系统，利用更为有效的信息化管理手段变得十分必要。 计划管理系统的建设将以实际业务需求为导向，实现科技计划的全生命周期管理，通过信息化手段规范计划管理业务的管理要素和日常工作，并对收集到的各类要素信息进行更为有效的分析利用，为业务人员在计划管理中的综合处理、高效配置、科学决策提供更为有效的支撑。 凭借多年在信息化系统建设领域的丰富实践经验，我们在方案总体设计方面，周密考虑，充分部署，力争在方案的总体架构方面体现先进性、扩展性和实用性。 一方面，根据各级科委具体需求，采用BS应用结构作为整体应用架构，实现安全的信息交换与业务处理； 其次，采用模块化设计的思想，将各个管理环节标准化和规范化，实现业务开展过程的全面推进； 第三，通过完善的后台管理功能，提供灵活的定制服务，满足业务处理的需求。 整个系统设计在考虑了现有信息系统的使用特点以及现阶段的业务需求的同时，还充分考虑了系统的潜在需求，具有先进性和较高的可扩展性。 系统总体框架如下图：
2主要功能 ●计划可研 计划可行性研究阶段，根据计划指南，部门推荐，完成计划科研报告编写(Word和在线），在计划申报系统中进行填报。 可研报告包含企业信息，计划可研书要求的信息等 ●立项管理： 计划管理最关键过程，根据可研报告，进行立项管理过程。 计划立项审查，和全省市计划库中原有计划进行对比，从计划名称、计划建设内容、考核指标、承担单位、计划负责人等各个方面进行比对， 形成相应的客观报告。 专家根据立项审查结果，进行再次审核，最终形成结果，专家随机取自专家系统库，同时各自打分可以网上网下结合进行，保证其公平透明。 ●计划申报： 计划可研和立项管理结束后，将发放计划正式立项通知书。
社会医疗保险数据中心管理平台 技术白皮书 创智和宇
目录 1简介 (4) 1.1应用背景 (4) 1.2范围 (4) 1.3参考资料 (4) 2系统概述 (5) 2.1医疗保险数据中心管理平台概述 (5) 2.2总体结构图 (5) 2.2.1医疗保险数据中心管理平台的的总体结构 (6) 2.2.2医疗保险数据中心管理平台的逻辑结构 (6) 2.2.3医疗保险数据中心管理平台的的网络拓扑结构 (7) 2.3.1数据库内部组成 (7) 2.3.2生产库定义（地市级） (7) 2.3.3交换库定义（地市级） (7) 2.3.4决策分析库（地市级） (8) 2.3.5决策分析库（省级） (8) 2.4 医疗保险数据中心管理平台与其他系统关系 (8) 2.4.1与本公司开发的社保产品关系及实现接口 (8) 2.4.2与其它公司开发的社保产品关系及实现接口 (8) 2.4.3与全国联网软件关系 (9) 3业务逻辑的总体设计 (9) 3.1数据抽取建立交换数据库 (9) 3.2数据分析与决策 (9) 3.3数据交换服务 (10) 4系统采用的关键技术 (11) 4.1数据抽取 (11) 4.2增量更新 (11) 4.2.1增量更新实现步骤 (11) 4.2.3 历史数据变化情况记录 (12) 4.3数据展现 (12) 4.4数据传输 (12) 4.4.1数据传输涉及的三大元素及关系 (12) 4.4.2数据传输策略总体设计思路. (12) 4.4.3数据传输策略总体设计方案图 (12) 4.4.4数据传输策略实现概要. (14) 4.4.5打包数据的来源 (14) 4.4.6传输策略的维护 (14) 5系统开发平台和运行平台 (14) 5.1开发平台 (14) 5.2运行平台 (14) 6医疗保险数据中心管理平台功能介绍 (15) 6.1参保情况管理 (16)
数据中心建设是一项周密的系统工程，涉及数据中心选址、基础设施建设、运维管理队伍建设等一系列工作，不仅在建设期需要投入大量的人力、物力和财力，而且在建成后还要持续投入大量的运营管理资金和人员。建设模式的选择作为数据中心建设的一项重要基础工作，应在数据中心建设前期给予足够的重视。本章所述数据中心建设模式，是指相关资源的获取方式，目前主要有三种：自建、共建和外包。从国内外实践经验和案例来看，多企业共建模式的弊端较多，案例很少，一般不予考虑。因此，本章主要讨论自建模式和外包模式。 8.1 建设模式分析 自建，是指企业自己拥有并独享数据中心基础设施建设和运维管理团队。外包，是指企业选择第三方专业服务商，替代内部资源来承担数据中心的规划、建设、运营、管理和维护。例如。租用数据中心场地、设备，将数据中心运行维护外包给专业服务商等形式。我们主要从财务、能力和效率角度分别对自建和外包模式展开分析。 1. 财务 从财务的角度来分析不同建设模式对企业利益的影响是重要环节。这个角度主要评估两个对企业利益有影响的问题：在一定周期内两种模式的总成本支出不同，以及两种模式下的成本支出反映到财务报表的形式不同。以下分别就两种模式中有差异的几项内容作分析： 1) 基建成本 数据中心对建筑物、精密空调、消防、电力、通讯等基础设施要求高，投资大，每平方米建设成本高达万元以上，如果面积在上万平方米，则可以享受到规
模效应带来的单位面积成本的降低。数据中心规模越小，单位成本就越高，规模越大，单位成本就越低。采用外包模式，企业可根据IT系统建设周期和实际的机房面积需求，灵活租用场地空间，通过共享专业的基础设施，借助专业服务商庞大的数据中心规模，大幅节约在基础设施成本方面的投资。超大型企业所需数据中心规模很大，可采用自建模式，而大多数企业所需数据中心规模不大，适合采用外包模式。 2) 运维成本 数据中心每年的运营费用主要包含房屋及设备的维护、折旧费、人员的工资福利、电费、水费、通信费等，这些费用加起来，每年总成本是一个非常大的数字。数据中心的日常运行维护，专业性强、复杂度高，并且要求365×7×24地进行。在自建模式下，要建立一支技术覆盖面广、人数有保障(AB角/三班倒)的运维队伍，独自承担所有人员费用;另外，还需要支付由于自建模式预留资源而增加的额外费用。而在外包模式下，企业无需扩大自身人力规模，减少了因人才聘用或流失而花费的管理、时间及技术风险成本，增加了人力资源配置的灵活性。通过采用按需支付的服务模式，可根据所需的SOW与SLA采购外包服务商的专业服务，服务商的运维团队通常为多个客户提供服务，因此，费用支出成本也更低。 3) 财务影响 自建模式一次性投资和长期运行成本都较高，却并不产生直接效益，总体投入成本(TCO)和投资回报率(ROI)不对称，对财务有负面的影响，而且资产重组对于企业财务的表现也带来不确定性。相比而言，外包在企业资本支出和运营成
数据中心建设调查报告
数据中心定义 数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置 数据中心建设成本预算构成 预算的65%到75%要花在数据中心MEP基础设施建设上：发电机、铜线、UPS、电池、冷却器、泵、管道系统，以及这些设备安装的所有劳务费用等等。数据中心的设计费用只占工程总成本的3%到5%。GC所获利润和普通保险条款费用会占总预算的6%到8%。剩下的预算（12%到26%）会花在基础建设上——水泥、钢材、挖掘和劳力。 注：MEP——Mechanical，Electrical，Pipeline，即机电，电器，管道。 GC——数据中心建设总承包商。 当前国内数据中心建设面临的问题 ●对数据中心的衡量标准不统一，空谈5—10年不落伍，考虑到IT行业的飞速发 展，数据中心在建设之前必须充分考虑到这个问题。 ●数据中心规划过程中中缺少前瞻，未考虑到未来的扩展性和灵活性。 ●数据中心的日常运行维护管理不规范，未形成合理流程。 ●过于追求所谓的高标准和高技术，大量不成熟设备的应用会带来 ● 数据中心网络拓扑 数据中心服务器操作系统： Windows server 2008 数据中心版价格：3999美元/处理器
数据中心设备：计算机系统以及与之配套的通信和存储系统，以及冗余的数据通信连接、环境控制设备、监控设备和各种安全装置 数据中心组成： 数据中心需要一个高性能的网络为客户提供服务，该高性能网络包括-AN、WAN和与internet 介入等方面的要求 IDC的网络建设主要有： ◆IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。- IDC的WAN 的建设，即IDC的各分支机构之间相互连接的广域网的建设等。 ◆IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC 的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。 ◆IDC的网络管理建设，由于IDC的网络结构相当庞大而且复杂，要保证其网络不间断对 外服务，而且高性能，必须有一高性能的网络管理系统。 IDC的机房场地建设： 由于IDC的用户可能把其重要的数据和应用都存放在IDC的机房中，所以对IDC机房场地环境的要求是非常高的。 ◆机房装修：机房装修主要考虑吊顶、隔断墙、门窗、墙壁和活动地板等。- 供电系统： 供电系统是IDC的场地建设重点之一，由于IDC的大量设备需要极大的电力功率，所以供电系统的可靠性建设、扩展性是极其重要的。 ◆供电系统建设主要有：供电功率、UPS建设（n+1）、配电柜、电线、插座、照明系统、 接地系统、防雷和自发电系统等。 ◆空调系统：机房的温度、通风方式和机房空气环境等。 ◆安全系统：门禁系统、消防系统和监控系统。 ◆布线系统：机房应有完整的综合布线系统，布线系统包括数据布线、语音布线、终端布 线。 ◆通信系统：包括数据线带宽、语音线路数目等。 数据中心能源成本：能源成本占数据中心运营成本的比例越来越高，只有低于一半的电力用于IT负荷，而其余的电力则用于供电和散热系统等基础设施 数据中心未来发展趋势： 1.绿色节能 企业开始关注功耗与产出的比率，“绿色”“简单”理念被引入到数据中心未来发展建设。 2.虚拟化技术的应用 刀片服务器未来可能被更加灵活的服务器类型替代，该类服务器的计算架构会把内存、处理器、输入输出设备整合成为共享资源池，然后根据使用者的需求把这些资源进行分配和再分配。 虚拟化服务器，存储设备和网络实行分开管理。 英特尔的虚拟化技术(IntelVT)，从IT系统的最基础层面帮助IT管理者实现虚拟化，特别适合于数据中心级别的数据整合和迁移
华为F u s i o n S p h e r e6.0 云套件安全技术白皮书(云 数据中心) -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
华为FusionSphere 云套件 安全技术白皮书（云数据中心） 文档版本 发布日期 2016-04-30 华为技术有限公司
华为FusionSphere 云套件安全技术白皮书 (云数据中心) Doc Number:OFFE00019187_PMD966ZH Revision:A 拟制/Prepared by: chenfujun ; 评审/Reviewed by: huangdenghui 00283052;zouxiaowei 00348656;pengzhao jun 00286002;youwenwei 00176512;yanzhongwei 00232184 批准/Approved by: youwenwei 00176512 2015-12-29 Huawei Technologies Co., Ltd. 华为技术有限公司 All rights reserved 版权所有侵权必究
版权所有 ?华为技术有限公司 2016。保留一切权利。 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。 商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 注意 您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。 由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 华为技术有限公司 地址：深圳市龙岗区坂田华为总部办公楼邮编：518129 网址：
此处是Logo 数据库审计系统 技术白皮书 地址： 电话： 传真： 邮编：
■版权声明 本文中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属北京所有，受到有关产权及版权法保护。任何个人、机构未经北京的书面授权许可，不得以任何方式复制或引用本文的任何内容。 ■适用性声明 文档用于撰写XX公司产品介绍、项目方案、解决方案、商业计划书等。
目录 一.产品概述 (1) 二.应用背景 (1) 2.1现状与问题 (1) 2.1.1现状 (1) 2.1.2问题 (1) 2.2需求分析 (3) 2.2.1政策需求 (3) 2.2.1.1《信息系统安全等级保护基本要求》 (3) 2.2.1.2《商业银行信息科技风险管理指引》 (3) 2.2.2技术需求 (4) 2.2.3管理需求 (4) 2.2.4性能需求 (4) 2.2.5环境与兼容性需求 (5) 2.2.6需求汇总 (5) 三.产品介绍 (5) 3.1目标 (5) 3.2产品功能 (6) 3.2.1数据库访问行为记录 (6) 3.2.2违规操作告警响应 (6) 3.2.3集中存储访问记录 (6) 3.2.4访问记录查询 (7) 3.2.5数据库安全审计报表 (7) 3.3产品部署 (7) 3.3.1旁路部署 (7) 3.3.2分布式部署 (8) 3.4产品特性 (9) 3.4.1安全便捷的部署方式 (9) 3.4.2日志检索能力 (9) 3.4.3灵活的日志查询条件 (10) 3.4.4灵活的数据库审计配置策略 (10) 3.4.5数据库入侵检测能力 (10) 3.4.6符合审计需求设计 (11) 四.用户收益 (11) 4.1对企业带来的价值 (11) 4.2全生命周期日志管理 (12) 4.3日常安全运维工作的有力工具 (12)
数据中心能耗实例分析 前言：本文着重分析了影响数据中心能耗的因素，从数据中心的空调、UPS、运维等方面对其能耗进行了综合分析。本文认为影响数据中心能耗的关键因素是空调系统，并以2个数据中心的空调系统为例，结合作者在数据中心建设和运维中的经验，提出了数据中心节能的建议。 一、数据中心节能的必要性 近年国内大型数据中心的建设呈现快速增长的趋势，金融、通信、石化、电力等大型国企、政府机构纷纷建设自己的数据中心及灾备中心。随着物联网、云计算及移动互联概念的推出，大批资金投资到商业IDC的建设中。数据中心对电力供应产生了巨大的影响，已经成为一个高耗能的产业。在北京数据中心较集中的几个地区，其电力供应都出现饱和的问题，已无法再支撑新的数据中心。目前某些数据中心移至西北等煤炭基地，利用当地电力供应充足、电价低的优势也不失为一个明智的选择。 随着数据中心的不断变大，绿色节能数据中心已经由概念走向实际。越来越多的数据中心在建设时将PUE值列为一个关键指标，追求更低的PUE值，建设绿色节能数据中心已经成为业内共识。例如，微软公司建在都柏林的数据中心其PUE值为1.25。据最新报道Google公司现在已经有部分数据中心的PUE降低到1.11。而我们国内的PUE平均值基本在1.8~2.0，中小规模机房的PUE值更高，大都在2.5以上。我们在数据中心绿色节能设计方面与国外还存在很大差距，其设计思想及理念非常值得我们借鉴。 根据对国内数据中心的调查统计，对于未采用显著节能措施的数据中心，面积为1000平方米的机房，其每年的用电量基本都在500多万kWH左右。因此对
于新建的大型数据中心，节能的必要性十分重要。 从各大数据中心对电力的需求来看，数据中心已经成为重要的高耗能产业而非“无烟工业”，建设绿色、节能的数据中心急需从概念走向实际。 二、影响数据中心能耗的因素 数据中心的能耗问题涉及到多个方面，主要因素当然是空调制冷系统，但UPS、机房装修、照明等因素同样影响着数据中心的能耗，甚至变压器、母线等选型也影响着能耗。例如，对UPS而言，根据IT设备的实际负荷选择合理的UPS 容量，避免因UPS效率过低而产生较大的自身损耗。同时，选择更加节能的高频UPS、优化UPS拓扑结构都可起到节能的效果。 1、UPS对数据中心能耗的影响 UPS主机的自身损耗是影响数据中心能耗的一项重要因素。提高UPS的工作效率,可以为数据中心节省一大笔电费。下图为某大型UPS主机的效率曲线。从该曲线中可以看出，当UPS负荷超过30%时UPS的效率才接近90%。很多数据中心在投运初期IT负荷较少，在相当长的时间内负荷不足20%。在此情况下UPS 的效率仅仅为80%左右，UPS的损耗非常大。因此，在UPS配置中尽量选择多机并联模式，避免大容量UPS单机运行模式。例如，可以用两台300kVA UPS并联运行的模式代替一台600kVA UPS单机运行模式。其优点在于IT负荷较少时只将一台300kVA UPS投入运行，另一台UPS不工作，待IT负荷增加后再投入运行。这种UPS配置方案及运行模式可以提高UPS效率，降低机房能耗。
互联网数据中心交换网络的设计 1 引言 互联网数据中心(internet data center，IDC)是指拥有包括高速宽带互联网接入、高性能局域网络、提供安全可靠的机房环境的设备系统、专业化管理和完善的应用级服务的服务平台。在这个平台上，IDC服务商为企业、ISP、ICP和ASP等客户提供互联网基础平台服务以及各种增值服务。 作为业务承载与分发的基础网络系统，就成为IDC平台的动脉。随着中国IDC产业不断发展和业务需求多样化，基础网络逐步发展出一套相对比较通用和开放的方案架构。 2 当前主要的IDC基础网络架构 虽然各IDC机房各有度身定制的业务需求，网络设计也有各自的关于带宽、规模、安全和投资的考虑因素，但最基本的关注点仍然集中在高可靠、高性能、高安全和可扩展性上。 2.1 通用的IDC架构 在整体设计上，层次化和模块化是IDC架构的特征，如图1，这种架构设计带来了整体网络安全和服务部署的灵活性，给上层应用系统的部署也提供了良好的支撑。 图1IDC层次化&模块化设计架构 分区结构采用模块化的设计方法，它将数据中心划分为不同的功能区域，用于部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性和高可用性。数据中心的服务器根据用户的访问特性和核心应用功能，分成不同组，并部署在不同的区域中。由于整个数据中心的很多服务是统一提供的，例如数据备份和系统管理，因此为保持架构的统一性，避免不必要的资源浪费，功能相似的服务将统一部署在特定的功能区域内，例如与管理相关的服务器将被部署在管理区。 分区结构另一个特点是以IDC的客户群为单位进行划分，将具体客户应用集中在一个物理或逻辑范围内，便于以区域模块为单位，提供管理和其它增值服务。 层次化是将IDC具体功能分布到相应网络层、计算层和存储层，分为数据中心前端网络和后端管理等。网络本身根据不同的IDC规模，可以有接入层、汇聚层和核心层。一般情况下，数据中心网络分成标准的核心层、汇聚层和接入层三层结构。1）核心层：提供多个数据中心汇聚模块互联，并连接园区网核心；要求其具有高交换能力和突发流量适应能力；大型数据中心核心要求多汇聚模块扩展能力，中小型数据中心共用园区核心；当前以10G 接口为主，高性能的将要求4到8个10GE端口捆绑。2）汇聚层：为服务器群（server farm）提供高带宽出口；要求提供大密度GE/10GE 端口，实现接入层互联；具有较多槽位数提供增值业务模块部署。3）接入层：支持高密度千兆接入和万兆接入；接入总带宽和上行带宽存在收敛比和线速两种模式；基于机架考虑，1RU 更具灵活部署能力；支持堆叠，更具扩展能力；上行双链路冗余能力。
2018年数据中心IDC 行业分析报告 2018年6月
目录 一、巨头军备竞赛，数据中心进入需求扩张期 (5) 1、数据中心：云计算时代的IT资源载体 (5) （1）从成本中心到生产力，计算资源云化大势所趋 (6) （2）核心+边缘：超大规模与边缘数据中心两级并举 (7) 2、IDC资源供需失衡持续扩大 (8) （1）云端数据存储、传输与计算需求指数性增长 (8) ①数据中心流量 (8) ②数据中心数据存储量 (8) （2）技术瓶颈与扩张模式使得数据中心资源只能线性供给 (8) ①资源利用率与用户体验不匹配 (9) ②摩尔定理失效导致CPU与存储器性能提升趋缓 (9) ③冯结构数据中心面临瓶颈 (9) 3、云计算巨头军备竞赛，行业进入需求扩张新周期 (11) （1）公有云增长超预期，巨头展开IDC资源军备竞赛 (11) （2）我国云计算巨头迅速跟进，IDC行业进入新一轮需求扩张期 (13) ①国内云计算快速增长，巨头持续加码 (13) ②IDC行业进入需求扩张期 (15) 二、以美为鉴：专业IDC服务商成长空间巨大 (16) 1、行业分工下专业IDC服务商优势凸显 (16) （1）IDC服务商可分为电信运营商、专业IDC服务商与云服务商 (16) ①基础电信运营商 (16) ②网络中立的专业IDC服务商 (16) ③云服务商 (17) （2）专业IDC服务商守护云生态健康发展 (18) ①稳定性：头部用户稳定要求压倒一切 (18) ②成本可控：降低客户自建成本风险 (19)
③准确预判行业趋势，实现技术快速迭代 (21) ④中立性与多样化服务为客户提供灵活选择 (21) 2、从Equinix看美国专业IDC服务商发展历程 (22) 3、以美为鉴:中国专业IDC服务商空间巨大 (25) 三、相关领域及企业 (28) 1、一线城市机房资源储备是核心 (28) （1）数据中心选址：一线热数据，三线冷数据 (28) （2）数据中心结构型过剩：三线城市上架率不足 (29) （3）一线城市供需失衡，未来价格有望稳中向上 (30) 2、深度云化的专业IDC服务商降本增效 (31) 3、好口碑才有好市场 (32) 4、重点企业：光环新网 (33) （1）IDC机柜毛利率稳中有升，机柜数量2018年迎来释放期 (34) （2）云服务牌照如期落地，AWS业务合规启程，公司打开更大成长空间 (34)
EPS档案信息管理系统V3.0 技术白皮书 南京科海智博信息技术有限公司 2013年
目录 1.产品简介 (4) 1.1 文档信息化发展趋势 (4) 1.2 产品研发背景 (4) 1.3系统特点 (5) 2.总体架构 (5) 2.1 产品技术架构 (5) 2.2 产品业务架构 (6) 3.运行环境 (6) 3.1 硬件环境 (6) 3.1.1 服务器配置 (6) 3.1.2客户端配置 (6) 3.1.3存储设备 (7) 3.1.4网络环境 (7) 3.2软件环境 (7) 3.2.1 数据库支持 (7) 3.2.2中间件支持 (7) 3.2.3浏览器支持 (7) 3.2.4 容灾支持 (7) 4.基本功能 (7) 4.1系统管理 (8) 4.2业务管理 (13) 4.3文件收集 (13) 4.4文件整编 (14) 4.5档案管理 (15) 4.6库房管理 (16) 4.7统计信息 (16) 4.8档案利用 (17) 4.9档案编研 (18) 4.10光盘打包 (18)
5.扩展功能 (19) 5.1 企业档案门户集成 (19) 5.2企业年鉴展示 (19) 5.3照片档案展示 (20) 5.4 数据安全控制 (20) 5.5数据一体化接口 (20) 5.6信息提醒接口 (20) 6.技术创新 (21) 6.1文档安全控制 (21) 6.2 全文检索技术 (22) 6.3 光盘打包技术 (23) 6.4工作流技术 (23) 6.5 海量存储技术 (24) 6.6异构数据接口 (24) 6.7系统的可扩展性 (24) 6.8档案管理平台综合业务管理 (24) 7.公司简介 (24)
2019年数据中心IDC 行业分析报告 2019年2月
目录 一、头部互联网企业驱动IDC快速发展 (5) 1、中国IDC机柜数量维持较快增长 (8) 2、主流云计算厂商的Capex支出及云计算增速 (9) 二、阿里、腾讯、字节跳动IDC建设规划 (11) 1、阿里IDC规划及天蝎机柜解读 (12) （1）阿里IDC规划 (12) （2）天蝎机柜解读 (13) 15 2、腾讯IDC规划及进展....................................................................................... 3、字节跳动IDC规划及进展 (16) 三、IT设备（服务器、存储）需求快速增长 (17) 1、服务器、存储随云计算需求增长而快速增长 (18) 2、上游芯片带来的服务器更新换代 (18) （1）上游芯片性能的提升，有力的推动了服务器的更新换代 (18) （2）芯片的价格波动，对服务器采购量影响较大 (19) 3、云计算厂商服务器白牌化成为一种趋势 (19) （1）云计算需求带动数据中心建设，进而带动服务器销售增长 (19) （2）云计算厂商需求如今是服务器行业销售增长的主要动力 (21) 四、CT设备（交换机、防火墙、路由器）国产化替代明显 (21) 22 1、中国CT设备市场空间巨大 ............................................................................ 2、阿里、腾讯CT设备主要供应商转为国内厂商 (23) 五、机电设备（电源、制冷、服务）技术驱动明显 (24) 1、电源设备技术发展方向及供应商布局 (25)
数据中心空调系统节能技术白皮书目录 1. 自然冷却节能应用 3 概述 3 直接自然冷却 3 中国一些城市可用于直接自然冷却的气候数据: 8间接自然冷却 8 中国一些城市可用于间接自然冷却的气候数据: 16 2. 机房空调节能设计 17 动态部件 17 压缩机 17 风机 18 节流部件 19 加湿器 19 结构设计 21 冷冻水下送风机组超大面积盘管设计 21 DX型下送风机组高效后背板设计 22 控制节能 22
主备智能管理 22 EC风机转速控制 23 压差控制管理 23 冷水机组节能控制管理 26 1.自然冷却节能应用 概述 随着数据中心规模的不断扩大，服务器热密度的不断增大，数据中心的能耗在能源消耗中所占的比例不断增加。制冷系统在数据中心的能耗高达40%，而制冷系统中压缩机能耗的比例高达50%。因此将自然冷却技术引入到数据中心应用，可大幅降低制冷能耗。 自然冷却技术根据应用冷源的方式有可以分为直接自然冷却和间接自然冷却。直接自然冷却又称为新风自然冷却，直接利用室外低温冷风，作为冷源，引入室内，为数据中心提供免费的冷量；间接自然冷却，利用水（乙二醇水溶液）为媒介，用水泵作为动力，利用水的循环，将数据中心的热量带出到室外侧。 自然冷却技术科根据数据中心规模、所在地理位置、气候条件、周围环境、建筑结构等选择自然冷却方式。 直接自然冷却 直接自然冷却系统根据风箱的结构，一般可分为简易新风自然冷却新风系统和新风自然冷却系统。 简易新风直接自然冷却系统主要由普通下送风室内机组和新风自然冷却节能风帽模块组成。节能风帽配置有外部空气过滤器，过滤器上应装配有压差开关，并可以传递信号至控制器，当过滤器发生阻塞时，开关会提示过滤器报警。该节能风帽应具备新风阀及回风阀，可比例调节风阀开度，调节新风比例。 该系统根据检测到的室外温度、室内温度以及系统设定等控制自然冷却的启动与停止。
终端安全配置管理系统 技术白皮书 国家信息中心
目录 第一章终端安全配置管理系统简介 (1) 1.1 为什么要做终端安全配置 (1) 1.2 机构如何实现机构高效的终端安全配置管理 (2) 1.3 终端安全配置管理系统技术优势 (3) 第二章终端安全配置管理系统逻辑结构 (5) 第三章终端安全配置管理系统功能 (7) 第四章终端安全配置基线介绍 (9) 4.1 基线概述 (9) 4.2 终端硬件安全配置 (9) 4.3 终端软件安全配置 (10) 4.4 终端核心安全配置 (11) 第五章系统应用方案 (14) 5.1 应用架构 (14) 5.2 实施流程 (16) 5.3 运行环境要求 (16) 第六章技术支持服务 (18) 附录一W INDOW7操作系统安全配置清单（示例） (19) 附录二国家信息中心简介 (24) i
第一章终端安全配置管理系统简介 1.1 为什么要做终端安全配置 在构成信息系统的网络、服务器和终端三要素中，对终端的攻击和利用终端实施的窃密事件急剧增多，终端安全问题日益突显。攻击和窃密是终端安全的外部原因，计算机系统存在缺陷或漏洞、系统配置不当是终端安全的内部原因。外因通过内因起作用，内因是决定因素。据调查，针对系统核心的攻击中，5%是零日攻击，30%是没有打补丁，65%是由于错误的配置。因此正确的安全配置才是保障终端安全性的必要条件。 计算机终端核心配置最早由美国联邦政府提出，称为联邦桌面核心配置计划（FDCC）。该计划由美国联邦预算管理办公室（OMB）负责推动，旨在提高美国联邦政府计算机终端的安全性，并实现计算机管理的统一化和标准化。美国空军最先实施桌面标准配置并取得了良好的应用效果。2007年，美国联邦政府强制规定所有使用Windows的计算机必须符合FDCC的配置要求。 近年来，我国逐步认识到终端安全配置管理对于加强计算机终端安全保障工作的重要作用，对美国联邦政府实施的桌面核心配置进行了跟踪研究，并开展了我国终端安全配置标准的研制工作。多家科研院所和安全厂商参与了相关研究工作，其中，国家信息中心是国内最早开展终端安全配置研究的单位之一，目前已编制完成政务终端安全核心配置标准草案，并开发出一整套标准应用支撑工具—终端安全配置管理系统。该系统在各地方的试点应用取得了明显的成效。 终端安全配置分为硬件安全配置、软件安全配置和核心安全配置，如图1所示。分别介绍如下： 硬件安全配置：根据计算机硬件列装的安全要求，仅可安装符合规定的硬件和外联设备，关闭存在安全隐患的接口以及驱动，以满足政府机构和大型企业对硬件环境的安全需求。包括计算机部件清单、外联设备清单、外联接口安全配置和硬件驱动安全配置； 软件安全配置：根据计算机软件安装的安全要求，仅可安装符合规定的操作系统和软件，禁止非法软件安装，以满足政府机构和大型机构对软件环境的安全需求。包括应安装软件列表、可安装软件列表和禁止安装软件列表； 核心安全配置：对终端操作系统、办公软件和浏览器、邮件系统软件、其它常用软件等与安全有关的可选项进行参数设置，限制或禁止存在安全隐患或漏洞的功能，启用
1.1.1.1云计算资源需求分析与规划 1.1.1.1.1数据中心服务器部署基本要求 本项目关键业务数据库、数据仓库采用物理服务器独立部署（集群+同城双活），应用和管理类服务器采用虚拟机部署（同城双活）。 1.1.1.1.2应用服务器采用虚拟化方案 采用虚拟化技术是实现云计算的基础。通过为客户提供服务器整合和数量控制、业务连续性、测试/开发自动化、企业台式机管理等解决方案，从而实现降低成本、提高响应速度、实现零停机、灾难快速恢复等系列好处。通过虚拟架构整合服务器，可以控制x86服务器的蔓延，在一台服务器上运行多个操作系统和应用，并使新的硬件支持老的应用，数据中心撤退旧的硬件。虚拟基础架构使企业能够通过提高效率、增加灵活性和加快响应速度而降低IT成本。管理一个虚拟基础架构使IT能够快速将资源和业务需要连结起来，并对其进行管理。虚拟基础架构可以使x86服务器的利用率从现在的5-15%提高到60-80%，并且在数十秒的时间完成新应用程序的资源调配，而不需要几天时间。请求响应时间也改为以分钟计算。在维护上，可以实现零停机硬件维护，不需要等待维护窗口。
服务器虚拟化是计算机资源逻辑组的过程，这种资源的新虚拟视图并不受实现，地理位置或底层资源的物理配置的限制。这种逻辑视图对信息基础设施有深远的影响。 ◆服务器虚拟化带来的益处： 虚拟化技术可借助信息基础设施更好地提供服务，从而帮助客户节省资金。与传统的物理服务器部署方式相比，虚拟化所带来的一些优势包括：?能够迅速保存、复制和供应虚拟机，从而实现零停机时间维护并支持全新的“go live（实时化）”方案； ?动态共享服务器平台中的闲置资源，从而在消除烟囱式（stovepipe）部署的同时，进一步提高性能和利用率；与此同时也能为应用提供一个 隔离性的操作环境； ?可以实现更高的技术标准化水平和流通率，从而降低运营和维护成本； ?可在虚拟服务器组件发生故障时进行无缝故障切换，从而提高系统可用性； ?降低复杂性，从而改进逻辑和物理灾难恢复。 ◆服务器虚拟化的软件平台选型原则 在服务器虚拟化的软件平台方面，主流的软件提供商均提供了所有软件厂商
2018年数据中心市场调研分析报告
目录 第一节互联网流量红利传导路径 (6) 一、新兴互联网应用崛起，推动互联网流量持续高速增长 (7) 1、高清视频、直播等业务或成为推动互联网流量增长的主力军 (9) （1）OTT-TV 视频流量快速增加 (9) （2）新兴在线娱乐（视频直播）模式推动互联网流量规模攀升 (10) 2、物联网流量到2021 年或占全球IP 流量的5% (10) 3、云计算时数据中心东西流量成主导 (10) 二、2016 年我国移动互联网流量增速翻倍，人均流量消费水平仍远低于美国 (11) 第二节全球数据中心发展路径 (16) 一、规模上，超大型数据中心逐年增加，单体承载流量能力倍增 (17) 二、分布上，欧美商业化数据中心主要集中在中心城市，第三方服务商占主流 (19) 三、区域维度，北美市场规模最大，亚太增长速度最快 (23) 四、国家维度，美国市场规模最大，中国增长潜力最强 (23) 五、发展模式上，美国以扩建和改建为主，中国处于以新建为主的粗犷式发展期 (24) 第三节我国数据中心发展现状 (27) 第四节数据中心，光通信的下一个突破点 (30) 一、数据中心流量模型发生变化，内部架构向扁平化演进 (30) 1、数据中心流量模型发生显著变化 (30) 2、越来越多的网络扁平化需求 (30) 二、顺应数据中心网络架构新需求，脊叶网络架构应运而生 (30) 三、数据中心脊叶网络架构优势明显 (31) 四、云数据中心建设驱动光模块市场持续高景气 (32) 五、全球产业链再配臵，产业转移下的中国崛起 (35) 第五节行业相关公司分析 (39) 一、中际装备 (39) 1、位列国内光模块第一梯队，40G/100G 高端光模块优势明显 (42) 2、高品质客户资源结构，受到谷歌、亚马逊、华为、中兴等知名公司认可 (43) 3、中际装备收购苏州旭创，开启高速光模块成长之旅 (43) 二、博创科技 (44) 1、公司光无源器件业务稳定发展，DWDM 产品增长势头强劲 (45) 2、募投项目逐渐达产，强化无源光器件领域市场竞争力 (46) 3、携手美国Kaiam 公司强势进军光有源器件领域 (46) 4、加速布局高速有源器件领域 (48) 5、把握光器件技术发展趋势，积极开拓MEMS 技术平台 (49) 三、光环新网 (50) 1、收购优质标的，业绩增长明显 (51) 2、把控稀缺IDC 地域资源，不断新增机柜，巩固自身优势 (53) 3、收购中金云网，进军金融IDC 服务领域 (54) 4、携手AWS，充分打开IaaS 市场空间 (54) 5、收购无双科技，切入SaaS 市场 (55)
机房线路管理系统 -CVMS 一、当前现状 机房线路及设备管理现状 ?采用手工记录管理现有线缆标识、线路连接关系 ?缺乏统一的资料管理平台 ?网络物理线路查询困难 ?人员变更交接资料繁琐 ?缺乏规范的管理流程 ?无法清楚的了解网络设备的配置和资源使用状况 ?维护效率低，增加维护成本 为什么我们推出软件形式的机房线路管理系统？ ?提高企业/政府/教育/金融IT管理部门的效 率 ?解脱繁琐的传统文档管理工序 ?迅速诊断和定位网络问题 ?提升内部安全性能 ?极为合理的投资成本 ?实现管理图形化和数字化 ?纯软件系统对线路及网络硬件没有任何不良影响 智邦（知微?）机房线路管理系统是对机房系统中设备的维护信息和连接信息进行图形化管理，把图形、数据和连接关系三种对象紧密的结合，为管理员提供一个直观、易用的图形化管理平台。
二、系统特点 CVMS 是一套专业的机房线路管理软件，通过创建“可视化数据库”，将信息和图形有机结合，能帮助企业更好地规划、管理和维护其物理网络、通信、视频、监控及布线基础设施。 基于B/S（浏览器/服务器）结构模型，客户端以浏览器的web 页面形式运行； 系统后台采用SQL Server数据库； 纯软件架构，不需要对现有的网络和硬件进行任何改动； 管理界面友好、精美、简单、功能强大、操作灵活； 可实行跨地域管理和分工管理； 数据和图形相结合； 图形定位快捷； 设备、线缆、终端链路关联处理； 文档、设备、线路连接统一管理，建立完整的技术管理平台； 通过操作日志、管理权限、角色管理来实现对操作人员的管理； 线缆线标的管理使您的管理能精确到每一根线缆； 通过派工单管理，规范机房线路系统的维护工作流程。 三、应用范围 广泛应用于政府、军队、金融、税务、烟草、交通、教育、医疗、能源、电信、广电、司法、电力等多个行业 四、功能模块 1．数据采集 该模块的主要功能是对整个项目的内容进行录入，建立项目数据库。 模块特点： 以目录树的形式自上而下对项目内容进行逐步录入 上传楼层或区域平面图，使每个端口或信息点都可以在楼层平面图上的准确物理位 置以闪烁的形式标明 由机柜信息自动生成机柜和设备模拟图，并确定设备在机柜中的位置 定义信息点、终端设备的类型和内容 建立设备之间的连接关系，生成链路关系模拟图 支持数据批量录入，支持多人同时分工录入 支持线缆线标的批量录入