华为存储双活数据中心规划设计指南
目录
(3)
1.华为一体化双活数据中心方案概述
1.1.跨中心部署架构 (4)
1.2.同机房部署架构 (6)
(9)
2.华为一体化双活数据中心方案设计
1.3.故障域设计 (10)
1.4.组网设计 (11)
1.4.1.管理网络 (11)
1.4.2.存储层主机访问网络 (12)
1.4.3.跨中心传输网络 (15)
1.4.4.双活复制网络 (16)
1.5.应用层设计 (16)
1.5.1.数据库集群 (17)
1.5.2.虚拟化集群 (19)
1.6.多路径规划 (20)
1.7.存储层设计 (21)
1.8.仲裁设计 (22)
1.华为一体化双活数据中心方案概述
双活数据中心是指两个数据中心共享存储、网络以及服务器资源，两个数据中心可以同时对外提供服务，整个系统具有业务负载均衡和自动故障切换能力，能够最大限度保证业务持续运行不中断，为业务提供最高级别的业务连续性。
当客户业务需要存储同时提供SAN和NAS双活能力时，而由于业务之间存在的关联性，两者不可以完全割裂，此时我们称为SAN&NAS一体化双活。例如：某业务由两个业务系统同时提供服务才可以提供服务，其中一个业务系统使用SAN存储，另一个业务系统使用NAS存储，此时，两者均正常运行才可以提供服务。如果仅仅提供SAN存储双活能力，当单套存储系统故障，NAS无法访问时，将导致业务中断。
存储双活作为整个系统的核心基础架构平台，主要解决以下两个核心问题。
1.两个数据中心间数据实时同步，确保单中心存储部件故障时，零数据丢失（RPO=0）和自动切换。为了达到这样的目标，NAS除了数据实时同步外，还要保证配置和锁的实时同步。系统运行过程中，文件系统权限、共享等配置变更支持实时镜像，故障发生时双活自动切换后能立即使用。
2.提供可同时被两个数据中心主机访问的存储共享资源，从而实现主机应用集群的跨站点部署，保证异常情况下，应用的自动切换（RTO≈0）。
图1-1SAN&NAS一体化双活逻辑架构示意图
1.1.跨中心部署架构
跨中心的两套存储阵列均提供SAN和NAS存储空间，配置为双活Pair。其中，SAN双活根据业务要求配置双活一致性组，按一致性组进行切换和仲裁；而NAS双活根据业务要求部署不同的租户，按租户粒度进行双活切换和仲裁。
SAN双活由主机层多路径负责主机到存储间具体IO下发路径的管理，推荐配置本地优先路径策略；NAS双活在主机上挂载由存储提供的文件系统网络路径，该路径同一时刻仅在其中一套存储上处于网络激活状态。
SAN和NAS双活只需要配置一台仲裁服务器即可，它们同属于一个双活域。
根据客户组网形态，主要有以下两种组网架构：
IP+FC
图1-2SAN&NAS一体化双活存储层部署架构示意图
存储阵列间同时配置SAN双活和NAS双活时，无需单独为其中一个增值特性配置双活复制链路。为了双活数据同步性能，同时避免不同类型链路性能差异影响业
务，复制链路只能配置一种类型。
SAN&NAS一体化双活为此类组网时，双活复制链路仅需配置FC链路即可，跨中心的IP网络仅作为应用主机跨中心访问NAS存储使用。
每个控制器至少提供2个以太网端口用于主机访问NAS存储，至少提供2个FC 端口用于主机访问SAN存储，至少提供2个FC端口用于双活数据复制。
全IP
图1-3SAN&NAS一体化双活存储层部署架构示意图（全IP）
全IP组网架构时，SAN&NAS一体化双活跨中心部署时如图2-3所示。SAN双活与NAS双活共用跨中心IP链路为双活复制链路，如果有其它FC交换机可以作为跨中心传输使用时，亦可单独配置FC链路为双活复制链路。
1.2.同机房部署架构
数据中心内两套存储阵列均提供SAN和NAS存储空间，配置为双活Pair。其中，SAN双活根据业务要求配置双活一致性组，按一致性组进行切换和仲裁；而NAS 双活根据业务要求部署不同的租户，按租户粒度进行双活切换和仲裁。
SAN双活由主机层多路径负责主机到存储间具体IO下发路径的管理，推荐配置全局负载均衡策略；NAS双活在主机上挂载由存储提供的文件系统网络路径，该路径同一时刻仅在其中一套存储上处于网络激活状态。
SAN和NAS双活只需要配置一台仲裁服务器即可，它们同属于一个双活域。
根据客户组网形态，主要有以下两种组网架构：
IP+FC
图1-4SAN&NAS一体化双活存储层部署架构示意图
存储阵列间同时配置SAN双活和NAS双活时，无需单独为其中一个增值特性配置双活复制链路。为了双活数据同步性能，同时避免不同类型链路性能差异影响业
务，复制链路只能配置一种类型。
SAN&NAS一体化双活为此类组网时，双活复制链路仅需配置FC链路即可，支持阵列通过FC直连组网；IP网络仅作为应用主机访问NAS存储使用。
每个控制器至少提供2个以太网端口用于主机访问NAS存储，至少提供2个FC 端口用于主机访问SAN存储，至少提供2个FC端口用于双活数据复制。
全IP
图1-5SAN&NAS一体化双活存储层部署架构示意图
全IP组网架构时，SAN&NAS一体化双活在数据中心内部署时如图2-5所示。
SAN双活与NAS双活共用IP链路为双活复制链路，如果有FC端口可以作为数据传输使用时，推荐配置FC链路为双活复制链路。需要注意的是：SAN和NAS不能使用阵列上相同的以太网端口与主机连接。
2.华为一体化双活数据中心方案设计
SAN&NAS一体化双活数据中心方案为了确保用户业务连续性，需要根据业务提供相应的基础设施双活和冗余能力。除应用层集群部署防止应用层单点故障业务中断外，还需要考虑的内容主要涉及以下几个方面：
1.故障域：存在单点故障源的区域，例如电源，制冷。
2.组网：主要涉及跨中心网络，主机与阵列间业务网络，仲
裁网络及端口规划。
3.应用：跨中心集群部署上的注意事项及其它要求。
4.多路径：路径策略设置建议。
5.存储：存储仲裁优先、一致性组，租户，磁盘和Pool规划
建议。
6.仲裁：部署位置及IP网段规划。
2.1.故障域设计
跨中心部署双活
图1-6双活故障域规划
图中所示黄色区域为故障域。
在相同的故障域中的所有设备，存在同时发生故障的可能性，此时业务将无法持续不中断运行。
如图3-1所示，3个故障域各自独立，不存在相同故障源。
为了避免问题发生，规划要点在于故障源的识别，常见的有：
1.仲裁服务器不能与任意一个数据中心共用相同供电系统，如果无法
避免，供电故障时，双活业务将中断。
2.存储复制网络与仲裁网络要充分考虑网络隔离，不能同时故障。
3.仲裁网络禁止使用VRRP主备网关配置。
4.仲裁服务器是虚拟机时，该虚拟机不能运行在该双活方案存储提供
的LUN上。仲裁服务器是物理机时，不能使用该双活方案存储提
供的LUN作为SAN Boot的OS盘。
本地部署双活
双活在单数据中心内部署时，由于故障域无法隔离，只能提供设备级或者机架级的可靠性。
为了尽可能提供更高的业务连续性，常见要注意的有：
1.仲裁服务器是虚拟机时，该虚拟机不能运行在该双活方案存储提供
的LUN上。仲裁服务器是物理机时，不能使用该双活方案存储提
供的LUN作为SAN Boot的OS盘。
2.仲裁网络禁止VRRP主备网关配置。
2.2.组网设计
2.2.1.管理网络
管理网络指双活方案各物理设备在设备管理时使用的网络，它的主要作用有两个：
1.设备正常运行时，日志、告警上报和巡检；
2.设备发生故障时，管理员登录设备进行异常状态确认和修
复。
存储设备的管理网络目前除了支持进行设备管理外，还可以配置用于仲裁。
管理网络如果用于仲裁，只能两种配置方式：
1.两套阵列管理端口和仲裁服务器仲裁端口使用相同网段。
2.两套阵列管理端口分别使用不同网段，且各自与仲裁服务
器仲裁端口三层互通，每套阵列管理端口的网关均在各自
数据中心内。
2.2.2.存储层主机访问网络
使用FC交换机级联进行跨中心组网时，如果数据中心间距离超过级联光模块传输距离（博科或者华为交换机单模光模块最大支持25km），需要通过多模光模块对接波分传输设备，以支持更远的传输距离。
主要业务网络可能包括以下几种：
●主机访问存储的网络。
●阵列间双活复制网络。
●主机集群心跳网络。
●主机的业务网络。
我们重点关注的是1和2两项。3和4则是与应用集群诉求相关，由应用提供商提供部署要求：时延、距离和丢包参数等。
Oracle RAC集群其官方要求节点间时延<1ms，其它数据库集群建议与其保持一致，如有差异请以应用提供商的要求为准。
跨中心双活组网
为了尽可能为业务提供最佳的业务连续性，任意一台业务主机要求与两套双活存储有全冗余交叉路径。如果主机与跨中心存储没有配置逻辑路径，双活发生仲裁时，业务不能保证在原中心继续提供服务，最常见的如虚拟化集群，则会导致虚拟机发生跨中心的HA迁移。
图1-7业务主机与存储间网络（NAS）
●每个数据中心内两台以太网交换机堆叠组网。
●主机双端口绑定，交换机上对应端口绑定。
●阵列上每个控制器上两个端口绑定（同一块卡）。
●跨中心每两台交换机间至少1条级联链路。
图1-8业务主机与存储间网络（SAN）
●每个数据中心内两台FC交换机不级联，各自独立。
●主机上两个FC端口各连接本数据中心一台FC交换机。
●阵列上每个控制器上两个FC端口各连接本数据中心一台FC交换机。
●跨中心每个交换平面的交换机间至少1条级联链路。
●阵列上用于前端业务主机访问的端口不作为阵列间复制使用。
●如果SAN组网也是IP组网时，交换机与NAS共用，但是阵列用于业
务主机访问的端口不能与NAS共用端口。
本地双活组网
在单数据中心内部署时，与跨中心部署组网有所不同，只需要双交换机冗余部署即可。
图1-9业务主机与存储间网络（NAS）
●数据中心内两台以太网交换机堆叠组网。
●主机双端口绑定，交换机上对应端口绑定。
●阵列上每个控制器上两个端口绑定（同一块卡）。
图1-10业务主机与存储间网络（SAN）
●数据中心内两台FC交换机不级联，各自独立。
●主机上两个FC端口各连接一台FC交换机。
●阵列上每个控制器上两个FC端口各连接一台FC交换机。
●阵列上用于前端业务主机访问的端口不作为阵列间复制使用。
●如果SAN双活是IP组网时，交换机可以与NAS双活共用，但是阵列
用于业务主机访问的端口不能与NAS共用端口。
2.2.
3.跨中心传输网络
近距离传输
两个数据中心距离在光模块支持的范围内，且单模光纤或者裸纤数量足够时，可以使用交换机直接与对端数据中心SAN网络交换机级联，实现双活的近距离组网。
长距离传输网络
波分设备使用场景：
●跨中心长距离传输超过交换机上级联端口传输距离上限时（例如博
科和华为FC交换机单模光模块传输距离上限25km）。
●跨中心使用裸纤连接，且裸纤数量不足以支持业务层和存储层网络
跨中心级联要求时，例如，标准的双活组网，跨中心裸纤至少要求
4对。
波分设备标准组网要求每个数据中心2台，当只能提供每个数据中心1台波分时，该波分设备故障，将导致双活发生仲裁，业务将在仲裁存活的数据中心继续提供服务。
使用波分设备进行传输时，交换机只需配置多模光模块与波分设备接入卡对接，但是交换机级联模块需要配置与距离适配的buffer，该buffer 值按交换机提供商的建议进行配置即可。例如，博科交换机可设置为实际部署链路距离的2倍，也可以通过实际测试选用更好的值。
测试方法参考：配置好双活后，使用测试工具从主机下发模拟IO，业务时
延最佳即可。
2.2.4.双活复制网络
无需单独为SAN双活和NAS双活配置复制网络。
双活复制网络支持IP或者FC网络，但两套阵列间的复制链路同时只使用其中一种类型，避免链路性能差异导致数据复制性能下降。
SAN&NAS一体化双活，只需在其中一套阵列配置远端设备，当其中有IP和FC网络共存时，推荐为远端设备添加FC链路，每个控制器最少配置2条逻辑链路（最多支持8条逻辑链路）。
图1-11存储间双活复制网络
●A控与对端A控，B控与对端B控配置各2条逻辑链路。
●每个控制器与本中心两台FC交换机各一条复制物理链路。
●支持近距离部署时，阵列直连组网配置双活复制链路。
2.3.应用层设计
部署在SAN&NAS一体化双活上的应用并不直接感知存储层双活的存在。
SAN双活
与传统单阵列上部署应用集群相比，其差别在于两套阵列上的LUN 均需映射至主机集群所有节点，主机感知到的磁盘路径数量比单阵列场景增加了一倍。
写盘IO具体从哪条路径下发，是由多路径策略决定，华为HyperMetro双活LUN是active-active访问形态，双活pair的任意一个
LUN均可接收IO，再由HyperMetro模块负责实时镜像双写至两套阵列，写IO都完成后才返回主机写完成。
NAS双活
运行在NAS双活上的集群，通过挂载文件系统网络路径进行NAS读写操作。
在阵列发生NAS双活切换时，自动完成网络地址在原阵列去激活，在新阵列上激活的过程，同时配合锁实时同步和重申，NFS协议共享可以自动完成主机上挂载路径的重新访问。
应用层感知到短暂的网络中断，此时主机IO由于没有收到任何应答，将处于悬挂状态，随着网络地址自动激活，应用集群的业务将继续正常运行。
2.3.1.数据库集群
数据库作为典型的结构化应用，强烈推荐使用SAN双活部署。
数据库集群配合存储双活实现跨中心SAN双活时，对于数据库集群本身应用而言，应用层部署要求与传统共享磁盘部署方式基本相同。
●Oracle RAC设置OCR和仲裁盘为external时，无需修
改超时时间；如果设置为normal方式，则磁盘超时默认为
15秒，此方式配合存储双活使用时，推荐修改超时时间为
120秒。
●ASM磁盘超时默认为200秒，无需修改。
图1-12数据库集群部署示意图
如图3-7所示，所有映射至数据库集群节点的磁盘均由双活LUN提供，且同一个数据库集群的双活pair需要添加到1个双活一致性组。
配置双活一致性组的目的是为了在任意一个双活pair发生故障无法双写时，一致性组内所有双活pair均会一致性分裂，以确保任意一侧的所有双活
LUN一直处于一个业务上的一致性点。
心跳网络：数据库集群节点间的心跳网络要满足应用对于时延的要求，例如Oracle RAC要求小于1ms，该心跳网络为二层私有网络。
业务网络：数据库对外提供业务访问的网络，由于需要跨中心使用浮动业务IP，该网络也需要部署为二层网络，对外提供业务时，通过该网络对外的网关路由转发实现。
磁盘：数据库集群节点与磁盘间也有超时设置，超时无返回则上报error至应用，集群才会进行相应处理，等待期间集群节点均会悬挂IO。Oracle RAC推荐使用ASM和external冗余方式部署集群。
2.3.2.虚拟化集群
虚拟化集群配合存储双活实现跨中心双活时，ESXi主机跨中心部署为一个集群，vCenter Server通常部署为虚拟机，受该ESXi主机集群的HA特性保护即可。
所有虚拟机运行在双活LUN或者文件系统提供的存储空间内，集群内任意一台ESXi主机均可访问所有双活LUN或者文件系统。
图1-13VMware vSphere集群部署示意图
双活一致性组：如果虚拟机存在跨不同datastore分配空间的行为，则需要将映射至该主机集群的所有双活LUN配置为双活一致性组，如果不存在该分配行为，而不需要配置双活一致性组。使用双活文件系统时，单个虚拟机不能跨文件系统存放。
vMotion网络：这是虚拟化集群定义的迁移网络，当虚拟机在主机间在线迁移时，为了达到在线迁移效果，主机间需要快速的内存同步，时延
要求<5ms（不同版本有所差别，建议以此值为准），建议使用10GE网
络。
主机层配置：VMware vSphere集群配套双活时，要求针对APD和PDL场景进行主机层参数配置，Hyper-V集群涉及集群超时时间配置，不同版本配置方法有所不同，请以解决方案双活产品文档为准。
2.4.多路径规划
多路径负责主机下发IO至存储时路径策略设定和执行。每台主机的多路径策略相互独立，多路径策略或者参数设置需要在每台主机上单独配置。
华为多路径
华为多路径进行策略设定时，需要先查询主机上存储SN的ID，同一个阵列在每台主机上的ID可能不同，必须查询后再设置多路径策略。
1.SAN双活为跨中心部署时，建议部署多路径策略为本地优
选，仅当本地存储故障时，主机读写IO才会切换至远端存
储路径下发，使业务获得更好的性能。
2.SAN双活为单中心内部署时，推荐多路径策略为全局负载
均衡。
通常，标准的双控+双控的存储双活组网下，如果每个存储控制器提供两个前端业务端口，此时任意一台主机均可查询到8条路径。
双活LUN处于正常工作状态时（非同步中），所有路径均为正常状态。
初始同步中有一半的路径显示为故障状态，同步完成后自行恢复正常状态。
本地优选可以根据LUN设置，也可以全局设置，推荐全局设置，此时新创建或者新添加的LUN将默认使用全局路径策略。