虚拟存储区域网络技术及其发展
郑晓虎
摘要:为了持续提高企业生产效率并改善客户关系，大多数企业都在部署数据密集型企业应用，如企业资源规划（ERP）、制造执行系统（MES）、电子商务平台等。这种形势导致了信息和数据量的迅猛增长。如何有效地管理日益增加的存储数据、减少工作的复杂度、避免存储资源浪费并降低存储成本、简化数据集中的管理并降低管理的成本？
关键词:Storage Area Network（SAN），Virtual Storage Area Network （VSAN），Inter-VSAN Routing （IVR），IP的光纤通道（FCIP）。
数据的存储方式经过了较长时间的演进，而存储设备和服务器之间常见的连接方式有三种，第一种方式是将磁盘阵列或磁带库直接挂在服务器上面；第二种NAS（network attached storage）是通过网络连接的磁盘存储系统，存储系统直接通过网络接口与网络直接连接，由用户通过网络访问；第三种是存储设备挂在SAN上，服务器通过光纤通道访问它。
SAN已经成为了满足高级存储要求的最佳解决方案，SAN不仅能够提供高级功能，能够比直接连接存储（DAS）环境提供更大的投资回报。但随着企业的规模成长和应用系统的扩展出现了很多物理和虚拟位臵上的分散式存储“孤岛”；面对企业内部众多的已有存储产品和技术：本地部署的光通道IPSCSI、FCIP以及Infiniband，怎样进行选择和整合，如何能够用互补的方式来创建最佳的、最有效的存储结构。
1. SAN的技术发展
Storage Area Network（SAN）是针对大容量服务应用环境下的存储解决方案，它是位于服务器后面的存储网络，所有的服务器可以通过这个网络对任意的存贮介质进行读取和写入，而且通过采用特定的网络传输介质使得SAN可以扩展到广域，实现异地备份和恢复。由于SAN技术是建立在（1-2）Gb/s的光纤通道上面的.
1.1. SAN的局限性
随着SAN技术的普及，SAN已经从为小型隔离SAN岛提供连接的基于仲裁环集线器的小网络发展为当今连接数百台设备的大型SAN网络。像以太网发展过程中需要考虑可扩展性和永续性一样，依靠一个SAN 网络连接众多设备也会降低SAN的永续性和稳定性。另外，以前只局限在一个数据中心内，专为一个应用或一个部门使用的SAN网络，现在可能已经跨越国界或洲界。大型SAN网络的优势是能够集中管理，能够更加有效地使用网络资源（端口、ISL），但是，为保证扩展过程中能够保持适当的永续性，原有SAN交换机的体系结构以及基础光纤通道协议本身很快就会达到使用极限。
SAN的信息传输协议与以太网协议一样，光纤通道属于交换式第2层协议，由于没有等级网络域概念，因而不能将控制协议和消息传送隔离和限制在网络的某个分区。与以太网类似，光纤通道在一定网络范围内（例如分区）使用一套网络fabric控制协议，以及交换机产生的一套状态变化通知。因此，即使是本地的光纤通道控制协议消息也只能在小Fabric网络范围内传送，因此，它们的影响只局限在Fabric 之内。这种体系结构上的缺陷会在网络中形成很大的高可用性漏洞，
尤其是地理分布范围较大的SAN。造成这种高可用性风险的原因是，潜在干扰性局域控制协议事件可能会干扰到扩展链路两边的整个Fabric网络。特别是在大型网络结构中随着站点增多后SAN需要多个FC交换机二级连接，增加了连接点扩大了域范围，稳定性下降。
1.2. SAN的发展
在IP世界里，随着IP网络的持续扩展，第2层VLAN技术与第3层IP 路由协议的使用，不但能将错误分区限制在IP子网边界内，还能实现这些分区之间的必要连接。但是，作为第2层基础协议的光纤通道并不具备这种错误分区隔离功能。如果想不断推进能够降低成本的融合SAN基础设施的发展，又不降低这些环境的稳定性或安全性，必须在SAN内实现这一功能。
为将传统数据网络中的可扩展性和稳定性延伸到SAN领域中，世界著名IT网络企业推出了存储网络交换机，采用了很多创新技术（VSAN、IVR）。与其它传统数据网络一样，虚拟SAN（VSAN）和VSAN间路由等新型数据中心技术，以及FCIP等集成式SAN扩展传输方式能够提高光纤通道SAN的可扩展性和永续性。
2. VSAN的技术发展
VLAN是一种能够分成多个逻辑部分和分区的特殊SAN。VSAN 能够克服当今存在的许多网络分区限制，目前已经被ANSI T-11 委员会定为行业标准。
2.1. ANSI T-11 的标准 ANSIT11.3
1）.VSAN的帧头格式：
FC-FS-2 VirtualFabricTagging（VFT）Header（8bytes）
2）.VSANs的EISL ：
EISL（增强型ISL链路）为每个帧增加的标记信息，在VSAN成员端口和EISL链路上,每个单独的虚拟结构使用基于硬件的帧标记来相互隔离。
EISL 头
在VSAN的中继中每一个帧将在头部增加额外的8个bytes的开销，具体如下：
User priority-3 bits 用于QOS，指定帧的优先级；
VSAN ID-12 bits 用于为划分的每个详细VSAN分配标签，可以提供4096个VSANs;
MPLS flag-1 bit 为指定隶属于MPLS的帧作标记；
Time-to-live(TTL)-8 bits 用于解决
路由环；
其他的包括版本、帧的类型及保留区域。
SOF
(Start of Frame)
EISL Header
FC Header
Payload
CRC
EOF
(End of Frame) 4B
8B
24B
0-〉
2112B
4B
4B
2.2. VSAN 网络存储架构
VSAN网络存储示意图
在VSAN型网络中，称为EISL的通用ISL同时为多个VSAN服务。来自所有VSAN的流量都将打上VSAN成员信息标记，通过通用ISL传输，都仍然保留逻辑上的隔离。
VSAN的网络结构中通过部署智能化网络存储交换机整合iSCSI、FICON、FC等存储设备的接口，通过VSAN可以把iSCSI的主机、FC设备、FICON设备划分成相同或不同的VSAN成员，从而达到资源共享和安全控制的目的。
2.3. VSANs的工作方式
与VLAN和以太网相似，称为EISL的VSAN型ISL能够承载与交换机间多个VSAN相关的光纤通道流量。利用EISL，可以为多个虚拟网络提供
相同的交换机间链路，并对每个VSAN实施最终的流量控制。另外，利用Port Channel，还可以将多个（E）ISL捆绑汇聚在一起，形成永续性和带宽更高的大型虚拟（E）ISL。
●VSANs可以提供的主要功能体现在两个方面：
1）.为物理位臵隔离的计算机存储设备（hosts、disks等）打上EISL的标签，用于区分这些存储设备隶属于不同的VSANs.EISL的标签只在需要建立EISL链路的互联的交换机上实施即可，不需要对计算机存储设备作任何设臵。
2). 针对每一组相同的Fibre Channel Services创建相应的1个新的VSAN，用于实现Services的隔离，每个Services运行在一个独立的组内进行单独管理来和配臵。注：Services包括Zone server ,name server,management server, principle switch election 等。
●VSANs、TE_Ports、PortChannels的关系
如何在存储交换机上建立EISL及各种端口之间的关系是如何匹配的是组建VSANs网络的基础。
Trunk建立的必要条件：
1).创建Trunk 的E_Port(TE_Port)，需要在存储交换机上指定端口作为创建Trunk的E_Port端口，TE_Port建立后就允许本地的所有VSANs(1-4093)的信息通过此端口。
2).增强性ISL的链路，EISL的链路必须建立在2个成对的TE_Port 上，EISL的链路上承载着每个VSAN的控制协议信息并提供ISL的功能，通过EISL可以提供远距离的传输如DWDM、FCIP等。
PortChannels的特性：
PortChannels能够把多条EISL链路捆绑，组建成1个链路通道传输
用户数据。
创建PortChannels的每个链路的TE_Port端口优先级必须一致，VSANs必须是可用的。
Port Channel技术能够为每个EISL链路提供高可靠和快速恢复的功能，并能够为用户信息提供多条传输路径提高链路冗余功能。
VSANs的局限性
VSAN不但有助于开发规模更大、永续性更高、可管理性更好的SAN 网络，还有助于建立端口数量高于1000的Fabric网络。但是，VSAN 的设计有一个局限。由于所有流量都被隔离在相应VSAN之内，因此，与Fabric网络相连的设备只能包含在一个VSAN中。虽然对于多数主机HBA连接，这都不成问题，但是，如果想在包含多个VSAN的多个应用和/或多个部门之间共享更多存储阵列端口，问题就暴露出来了。在长距离的扩展网络解决方案中，用户可能并不希望利用高延迟传输服务扩展通用网络或VSAN，并以此提高网络永续性。为使VSAN解决方案满足这些要求，必须采用被称为VSAN间路由或IVR的VSAN技术扩展。
3. VSAN间路由
VSAN间路由（IVR）技术：实现不同的VSAN之间IP路由的传输，类式于三层网络交换机。
磁带驱动器或大型子系统等设备通常会出现在多个VSAN中。利用VSAN间路由（IVR）技术，可以建立从一个VSAN到不同VSAN内多台设备的路径，而且不需要合并单个VSAN Fabric网络，即不会造成错误分区融合。如果没有IVR功能，大型磁盘阵列等设备必须与它想参与的所有VSAN的特定交换机端口相连。利用IVR技术，只需要定义多个
VSAN中需要连接的设备IVR分区，共享设备就可以在多个VSAN之间通信，而且不需要合并参与的虚拟Fabric网络（VSAN）。
3.1. VSAN间分区（IVZ）
VSAN间路由技术的最大优点之一是易于供应和管理。IVR的主要功能之一，即IVR与iFCP等其它方法之间的主要区别是，IVR的供应是利用已知步骤提供给SAN管理员的。利用SAN管理员再熟悉不过的分区管理步骤和管理任务，只需定义一种称为VSAN间分区的新型分区，就可以建立VSAN间路由实例。VSAN间分区的定义方法与其它分区相同，但它包含参与了边缘VSAN，需要跨VSAN连接的设备。IVR技术能按照VSAN 间分区的定义自动确定哪些路径和名称服务器需要交叉传播。利用类似的分区机制，SAN管理员不需要学习iFCP（McDATA开发的SAN互联方案）和iSNS或新的管理工具就可以管理IVR服务。
3.2. IVR的网络架构
IVR的网络架构示意图
为了实现IVR连接，网络中至少有一台交换机必须作为传输或IVR 边界交换机，以提供VSAN之间的传输路径。在图中，VSAN A中的设备p1需要与VSAN C中的设备p2通信。边界交换机作为独立VSAN中设备间的传输交换机，可以利用多台IVR边界交换机提供冗余路径。边界交换机只将某些FSPF（交换结构最短路径优先）路径加入相应的本地VSAN，这些本地VSAN与需要IVR连接的预定IVR型VSAN中的设备有关。换言之，只有通往包含这些设备的预定IVR VSAN中的域（交换机）的FSPF路径，才会交叉传播。另外，包含预定VSAN间分区内通信设备的身份识别的名称服务器数据库项，也将在规定的IVR VSAN内交叉传播。如果所有设备都包含在一个VSAN中，每台交换机里的所有数据库信息都将同步。利用IVR特性，按照VSAN间分区的规定，只有需要IVR 通信的设备的一小部分路由和名称服务器信息才需要交叉传播，而且不需要合并参与的虚拟网络（VSAN）。
3.3. IVR实现的优点
IVR方法对SAN互联的一个优点是，IVR依靠标准FSPF（交换结构最短路径优先）路由实现路径选择和路径永续性。利用iFCP等其它互联解决方案，由于可以转换为iFCP，因而没有端到端使用FSPF协议，也就没有端到端路由智能和永续性。iFCP等解决方案严格依赖基于逐级的多路径解决方案提供永续性。但是，由于IVR通过IVR边界交换机传播某些FSPF路径，因而可以使用简单的标准FSPF从端到端网络角度选择路径和确定冗余路径。对于iFCP的解决方案不能担保的拓扑中的任何路径故障，这个功能都能提供快速、可靠的恢复机制。
3.4. IVR通道(Transit)VSAN
通道VSAN的网络架构图
对扩展SAN DR解决方案特别有用的另一个IVR配臵选项是使用IVR 通道VSAN。通道VSAN是用于连接两个边缘IVR VSAN的VSAN，有了它，无需从一个IVR VSAN扩展到另一个VSAN就能建立IVR服务。事实上，通道VSAN能够扩展边界交换机的范围，到达参与的各IVR VSAN。
如图“IVR的网络架构示意图”所示，设备需要通信的两个边缘IVR VSAN已经与普通VSAN边界交换机相连。在这个简单的配臵中，不需要通道VSAN。事实上，虽然通道VSAN通常是任选设备，但在某些配臵中，最好保持隔离状态，例如广域网SAN扩展解决方案。如图“通道VSAN 的网络架构图”所示的通道VSAN可用于连接广域网上三个不同的边缘VSAN。值得注意的是，通道VSAN中也可以包含各种设备，而且边缘VSAN 之间可以存在多个通道VSAN。IVR建立IVR服务时，不需要将任何边缘IVR VSAN扩展到普通边界交换机。在这个例子中，这种做法不需要在
高延迟长途网上扩展本地IVR VSAN。
IVR型VSAN A和VSAN B的网络控制流量在边界交换机处本地终止，IVR型VSAN C的控制流量在远程边界交换机处本地终止。通道VSAN是横跨边界交换机间广域连接的唯一VSAN。因此，发生在每个边缘IVR VSAN中的网络事件，无论是普通控制流量，还是错误事件，都将局限在各自的边缘VSAN内，不会穿越和影响其它IVR型VSAN或通道VSAN。在稳定环境中，参与IVR的所有交换机都将交换巨大的控制流量。在某两台交换机之间的正常ISL链路初始化过程中，交换机将交换少量控制协议信息。除这些信息外，位于通道VSAN边缘的两台交换机还将交换严格属于将通过通道VSAN建立IVR连接的那些设备的 FSPF和名称服务器数据库信息。这种交换为需要IVR连接的每台设备增加了大约相当于两个光纤通道帧的流量。
与iFCP等其它互联方法相比，IVR解决方案的另一个优点是，它对通道VSAN可以使用的传输技术没有限制。IVR服务严格依赖基本光纤通道服务，因而可以利用光纤通道能够使用的所有传输选项，例如光纤通道本身、DWDM/CWDM传输、SONET传输或FCIP。在基于iFCP的解决方案中，iFCP必须是以太网/IP协议，不需要增加网关设备。
4. 结论
通过VSANs+IVR技术组合能够满足许多SAN孤岛互联的需求；SAN 的结构可以从原来的物理结构升级为逻辑的虚拟存储结构；VSANs结构为业务提供接入，不需要额外的设备，连接，配臵命令即可；可以为业务提供精确的端口；可以为不同类型的应用提供不同的存储服务而不需要重新构建物理架构；不需要配臵Zonging即可以分隔不同类
型的OS，保障安全性；动态地扩展和收缩VSANs不会对他的VSANs造成影响。
5. 参考文献
VIRTUAL FABRICS AND INTER-FABRICS ROUTING…………Alex Feng CISCO数据中心容灾及业务永续解决方案………………CISCO版权SAN互联解决方案技术白皮书……………………………CISCO版权