各厂商高端存储产品的技术对比
目录
1 背景信息 (4)
2 技术指标列表 .................................... 错误!未定义书签。
2.1 大型号指标列表.............................. 错误!未定义书签。
2.2 小型号指标列表.............................. 错误!未定义书签。
3 体系结构分析 (5)
3.1 HDS USP V/USP VM体系结构——先进的统一星型网络架构 (5)
3.2 EMC DMX-4/DMX-4 950体系结构 (7)
3.3 IBM DS8300 Turbo/DS8100 Turbo体系结构——落后的双控制器结构8
4 Cache技术分析 (11)
4.1 HDS USP V/VM缓存技术 (11)
4.2 EMC DMX-4缓存技术 (11)
4.3 IBM DS8000缓存技术 (12)
5 缓存并发访问能力比较 (13)
5.1 HDS USP V缓存并发数 (13)
5.2 HDS USP VM缓存并发数 (14)
5.3 EMC DMX-4/DMX-4 950缓存并发数 (14)
5.4 DS8300缓存并发数 (14)
5.5 小结 (15)
6 IO性能 (16)
6.1 测试结果公开网站 (16)
6.2 DS8300测试结果 (16)
6.3 USP V测试结果 (16)
6.4 对比 (17)
6.5 DMX-4/950测试结果 (17)
7 存储虚拟化整合技术 (18)
7.1 HDS USP V/USP VM虚拟化 (18)
7.2 IBM和EMC虚拟化技术 (19)
8 存储分区技术 (21)
9 动态供应技术 .................................... 错误!未定义书签。
10 各个厂商的宕机记录............................ 错误!未定义书签。
11 HDS向客户承诺的系统可靠性 .................... 错误!未定义书签。
1 背景信息
存储（即智能磁盘阵列）已经成为企业IT支撑系统越来越重要的一个分支。目前全球范围公认的主流存储解决方案供应商主要有HP、EMC、IBM 等。随着技术的发展和市场的分化，上述几个主流厂商都向市场提供两个系列的存储产品：即高端存储和中端存储两个系列，分别满足不同级别和不同规模的应用需求。
为了更好地进行产品选型，我们需要对各厂商的产品进行深入分析对比，以作为我们选择的重要依据。本文首先对各厂商的高端存储进行分析，中端存储的分析将在其他文件中提供。下表是各厂商高端存储型号的详细列表。
对各厂商的产品进行对比，包括主要指标列表、体系结构、Cache技术、性能、存储虚拟化功能、存储分区、以及容量动态供应技术等。
另外，还要说明一下，通过各厂商的技术资料和产品介绍，我们了解到上表中各厂商的小型号和大型号（例如HP XP20000和XP24000）在体系架构和总体功能上是完全相同的，其系统内部运行的也是同一套微码（存储操作系统），所不同的主要是系统扩展性方面，例如前端控制器、后端控制器、缓存、最大磁盘的数量等。
2 体系结构分析
体系结构决定着产品的本质特性：一个产品拥有优秀、均衡的体系结构，这个产品才能拥有良好的可靠性和稳定性，才能拥有高的性能。
2.1 HP XP系列产品体系结构——先进的统一星型网络架构
HP XP系列产品作为高端存储，拥有一个适合存储系统的、没有潜在瓶颈的、全光纤交换式和点对点直连相混合的统一星型网络体系架构Universal Star Network（USN），如下图所示。
图中CHA为前端通道控制器，DKA为后端磁盘控制器，SMA是控制缓存，CMA是数据缓存，CSW是内部缓存交换机。
HP XP系列产品的技术白皮书列举了USN统一星型网络体系结构拥有2项核心技术：
第一项：数据缓存读写采用全光纤交换式架构。
交换式体系结构又称CrossBar结构，是一种高带宽、大吞吐率和无
阻塞的体系结构，已经广泛应用在IT行业、电信行业的高端设备
上。不论是大型UNIX主机（HP Superdome、Sun Enterprise
Server 25K、IBM P590等），以太网核心交换机（Cisco）、存储网核
心交换机（如Brocade、McData以及Cisco SAN Director），甚至是
电信交换机等均采用了无阻塞CrossBar技术作为其系统架构，这已
经是业界发展的方向。
Cache是存储系统的核心部件，XP把整个系统的所有缓存Cache分
为两个独立部分：数据缓存（如上图CMA所示）和控制缓存（上图
SMA所示）。其中数据缓存用来存放服务器/主机读写的数据，控制缓
存是用来存放数据缓存的索引（我们称之为metadata）以及系统通
信数据的共享区的。存储系统把数据缓存在逻辑上分为若干个page
（大小为4K，8K，16K等），每个page有一个线性地址（即page
ID）。每次读写都是以page为单位进行，即使是只需要读一个
byte，最后对缓存的读写也是以一个page进行的。
因此对于数据缓存来说，最重要的是需要持续的高带宽和大吞吐
率，XP在数据缓存读写上采用交换式结构设计——这是真正的根据存储系统的特点而设计的。
o XP24000从内部交换机到数据缓存设计有64路1.0625GB/s的通路连接起来，数据缓存共有68GB/s的带宽；
o XP20000从内部交换机到数据缓存设计有8路1.0625GB/s的通路连接起来，数据缓存共有8.5GB/s的带宽；
其次是控制缓存采用点对点直连技术。
如上文所述，控制缓存主要用来存放数据缓存的索引和共享通讯数据。其中数据缓存的索引是一张二元表，其数据结构如下：
某个数据块在磁盘数据卷上的地
某个数据块在数据缓存上的地址址
业务软件读某个数据 > 数据库演变为读某个数据库表纪录 > 数据库底层演变为读某个逻辑卷的某个数据块 > 操作系统卷管理软件演变为读某个数据卷的某个数据块 > XP24000演变为某个LUN的某个page > XP24000在控制缓存中查找索引，判断是否该数据page 在数据缓存中。如果返回一个非0值，说明该数据在数据缓存中，这次读操作为读命中read hit；如果返回为一个0值，这说明此次操作为read miss，系统将在共享缓存中写入该数据块page ID，并通知后端磁盘控制器将数据块读入到数据缓存中。
如下特点：
o每次对控制缓存的访问的数据量很小，一般就是一个长整数（即page ID）；
o读写并发度很高，因为一次数据读写可能导致多次控制缓存的读写；
o控制缓存中还包含了大量存储控制器之间的通信数据，但每次
访问的数据量都不大。
o因此对控制缓存的技术要求是：控制器到控制缓存的通道要多，每条通道的带宽不必很宽。
XP就是遵循这个设计原则，对控制缓存的读写设计为点对点直连结
构：
?XP24000每个控制器（包括前后端控制器）都通过4路150MB/s的通路直接连接到每个控制缓存卡上，因此系统满配
置32块控制器的情况下，一共设计有4*32*2=256路150MB/s
的通路，整个带宽为38.4GB/s；
?XP20000每个控制器都通过2路150MB/s的通路直接连接到每个控制缓存卡上，因此系统满配置8块控制器的情况下，一
共设计有2*8*2=32路150MB/s的通路，整个带宽为
4.8GB/s；
结论
HP XP采用数据缓存交换式结构，控制缓存点对点直连结构是最符合
存储系统对数据访问和管理的特点的，这种统一星型网络结构是最
稳定和均衡、最先进和最高性能的体系架构。这是其他厂商所无法
相比的。
2.2 EMC DMX-4/DMX-4 950体系结构
EMC高端存储系统2个型号DMX-4/DMX-4 950采用的是类似的结构，但又有不同。我们先分析一下DMX-4的结构，再阐述DMX-4 950结构的不同之处。
DMX-4采用的是DMX结构，即直连矩阵结构Direct Matrix Architecture。EMC称这种点对点DMX结构是能够彻底消除系统带宽瓶颈的“先进”架构，是比已变成工业界事实标准的CrossBar高端系统架构还要优越的体系结构？我们分析一下实际情况。
下图就是DMX体系结构示意图。
从图中可知，DMX结构中主要可描述如下：
前端8个各类通道控制器与8块Cache卡点对点直接相连，共64个
连接通路；
8个后端磁盘控制器也与8块Cache直接相连，共64个连接通道；这里有一点最重要，就是所有通道和磁盘控制器均连接到一个称之为“Control and Communication Signals”的卡上，如图中所标示的。这个卡实际上是一个Multiplexer。Multiplexer是什么东西呢？它实际上是一个多路复用器，DMX-4/DMX-4 950采用这种多路复用器对多个通道控制器和磁盘控制器访问同一个Cache卡可能产生的冲突进行控制。
现在很多人都不知道Multiplexer是什么东西。实际上在早期IBM大型机上使用的SNA网络上就是使用的这种“多路复用器”，直到网络交换机出现以后，才被市场所淘汰。与交换技术和交换机相比，Multiplexer是一种原始和低级的复用设备，其延迟和效率都非常低，仅适合对数据量不大的某个控制信号使用，而采用到存储系统中来控制多路对Cache卡的冲突，很难适应高端存储系统可靠性和稳定性不断提高的要求，其本身已经为市场所淘汰。
另外需要指出的是，DMX-4 950中，Cache卡只有2块，前端通道控制器与后端磁盘控制器共用一个控制器，共用一个带宽，因此其带宽很小，该产品的可靠性和性能可想而知。而相比之下，HDS USP VM所有的控制器都是互相独立的，不是共享同一块控制器。
2.3 IBM DS8000体系结构——落后的双控制器结构
虽然DS8000系列产品被IBM称之为高端存储系统，但是其采用的是典型的双控制器结构，这种架构是中端存储系统采用的结构。因此有不少第三方分析师把DS8000定位为一个具有高端的可扩展性能力的中端存储产品。请看下图。
资料来源：IBM DS8000 Redbook
如图所示，DS8000实质上是由左右两边2台简装的IBM p570小型机作为控制器，共享内部总线（RIO-G loop）的这样一个双控制器共享总线结
构。这个结构是典型的中端存储的结构，下图是各厂商中端存储的体系结构，这些中端存储包括HDS AMS1000、EMC CX3-80、IBM DS4800。大家请看看有何不同？
体系结构决定着系统的档次和定位，这就是为什么众多第三方独立咨询机构都把DS8000产品定位为中端存储产品的本质原因。
HDS AMS系列存储系统架构图
总之，DS8000是由2台简装的p570，其上运行简化的unix操作系统和阵列控制软件，通过共享总线，外挂接口卡以及若干磁盘组成。特别要指出的是，2台p570上运行的unix简化版和阵列控制软件，并不是存储系统上的微码，而是普通服务器上的Cluster软件和相关的应用软件，其执行效率和响应速度都无法满足存储系统对微码的要求。存储系统的微码需要简化、高效、执行速度快、周而复始地完成服务器/主机对数据的访问请求，以及相关存储软件功能（例如数据本地复制克隆快照、远程数据复制等），而DS8000显然难于满足这个要求。
更重要的是，这种设计最致命的是影响系统的可靠性和稳定性。众所周知，双机热备集群技术对于普通应用系统来说，基本能满足业务要求——在一台小型机故障的情况下，在有限时间里业务能切换到另一台小型机上，但是所有使用过cluster的客户都很清楚，这个有限时间是在分钟一级——就是配置得非常优化的应用系统，这个时间也往往要5分钟以上。5分钟对服务器来说，可能是可以忍受的，而且也仅仅影响到这台服务器上的业务。但对于存储系统来说，特别是高端存储系统，这几乎是致命的。存储系统是业务IT支撑平台最中心的设备，在数据集中化趋势越来越明显的情况下，众多客户整个企业可能所有的业务均整合在同一台存储系统中，这台高端存储系统需要支撑所有服务器和主机，每秒钟可能会发生几百甚至几千个I/O，DS8000一旦出现一台p570故障，系统需要在几分钟之后才能把这部分数据切换到另一台p570上，系统会怎样，众多业务服务器/主机会怎样，整个企业前端业务会怎样？尊敬的客户，您敢用吗？
而这一点在中端存储上都不会出现，因为中端存储采用的系统微码的实时性都要高于DS8000，例如HDS AMS1000采用的是VxWorks的切换时间都在
毫秒级，对前端服务器的读写没有影响。
这是客户反映的IBM DS8000不稳定的根本原因。
3 Cache技术分析
存储系统中数据最终是存放在若干个磁盘。由于磁盘的读写本质上是一个机械过程，其速度比CPU速度要低1到2个数量级。因此对于存储系统来说，一边是服务器/主机高速请求，另一边是磁盘低速读写，因此必须通过相应部件和技术来调和这个高低矛盾。这个部件和技术就是高速缓存（Cache）和缓存管理技术。本小节就着重分析各厂商的Cache管理技术。
3.1 HP XP20000/XP24000缓存技术
XP20000/XP24000在Cache设计方面拥有多项专利技术。如下图所示。
XP采用控制缓存、控制链路与数据缓存、数据链路分离设计技术。
HP实现的是集中式缓存设计——控制缓存相当于数据缓存的集中索
引。XP拥有2块独立的控制缓存卡，互为镜像保护，不存在单点故
障。任何一个读写操作以前，均要通过控制缓存，迅速检索出某个
卷的某个数据块在数据缓存的线性地址，然后再依据该地址对数据
块进行操作。这种集中式缓存设计拥有业界最高的缓存管理效率；
XP具备缓存智能调整策略，可自动识别读、写缓存的比例已达到缓
存利用的最佳效率。30%容量是基本读缓存，30%是基本写缓存，40%
是智能调整部分，因此XP24000可根据业务特点灵活调整，使得系
统能自动吻合客户需求，表现最高的系统效率；
3.2 EMC DMX-4缓存技术
DMX-4/DMX-4 950采用的是典型的分布式缓存设计。
DMX-4的缓存满配置8块缓存卡中，每块缓存卡互相独立。DMX-4缓存为混合缓存，既包括数据信息，也包括控制信息，而不存在独立和集中的控制缓存卡，每块缓存卡上分配一定地址范围作为该缓存卡的控制信息或索引。即每块缓存卡部分内容为控制信息，其他为数据信息，这种无集中控制缓存机制的设计就是分布式缓存架构。
在分布式缓存结构中，对任一数据块的访问，必须对缓存卡进行遍历查询，至少要遍历缓存卡的控制信息区域。因此该缓存设计模式效率是比较低的，这就是EMC不参加SPC性能测试的原因之一吧。