当前位置:文档之家› 超融合架构与软件定义存储分析

超融合架构与软件定义存储分析

超融合架构与软件定义存储分析
超融合架构与软件定义存储分析

超融合架构(HCI)和软件定义存储(SDS)的关系和发展一、什么是超融合架构(HCI)?

“2012年8月,VCE CTO办公室的Steve Chambers,在其博客中首次提出Hyper Converged (超融合)的概念。当时,超融合指的是,基于标准的X86服务器,在每个物理服务器节点通过Virtual Storage Appliance (虚拟存储设备,简称VSA),管理节点内的HDD和SSD,并与其他节点中的VSA一起来构建一个集群的分布式存储,后来,加入VMware公司的Chuck Hollis在其博客里做出了更为准确的阐述,Hyper Converged,其实就是Hypervisor Converged。Hypervisor (虚拟服务器) 做为位于应用层与基础架构层之间的战略层,能够抽象并池化计算、网络和存储资源,并拥有强大的控制平面的功能,而且Hypervisor(虚拟服务器)能整合软件定义的数据中心内运维管理的经验,管理更简单。

HCI(Hyper Converged Infrastructure),就是超融合基础架构(简称超融合架构),或者超融合基础设施,是指在同一套单元设备(如x86服务器)中具备计算、网络、存储和服务器虚拟化等资源和技术的架构。

HCIA(Hyper Converged Infrastructure Appliance),意指超融合基础架构设备,或者超融合基础设施设备。

HCIA (超融合基础架构设备) 由多个服务器节点构成,每个节点同时提供计算资源和存储资源,支持在线的横向扩展。扩展节点时,性能和存储容量都能线性的增长。它为用户了一个很重要的特性:性能可预测性,性能可确保始终如一地按节点数,简单地、线性地在线扩展。运行在HCIA硬件之上的就是分布式的存储虚拟化软件(包括分布式文件系统),来完成存储资源的池化、部署和管理。典型的HCIA,包括EMC VxRail、DELL推出的VSAN ReadyNodes(就绪节点)一体机,Nutanix一体机,Cisco HyperFlex,华为FusionCube,深信服aSAN,联想AIO,达沃小金刚等。正因为大家都看好超融合的市场趋势,VSAN推出后,存储巨头、服务器巨头都纷纷支持,例如早先的基于EVO:Rail的一体机,就有EMC(VSPEX BLUE)、NetApp、HDS、DELL、SuperMicro(超微)、Inspur(浪潮)、Fujitsu(富士通)等IT大厂商;近来基于VSAN Ready Nodes,也有许多IT大厂(包含存储厂商和服务器厂商)已经或者将要推出类似EMC VxRail的,多种型号配置的VSAN一体机。

可以看出,HCI (超融合架构) 符合Server SAN的特征:采用商用硬件,分布式,能在线横向扩展。实际上,HCI是Server SAN的一种,是Server SAN的子集。

Server SAN中除了HCI以外,至少还有另外一类,就是仍然采用商用硬件,也能在线横向扩展,但每个节点不提供计算资源,只提供存储资源的存储产品”

---

Appliance,虚拟存储设备),才能访问Hypervisor的物理存储设备,EMC ScaleIO、华为FusionStorage等众多HCI都是类似NutanixCVM这种方式。VSAN这类的优势在于IO 路径短,在相同硬件配置下,相同的实际业务应用场景下,性能表现更好,而且消耗Hypervisor节点服务器上的CPU和内存更少。如下图所示:

当然,内嵌在Hypervisor的VSAN的劣势也凸显出来,就是:VSAN主要为本集群的vSphere虚机提供存储资源。不过,VSAN通过NAS插件,以及未来不久将要发布的支持iSCSI接口,可以对外(包括其他Hypervisor虚机,甚至物理机)提供存储资源。

二、什么是软件定义存储(SDS)?

首先,开宗明义:软件定义,为云而生。这里包括了软件定义的数据中心整个概念。

其次,我们具体来看下软件定义存储。在笔者主编的《软件定义存储:原理、实践与生态》书籍当中,提到:

---

软件定义的存储(SDS)是一个不断进化的概念,在现阶段看来,是指存储资源由软件自动控制,通过抽象、池化和自动化,将标准服务器内置存储、直连存储,外置存储,或云存储等存储资源整合起来,实现应用感知,或者基于策略驱动的部署、变更和管理,最终达到存储即服务的目标。

软件定义存储包含两个部分,一部分是控制平面,基于策略或者基于应用的存储资源分配、变更和管理;另一部分是数据平面,负责数据的存放、处理和优化。

三、HCI与SDS的关系和发展

我认为两者是相辅相成,相互促进的。单纯从存储属性来看,HCI是SDS的一部分,正如前面SDS的分类所描述的那样,HCI属于数据平面。HCI具有的在线横向扩展的特性,非常适合云化的时代,但云化所需的存储资源即刻交付、动态扩展、在线调整,其实还需要借助控制平面的存储策略才能完成。

在笔者的SDS分类里,软件定义存储还包含了能被控制平面层(如VMware SPBM、OpenStack Cinder等)驱动的外置共享存储,不过这部分的发展在国内还相对缓慢。软件定义存储的发展,在比较长的一段时间内,还需借助超融合架构的落地和蓬勃发展。

下面所阐述的内容,需要注意HCI软件和HCI一体机的区别。由于目前的市场上,当我们谈到超融合设备时,绝大多数指的是出厂时就预装好软硬件。所以,通常我们听到的超融合架构或者HCI,其实是HCI一体机。而VSAN比较特别的是,大多数是以HCI软件的形态出售,为用户提供了灵活性和多种选择。当然,如果各方面条件具备,用户选择类似EMC VxRail这种VSAN一体机,可以简化部署和运维的工作量。

“写到这里,我想起了有不少朋友经常遇到的困惑:超融合架构是存储的未来吗?软件定义存储不是要做软硬件的解耦吗?不想被传统外置阵列厂商锁定,也不想被新的HCI硬件方式锁定,怎么办?

我个人认为,Server SAN软件厂商选择少数几家服务器硬件厂商,绑定为一体机形式,销售给用户,主要原因是厂商的能力和规模都还太小。

首先,需要肯定的是,存储控制器OS与专有存储控制器硬件的解耦,这本身是一个进步。但是,业界除了VMware能依托其vSphere强大、完整的生态链之外,其他Server SAN 软件厂商很难有能力、资源去做如此广泛的服务器、IO控制器、SSD、HDD等部件组合的兼容验证。

记得之前在Compellent公司时(被DELL收购前),公司维持着一张Excel表格,每做过一次验证测试,比如HBA卡的某种新型号,甚至某种原来型号的新微码,就增加一条记录。因为初创公司是很难有时间、人力和成本去做,如同天文数字般组合的兼容性验证。

VSAN Ready Nodes之所以可以按照HCI的软件版被用户广泛接受,就是因为依托于vSphere已有验证库的基础之上,已经通过了十多个服务器厂商,成百上千种不同的部件组合(特别是IO控制器和SSD)的严格测试和验证,有时针对SSD的性能测试,甚至长达很多天的时间持续的运行。

所以,初创的Server SAN软件公司在其起步的时候,选择两、三家的服务器硬件进行捆绑销售,是明智的选择。这种标准件的产品推出,是经过了多次磨合最终确定的,兼容性稳定性得以验证,有时甚至针对某些特性在软件或者硬件进行优化,用户使用时能够获得可预期的体验。换句话说,其实也是无可奈何的选择,因为初创公司没有资源去穷尽各种组合的兼容性验证或优化。

对于用户而言,需要警惕的是,如果Server SAN软件公司开始和新的服务器硬件公司合作时,最好先观望一段时间,等待软硬件经过了足够长的磨合期,才去考虑购买新的HCI一体机,以确保存储的稳定性。

所以超融合架构以软硬件捆绑形式呈现,我认为是一个过渡期,当然这个过渡期有可能比较长。如果用户不喜欢被少数几家锁定,赶紧考虑VSAN Ready Nodes吧: ) 相信VMware 经过多年的磨合,已经与各大服务器厂商的硬件磨合得非常完美了”

我在2016年7月3日SDS新书发布会及SDS技术沙龙的演讲里,也重申了这一观点:

实际上,当软件的兼容性在五花八门的各种硬件上不成问题时,紧耦合就会成为历史。例如,SDS之于外置磁盘阵列(也即专有的硬件存储)。再举个例子,以VMware vSphere或Microsoft Hyper-V为例,你现在听说过Hypervisor一体机吗?我相信假以时日,各种不同品牌的HCI软件的兼容性,在多种服务器的不同部件组合得到解决后,用户将不用担心新的硬件锁定。不过,也许需要多年以后才能得到彻底解决,而在这期间,HCI一体机就有其存在的价值。

另外,软件定义除了因云而生以外,也受益于硬件日新月异的发展。因为CPU、存储介质(包含内存和SSD等)、高速网络等厂商的硬件技术的突破,使得软件定义有了用武之地。

就在最近两天,看到一则消息,劳伦斯伯克利国家实验室的研究人员使用新材料,将晶体管的制程从14纳米缩减到了1纳米。我想,这是不是意味着,软件定义是不是有了更大的发展空间: )

基础架构配置与变更管理制度

基础架构配置与变更管理制度 第一节总则 第一条为合理配置系统参数,实施硬件资源的有序调配,保证硬件设施与系统软件配置能在最大程度上满足信息系统运行与安全需要,特制定本规定。 第二条本规定所指基础架构,请参见《IT基础架构规范》中的定义。 第三条本规定所涉及配置与变更管理范围包括:硬件设施与平台软件的配置与变更、基础架构布局的配置与变更。 第四条规定中所指配置管理单位:省公司信息技术处。 第五条本规定中所指配置管理员包括系统管理员、数据库管理员、网络管理员、安全管理员等。 第二节平台软件的基准配置 第六条平台软件的基准配置包括操作系统软件、数据库软件、网络设备系统软件、安全设备系统软件的基准配置等。维护单位应为平台软件建立合适的配置基准。配置基准应确保系统安全与整体 安全要求的一致性。 第七条经授权的配置管理员应根据系统安装手册与配置基准对初装系统或设备进行基准配置,详细记录安装过程与设置,确保配置的正确性。配置管理员应建立该配置对象的《配置清单》并在配 置清单中清楚体现基准配置。 第八条完成基准配置的系统或设备需进行运行测试和安全性检查。运行测试与安全检查通过后,配置管理员需在配置记录上写明运行测试与安全检查结果,由配置监管人签字确认。只有在测试与 安全检查没有问题的情况下该系统或设备才能在生产环境下运行。 第三节平台软件的配置变更 第九条平台软件的配置变更包括但不限于:操作系统软件、数据库软件、网络设备系统软件、安全设备系统软件、系统安全策略的配置变更;供应商发布的补丁、升级包的使用等。 第十条配置管理员负责对平台软件进行配置管理和维护,配置监管人负责平台软件配置正确性的确认。可通过操作系统层面对系统配置文件的访问权限的设置、明确的职责分工来确保配置和变 更只能由被授权的人进行操作。 第十一条配置变更应有统一的配置变更申请、审批流程。《配置变更申请、审批表》中应写明该配置变更所属设备的名称、配置的类别(操作系统、数据库、路由策略、安全策略、补丁包/升级包 的使用等)和配置变更的原因及内容。若配置变更源于第三方服务商的建议则应同时提交第三 方服务商建议文档。 第十二条配置管理员应根据变更申请制定配置变更计划,变更计划中应详细说明该配置变更可能对系统本身以及其他系统产生的影响、配置变更发生的时间、地点等。 第十三条配置单位管理层应根据配置变更计划及该配置变更所能产生的影响进行分析评估,对包括获取

超融合

什么叫“超融合基础架构 最近,深信服的收到不少业界朋友的咨询:“你们准备推出的超融合架构,究竟 是什么概念?” 其实,“超融合”这个概念,可以简单理解为:将虚拟计算平台和存储融合到一起,将每台服务器里面自带的硬盘组成存储池,以虚拟化的形式提供数据中心所需要的计算、网络、安全以及存储等IT基础架构。在这里,也讲解一下超融合相对于传统虚拟化方案的优势。 横向与纵向的扩展性 顾名思义,横向扩展就是当发现存储和计算资源不够用了,按需添加服务器即可。比如,当用户的共享存储写满了,用户不得不花大价钱去购买一个新的存储机柜,然而此时存储机柜的资源利用率是很低的。而使用超融合方案的用户,他们只需要投入较少的费用去购买一个新的服务器加入集群,即可扩展存储空间。 便捷提供多副本,提高数据安全 超融合方案可便捷支持2-3个副本。当某些服务器损坏时,若采用超融合方案,所需要的数据还会存在对应的副本里,工作还能正常进行。而对比于传统的共享存储,用户想做两个副本时,只好硬着头皮再买一个一模一样的存储设备做备份,增加了不少IT投资。 分布式存储,拉近计算和存储的距离 传统的共享存储在数据读写时,都需要通过网线或光纤进行数据传输。而超融合分布式的存储在读数据的时候,基本都是直接读取本地的副本数据,减少数据流经网线或光纤的时间,加快数据读取速度。 软硬件一体化,省钱省力省心

超融合方案所支持的软硬件一体化,即用户可以一次性轻松地把云数据中心部署好,其中包括服务器、服务器虚拟化、存储虚拟化等虚拟化软件。信服君做过调研对比,不少用户会分开购买硬件和软件,采购成本较高。同时,软硬件一体机在出厂时已将软件植入到硬件当中,并且已经通过兼容测试,用户可直接架到机房,通电并简单配置即可使用。 而相比于国外厂商,深信服的超融合方案会更加全面,包含计算资源虚拟化、存储资源虚拟化及网络资源虚拟化,并且提供完整的2-7层网络服务。当然,深信服君最后还得提醒大家一句,在选择超融合方案时,还是有很多东西需要考虑的,如产品安全可靠性、后期维护是否便捷、服务支持是否及时、采购成本对比等。服务器里面自带的硬盘组成存储池,以虚拟化的形式提供数据中心所需要的计算、网络、安全以及存储等IT基础架构。在这里,也讲解一下超融合相对于传统虚拟化方案的优势。

软件定义网络SDN文献综述

软件定义网络SDN研究 文献综述 1.引言 现有的网络设备(如交换机、路由器等)都是设备制造商在专门的硬件系统基础上高度集成大量网络协议、配备专用的设备控制系统,构成的一个相对独立封闭的网络设备[1]。在近几十年的发展过程中,云计算、移动互联网等相关技术的兴起和发展加快了网络技术的变革历程[2]。网络带宽需求的持续攀升、网络业务的丰富化、个性化等都给新一代网络提出了更高的要求。面对日益复杂的网络环境,这种紧耦合大型主机式的发展限制了IP网络创新技术的出现,更多的是通过不断增长的RFC数量对现行网络进行修修补补,造成了交换机/路由器设备控制功能的高度复杂。网络研究人员想要在真实网络中基于真实生产流量进行大规模网络实验几乎是不可能的,因为网络设备是封闭的,没有提供开放的API,无法对网络设备进行自动化配置和对网络流量进行实时操控。 为了适应今后互联网业务的需求,业形成了“现在是创新思考互联网基本体系结构、采用新的设计理念的时候”的主流意见[3],并对未来网络的体系架构提出了新的性质和功能需求[4]。软件定义网络[5]SDN的出现为人们提供了一种崭新的思路。 本文从SDN的起源和概念出发,分析了SDN的逻辑架构与技术特点、描述了SDN 的标准化进程,梳理了国外的研究进展与最新动态,在此基础上提出了SDN技术在未来的发展中面临的挑战并总结了可能的研究方向。 2.起源与概念 2.1起源 2006 年,斯坦福大学启动了名为“Clean-Slate Design for the Internet”项目,该项目旨在研究提出一种全新的网络技术,以突破目前互联网基础架构的限制,更好地支持新的技术应用和创新。通过该项目,来自斯坦福大学的学生 Martin Casado

超融合架构解读

超融合架构解读

超融合可以说是目前业内最大的热点之一,大型厂商和创业公司纷纷投身其中。不过,与从业者的津津乐道相比,超融合的广大目标用户却对其缺乏足够的认识,甚至一些IT专业人士也还不知超融合究竟为何物。因此,在华为公司的支持下,企事录从即日起开设“FusionCube超融合大讲堂”,以每10天左右一期的节奏连载,帮助您深入了解超融合的方方面面。 本文作为开篇,先来说说超融合是什么…… 近几年来,超融合系统的热度越来越高,各种打着超融合旗号的公司和产品如雨后春笋般涌现,令人眼花缭乱,也引发了很多困惑:究竟什么是超融合系统?与融合系统是什么关系?一体机又是怎么回事? 最关键的是:超融合有什么用?回答了之前的问题,也就不难理解了。 基本概念与分类 无论从中英文的字面意义来理解,超融合(Hyperconverged)都应该是在融合(Converged)之后发展起来的——如果要分类,前者应该属于后者的一支。 IDC和Gartner也是这么认为的,虽然在细节上有所区别。 譬如,Gartner似乎很喜欢Integrated(集成)和Infrastructure(基础设施)这两个词。大的分类上,IDC所谓Converged Systems(融合系统),Gartner称为Integrated Systems(集成系统)。

IDC与Gartner对融合系统的大致分类(注:随时间推移略有变化) IDC将融合系统(Converged Systems)分为三类,前两类——集成系统(Integrated Systems)和认证参考系统(Certified Reference Systems)——主要是供应商构成不同,技术成分上基本没有区别,都是由服务器硬件、磁盘存储系统、网络设备供应商和基本构件/系统管理软件组成的供应商认证的预集成系统。 Gartner也有对应的分类,分别称为集成基础设施(Integrated Infrastructure)系统和参考架构(Reference Architecture)系统,合称融合基础设施(Converged Infrastructure,CI)。

超融合是安全的有力保障

超融合是安全的有力保障 为了更好地支持未来3~5年校园网的建设规划,陕西省行政学院迫切需对原有虚拟化平台进行改造。在2016年立项的智慧校园项目信息平台建设项目中,学院明确提出要建立一套完善的数据安全机制。 行业用户选择超融合解决方案的原因有很多种:有人希望借助超融合技术实现IT基础架构的高度整合,从而有效地简化管理并降低成本;有人则希望利用超融合解决方案替代传统的SAN存储,更好地支持“互联网+”应用;而陕西省行政学院之所以选择联想的超融合解决方案,主要目的还是确保整个系统和数据的安全。 兼顾两个系统 与普通的教育和培训机构不同,陕西省行政学院是培训公务员和国企领导干部,培养公共管理人员和政策研究人员,开展社会科学研究,为陕西省委、省政府提供决策咨询服务的机构。学院建有设备先进、覆盖全院的校园网络和各种现代化培训教学设施,具备同期在院培训四五百人的能力,并于2010年被国家行政学院列为全国首批教学科研基地。 正是因为参与培训的学员身份的特殊性,而且流动性

大,学院对于保证学员个人信息,以及学习信息的安全性提出了非常高的要求。另外,学院希望通过大量数据的积累,为今后的教育和培训提供决策支撑,同时实现快速的查询等。 随着信息化建设的不断深入和完善,学院目前已经完成了服务器虚拟化的整合,可以确保应用的安全,当某台服务器出现故障时,应用可以自动切换,但是系统架构仍然存在单点隐患,因为原有的系统中只有一台直连存储设备。随着新业务系统不断上线,原有虚拟化平台的隐患越来越明显。为了更好地支持未来3~5年校园网的建设规划,学院迫切需对原有虚拟化平台进行改造。在2016年立项的智慧校园项目信息平台建设项目中,学院明确提出要建立一套完善的数据安全机制。 据陕西省行政学院电子设备与信息管理处刘旭勇处长介绍,智慧校园项目信息平台建设项目于2016年4月开始筹备,学院针对数据安全这一问题进行了广泛而深入的调研,一方面要确保数据万无一失;另一方面,鉴于学院当前的培训规模和实际情况,又不能搞大投入,而是要追求高性价比。在这一原则指导下,项目方案于当年10月完成,11月开始进行建设,12月中旬整个项目基本完工。 学院原计划通过存储网关和增加新的SAN存储来构建存储资源池,以解决原有存储资源池的单点隐患。但是,通

超融合架构与软件定义存储分析

超融合架构(HCI)和软件定义存储(SDS)的关系和发展一、什么是超融合架构(HCI)? “2012年8月,VCE CTO办公室的Steve Chambers,在其博客中首次提出Hyper Converged (超融合)的概念。当时,超融合指的是,基于标准的X86服务器,在每个物理服务器节点通过Virtual Storage Appliance (虚拟存储设备,简称VSA),管理节点内的HDD和SSD,并与其他节点中的VSA一起来构建一个集群的分布式存储,后来,加入VMware公司的Chuck Hollis在其博客里做出了更为准确的阐述,Hyper Converged,其实就是Hypervisor Converged。Hypervisor (虚拟服务器) 做为位于应用层与基础架构层之间的战略层,能够抽象并池化计算、网络和存储资源,并拥有强大的控制平面的功能,而且Hypervisor(虚拟服务器)能整合软件定义的数据中心内运维管理的经验,管理更简单。 HCI(Hyper Converged Infrastructure),就是超融合基础架构(简称超融合架构),或者超融合基础设施,是指在同一套单元设备(如x86服务器)中具备计算、网络、存储和服务器虚拟化等资源和技术的架构。 HCIA(Hyper Converged Infrastructure Appliance),意指超融合基础架构设备,或者超融合基础设施设备。

HCIA (超融合基础架构设备) 由多个服务器节点构成,每个节点同时提供计算资源和存储资源,支持在线的横向扩展。扩展节点时,性能和存储容量都能线性的增长。它为用户了一个很重要的特性:性能可预测性,性能可确保始终如一地按节点数,简单地、线性地在线扩展。运行在HCIA硬件之上的就是分布式的存储虚拟化软件(包括分布式文件系统),来完成存储资源的池化、部署和管理。典型的HCIA,包括EMC VxRail、DELL推出的VSAN ReadyNodes(就绪节点)一体机,Nutanix一体机,Cisco HyperFlex,华为FusionCube,深信服aSAN,联想AIO,达沃小金刚等。正因为大家都看好超融合的市场趋势,VSAN推出后,存储巨头、服务器巨头都纷纷支持,例如早先的基于EVO:Rail的一体机,就有EMC(VSPEX BLUE)、NetApp、HDS、DELL、SuperMicro(超微)、Inspur(浪潮)、Fujitsu(富士通)等IT大厂商;近来基于VSAN Ready Nodes,也有许多IT大厂(包含存储厂商和服务器厂商)已经或者将要推出类似EMC VxRail的,多种型号配置的VSAN一体机。 可以看出,HCI (超融合架构) 符合Server SAN的特征:采用商用硬件,分布式,能在线横向扩展。实际上,HCI是Server SAN的一种,是Server SAN的子集。 Server SAN中除了HCI以外,至少还有另外一类,就是仍然采用商用硬件,也能在线横向扩展,但每个节点不提供计算资源,只提供存储资源的存储产品” ---

超融合:架构演变和技术发展

超融合:架构演变和技术发展 开篇推荐: ?如何学习微服务大规模设计? (点击文字链接可阅读) 1、超融合:软件定义一切趋势下的诱人组合 超融合是以虚拟化为核心,将计算、存储、网络等虚拟资源融合到一台标准x86 服务器中形成基本架构单元,通过一整套虚拟化软件,实现存储、计算、网络等基础功能的虚拟化,从而使购买者到手不需要进行任何硬件的配置就可以直接使用。 “超”特指虚拟化,对应虚拟化计算架构。这一概念最早源自Nutanix 等存储初创厂商将Google/Facebook 等互联网厂商采用的计算存储融合架构用于虚拟化环境,为企业客户提供一种基于X86 硬件平台的计算存储融合产品或解决方案。超融合架构中最根本的变化是存储,由原先的集中共享式存储(SAN、NAS)转向软件定义存储,特别是分布式存储(如Object、Block、File 存储)。 “融合”是指计算和存储部署在同一个节点上,相当于多个组件部署在一个系统中,同时提供计算和存储能力。物理

融合系统中,计算和存储仍然可以是两个独立的组件,没有直接的相互依赖关系。超融合则重点以虚拟化计算为中心,计算和存储紧密相关,存储由虚拟机而非物理机 CVM(Controller VM)来控制并将分散的存储资源形成统一的存储池,而后再提供给Hypervisor 用于创建应用虚拟机。 超融合已从1.0 阶段发展至3.0 阶段,服务云平台化趋势明显,应用场景不断丰富。超融合1.0,特点是简单的硬件堆砌,将服务器、存储、网络设备打包进一个“盒子” 中;超融合2.0,其特点则是软件堆砌,一般是机架式服务器+分布式文件系统+第三方虚拟化+第三方云平台,具有更多的软件功能。 在1.0 和2.0 阶段,超融合和云之间仍旧有着“一步之遥”,并不能称之为“开箱即用”的云就绪系统,超融合步入3.0 阶段,呈现以下两个特点:

超融合基础架构在银行私有云中的应用

超融合基础架构在银行私有云中的应用

摘要 某商业银行结合自身“全行一体化”的IT架构战略目标,在私有云建设和实践过程中加深的对超融合基础架构的理解与认识,同时通过对开源软件的学习,改造,逐步形成了自身对超融合架构的自主可控,寄以开源软件的灵活性,探索并实践了一套适用于某商业银行的超融合架构切实可行的方案。 正文 2014初国务院印发《关于促进云计算创新发展培育信息产业新业态的意见》(以下简称《意见》),为加快发展云计算,打造信息产业新业态,推动传统产业升级和新兴产业成长,培育形成新的增长点,促进国民经济提质增效升级。2016年《中国银行业信息科技“十三五”发展规划监管指导意见(征求意见稿)》公开征求意见,银监会第一次对银行业云计算明确发布了监管意见,是中国金融行业云建设的里程牌事件。某商业银行在2014年完成了针对全行科技在云计算层面进行了全面规划,而后依据规划成果逐步实践了测试开发云建设,并开展了“全行一体化”的生产云建设和实施过程,将总行、分行的应用系统都部署至私有云环境中,在云环境中由总行来统一管理计算,存储,网络资源。移动互联网时代的到来对银行业务敏捷性也提出了更高的要求,某商业银行的“全行一体化”就是在这种大背景下产生的,总行相当于云服务提供商,分支行相对于云服务使用者,日常受理来自分支行系统和应用的服务请求数量增长了30%,高效的保障了业务增长需求。传统IT架构应对业务增长,运维维护压力会相应增大,扩展困难,因此光大银行对IT架构的高效扩展和自服务能力作为“全行一体化”部署实践过程中的又一个重点。今天我将介绍我行私有云环境下IT架构的优化实践。 一、对于业界主流的IT架构技术的研究和思考 根据某商业银行“全行一体化”对IT架构的实践需求,我们认为当今在云计算分布式系统中的超融合IT 架构可以很好的快速满足用户业务增长对资源的需求,实现总行对分行资源的统一运维管理,分行业务资源的敏捷满足。一般商业银行都是总分支三级的分布式企业服务架构,在这样的架构体系下,传统的IT

传统架构与超融合方案对比

一站式IT服务商杨瑞 134******** 服务热线 原客户方案 EMC超融合方案 描述 刀片 + 虚拟化 + 光纤存储 描述 光纤存储 + 超融合解决方案(深度集成虚拟化环境) 问题 1.此方案为传统架构,无法横向扩展。 2.数据过度集中,数据风险高,单台存储发生故障时,所有业务均会受影响。 3.缺乏虚机数据保护方案 4.运维管理不够方便 5.兼容性稳定性欠缺 6.扩展能力有限 优势 1.此方案架构先进,稳定成熟,支持横向扩展。 2.超融合方案中的软硬件均经过大量严格的兼容性稳定性测试,专门针对虚拟化环境而设计优化,内置丰富软件功能。 3.无需一次大规模采购,保护现有投资,延伸到云计算架构 描述 软硬件厂商为不同家,硬件为HP,软件为Vmware。描述 软硬件厂商均为EMC,Vmware为EMC控股子公司。 问题 1.从实施到售后,都由不同厂商或集成商商负责。 2.出现问题需要各厂商配合解决,容易出现推诿,影响处理效率。 3.HP目前国内的售后均由第三方紫光公司进行支持。优势 1.一体化方案,加电后15分钟即可开始部署虚拟化环境。 2.从实施到售后均由EMC原厂统一提供专业服务 描述 原存储仅为双控64GB缓存。 刀片单从配置上来看,性能可能占优,也可能存在“超配”情况。 描述 EMC存储缓存总共248GB 超融合配置48core,512GB内存,24TB存储空间,3.2TB缓存加速盘,8个万兆网口。 问题 1.HP存储的二级缓存只能读不能写,对数据库的写性能没有任何提升。 2.刀片为纯硬件产品,没有针对虚拟化做专门的设计与优化。 优势 1.EMC存储可以扩展到1TB二级缓存,可读可写,对性能提升有很大帮助。 2.超融合方案专门为虚拟化设计优化,性能均衡。 3.单台最大可以支持到200个VM,未来可以按需升级。描述 存储+刀片+网络+虚拟化,多套系统,多个管理员描述超融合简化运维,减轻运维人员压力 问题 1.管理界面较多,操作复杂 2.不同产品的运维要求不同,对运维人员的技能要求高 优势 1.上架15分钟即可交付使用,扩展新节点只需5分钟2.统一标准化界面 3.统一管理计算,存储,虚拟化等资源,运维管理简单化描述 多套系统需要同时运维 描述 超融合运维轻便 问题 1.占地空间大,占用机柜空间多。 2.系统耗能高。包括设备耗电,制冷成本。 3.需要运维人员具备多种专业技能,时间多用在底层维护上。 优势 1.一套超融合装置仅仅2U 2.能源消耗低 3.运维人员可以专注于系统整体的运行状况与性能调优。 描述传统备份方式描述虚拟带库+虚拟机连续性数据保护方案 问题 1.备份以固定时间执行,存在数据丢失风险,且不能及时恢复 2.没有专门针对虚拟机的数据保护方案 优势 1.与vCenter无缝集成,可以直接将虚机备份到备份设备中,无需借助专门的备份软件。 2.具有企业级重复数据消除功能,可将备份窗口缩减 90%,备份空间的需求减至原来的1/3,对网络带宽的需求减少达95% 3.快速恢复,恢复速度加快30% 4.可以与EMC备份设备集成扩展。 描述无。描述 1.VSAN+vSphere深度内核级集成 2.内含虚拟机连续性保护软件 3.内含Vmware Data Protection虚机数据保护套件 4.云就绪,内含EMC云管理软件与容量许可 5.内含运维管理软件 6.内含应用商店 问题用户需要为所需软件功能另外付费优势 深度整合丰富的软件功能,确保满足业务需求和数据安全。 以下为超融合内含软件功能。 虚机数据保护 除了备份外,还有专门针对虚机的连续性数据保护方案。无缝集成vCenter环境。 连续性数据保护精细到虚机VM级别,可以对运行重要业务 的虚机提供任意时间点回滚的保护方式,消除逻辑故障对虚机的影响。 还可以将虚机数据从本地到远程站点进行双向复制。存储虚拟化 超融合方案内置存储虚拟化软件VSAN,并且与vShpere内核级集成,系统开销小 管理软件超融合方案内置管理软件,远程收集并报告硬件和软件配 置,实时掌握应用程序,VM和整体硬件的状态,还可针对 可用性、性能和容量的状态警报和运行状况统计云整合超融合方案内置云管理软件,可将数据延伸到公有云,提高托管容量,创建可访问的在线归档。 功能扩展 内置应用商店,一键访问,随时下载经过验证的增值软件,增强用户体验。 总结 高级软件功能 ? 方案不能成为产品的简单堆积。要针对客户的业务需求,制定定制化的先进方案。 1.对于企业级关键业务而言,性能并不足以成为首要选择因素,稳定压到一切! 2.安全是方案的命脉,软件是方案的灵魂。 整体方案 厂商 配置性能 运维管理 运维成本 数据备份方式

超融合基础架构解决方案

超融合架构解决方案技术建议书超融合一体机&超融合操作系统

目录 1 传统IT 架构面临的问题............................. 业务与架构紧耦合........................... 传统架构制约东西向流量....................... 网络设备的硬件规格限制业务系统规模................. 不能适应大规模租户部署....................... 传统安全部署模式的限制....................... 2 项目概述 ................................... 建设原则.............................. 建设关键需求............................ 建设组件及建设模式......................... 3 深信服超融合架构解决方案概述 .......................... 超融合架构层............................ 服务器虚拟化(aSV)....................... 网络虚拟化(aNET)........................ 存储虚拟化(aSAN)........................ 网络功能虚拟化(NFV)....................... 多业务模板层............................ 虚拟化管理平台.......................... 服务器虚拟化管理模块....................... 网络虚拟化管理模块......................... 存储虚拟化管理模块......................... 深信服超融合架构方案价值和优势总结................. 深信服超融合架构价值....................... 深信服超融合架构的优势.......................

软件定义制造发展概述

软件定义制造发展概述

导读 置身于智能制造中的专业人士恐怕需要有两个我,一个在数字世界中醒着(看制造),一个在制造的物理世界中冥想(软件如何定义)。 也许大海给贝壳下的定义是珍珠,也许时间给煤炭下的定义是钻石。一个人有两个我,一个在黑暗里醒着,一个在光明中睡着。 ——纪伯伦,《沙与沫》。 2019年1月,大众CEO Herbert Diess博士在达沃斯“世界经济论坛年会”上语出惊人,在不远的将来,汽车将成为一个软件产品,大众也将会成为一家软件驱动的公司。

▲大众CEO Herbert Diess博士 2011年NetScape创始人Marc Andreessen说:Software eats the world(软件吞噬世界)!另一位是C++语言发明人,Bjarne Stroustrup说:人类文明运行在软件之上。的确,数字比特的海洋(软件)似乎正在成为当今世界的主题。越来越多的人相信,软件定义世界,软件定义一切。 数字比特的海洋(软件)会给制造下什么样的定义?但对于很多从事制造业的人们而言,当听到软件定义制造之类的话,总觉得类似表达是不是太极端了,有人甚至明确地表示不屑。从事机械、制造、以及OT领域的一些专家学者对“软件定义”之类的话多有排斥,亦事出有因。的确有少数IT出身的专家在谈论智能制造及“软件定义”之类的话题时,没能落到实处;还有少数制造或传统自动化出身的专家在谈论数字化和智能化技术的时候忘记了回家的路。这两种情况当然是应该避免的。 言软件定义制造,难道设备和工艺不再重要?无论数字-智能技术多么先进,基本的工艺和装备永远是重要的,因为产品要靠它们生产出来;人也是最重要的,甚至某些传统的手工工艺未必都能去掉。日本某先进的机床公司里,在应用数字-智能技术的同时,却存在原始的手工刮研工艺,而且是用在高精度要求之处。制造领域的学者和专家们能够深刻体认制造之不易,如果说软件定义制造,是不是IT技术主导制造呢?是不是有人又在玩概念,玩虚的?于是有制造领域的学者建议,不要提软件定义制造,只言软件使能制造。

什么是真正的软件定义数据中心

什么是真正的软件定义数据中心? 目前,IT基础设施及其运营越来越复杂,人们通常采用云计算和虚拟化技术来满足各种业务需求。在过去的十年里,服务器虚拟化重新部署、管理以及优化了计算资源,将数据中心转化成为一个更加灵活高效的业务应用平台。专用服务器被动态托管之后,在虚拟服务器环境中能够根据需求运行应用程序。 虽然虚拟化重塑数据中心的运营,企业能够部署机架服务器汇集和分配应用程序的需求,但这种转变并不完整理。数据中心网络和存储资产仍然保持着孤立和静态配置,很少有设施能够自动化统筹管理混合网络和存储硬件。 软件定义的数据中心(SDDC)声称改变这种状况。VMware对其描述为:“一个统一的数据中心平台,提供了前所未有的自动化、灵活性和效率,并转变IT交付的方式。汇集和汇总计算、存储、网络、安全性等可用性服务,并交付软件,通过智能化的策略驱动的软件进行管理。”服务器在虚拟化应用的基础上,SDDC能够虚拟网络和存储资源,使抽象的数据中心的基础设施可以通过应用程序和软件进行访问。SDDC的目标是使数据中心运营的许多方面受益:更有效地利用资源;更加容易配置和重新配置;以及更快地部署新的应用程序。等等。 最终,SDDC将不再需要IT技术人员来操纵孤立的服务器,网络和存储硬件将响应供应请求。相反,配置自动进行定义的规则和框架,政策和服务水平协议(SLA),通过应用程序编程接口(API)调用的自动化和业务流程引擎,并从一个集中的环境内配置适当的资源。

SDDC对数据中心基础设施的影响 由于动态分配资源的增加,需要升级电源和冷却基础设施,以支持数据中心的可扩展性需求。而提高的电力和冷却能力可以使SDDC的愿景真正发挥重要作用。IT 资源已被虚拟化为一个抽象层,而数据中心本身很少存在这样的抽象层。即使在一个建筑物管理系统(BMS)设施或数据中心基础设施管理(DCIM)系统中,电力和冷却设施往往不能达到SDDC的要求。 对于数据中心来说,设施设备在确保达到数据中心等级协议(SLA)起到了至关重要的作用。因此,数据中心运营商在符合规划和配置的基础设施能力上。必须开发集成的、适应性强的电源和冷却解决方案。从理论上说,许多的虚拟机可以部署在抽象的虚拟层,但在任何数据中心的电力和冷却的供应量是有限的。因此,数据中心必须优化电源使用,经营者必须重新定义数据中心整合的关键接触点,并构建基础设施管理和监控系统等管理系统。 为了实现SDDC未来的承诺,需要增加软件定义的电力。如果产业对软件定义的电力能有一个共同的标准参考架构,并达成共识,这将对基于消费需求的数据中心提供适当的电力有所帮助,而不是根据以往的知识和经验用最高峰值来规划和配置的电源和冷却设施。 如今,超过一半的应用程序的宕机都是由电源问题引起的。因此,电力和冷却设施作为软件定义的元素的应用环境,必须提高可用性。而在任何一个数据中心里,其物理资源都有心要加强和改进。 硬件和软件供应商之间的竞争

联想金融行业超融合解决方案

互联网技术的发展,为金融业进行产品创新、业务创新和渠道创新提供了新的技术条件和发展思路,使顾客获取更为便捷、精准的金融服务成为可能。但同时,客户数量和业务容量的突发性增长给传统IT 架构带来了系统性冲击,金融业的传统IT 架构越来越难以有效支撑互联网+背景下的业务发展: 应对业务成长冲击,IT 新架构成为必然 广泛的客户使用场景 预算评估难,采购规模无依据,服务器和存储过量采购,硬件折旧快。 I/O 在存储控制器上存在瓶颈,即 使将闪存放置在阵列中。 性能差 管理难 成本高 联想金融行业超融合 解决方案 助力金融行业 IT 架构转型 “问题是什么” 企业应用私有云和混合云 大数据 分支机构 微软应用VDI 数据保护与灾难恢复部署周期长,设计复杂、范围大。难以快速实现弹性扩展。 管理窗口或界面复杂,需要大量的手 动操作。 缺乏端对端的可见性,出了问题往往定位不清楚。

联想超融合架构特性 IT 基础架构向超融合转型-简化数据中心 联想金融超融合方案优势突出 Hypervisor Hypervisor Hypervisor Hypervisor Hypervisor Hypervisor 超融合架构(HCI ) 架构简单 线性扩展 单一管理界面 真正按需购买+运营成本降低 聚合存储资源池 服务器1服务器2服务器n 虚拟化UI Lenovo HS Platform Hypervisor Disk Drives SSD Lenovo HS Platform Hypervisor Disk Drives SSD Lenovo HS Platform Hypervisor Disk Drives SSD 全局统一命名空间 网络交换设备 支持多种Hypervisor 企业级数据服务 全局命名空间快照克隆容量优化 数据集成和高可用性 SSD-回写/读/元数据缓存动态自动分层数据本地存储 针对应用来匹配存储块大小 性能 联想金融超融合解决方案集计算、存储、网络和运维于一身。为金融行业提供一个轻运维、高稳定、易管理和低成本的基础构架。 助力金融企业轻松应对挑战 低成本 降低总拥有成本(TCO )和突出的ROI 价值定位 联想金融超融合解决方案简化IT 基础架构。它集计算,存储,网络和运维于一身,一套设备相当于传统多套设备,空间与能耗降低50%以上;它由两种组件构成,超融合节点和网络,大大简化了系统架构,总体拥有成本减少65%。 高稳定性 简化的IT 基础架构实现更高的可靠性 联想金融超融合解决方案,一套高端设备的性能,相当于享受13套高端设备卓越性能;它的多重容灾机制,即使出现单点故障,也能保证业务持续性,可使管理人员简单面对故障,实现更高的可靠性。 高扩展性,易管理 强大灵活的可扩展性有效支持产品技术创新 联想金融超融合解决方案具备随时扩展的特性,只须根据业务需求,增加标准的基础原件,即可无限在线扩展,实施周期可缩短50%。通过软件定义来实现全面的资源监控和管理,按需分配,30分钟即可快速实现业务部署,简单易用,管理方便,维护工作量降低70%。

Nutanix超融合基础架构解决方案:可支援三大虚拟化平台

以自身獨有的分散式檔案系統為基礎,結合虛擬化平臺,Nutanix將企業IT環境所需的運算與儲存資源,凝縮在NX-3050這臺2U、4節點的應用伺服器中,用戶可選擇搭配VMware、微軟Hyper-V或KVM等3種虛擬平臺,以VM為核心來配置與運用硬體資源,並能藉由Scale-Out擴充能力,一次以一個節點為單位逐步擴展效能與容量。 可快速完成IT基礎設施的建置 Nutanix稱NX系列應用伺服器是虛擬計算平臺(Virtual Computing Platform)產品,我們可以理解為這是在一個設備平臺上,提供了IT 應用所需的計算與儲存資源,並且是透過虛擬平臺Hypervisor以VM 的型式來配置與運用硬體資源。這種將計算、儲存等基礎設施功能融合於一臺設備、並以VM為中心來提供應用需求的產品,便是典型的超融合基礎架構(Hyper-Converged Infrastructure)。 NX應用伺服器出廠時,可按用戶需求由Nutanix原廠或經銷商協助完成基本的叢集設定與Hypervisor部署,用戶端只需花費少許時間進行基本環境參數設定,很快便可開始使用NX系列應用伺服器,以VM型式向前端使用者交付需要的資源。 除了以VM型式提供資源外,Nutanix應用伺服器還可透過底層的分散式檔案系統,提供跨節點資料鏡像、分層儲存,以及壓縮、重複資料刪除、快照、Clone與遠端複製等功能,用戶無需另外尋找第三方

解決方案,依靠Nutanix應用伺服器本身,便能提供企業儲存必要的資料保護、I/O加速與資料服務功能。 提供多樣化的產品組合 Nutanix提供了多種軟、硬體組態產品組合,硬體部份包括NX-1000、NX-3000、NX-6000、NX-7000、NX-8000與NX-9000等一共6個應用伺服器系列,所有機型都是採用2U高度機箱,其中1000與3000系列是2U/4節點的高密度組態,6000與9000系列是2U/雙節點,至於7000與8000系列則是2U/單節點的組態。 無論哪一個NX應用伺服器系列,核心都採用相似的二路伺服器節點組態、SSD+硬碟的混合儲存配置,以及用於管理與資料傳輸的GbE 或10GbE網路埠,但各系列分別針對了不同的應用面向,而有不同的組態配置。 如1000與3000列是高運算密度型,在一個2U機箱中可提供4個節點、一共24~80個處理器核心;6000系列是採用4TB硬碟的高儲存容量型,可提供比其他系列高出2~4倍的容量密度;採用全固態儲存配置的9000系列是高I/O效能導向型;採用每組機箱單節點設計的7000系列擁有安裝擴充介面卡的充分空間,可選配GPU卡,是針對高效能運算應用的款式;同樣是每個機箱單節點的8000系列,則是兼具高規格處理器與大儲存容量組態,強調郵件應用的款式。透

超融合架构特性及收益的优势分析

超融合与传统架构特性及收益详细对比 新IT浪潮已经到来,超融合便是诸多风口之一,在近年来成为了IT业界备受关注的话题。当下超融合架构已成为许多厂商发力的主要方向,市场竞争日益激烈。虽然超融合的概念已经被热炒了至少两年,但市场上依旧存在着不少模糊的定义与理解,超融合与传统IT架构在性能和收益方面究竟有哪些差别?此文将详细盘点超融合与传统IT架构的差异,并通过厂商实例来进行深入对比分析。 一.超融合的核心特征是什么? Nutanix是最早推广超融合(HCI :Hyper Converge Infrastructure)概念的厂商。Nutanix起步的核心技术是分布式存储,只是在部署架构上有了进一步创新,采用了这种 融合的方式。这很大程度上推进了分布式存储的市场落地。 所以分布式存储是超融合1.0的核心,但市场上很多厂商在弱化最具挑战及技术难度的存储部分,单纯去调“融合”,把一些无关痛痒的内容集成起来,而这并非真正的“超融合”。 真正撬动传统IT市场的超融合1.0的特征是两点: 一是,基于X86服务器架构的分布式存储; 二是,分布式存储和计算虚拟化部署在同一服务器硬件内。 下面在对比中会看到,给用户带来价值的重要特性中,大概70%是来自于分布式存储,30%是超融合架构带来的好处(比如管理简化,使用成本的降低),但恰恰是这30%,让用户更愿意从传统架构切换到分布式架构上来。 二.超融合是革命性架构吗? 任何称之为革命性的架构一般应具备至少以下三个特征: 一是,对用户的使用习惯会有巨大的改变; 二是,为用户带来巨大的价值; 三是,新的厂商可以撬动传统老牌厂商的市场。

以上三点,超融合产品都具备,前两点在后面分别介绍,第三个可以通过国外的Nutanix、VMware(vSAN),中国的SmartX等厂商的案例描述中看到,他们所替代的产品大量的是老牌存储厂商EMC、HDS等公司的存储产品。即便目前Nutanix自己也在开发和推出服务器虚拟化产品,但最初的Nutanix产品核心就是超融合架构的分布式存储。用 户采购Nutanix并不需要替换原有的服务器品牌(比如Dell)或者虚拟化品牌(比如VMware),只有存储(比如EMC)是一定需要替换的。 三.为什么超融合的架构会在近几年才出现? 一个革命性的技术架构出现、成熟需要至少两个核心因素: 一是,客户的强烈需求; 二是,相关技术的成熟。 超融合架构的客户需求来自于商业数字化和互联网化对IT资源的使用速度和使用要求 有了大幅提升。而以下相关技术对架构的市场落地有很大关系。 1. 分布式存储架构 这是互联网公司用了多年的技术,分布式存储可以很好地基于X86服务器构建易扩展、高可靠的存储资源池,是超融合的基础。 2.SSD SSD对存储架构的影响是巨大的,传统机械硬盘的4K随机性能只有300左右,而类似intel 3710这样的SSD则可以达到超过7万IOPS,高出两个数量级。但同时双控制器架构 就会成为瓶颈,比如EMC的Unity 650 可以支持一千块硬盘或SSD,但31块SSD的时候就到达瓶颈,此时8:2读写混合最大只能达到27万IOPS。 同样,SSD大大减少了事务型存储系统的机架空间,使存储和计算节点的数量比较匹配,这是超融合架构成立的一个重要条件。 3.虚拟化 超融合架构成立的另一个重要条件就是虚拟化已经被广泛接受,否则分布式存储不可 能和应用共存在一个物理节点上,除非是一个厂商的一体机产品。 4. CPU 最后就是大家常说的CPU更强大更廉价,可以同时解决计算和存储的要求。

基于超融合基础架构的IT系统建设研究

基于超融合基础架构的IT系统建设研究

一、内网电子邮件业务现状分析 (一)内网邮件系统现状 信息化工作经过30多年的发展,现在已经有了覆盖政务、业务和对外合作、综合保障等方方面面的信息化管理体系。内部网络系统延伸到了40多个直属,近千个业务现场,并以电子口岸为支持,建立与政府部门和外部企业互联互通的外部网络体系。 电子邮件已成为消息传递的主要通道,当前基于微软Exchange邮件系统平台也成为各级最为基础的信息系统之一,海量信息通过邮件系统传递、汇集。电子邮件已从原有的单纯邮件收发服务,演变为提供越来越丰富和强大功能的信息协同平台,对邮件业务的性能、稳定性、并发能力、消息汇集传递能力有了更高的要求。 内网电邮系统建设较早,采用分布式模式建设,系统分布在总部以及各分关,共计47套分布式系统。当前采用品牌和版本为:邮件系统采用微软Exchange 2010,操作系统为Windows Server 2008 R2,用户规模约5万用户,总部及每个分关用户规模不等,其中,信息中心约3000用户规模,数据量约在6TB左右。 系统管理采用分级管理模式,分布式系统由各分关进行管理。各分关独立负责各关用户的管理和维护。认证系统采用微软AD认证体系,采用多域多森林模式。

图示:当前电子邮件平台部署拓扑 (二)内网电邮应用主要挑战和迫切需求 内网电邮是重要的内网信息化应用,当前用户规模约8万用户,具有较高的使用频度。随着我国事业的高速发展,总部内部办公对内网电邮的需求也越来越高,需要更高的计算能力、网络带宽和数据存储能力。 当前内网电邮基于分散在各分关的分布式体系设计,随着技术的发展、应用的深入和用户应用形态的演进,当前系统在可靠性、安全性、易用性、维护性等方面已经不适应当前内网电邮应用和发展的需要,也迫切需要对系统架构的升级改造规划。同时需要考虑如下的系统建设问题: 能否利用相同的预算管理更多的数据? 信息技术如何转化成增长动力? 新业务模式产业化转型,IT架构要随之改变, 如何从传统架构的束缚中释放潜力? IT的投资方向,需要把握未来已知和未知的机遇。 创新的步伐需要更加敏捷,以利用已知和未知的市场变化。 1.解决当前分布式资源老化与用户访问愈加频繁的矛盾 随着时间的推移,原有内网邮件系统各个节点设备已逐渐老化并即将结束其生命周期,但是用户对内网电邮的应用越来越频繁,用户的访问次数、访问时长、数据收发量都比系统建设之初有很大增长。 电子邮件是I/O密集型系统,不仅实时收发的邮件数量众多,且单封邮件承载的数据量可达GB级,对基础架构I/O性能要求极高。电子邮件同时也是高并发业务,Web 和客户端访问并发访问压力大,在未来的移动化时代,每一个移动终端都将是一路并发连接,带来更加巨大的并发压力。超融合基础架构能有效解决I/O性能不足等问题。 需要充分利用新建设和旧有邮件平台资源架构的硬件基础设施资源,实现统一的弹

百度基础架构技术发展之路

欧阳剑 百度公司 百度基础架构技术发展之路 在2014年3月召开的第19届国际体系结构对编程语言和操作系统的支持会议(International Conference on Architecture Sup- port for Programming Languages and Operating Systems, ASPLOS)上,共收录了两篇来自中国大陆第一作者的论文,一篇是中国科学院计算技术研究所陈天石、陈云霁的论文,另一篇是百度公司的论文。更令人振奋的是,陈氏兄弟的论文被评为最佳论文,百度公司的论文获得了最佳论文提名。中国互联网公司在国际计算机系统及体系结构顶级会议上发表论文,这在国内工业界是第一次1。 很多同行比较好奇,想了解百度发表这篇论文的情况以及背后的故事,包括百度的研究开发体系以及相关的基础架构技术。在此感谢CCCF 编辑部的邀请,关键词:ASPLOS2014 最佳论文提名 让我们有机会和大家分享百度的混合研究之路及百度基础架构技术的现状和未来。 从ASPLOS 2014百度SDF论文说起 在ASPLOS 2014上,百度以“SDF:Software-Defined Flash for Web-Scale Internet Storage System ”为题发表的论文成为此次大会录用的49篇论文之一。国内互联网企业第一次在国际顶尖水平的计算机系统和体系结构会议上发表论文,代表着国际同行对百度公司的认可,也是对我们工作的极大鼓舞。 软件定义闪存(Software-De ?ned Flash, SDF),最早是由林仕鼎2在2011年初提出来的。当时,从产业的角度,云和端的发展趋势已经非常明显;从技术角 度,数据中心以后会承载用户绝大部分的计算和存储,而传统的数据中心体系结构仍然沿用PC 的体系结构,无法满足大规模系统对性能、成本、功耗以及可扩展性的要求。当时百度正在做新一代的存储系统,考虑到传统的固态硬盘(solid state disk, SSD)在性能和成本方面的诸多缺陷,如带宽利用率低、空间利用率低及性能的不可预测等,需要面向数据计算中心重新设计SSD 。于 是,我们开始研制SDF 。SDF 是一个软硬件协同系统,完全颠覆了SSD 的性能。 SDF 有如下几个特点: ● 底层Flash 通道用户态的软件是可见的,让软件来管理数据的布局(layout),使得硬件的并行性能得到充分发挥。 1 的Citeseer 影响因子高居CCF 认定的所有计算机系统与高性能计算领域会议的榜首。在 CCF 指定的“计算机系统与高性能计算领域”的五大A 类会议中,大陆科研机构作为第一作者在ASPLOS 上发表的论文只有三篇。2012年,中国科学院计算技术研究所的论文“关于数据中心上的迭代编译优化”是第一篇。2014年,有两篇入选ASPLOS ,说明大陆在系统结构研究水平上有了很大提高。陈天石、陈云霁的论文介绍详见本刊2014年第5期。2 百度公司前首席架构师。

相关主题
文本预览
相关文档 最新文档