当前位置:文档之家› 云计算的关键技术及发展现状

云计算的关键技术及发展现状

云计算的关键技术及发展现状
云计算的关键技术及发展现状

云计算的关键技术及发展现状

摘要:云计算是一种全新的领先信息技术,结合IT 技术和互联网实现超级计算和存储能力,它的目标是要像供水、供电、金融系统一样,把“计算力”作为一种公用基础设施、组织大规模的信息和计算资源,面向用户提供便捷、全面的公众服务,满足个人和社会信息服务的需要。

关键词:云计算关键技术发展现状

云计算的最初想法可以追溯到上世纪60 年代,图灵奖得主John McCarthy 提到的:“在不远的将来,计算有可能成为一种公共基础设施”。2007 年底,IBM 公司率先提出了他们的云计算计划,并将云计算平台描述为一个按需进行动态部署和配置的可伸缩性平台。

一、云计算的概念

对于云计算仍没有普遍一致的定义。美国国家标准技术研究院对云计算的定义: 云计算是一个模型, 这个模型是可以方便地按需访问一个可配置的计算资源( 例如, 网络、服务器、存储设备、应用程序以及服务) 的公共集。这些资源可以被迅速提供并发布, 同时最小化管理成本或服务提供商的干涉。中国云计算专家刘鹏给出的定义如下: 云计算将计算任务分布在大量计算机构成的资源池上, 使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。

通俗地理解, 云计算的云就是存在于互联网上的服务器集群

上的资源, 它包括硬件资源和软件资源, 本地计算机只需要通过互联网发送一个需求信息, 就能够获取所需的计算资源。

二、云计算的关键技术

云计算的发展离不开虚拟化、并行计算等核心技术的发展成熟, 正是这些计算机技术和网络技术的发展融合产生了云计算, 并借助SaaS/PaaS/IaaS 等先进的商业模式把这强大的计算能力分布到终端用户手中。

1.虚拟化技术

虚拟化作为云计算的核心特征, 是云计算依托的基础。虚拟化技术实现了物理资源的逻辑抽象和统一表示, 它是指计算元件在虚拟的基础上而不是真实硬件的基础上运行。通过虚拟化技术可以实现资源的最优利用; 并能够根据用户业务需求的变化, 按需分配资源, 实现动态负载均衡; 同时与硬件无关的特性带来系统自愈功能, 提升系统的可靠性。

虚拟化技术的对象可以涵盖从服务器、存储、网络到平台、应用等各个方面。

2.分布式技术

分布式技术最早由Google 规模应用于向全球用户提供搜索服务, 其分布式的架构, 可以让多达百万台的廉价计算机协同工作。分布式文件系统完成海量数据的分布式存储,分布式计算编程模型完成大型任务的分解和基于多台计算机的并行计算, 分布式数据库完成海量结构化数据的存储。

分布式文件系统作为分布式技术中最重要的实现部分,不管是Google 的GFS 还是Hadoop 的HDFS, 都是针对特定的海量大文件存储应用设计的, 可以实现数据存储访问的高可靠性、高访问性能、在线迁移、自动负载均衡。

3.并行计算

并行计算是指同时使用多种计算资源解决计算问题的过程, 是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题, 即将被求解的问题分解成若干个部分, 各部分均由一个独立的处理机来并行计算。

并行计算是相对于串行计算( 通常针对单个CPU 或单台计算机) 而言, 它将进程相对独立地分配于不同的节点上, 由各自独立的操作系统调度, 享有独立的CPU 和内存资源( 内存可以共享); 进程间相互信息交换通过消息传递。

4.SaaS/ P aaS/ I aaS 服务模式

服务模式创新是云计算的一个重要特性, 云计算彻底实现了计算机软硬件都是服务的变革, 今后用户所需要的东西只有一种服务, 包括计算服务、网络服务、软件服务、平台服务、存储服务等。云计算服务模式主要有: SaaS ( 软件即服务)、PaaS ( 平台即服务) 和IaaS ( 基础设施即服务)。

SaaS 是用户获取软件服务的一种新形式, 用户不需将软件产品安装在自己的电脑或服务器上, 而直接通过网络向专门的供商获取自己所需要的相应软件功能服务。

PaaS 是指把开发环境( 包括应用设计、应用开发、应用测试和应用托管) 都作为一种服务提供给客户。客户不需要购买硬件和软件, 只需要利用PaaS 平台, 就能够创建、测试和部署应用和服务。

IaaS 是指企业或个人可以使用云计算技术来远程访问计算资源, 这包括计算、存储以及应用虚拟化技术所提供的相关功能。无论是最终用户、SaaS 提供商还是PaaS 提供商都可以从基础设施服务中获得所需的计算能力, 但却无需对支持这一计算能力的基础IT 软硬件付出相应的原始投资成本。

三、云计算的发展现状

云计算作为业界热点,近年来世界各国对于它的研究和应用方兴未艾,许多政府部门和著名公司在研发与应用云计算的过程中作出了大量的工作和努力。

1.云计算在国外的发展

云计算与网络密不可分。云计算的原始含义是通过互联网提供计算能力。云计算的起源与亚马逊和Google 两个公司有十分密切的关系,它们最早使用到了“Cloud Computing”的表述方式。目前美国公开宣布进入或支持云计算技术开发的业界巨头包括微软、谷歌、IBM、亚马逊、Netsuite、NetApp、Adobe 等。

Goog le 是云计算的提出者。2006 年,Goog le 启动了“Google101”计划,引导大学生们进行“云”系统的编程开发。多年的搜索引擎技术的积累成果使Google 在云计算技术上处于领先的地位,不仅提供在线应用,还希望发挥自身的数据库系统优势,

成为在线应用的统一平台。Google 以发表学术论文的形式公开了其云计算三大法宝:GFS、Map/Reduce 和BigTable,并在美国、中国等高校开设云计算编程课程。

微软于2008 年10 月推出了Windows Azure 操作系统,这个系统作为微软云计算计划的服务器端操作系统(Cloud OS)为广大开发者提供服务。微软拥有全世界数以亿计的Windows 用户桌面和浏览器,Azure (蓝天)试图通过在互联网架构上打造新云计算平台,让Wind ows 由PC 延伸到“蓝天”上。

IBM 从企业内部需求的逐渐上升出发,在2007 年11 月提出了“蓝云”计划,推出共有云和私有云的概念。IBM提出私有云解决方案是为减少诸如数据、信息安全等共有云现存的问题,从而抢占企业云计算市场。依托IBM在服务器领域的传统优势,IBM成为目前唯一一个提供从硬件、软件到服务全部自主生产的厂商。

2008年7月,雅虎、惠普和英特尔联合宣布将建立全球性的开源云计算研究测试床,称为Open Cirrus,鼓励开展云计算、服务和数据中心管理等领域中各方面的研究。

Apple 是云计算领域的一位积极参与者。从近年来推出的iTunes 服务,到Mob ile Me服务,到收购在线音乐服务商Lala,再到最近在美国北卡莱罗纳州投资10 亿美元建立新数据中心的计划,无不显示其进军云计算领域的巨大决心。

这些国际知名大公司在全世界建造了庞大的云计算中心。譬如:Goog le 的搜索引擎分布于200 多个站点、超过100 万台服务器的

支撑,而且设施数量正在迅猛增长。

2.云计算在国内的发展

目前中国云计算的讨论多数集中在早期云计算的概念、技术和模式上。早期的云计算是一种动态的、易扩展的、通过互联网提供虚拟化IT 资源和应用的一种计算模式。用户不需要了解云技术内部的细节,也不必具有云内部的专业知识,更不需要直接参与、投入、建设、维护和控制就能直接按需使用并按用量付费。

2008年,IBM在无锡建立了中国第一个云计算中心,在北京IBM 中国创新中心建立了第二个云计算中心———IBM 大中华区云计算中心。2009 年初,在南京建立国内首个“电子商务云计算中心”。世纪互联推出“CloudEx”产品线,包括完整的互联网主机服务“CloudEx Comp uting Service ”、基于在线存储虚拟化的“CloudEx Storage Service ”等云计算服务。

随着云计算的升温,国内的电信运营商也都积极投入到云计算的研究中,以期通过云计算技术促进网络结构的优化和整合,寻找到新的赢利机会和利润增长点,以实现向信息服务企业的转型。中国移动推出了“大云”(Big Cloud)云计算基础服务平台,中国电信推出了“e云”云计算平台,中国联通则是推出了“互联云”平台。

我国企业创造了“云安全”概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,在服务端进行自动分析和处理,再把解决方案分发到客户端。瑞星、趋势等企业都推出了云安全解决方案。

随着云计算的发展,互联网的功能越来越强大,用户可以通过云计算在互联网上处理庞大的数据和获取所需的信息。从云计算的发展现状来看,未来云计算的发展会向构建大规模的能够与应用程序密切结合的底层基础设施的方向发展。不断创建新的云计算应用程序,为用户提供更多更完善的互联网服务也可作为云计算的一个发展方向。

四、总结

云计算是基于多种技术的新兴计算模式,现代软件应用和商务处理的全球化、信息化和自动化,必将为云计算的研究发展提供广泛的市场和应用背景。云计算具有超大规模、虚拟化、高可用性、高可靠性、按需服务及其廉价等特点,经历近年的许多成功案例和经验后,正在迅速普及应用。云计算所带来的新兴IT资源共享和应用模式是互联网之后的又一次变革,将给IT产业特别是软件服务业带来深远影响。

参考文献:

[1]刘鹏.《云计算》.电子工业出版社.2010, ( 3).

[2]张为民.云计算-深刻改变未来.科学出版社,2009:203.

[3]李晓伟,沈艳秋.云计算及其发展进程.科技信息,2011(15):81- 82.

我国云计算的现状及发展

我国云计算的现状及发展 通信工程张翔 20081060255 摘要:本文介绍了云计算的定义以及我国的云计算发展的一些现状和未来的发展。关键词:云计算、服务 0.引言 随着计算机以及网络技术的发展,计算机性能的增长将面临瓶颈,而网络技术的发展使得在全球范围内共享一些计算资源成为可能,因此,我们应利用大量的网络资源,而不是个人手中的个别计算资源来提供高性能服务。在这个背景下,提出了云计算这个概念,它是一种将大量计算资源、存储资源与软件资源链接在一起形成巨大规模的共享虚拟IT资源地,为远程计算机用户提供“呼之则来,挥之则去”的IT服务的思想。为网络技术的发展提供了一个新的方向。 1.云计算的定义 云计算现在已经成为了一个热点科学项目,很多的专家都跳出来给出了自己关于云计算的定义,使得定义五花八门,同时他们对于其它定义加以批判,宣扬自己的定义才是最正确的,让人有些难以去判断到底谁对谁错,我自认不是专家,没能力去给一个新的东西去下定义,所以这里结合我的题目所给出的定义是'中国云计算网'给出的:云计算是分布式计算、并行计算和网格计算的发展,或者说是这些科学概念的商业实现。 这是从云计算的发展脉络的角度给出的定义,主要说明了云计算的历史,不是很好让人理解,同时也不够全面,但是却反应了中国对于云计算方面的技术掌握不是很多,许多方面尚在起步阶段。虽然专家们对于定义的争论不定,但对于云计算的本质特征或者说优点和特点却是统一意见的。由这些特征和特点,大家可以去定义自己心中的云计算。其本质特征为分布式的计算和存储特性,高扩展性,用户友好性,良好的管理性,用时付费等。 特点:1.云计算系统提供的是服务,不需要用户去掌握一定知识的情况下才能使用,相当傻瓜式相机拍照一样适用于大众群体。 2.高可用性。通过集成海量存储和高性能的计算能力,云能提供较高的服务质量。 3.经济性。组建一个采用大量的商业机组成的集群相对于同样性能的超级计算机花 费的资金要少很多。 4.服务多样性。用户可以支付不同的费用,以获得不同级别的服务。

云计算的发展现状

学号1307030124 天津城建大学 云计算得发展现状 学生姓名周建起 班级网络一班 计算机与信息工程学院 2016年5月28日 国外“云计算”发展现状: Google在于2007年10月在全球宣布了云计划,Google与IBM开展雄心勃勃得合作,要把全球多所大学纳入“云计算”中。 IBM于2007年8月高调推出“蓝云(Blue Cloud)”计划,这一计划已经在上海推出。IBM得Willy Chiu透露,“云计算将就是IBM接下来得一个重点业务。”这也就是IBM扩张自身领地得绝佳机会,IBM具有发展云计算业务得一切有利因素:应用服务器、存储、管理软件、中间件等等,因此IBM自然不会放过这样一个成名机会,提出了“蓝云计划”。 亚马逊(Amazon、)于2007年向开发者开放了名为“弹性计算机云”得服务,让小软件公司可以按需购买亚马逊数据中心得处理能力。 2007年11月,雅虎也将一个小规模得服务器群,即“云”,开放给卡内基-梅隆大学得研究人员。惠普、英特尔与雅虎三家公司联合创立一系列数据中心,目得同样就是推广云计算技术。 而另外一家以虚拟化起家得公司VMware,从2008年也开始摇起了云计算得大旗。VMware具有坚实得企业客户基础,为超过19万家企业客户构建了虚拟化平台,而虚拟化平台正成为云计算得最为重要得基石。没有虚拟化得云计算,绝对就是空中楼阁,特别就是面向企业得内部云。到目前为止,VMware已经推出了云操作系统vSphere、云服务目录构件vCloud Director、云资源审批管理模块vCloud Request Manager与云计费vCenter Chargeback。VMware致力于开放式云平台建设,就是目前业界唯一一款不需要修改现有得应有就能将今天数据中心得应用无缝迁移到云平台得解决方案,也就是目前唯一提供完善路线图帮助用户实现内部云与外部云联邦得厂家。 云计算得标准也在国外快速发展,目前最典型得两个云标准就就是OVF与

云计算的关键技术及发展现状(1)

云计算的关键技术及发展现状 周小华 摘要:本文主要对云计算技术的应用特点、发展现状、利处与弊端以及对云计算的应用存在的主要问题进行了探讨分析,最后是关于云计算的挑战及其展望。 关键词:云计算;数据存储;编程模型 1.云计算定义 云计算是由分布式计算、并行处理、网格计算发展而来的,是一种新兴的商业计算模型。目前,对于云计算的认识在不断地发展变化,云计算仍没有普遍一致的定义。计算机的应用模式大体经历了以大型机为主体的集中式架构、以pc机为主体的c/s分布式计算的架构、以虚拟化技术为核心面向服务的体系结构(soa)以及基于web2.0应用特征的新型的架构。云计算发展的时代背景是计算机的应用模式、技术架构及实现特征的演变。“云计算”概念由google提出,一如其名,这是一个美妙的网络应用模式。在云计算时代,人们可以抛弃u盘等移动设备,只要进入google docs页面,新建一个文档,编辑其内容,然后直接把文档的url分享给朋友或上司,他们就可以直接打开浏览器访问url。我们再也不用担心因pc硬盘的损坏而发生资料丢失事件。 IBM公司于2007年底宣布了云计算计划,云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”中的云计算定义:“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置

(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源,例如存储区域网络(SANs)。网络设备,防火墙以及其他安全设备等。云计算在描述应用方面,它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问一个云计 算应用程序。” 云计算是基于互联网的超级计算模式,包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施,进行统一的管理和协同合作。云计算将IT 相关的能力以服务的方式提供给用户,允许用户在不了解提供服务的技术、没有相关知识以及设备操作能力的情况下,通过Internet 获取需要的服务。 通过对云计算的描述,可以看出云计算具有高可靠性、高扩展性、高可用性、支持虚拟技术、廉价以及服务多样性的特点。现有的云计算实现使用的技术体现了以下3个方面的特征: (1)硬件基础设施架构在大规模的廉价服务器集群之上.与传统的性能强劲但价格昂贵的大型机不同,云计算的基础架构大量使用了廉价的服务器集群,特别是x86架构的服务器.节点之间的巨联网络一般也使用普遍的千兆以太网. (2)应用程序与底层服务协作开发,最大限度地利用资源.传

云计算的关键技术及发展现状

云计算的关键技术及发展现状 居巍杰 摘要:本文给出了云计算的定义,总结了云计算的关键技术,揭示了云计算是多种新技术的综合发展产物,并详细介绍了云计算的发展现状。 关键词:云计算;数据存储;编程模型;云安全 1.前言 云计算(Cloud Computing)是一种新近提出的计算模式。云计算将待处理的数据送到互联网上的超级计算机集群中进行计算和处理,把互联网变成一种全新的计算平台,能够在网络上实现按需购买与按使用付费的业务模式。自从云计算的概念提出来以后,立刻引起业内各方极大的关注,现在已成为信息领域的研究热点之一。云计算到底是什么?为什么需要云计算?云计算的关键技术有哪些?云计算的发展现状如何?本文将就上述问题展开叙述。 2.云计算定义 云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)、网格计算(Grid Computing)发展而来的,是一种新兴的商业计算模型。目前,对于云计算的认识在不断地发展变化,云计算仍没有普遍一致的定义。 IBM公司于2007年底宣布了云计算计划,云计算的概念出现在大众面前。在IBM的技术白皮书“Cloud Computing”[1]中的云计算定义:“云计算一词用来同时描述一个系统平台或者一种类型的应用程序。一个云计算的平台按需进行动态地部署(provision)、配置(configuration)、重新配置(reconfigure)以及取消服务(deprovision)等。在云计算平台中的服务器可以是物理的服务器或者虚拟的服务器。高级的计算云通常包含一些其他的计算资源,例如存储区域网络(SANs)。网络设备,防火墙以及其他安全设备等。云计算在描述应用方面,它描述了一种可以通过互联网Intemet进行访问的可扩展的应用程序。“云应用”使用大规模的数据中心以及功能强劲的服务器来运行网络应用程序与网络服务。任何一个用户可以通过合适的互联嘲接入设备以及一个标准的浏览器就能够访问

中国云计算发展现状与趋势

中国云计算发展现状与趋势 近几年来,云计算在我国可谓风生水起,热闹非凡。然而,云计算从概念到落地实际上只能从2010年算起。在此之前只能看成是云计算的市场引入阶段。 那么,云计算技术近几年来的发展情况和规模如何,未来数年就会有哪些明显的发展趋势?计世资讯最新的数据为我们梳理出了一些清晰的发展脉络。 云计算市场规模 计世资讯认为,2009年中国云计算市场规模达到403.5亿元,较2008年同比增长28.0%。2009年国内云计算市场受各细分应用的快速增长,保持着稳定的较高增速。 图1 2008-2009年中国云计算市场规模及增底情况 2009年,SaaS占云计算市场规模的达87.8%,为354.2亿;PaaS、IaaS分别占到云计算整体市场的11.8%和0.4%,分别为47.6亿、1.7亿。 图2 20Q9年中国云计算市场产品结构 IaaS ■ 九7忆元 0.4% 元 its% 云计算发展阶段 目前,最简单的云计算技术在网络服务中已经随处可见,例如搜索引擎、网络信箱等,使用者只要输入简单指令即能得到大量信息。在某些条件下,甚至可以抛弃U盘等移动设备,只需要进入Google Docs、Office Live Workspace 等在线办公软件页面,新建文档,编辑内容,然后,直接将文档的URL分享给你的朋友或者上司,他就可以直接打开浏览器访问URL再也不用担心因PC硬盘的损坏而发生资料丢失事

件。 但是,从一种新的业务模式的发展周期来看,尤其是从国内的情况来看,目 前的云计算还只能算是初级发展,或者说,还处于教育阶段。 3云计算发展阶段示意图 戟醋!十:::■;. 如果要对国内云计算市场阶段进行划分的话,那么2007~2010年为云计算的市场引入阶段,这一阶段的特点是云计算的概念还不够明确,用户对云计算的认 知度还很低,云计算的技术和商务模式还不成熟等。此外重点厂商各自为政,缺乏一个较为统一的标准。结合当前市场状况来看,当前恰好处于这一阶段的后期,尤其是随着2009年云计算概念的广泛普及,至2010年下半年,市场开始逐步具备了摆脱引入阶段的条件,逐步向着更成熟的方向迈进。 2011~2015年为市场成长阶段,这一阶段的特点是应用案例逐渐丰富,用户对云计算已经比较了解和认可,云计算商业应用概念开始形成等,此外,用户已经开始比较主动地考虑云计算与自身IT应用的关系。同时,云计算的发展速度会在这五年间得到迅猛的提升。 自2015年以后,市场进入成熟阶段,表现在云计算厂商竞争格局基本形成,云计算的解决方案更加成熟,在软件方面,SaaS的应用模式成为主流,市场规模也保持在一个比较稳固的水平。 除了从宏观角度观察,从企业用户的角度来看,数据中心的各种系统(包括软硬件与基础设施)是一大笔资源投入。新系统(特别是硬件)在建成后一般经历

云计算技术国内外发展现状

次。联想公司计划推出基于云计算服务的PC及云终端,终端更像一台接收机,它本身没有存储设备,所有的数据都集中在后台。 云计算改变了单个计算机的功能,降低对网络的要求,由于终端不考虑应用的具体实现过程,扩展应用变得更加容易,高可扩展性是云计算的显著特征。应用在服务器端实现和部署,可以轻松实现不同设备间的数据与应用共享,并以统一的方式(例如通过浏览器)在终端实现与用户的交互。 三、国外云计算技术、产业现状及发展趋势 (一)国外云计算技术及产业现状 1、主要国家的最新进展 美国将云计算技术和产业定位为维持国家核心竞争力的重要手段之一,在制定的一系列云计算政策中,明确指出加大政府采购,积极培育市场。通过强制政府采购和指定技术架构来推进云计算技术进步和产业落地发展。例如,美国军队(空军、海军)、司法部、农业部、教育部等部门都已应用了云计算服务。美国历届联邦政府都将推动IT技术创新与产业发展作为国家的基本政策,在2011年出台的《联邦云计算战略》中明确提出鼓励创新,积极培育市场,构建云计算生态系统,推动产业链协调发展。 欧盟欧盟委员会在2012年9月启动“释放欧洲云计算潜力”的战略计划,包括筛选和精简众多技术标准、为云计算服务制定安全和公平的标准规范等,同时明确市场政策,确立欧洲云计算市场,促使欧洲云服务提供商扩大业务范围并提供性价比高的在线管理服务。 英国政府在2013年为13个研发项目拨款500万英镑,以应对阻碍云计算应用的商业和技术挑战。这13个项目的研究重点在于开发相关的系统、服务和软件,帮助解决云服务缺乏互操作性、数据恢复能力和身份验证这三项挑战,提高云服务的安全性。 澳大利亚澳大利亚政府信息管理办公室(AGIMO) 在2011年发布《澳大利亚政府云计算政策:最大化云计算的价值》的文件,并在2013年5月更新和发布了该文件的2.0版,该文件对政府部门使用云计算服务提供了指导,包括云计算相关法律、财政支持、安全规范等。2013年,AGIMO发布《公共服务大数据战略》,该战略以六条“大数据原则”为支撑,旨在推动公共行业利用大数据分析进行服务改革,并制定更好的公共政策。澳大利亚新南威尔士州出台与云服务相关的政策,以利用更加灵活可靠的技术来改善政府的运作和服务,节约运营成本。 韩国在2011年制定了《云计算全面振兴计划》,其核心是政府率先引进并提供云计算服务,为云计算开发国内需求。韩国通信委员会的报告指出,2010年至2012年,韩国政府投入4158亿韩元预算来构建通用云计算基础设施,将利用率低下的电子政务服务器虚拟化,逐步置换成高性能服务器,并根据系统服务器资源使用量实现服务器资源的动态分配。 日本日本经济产业省2010年8月发布《云计算与日本竞争力研究》报告,鼓励和支持包括数据中心和IT厂商在内的云服务提供商利用日本的IT技术等优势,通过分析云计算的全球发展趋势,解决云计算发展过程中的挑战性和关键性问题。

云计算的发展热点与未来趋势

班级:仪器11402 姓名:李学智学号:201406277 当前云计算的发展热点与未来趋势 目前,云计算被认为是未来的IT发展趋势。云计算的应用形式各种各样,但是,有关于云计算的应用却并不是很容易被用户接受的,虽然很多企业组织正在积极的探寻关于云计算的发展战略,可预测未来云计算的发展趋势,将其作为是未来云计算的突破口参考。 一、目前云计算的发展现状 云计算的发展趋势在行业中已经取得共识。它的影响已经逐渐渗透到整个产业以及用户的应用中。云计算将赋予互联网更大的内涵,在某种程度上,它改变互联网企业的运营模式,通过云计算,更多的应用能够以互联网服务的方式交付与运行。云计算将扩大IT软,硬件产品应用的外延,并且改变了软硬件产品的应用模式。IT产品的开发方向也会发生改变来适应上述云计算带来的变化。很多业界领先代表,微软,谷歌,亚马逊等等业界领先代表都推出了自己的云计算产品和方案。如:谷歌推出GDrive服务;AOL的Xdrive服务;亚马逊云计算;HDS,EMC,NetApp先后将云计算和云存储的落地作为今后整体渠道策略调整的关键点;EMC宣布发展目标直指虚拟化和私有云建设;NetApp致力于拓展系统集成商和云存储业务。除此之外,HDS、EMC、NetApp在云存储等方面也取得较好效果。 二、未来云计算的发展趋势 云计算作为一种应用模式,它的出现和应用范围的日益扩大,必将对产业链的上下游产生重要影响,它在不断的适应着企业的需求。未来根据需求进行着不断增多,云计算将要如何发展?经过调查分析有以下几个方向: (一)混合云的发展方向 虽然现在很多企业都已经采用了云服务,但是对于大部分的企业来说,基本上采用的都是多个云服务供应商,包括公共云与私有云,以满足不同的需求。公有云与私有云的组合被大家称之混合云,混合云的优势是能够适应不同的平台需求,它既能提供私有云的安全性,也可以提供公有云的开放性。所以在未来混合云的发展是云服务的主流模式。 (二)大数据分析 大数据如是高科技的热门话题,大数据分析使云计算和大数据能够很好结合。云计算是可以扩展,可以覆盖到大数据领域的,这些云服务能够为云计算提供平台,开源的云平台为大数据提供更好的开发与分析。 (三)SMB应用程序保护 现在,大多数的中小企业还是无法承受整个应用程序的测试层序与昂贵的工具进行内部检查安全和数据保护等应用的,期待新的云计算技能够帮助企业利用Web应用程序来进行源代码的扫描,协助企业及时发现潜在的一些网络攻击,从而来按需求提供帮助,降低企业的费用。 (四)强调性能

Google云计算的现状与发展

谷歌云计算的现状与发展

摘要:Google作为世界云计算的“领头人”,它在云计算的研究与开发方面做得非常出色,从Google 的整体的技术构架来看,Google计算系统依然是边做科学研究,边进行商业部署,依靠系统冗余和良好的软件构架来低成本的支撑庞大的系统运作的,大型的并行计算,超大规模的IDC 快速部署,通过系统构架来使廉价PC 服务器具有超过大型机的稳定性都已经不在是科学实验室的故事,已经成为了互联网时代,IT 企业获得核心竞争力发展的基石。尽管云计算是个刚刚出现没多久的新词汇,尽管我们还处在在云计算的起跑阶段,但是,我们从Google的与计算技术构架里,就可以获得很多信息,那些信息可能就是我们通向未来互联网全新格局的钥匙。 关键词:云计算 Google 技术构架 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 我们可以认为:云计算是通过网络按需提供可动态伸缩的廉价计算服务。 提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。这种特性经常被称为像水电一样使用IT基础设施。

有人打了个比方:这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉。最大的不同在于,它是通过互联网进行传输的。 云计算是并行计算、分布式计算和网格计算的发展,或者说是这些计算机科学概念的商业实现。云计算是虚拟化、公用计算、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。 总的来说,云计算可以算作是网格计算的一个商业演化版。 “Google”是美国一家上市公司,于1998年9月7日以私有股份公司的形式创立,以设计并管理一个互联网搜索引擎。Google公司的总部称作“Googleplex”,它位于加利福尼亚山景城。Google公司致力于互联网的应用与高新产业的开发。它在云计算的研发与发展方面,同样走在世界的前列。2006年8月9日,Google首席执行官埃里克·施密特在搜索引擎大会首次提出“云计算”的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做“Google 101”项目。 2007年10月,Google与IBM开始在美国大学校园,包括卡内基梅隆大学、麻省理工学院、斯坦福大学、加州大学柏克莱分校及马里兰大学等,推广云计算的计划,这项计划

云计算发展现状和应用前景

1云计算的概述 1.1、云计算定义 云计算(Cloud Computing)概念的直接起源是亚马逊 EC2(Elastic Compute Cloud 的缩写)产品和Google-分布式计算项目,云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展,云计算是通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多台服务器所组成的庞大系统,经计算分析之后将处理结果回传给用户。通过云计算技术,网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大的网络服务。 1.2、云计算分类 云服务按照服务的类别可以分为三种:即公共云、私有云和混合云。公共云是由第三方(供应商)提供的云服务。它们在公司防火墙之外,由云提供商完全承载和管理。私有云是在企业内提供的云服务。这些云在公司防火墙之内,由企业管理。混合云,顾名思义就是公共云和私有云的混合。 云计算按应用模式可以分成IaaS(基础设施级服务)、PaaS(平台级服务)和SaaS(软件)。IaaS就是给使用者提供最简单的计算存储和网络等等能力,让用户自己搭建自己的业务平台。PaaS,在云计算平台之上抽象出一些比较简单易用的接口和能力,让用户能够在这个平台上快速搭建自己的应用。SaaS,把应用或者软件作为服务传送给用户,用户可以通过任何网络设备使用这个程序。 1.3云计算的特点 (l)按需服务 “云”是一个庞大的资源池,涵盖了除硬件基础设置外的所有计算机资源。用户在使用计算机时,只需一台个人计算机或一部手机等能上网的终端设备,其他所需要的应用软件、系统软件都不需要安装,由互联网上的云端提供即可,用户只按需支付一定的服务费即可。用户所处理的数据或资料不必存储在本地,而是保存在云端的数据中心处。用户可以在任何时间、任何地点通过云继续自己的工作或查找需要的信息,从而实现随用随取,就像自来水、电、煤气等一样按需使用、按需服务、按需付费。 (2)强大的存储、计算能力 云端的管理系统规模非常庞大,一般拥有上百万台服务器,即便是企业的私有云一般也拥有数百上千台服务器。因此,云能赋予用户前所未有的计算能力和存储能力,可以完成用户的各种业务需求。 (3)高可靠性 云端提供了最可靠、安全的数据存储中心,由最专业的团队来管理信息。因此,用户不必担心数据丢失、病毒人侵等问题产生。同时,严格的权限管理策略可以确保用户信息的保密性和与指定其他用户的数据共享。 (4)分层服务 云计算包括3个层次的服务:基础设施级服务(IaaS)、平台级服务(PaaS)和软件服务

浅析云计算的五大关键技术

浅析云计算的五大关键技术 据中国报告大厅发布的《2014-2020年中国云计算行业深度调研及发展趋势分析报告》,国科数据中心做出如下解读: 1 虚拟化技术 虚拟化技术是指计算元件在虚拟的基础上而不是真实 的基础上运行,它可以扩大硬件的容量,简化软件的重新配置过程,减少软件虚拟机相关开销和支持更广泛的操作系统方面。通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根

据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化目。在云计算实现中。计算系统虚拟化是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面,是提高服务效率的最佳解决方案。 2 分布式海量数据存储 云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式(集群计算、数据冗余和分布式存储)保证数据的可靠性。冗余的方式通过任务分解和集群,用低配机器替代超级计算机的性能来保证低成本,这种方式保证分布式数据的高可用、高可靠和经济性,即为同一份数据存储多个副本。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS. 3 海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算

系统中的数据管理技术主要是Google的BT sT~lO数据管理技术和Hadoop团队开发的开源数据管理模块HBase.由于云数据存储管理形式不同于传统的RDBMS数据管理方式,如何在规模巨大的分布式数据中找到特定的数据,也是云计算数据管理技术所必须解决的问题[61.同时,由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来,目前一些研究在关注为云数据管理提供RDBMS和SQL 的接口,如基于Hadoap子项目HBase和Hive等。另外,在云数据管理方面,如何保证数据安全性和数据访问高效性也是研究关注的重点问题之一。 4 编程方式 云计算提供了分布式的计算模式,客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map—Reduce.Map—Reduce是一种编程模型和任务调度模型。主要用于数据集的并行运算和并行任务的调度处理。在该模式下,用户只需要自行编写Map函数和Reduce函数即可进行并行计算。其中,Map 函数中定义各节点上的分块数据的处理方法,而Reduce函数中定义中间结果的保存方法以及最终结果的归纳方法。

云计算关键技术及其发展的分析

云计算关键技术及其发展的分析 近几年,云计算以网格计算为基础,成为一种新兴的计算模型。本文将对云计算的基本概念及其关键技术进行介绍,并以此为根据对云计算的发展和应用领域加以阐述。 标签:云计算;关键技术;发展 1 云计算的概念 云计算就是把传统计算机技术和网络技术的分布式处理和并行处理,以及网格计算和效用计算,还有网络存储等等功能,进行充分的发展融合形成的产物。借助于网络这个先进的工具,联系和整个若干个具有较低陈本的计算实体,通过进一步的整合,形成具有强大功能的系统,具有超强的计算能力和完美的功能。为终端用户提供多种服务形式的超强大的计算能力。 通过把“云”的处理能力不断的提高,从而使用户终端的处理负担被减轻,最终实现用户终端被简化成一个单纯的输入输出设备,同时用户终端对“云”的强大计算处理能力能够根据自己的需求进行享受,这就是云计算的核心理念。 强大的计算能力和安全可靠,以及无限量的存储空间和使用方便便捷,还有数据共享是云计算的特点。这种模型的运用,无论是个人还是企业,都必须花费大量的投资,对昂贵的硬件进行购置,就可以通过互联网来实现租赁和计算能力。 2 云计算关键技术 2.1 虚拟化技术 云计算最核心的特征就是虚拟化,同时这一特征也是云计算得以实现的基础。虚拟化技术将物理资源的逻辑与统一表示出来。虚拟化指的是以虚拟软件为基础进行的计算,而不是在真实硬件上运行的。虚拟化技术的运用,实现了资源的高效利用,而且能够以用户的实际需要作为出发点,及时调节资源的分配,平衡了动态负载,另外与硬件无关的特性所提供的系统自愈功能,使得系统的可靠性得以显著提升。虚拟化技术涵盖了计算机技术的方方面面。 2.2 分布式技术分布 最早将分布式技术大规模应用于向全球用户提供搜索服务的是Google搜索引擎,其分布式的架构能够使得数百万台计算机协同作业。分布式文件系统的最主要特征就是能够将大量的数据以分布式进行储存,从而完成大型任务的分解,以及多台计算机的并行计算。作为分布式技术中最关键的组成部分,无论是Google的GFS,还是Hadoop中的HDFS,这些分布式文件系统的设计都是为了实现海量文件的存储,这种方式能提高数据存储访问的可靠性和高效性。

云计算在我国的发展现状与展望

云计算在我国的发展现状与展望 【摘要】在云计算模式下,软件架构将从集中化走 向深入化。信息产业价值链的环节也在进一步的重组,云计算的数 据中心成为数据中心的主要方向。云计算与云服务是继个人计算机和互联网之后的第三次IT 浪潮,是新一代信息技术的核心,它不仅是一种技术变革,更是一种商业模式的创新,能够引发一系列的 信息技术应用和服务模式,具有广泛的市场前景和社会效益。 关键词】云计算;市场发展;技术创新;发展趋势 1云计算的概念和原理云计算( cloud computing )是基于 互联网的相关服务的 增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且 经常是虚拟化的资源。云是网络、互联网的一种比喻说法。狭义云计算指IT 基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT 和软件、互联网相关,也可是其他服务。它意味着计算能力也可作 为一种商品通过互联网进行流通。 云计算的原理是:用户所需的应用程序并不需要运行在

用户的个人电脑、手机等终端设备上,而是运行在互联网的 而是保存在互联网的数据中心里面。这些数据中心正常运转 的管理和维护则由提供云计算服务的企业负责,并由他们来 保证足够强的计算能力和足够大的存储空间来供用户使用。 2 云计算优势特点 算能力; 2.安全可靠的数据存储中心; 3.快捷的云服务; 实现不同设备之间的数据共享; 5.经济实用性高 云计算产业的盈利模式主要体现在规模和成本这两个 方面,这同时也是中国互联网行业的优势所在,因为中国拥 有巨大的用户数量和业务规模。 云计算模型的最大优势是把成本分布在尽可能多的用 户上。据统计,云计算可削减至少 20%的成本。此外,云计 算规模经济的效率体现在各方面, 包括硬件成本、 软件管理、 人力资源、辅助设备、维护、备份、日常管理等环节。 从市场规模来看,全球云计算市场销售额从 2008 年的 470亿美元增长到 2011 年的 914亿美元,增长率达到 94.47%。 根据对云计算市场的整体预测,云计算市场将继续以 20%左 长到 2015 年的 1768 亿美元。预计到 2020 年,云计算市场 规模将达到 2410 亿美元。 3 云计算在中国市场发展进程 2008 年,云计算作为一项全新的 ICT 应用模式重新被我 国市场认识。随着IBM 、微软、谷歌等巨头厂商的不断介入, 云计算 大规模服务器集群中 。用户所处理的数据也并不存储在本地, 目前云计算主要存在的优势特点主要包括: 1.强大的计 4. 右的增长率迅速扩张,销售额将从 2011 年的 914 亿美元增

云计算发展现状及趋势研究

云计算发展现状及趋势研究 摘要:云计算近年来在越来越多的场合被广泛运用,同各行业逐渐走向深度融合,不仅方便了人们的工作和生活,也引发了人们对云计算的高度关注和热烈讨论,给我们带来的机遇和挑战也是全面的。文章通过阐述云计算的基本概念,分析云计算的特点,国内外云计算的发展现状,以及云计算存在的问题,并对未来云计算的发展趋势作了展望。 关键词:云计算;趋势;现状 20世纪60年代,约翰?麦卡锡提出,“计算迟早有一天会变成公用基础设施”,这就意味着计算能力将来有可能和普通商品一样进行流通,这是云计算最初的起源。2007年10月,美国两大互联网巨头IBM和Google,宣布在云计算技术领域的合作。云计算吸引了大众的关注,越来越多的媒体、公司、技术人员开始追逐云计算。 1 云计算的概述 1.1 云计算的定义 对于云计算的认识,仍在持续的变化之中,从不同的角度出发,对云计算的理解会有些许偏差。但是云计算最基本的概念是相通的,为了便于理解,我们可以把它拆分成3个步骤:(1)通过网络将大量的需要处理的程序自动地拆分成

无数个较小的子程序。(2)交由多部服务器组成的庞大系统搜寻分析。(3)将分析的结果回传给用户。这样处理能使用户按照需要获取计算力、存储空间和信息服务等,并且能提高资源的利用率。 1.2 云计算的特点 从目前的研究现状上看,云计算系统具有以下几个外部特征。(1)超大规模。云具有相当大的规模,大型互联网企业能拥有几十万台服务器,全球最大的搜索引擎谷歌公司甚至拥有一百多万台服务器,云能让客户拥有前所未有的计算能力。(2)虚拟化。云计算虚拟化是指应用在云中某处运行,但用户无需了解,只需要一部终端就可以通过网络服务实现需要的一切。(3)按需服务。云是一个庞大的资源池,用户可以按需购买,云可以像自?硭?、电、煤气这些生活用品一样按需计费。(4)可伸缩性。云的规模可以动态伸缩,在一定限度内变动,以适应应用和用户规模增长的变化。(5)服务可度量。云计算资源的优化和控制能力都具备可度量的特征。 2 云计算的发展现状 当前,虽然世界云计算正在蓬勃发展,但是比如安全问题等关键技术还在不断完善,产品和服务还在持续创新。然而,全球云计算市场规模正在不断扩大,2016年全球云服务市场规模金额为2 094.8亿美元,2017年全球云服务市场规

云计算的发展现状及看法

云计算的发展现状及看法 云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。美国国家标准与技术研究院(NIST)将其定义为:“云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。” 云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。 云计算可以认为包括以下几个层次的服务:基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。这里所谓的层次,是分层体系架构意义上的“层次”。IaaS,PaaS,SaaS分别在基础设施层,软件开放运行平台层,应用软件层实现。 工业和信息化部副部长尚冰表示,目前我国的云计算已具备一定基础,应用实践正在逐步展开,基础设施也在不断完善中,产业链已经初步形成。 专家介绍,普通市民将很快能够体验到以下这几朵“云”: 卫生云——城市职工医保、城乡居民医保、商业医保等都可通过卫生云异地结算。居民还可用电脑、电视、手机等进行看病预约,并由卫生云定期提醒预防接种、健康体检、慢病检查等保健服务。 政务云——无线政务正在加紧打造中,工商、警务、应急等信息可以通过终端共享。一部手机可以查询多项民生内容,轻松搞定电视缴费、电气查询等事项。 交通云——市民上班或旅游时,可用手机或导航仪查看交通情况,选择最佳路线,查找免费停车位。 另外,备受关注的交通安全问题也将安上“云阀门”。中国铁道学会计算机委

云计算的关键技术

云计算的关键技术 云计算(cloudcomputing,分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。稍早之前的大规模分布式计算技术即为“云计 算”的概念起源。 云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化 技术、云计算平台管理技术最为关键。 云计算的核心技术 (1)编程模型 MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成

Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。 (2)海量数据分布存储技术 云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。 GFS即Google文件系统(GoogleFileSystem),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成,并被许多客户(Client)访问。主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储,每份数据在系统中保存3个以上备份。 客户与主服务器的交换只限于对元数据的操作,所有数据方面的通信都直接和块服务器联系,这大大提高了系统的效率,防止主服务器负载过重。 (3)海量数据管理技术 云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。 BT是建立在GFS,Scheduler,LockService和MapReduce之上的一个大型的分布式数据库,与传统的关系数据库不同,它把所有数据都作为对象来处理,形成一个巨大的表格,用来分布存储大规模结构化数据。 Google的很多项目使用BT来存储数据,包括网页查询,Googleearth和Google金融。这些应用程序对BT的要求各不相同:数据大小(从URL到网页到卫星图象)不同,反应速度不同(从后端的大批处理到实时数据服务)。对于不同的要求,BT都成功的提供了灵活高效的服务。 (4)虚拟化技术 通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。 (5)云计算平台管理技术 云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不间断的服务是巨大的挑战。 云计算系统的平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。 在vForum2011大会的媒体见面会上,VMware公司亚太区兼日本区总经理AndrewDutton接受了记者采访,就Vmware在亚太区及中国的云计算战略发表了自己的看法。

Google云计算的关键技术(一)

Google云计算的关键技术(一) Google云计算的关键技术主要包括:Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统BigTable等。其中: 1)GFS提供了海量数据存储和访问的能力; 2)MapReduce使得海量信息的并行处理变得简单易行; 3)Chubby保证了分布式环境下并发操作的同步问题; 4)BigTable使得海量数据的管理和组织十分方便。 ●GFS GFS是一个面向海量数据密集型应用的、可伸缩的分布式文件系统,它为Google云计算提供了海量存储的能力,处于整个Google云计算技术体系的最底层。 GFS使用廉价的商用机器构建分布式文件系统,将容错的任务交由文件系统来完成,利用软件的方法解决系统可靠性的问题,不但使得存储的成本成倍下降,更是很好地在频繁的故障中确保了数据存储的安全和数据存储服务的连续性,从整体上确保了整个系统的可靠性,进而可以为大量客户机提供高性能的服务。 一、架构 一个GFS集群包含一个单独的Master逻辑节点、多台Chunk服务器,并且同时被多个客户端访问,如下图所示。

GFS存储的文件都被分割成固定大小的Chunk。在Chunk创建的时候,Master服务器会给每个Chunk分配一个不变的、全球唯一的64位的Chunk标识。Chunk服务器把Chunk以linux文件的形式保存在本地硬盘上,并且根据指定的Chunk标识和字节范围来读写块数据。出于可靠性的考虑,每个块都会复制到多个块服务器上。缺省情况下,我们使用3个存储复制节点,不过用户可以为不同的文件命名空间设定不同的复制级别。 Master节点管理所有的文件系统元数据,在逻辑上只有一个。这些元数据包括名字空间、访问控制信息、文件和Chunk的映射信息、以及当前Chunk的位置信息;Master节点还管理着系统范围内的活动,比如Chunk在Chunk服务器之间的迁移等。Master节点使用心跳信息周期地和每个Chunk服务器通讯,发送指令到各个Chunk服务器并接收Chunk服务器的状态信息。 GFS客户端代码以库的形式被链接到客户程序里。客户端代码实现了GFS文件系统的API 接口函数、应用程序与Master节点和Chunk服务器通讯、以及对数据进行读写操作。客户端和Master节点的通信只获取元数据,所有的数据操作都是由客户端直接和Chunk服务器进行交互的。 无论是客户端还是Chunk服务器都不需要缓存文件数据(客户端会缓存元数据)。客户端缓存数据几乎没有什么用处,因为大部分程序要么以流的方式读取一个巨大文件,要么工作集太大根本无法被缓存。Chunk服务器不需要缓存文件数据的原因是:Chunk以本地文件的方式保存,Linux操作系统的文件系统缓存会把经常访问的数据缓存在内存中。 设计思路:集中+分布。单一的Master节点便于通过全局的信息精确定位Chunk的位置以及进行复制决策。同时,为了避免Master节点成为系统的瓶颈,必须减少对Master节点的读写:客户端并不通过Master节点读写文件数据,只是通过其询问应该联系的Chunk服务器,后续的操作将直接和Chunk服务器进行数据读写操作。 二、客户端访问GFS流程 首先,客户端把文件名和程序指定的字节偏移,根据固定的Chunk大小,转换成文件的Chunk 索引。然后,它把文件名和Chunk索引发送给Master节点。Master节点将相应的Chunk 标识和副本的位置信息发还给客户端。客户端用文件名和Chunk索引作为key缓存这些信息。 之后客户端发送请求到其中的一个副本处,一般会选择最近的。请求信息包含了Chunk的标识和字节范围。在对这个Chunk的后续读取操作中,客户端不必再和Master节点通讯了,除非缓存的元数据信息过期或者文件被重新打开。 三、Chunk尺寸的设定 Chunk的大小是关键的设计参数之一。选择64MB这个较大尺寸有几个重要的优点。首先,它减少了客户端和Master节点通讯的需求,因为只需要一次和Mater节点的通信就可以获

相关主题
文本预览
相关文档 最新文档