OpenStack架构详解
What is OpenStack?
OpenStack提供开放源码软件,建立公共和私有云。OpenStack是一个社区和一个项目,以及开放源码软件,以帮助企业运行的虚拟计算或者存储云。OpenStackd开源项目由社区维护,包括OpenStack计算(代号为Nova),OpenStack对象存储(代号为SWIF T),并OpenStack镜像服务(代号Glance)的集合。OpenStack提供了一个操作平台,或工具包,用于编排云。
Components of OpenStack
OpenStack当前主要有三个组件:计算,存储,镜像。
OpenStack计算是一个云控制器,用来启动一个用户或一个组的虚拟实例,它也用于配置每个实例或项目中包含多个实例为某个特定项目的联网。
OpenStack对象存储是一个在具有内置冗余和容错的大容量系统中存储对象的系统。对象存储有各种应用,如备份或存档数据,存储图形或视频(流媒体数据传输到用户的浏览器),储存二级或三级静态数据,发展与数据存储集成新的应用程序,当预测存储容量困难时存储数据,创造弹性和灵活的云存储Web应用程序。
OpenStack镜像服务是一个查找和虚拟机图像检索系统。它可以配置三种方式:使用Op enStack对象存储来存储图像;使用亚马逊S3直接存储,或使用S3对象存储作为S3访问中间存储。
OpenStack Project Architecture
OpenStack当前包括三个子项目,三个项目相会独立,可以单独安装。
? Swift 提供对象存储。这是大致类似于Rackspace云文件(从它派生)或亚马逊S3。? Glance 提供OpenStack Nova虚拟机镜像的发现,存储和检索。
? Nova 根据要求提供虚拟服务。这与Rackspace云服务器或亚马逊EC2类似。
将来会出现web 接口的子项目以及队列服务的子项目。
Cloud Provider Conceptual Architecture
构建自己的Iaas云环境并将其提供给用户,需要提供以下几个特性:
1. 允许应用用户注册云服务、查看使用情况以及账单。
2. 允许开发商和开发人员创建和存储自定义的镜像。
3. 允许开发商和开发人员启动、监控、停止虚拟机实例。
4. 允许操作人员配置和操作云基础设施。
上面只列出了基本的4个特性,当然还有其他一些特性,将这些特性列在一起,展示如下:
在上面的模型中,假定了与云交互的四种人员(开发商、开发人员、操作员、用户),还定义了三层架构(表现、逻辑、资源)和两个正交领域(集成和管理)。
表现层,组件与用户交互,接受并显示用户的信息。在这一层,为非开发人员提供了一个w eb 图形界面,为开发人员提供了API。在这一层,还存在负载均衡、控制台代理、安全、命名服务。
逻辑层,为我们的云和控制功能提供情报。这层内包括部业务流程(工作流程复杂的任务),调度(确定作业对资源的映射),政策(配额等),镜像注册表(例如镜像的元数据),日志(事件和计量)。
集成功能,大多数服务提供商已经有一个客户的身份和计费系统。任何云架构将需要与这些系统集成。
管理层,提供一个API来管理云并提供监控功能。
资源层,因为这是一个计算云,我们需要实际的计算,网络和存储资源,以提供给客户。这一层提供这些服务,他们可能是服务器,网络交换机,网络附加存储或其他资源。OpenStack Compute Logical Architecture
OpenStack 中有两个守护进程:
接收和调解API调用的WSGI应用程序(nova-api,glance-api等等)。
进行编排任务的工人守护进程(nova-compute,nova-network,,nova-schedule)。OpenStack中还包含两个组件:消息队列服务和数据库。这两个组件方便异步编排复杂的任务通过消息传递和信息共享。
这个复杂的,但不是太翔实的图表可以概括为三句话:
λ终端用户通过nova-api 接口与Openstack 计算交互。
λOpenStack计算守护进程通过队列的交换信息(行动)和数据库(信息)进行API请求。λOpenStack Glance是一个完全独立的基础上设施。
各个组件的介绍:
nova-api:是对外的接口。OpenStack 云计算的核心控制器(CloudController定义在trunk/nova/api/ec2/cloud.py)。它提供了一个为所有的API查询(OpenStack API 或EC2 API)的端点,引发多数业务流程的活动(如运行一个实例),并实施一些政策(主要是配额检查)。
nova-schedule:根据当前资源使用情况,决定计算节点分布到哪台计算节点上。目前实现很薄,目前已支持插件方式扩展,方便后面可能有采用更复杂算法。
nova-compute:接收队列中的动作,然后执行一系列的系统命令(如启动KVM实例),同时更新数据库中的状态。
nova-volume:给虚拟机分配额外持久化的存储,管理持久卷到计算实例的创建,连接和分离。
nova-network:网络管理,给虚拟机分配网络和管理,使外部 PC 可以可直接访问。它接受队列中的网络任务,然后执行任务操纵网络(如设立桥接接口或更改iptables规则)。queue:提供了一个守护进程之间传递消息的中央枢纽。当前由RabbitMQ实现,理论上可以是Python的ampqlib支持的任何AMPQ消息队列。
SQL database:存储云基础设施的编译时和运行时的状态。这包括可用的实例类型,在使用中的实例,可用的网络和项目。
OpenStack Glance:OpenStack 单独的一个项目。
Nova Conceptual Mapping
OpenStack的架构示意图和目前已实现情况,蓝色是要 openstack概念上的架构图,红色是目前已实现的。
上面的功能模块对应上面模型的映射:
Service Architecture
管理和使用是走两个通道的。管理必须要经由 nova-api转发过去。而运行时,直接连接计算节点上的虚拟机即可。
部署
部署时,除了Dashboard 必须部署在 nova-api server 上以外,所有的其它进程都可以部署在不同的机器上。
OpenStack提供了基于Puppet 的自动部署工具。经过简单配置,就可以把各个组件部署到不同机器上。
镜像管理
OpenStack的镜像创建并没有纳入其职责列表。
你可以使用Ubuntu的已有image (https://https://www.doczj.com/doc/112964623.html,/community/UEC/),或者直接重新自己通过KVM安装:
https://www.doczj.com/doc/112964623.html,/2011/04/27/openstack-beginners-guide-for-ubu ntu-11-04-image-management/
网络模型
Flat Network Manager, Flat DHCP Network Manager, VLAN Network Manager. VLAN Network Manager 这种方式适合于共有云。
在私有云方面, IP充足,而且为了方便的互联互通,简单的Flat结构网络比较适合。OpenStack支持 Floating IPs ,该特性可以方便的通过更改IP来Failover(容错转移)或者迁移。
OpenStack SDN架构 ?马啸 微信:Zebra 2014年11?月23?日
??目录 ?OpenContrail (Contrail)?OpenFlow Overlay(OpenDaylight VTN)?OpenStack Neutron (VMware NSX)
云需??网络
OpenContrail MPLS?方式 MPLS?自?身 ! 1,三层路由标签技术 2,传统上在MPLS-BGP中为路由条??目分配MPLS标签
Switch eth1 eth1 VM1 VM2 同?一Network 去往192.168.1.1 打上MPLS =1,并且打上外层头部到CN1; 去往192.168.1.3,打上MPLS =2,并且打上外层头部到CN1; 去往192.168.1.2,就直接出去tap2 192.168.1.1/24 VRF1 转发表: 去往192.168.1.2打上MPLS =5,并且打上外层标签到CN2; 去往192.168.1.1,就直接出去tap1 去往192.168.1.3,就直接出去tap3 192.168.1.2/24 MPLS 标签表: MPLS=1 剥离外层改变MAC 出tap1; MPLS =2 剥离外层改变MAC 出tap3;MPLS 标签表: MPLS=5剥离外层标签改变MAC 并出tap2 CN1 CN2 192.168.1.3/24tap1 tap3 tap2 VM3
VM1 不同Network 192.168.1.1/24 VRF1 转发表: 去往192.168.1.2打上MPLS =5,并且打上外层标签到CN2; 去往192.168.1.1,就直接出去tap1 去往192.168.1.3,就直接出去tap3 MPLS 标签表: MPLS=1 剥离外层改变MAC 出tap1; MPLS =2 剥离外层改变MAC 出tap3; MPLS =3 剥离外层改变MAC 出tap4 CN1 192.168.1.3/24tap1 tap3 VM3 VM4 VRF2 转发表: 去往192.168.2.1直接从tap4出去 tap4 192.168.2.1/24
OpenStack的架构详解 OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。 1. OpenStack是什么 OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。 OpenStack旗下包含了一组由社区维护的开源项目,他们分别是OpenStackCompute(Nova),OpenStackObjectStorage(Swift),以及OpenStackImageService(Glance)。 OpenStackCompute[1],为云组织的控制器,它提供一个工具来部署云,包括运行实例、管理网络以及控制用户和其他项目对云的访问(thecloudthroughusersandprojects)。它底层的开源项目名称是Nova,其提供的软件能控制IaaS云计算平台,类似于AmazonEC2和RackspaceCloudServers。实际上它定义的是,与运行在主机操作系统上潜在的虚拟化机制交互的驱动,暴露基于WebAPI的功能。 OpenStackObjectStorage[2],是一个可扩展的对象存储系统。对象存储支持多种应用,比如复制和存档数据,图像或视频服务,存储次级静态数据,开发数据存储整合的新应用,存储容量难以估计的数据,为Web应用创建基于云的弹性存储。 OpenStackImageService[1],是一个虚拟机镜像的存储、查询和检索系统,服务包括的RESTfulAPI允许用户通过HTTP请求查询VM镜像元数据,以及检索实际的镜像。VM镜像有四种配置方式:简单的文件系统,类似OpenStackObjectStorage的对象存储系统,直接用Amazon'sSimpleStorageSolution(S3)存储,用带有ObjectStore的S3间接访问S3。 三个项目的基本关系如下图1-1所示:
OpenStack架构详解 What is OpenStack? OpenStack提供开放源码软件,建立公共和私有云。OpenStack是一个社区和一个项目,以及开放源码软件,以帮助企业运行的虚拟计算或者存储云。OpenStackd开源项目由社区维护,包括OpenStack计算(代号为Nova),OpenStack对象存储(代号为SWIF T),并OpenStack镜像服务(代号Glance)的集合。OpenStack提供了一个操作平台,或工具包,用于编排云。 Components of OpenStack OpenStack当前主要有三个组件:计算,存储,镜像。 OpenStack计算是一个云控制器,用来启动一个用户或一个组的虚拟实例,它也用于配置每个实例或项目中包含多个实例为某个特定项目的联网。 OpenStack对象存储是一个在具有内置冗余和容错的大容量系统中存储对象的系统。对象存储有各种应用,如备份或存档数据,存储图形或视频(流媒体数据传输到用户的浏览器),储存二级或三级静态数据,发展与数据存储集成新的应用程序,当预测存储容量困难时存储数据,创造弹性和灵活的云存储Web应用程序。 OpenStack镜像服务是一个查找和虚拟机图像检索系统。它可以配置三种方式:使用Op enStack对象存储来存储图像;使用亚马逊S3直接存储,或使用S3对象存储作为S3访问中间存储。 OpenStack Project Architecture OpenStack当前包括三个子项目,三个项目相会独立,可以单独安装。 ? Swift 提供对象存储。这是大致类似于Rackspace云文件(从它派生)或亚马逊S3。? Glance 提供OpenStack Nova虚拟机镜像的发现,存储和检索。 ? Nova 根据要求提供虚拟服务。这与Rackspace云服务器或亚马逊EC2类似。 将来会出现web 接口的子项目以及队列服务的子项目。
OpenStack 云技术介绍及架构设计
目录 一、云计算的发展 (3) 二、什么是云计算? (5) 三、云计算的类型 (6) ? 3.1. 公有云 (6) ? 3.2. 私有云 (7) ? 3.3. 混合云 (7) 四、云平台 (7) 五、云计算的服务模式 (8) ? 5.1. IAAS (8) ? 5.2. PAAS (8) ? 5.3. SAAS (8) 六、OpenStack的前世今生 (9) 6.1. 什么是OpenStack? (9) 6.2. OpenStack组件介绍 (10) 6.3. OpenStack发展路线 (12) 七、总结 (17)
一、云计算的发展 说起云计算想必大家都很熟悉,它被视为科技界的革命性产物,极大可能的改变人们的工作方式和商业模式的运作。但是它并不是从石头缝中突然蹦出来的,而是经过了诸多技术的成熟和演变诞生的。云计算吸收了之前并行计算、分布式计算和网格计算的优势,借助虚拟化、效用计算等技术混合而成。按照资源形态来分,主要经历了以下不同的发展阶段: 图1-云计算的发展 1、资源分散时代 IT发展初期,百废待兴。所有的系统处于分散零落的状态,哪里需要IT系统,就在哪里构建,IT资源分散,架构不清晰。业务资源和数据资源相对分散,IT管理模式较为落后,浪费了很多的IT资源。各种IT设备五花八门,问题层出不穷。 2、资源大集中时代 这个时代主要解决了企业IT资源分散管理难和容灾的问题。将企业分散的数据资源、IT 资源进行了物理集中,形成了规模化的数据中心基础设施。在数据集中过程中,不断实施数据和业
务的整合,大多数企业的数据中心基本完成了自身的标准化,使得既有业务的扩展和新业务的部署能够规划、可控,并以企业标准进行IT 业务的实施,解决了数据业务分散时期的混乱无序问题。在这一阶段中,很多企业在数据集中后期也开始了容灾建设。企业的容灾中心建设普遍受到重视,以金融为热点行业几乎开展了全行业的容灾建设热潮,并且金融行业的大部分容灾建设的级别都非常高,面向应用级容灾(数据零丢失为目标)。总的来说,解决了企业IT 分散管理和容灾的问题。 3、资源虚拟化时代 随着企业的快速发展,数据中心IT 基础设施扩张迅速,但是系统建设成本高、周期长,即使是标准化的业务模块建设,软硬件采购成本、调试运行成本与业务实现周期并没有显著下降。标准化并没有给系统带来灵活性,集中的大规模IT 基础设施出现了大量系统利用率不足的问题,不同的系统运行在独占的硬件资源中,效率低下导致资源浪费,而数据中心的能耗、空间问题逐步突显出来。因此,以降低成本、提升IT 运行灵活性、提升资源利用率为目的的虚拟化开始在数据中心进行部署。虚拟化屏蔽了不同物理设备的异构性,将基于标准化接口的物理资源虚拟化成逻辑上也完全标准化和一致化的逻辑计算资源(虚拟机)和逻辑存储空间。虚拟化可以将多台物理服务器整合成单台,每台服务器上运行多种应用的虚拟机,实现物理服务器资源利用率的提升,由于虚拟化环境可以实现计算与存储资源的逻辑化变更,特别是虚拟机的克隆,使得数据中心IT 实施的灵活性大幅提升,业务部署周期可用数月缩小到一天以内。虚拟化后,应用以VM 为单元部署运行,数据中心服务器数量可大为减少且计算能效提升,使得数据中心的能耗与空间问题得到控制。通过虚拟化,提升了企业IT 架构的灵活性,数据中心资源利用率有效提高,运行成本降低。 4、云计算时代
OpenStack系统架构详解 张云星 产品中心 曙光信息产业股份有限公司 2013-12-04 目录 目录错误!未定义书签。 1OpenStack概述 ................................................................................ 错误!未定义书签。2OpenStack整体架构 ......................................................................... 错误!未定义书签。3OpenStack各组件简介...................................................................... 错误!未定义书签。4OpenStack 计算套件—Nove............................................................. 错误!未定义书签。5OpenStack 镜像服务套件—Glance................................................... 错误!未定义书签。6OpenStack对象存储套件—Swift ....................................................... 错误!未定义书签。 6.1Swift特性.................................................................................. 错误!未定义书签。 6.2应用场景 ................................................................................... 错误!未定义书签。7OpenStack网络套件—Neutron ......................................................... 错误!未定义书签。8OpenStack身份识别—Keystone ....................................................... 错误!未定义书签。9OpenStack仪表盘套件—Horizon ...................................................... 错误!未定义书签。10SUSE Cloud 2.0架构.................................................................... 错误!未定义书签。11Openstack中国服务中心 .............................................................. 错误!未定义书签。12参考文献 ....................................................................................... 错误!未定义书签。
OpenStack的架构 1.OpenStack是什么 OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。 OpenStack旗下包含了一组由社区维护的开源项目,他们分别是OpenStack Compute(Nova),OpenStack Object Storage(Swift),以及OpenStack Image Service(Glance)。 OpenStack Compute[1],为云组织的控制器,它提供一个工具来部署云,包括运行实例、管理网络以及控制用户和其他项目对云的访问(the cloud through users and projects)。它底层的开源项目名称是Nova,其提供的软件能控制IaaS云计算平台,类似于Amazon EC2和Rackspace Cloud Servers。实际上它定义的是,与运行在主机操作系统上潜在的虚拟化机制交互的驱动,暴露基于Web API的功能。 OpenStack Object Storage[2],是一个可扩展的对象存储系统。对象存储支持多种应用,比如复制和存档数据,图像或视频服务,存储次级静态数据,开发数据存储整合的新应用,存储容量难以估计的数据,为Web应用创建基于云的弹性存储。 OpenStack Image Service[1],是一个虚拟机镜像的存储、查询和检索系统,服务包括的RESTful API允许用户通过HTTP请求查询VM镜像元数据,以及检索实际的镜像。VM镜像有四种配置方式:简单的文件系统,类似OpenStack ObjectStorage的对象存储系统,直接用Amazon'sSimple Storage Solution (S3) 存储,用带有Object Store的S3间接访问S3。 三个项目的基本关系如下图1-1所示: 2.云服务提供商的概念架构 OpenStack能帮我们建立自己的IaaS,提供类似Amazon Web Service的服务给客户。为实现这一点,我们需要提供几个高级特性: a)允许应用拥有者注册云服务,查看运用和计费情况; b)允许Developers/DevOps folks创建和存储他们应用的自定义镜像;
在UnitedStack组织的存储技术研讨会上,三位来自于UnitedStack、IBM和HP的存储专家分别就UnitedStack文件共享服务、IBM 弹性存储和HP Helion VSA进行了深入解读,详细阐述了OpenStack Manila和Ceph、GPFS到弹性存储的演进、VSA和Helion的结合等技术。这也可以说是目前市场上云环境下存储架构的经典流派解读。 UnitedStack:如何在OpenStack平台实现文件共享服务? 第一位嘉宾的是来自于UnitedStack的资深存储工程师孟圣智,他主要讲述了UnitedStack明年将会重磅推出的文件共享服务。 文件共享服务是企业存储的刚性需求。根据IDC 2012数据,65%的数据存储是以文件的形态存在的,大量传统应用需要使用文件系统作为存储媒介。现在大量企业应用往云平台上迁移,自然对传统NAS服务在虚拟化环境下的实现有强烈的需求,那么在OpenStack平台上,如何实现文件共享服务呢? 目前,由NetAPP和Mirantis主导的Manila项目越来越受到OpenStack用户的关注,Manila提供了安全的多租户的文件共享服务,现在支持NFS和CIFS,在OpenStackJuno版中已经有了稳定分支。Manila的核心概念有:共享目录、ACL、共享网络、快照、后端驱动。目前支持的后端驱动有GPFS、GlusterFS、EMCVNX等。在云平台上,所有服务必须要考虑多租户资源隔离,目前Manila 的多租户资源隔离依赖于Neutron的私有网络隔离。 Manila的通用驱动的方式是通过Nova创建一台虚拟机(Service VM),通过Cinder创建一个Volume,并挂载到Service VM上。Service VM格式化这个Volume,用它作为共享目录,对外提供NFS/CIFS共享服务。
OpenStack云平台技术方案
目录 云,无处不在 (3) OpenStack to UnitedStack (3) 系统架构介绍 (5) Compute(计算) (6) Compute逻辑架构 (9) Compute物理架构 (9) Network(网络) (12) Quantum基本架构 (12) Object Storage(对象存储) (13) 概述 (13) 功能特性 (14) Identity(身份认证) (16) Dashboard(仪表盘) (17) 特点 (18) Block Storage(块存储) (20) 特点 (21) 物理资源管理系统 (22) 简介: (22) 功能: (23) 用例 (23) Hawkeye(监控): (24)
简介: (24) 特点: (25) 用例 (25) OpsCloud (26) 带来的挑战 (26) USTACK解决方案 (27)
云,无处不在 软件安装在“云”端,数据存储在“云”端,“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展。用户通过浏览器来远程计算、处理数据,结果显示在客户端,这样的计算模式就是云计算。云计算不仅仅是一个概念,而是要将虚拟网络、虚拟计算以及虚拟存储结合,形成无处不在的云。 OpenStackto UnitedStack 第一次开始使用Openstack的时候,相信你已经深深感受到它的强大。
OpenStack的继续遵循同样的原则:支持尽可能广泛的硬件和支持最广泛的虚拟机管理程序,与同等质量的。云时代来临时,基于OpenStack才能孵化出最实用的产品。 1.与OpenStack开源社区的无缝对接 云计算已经成为一种新的运营模式,它对于人们如何消费、如何提供IT服务和从事IT 行业是一个根本性的转变。OpenStack让原本模糊不清的云计算终于能够脚踏实地,而UnitedStack做的就是紧紧围绕OpenStack,让OpenStack最大化其应用价值。 2.积极的客户支持 在项目开发方面,我们添加了对微软Hyper-V虚拟化技术的支持。我们将一些我们自己的网络堆栈协议集成到平台之中,并在API兼容性方面做了许多工作。而对于客户,我们对想采用OpenStack的客户提供了最大的支持。例如:Swift是一个模仿了Amazon S3的存储服务。现在我们正围绕此技术构建管理框架,从而使得这些公司可以在OpenStack 平台上提供类似于S3的服务。
云计算框架OpenStack教学大纲 一、课程基本信息 课程中文名称:云计算框架与应用 授课对象:计算机科学与技术专业 二、课程教学目标与任务 本课程是理论性和应用性均较强的课程,通过本课程的学习,了解云计算框架OpenStack的基本概念,掌握OpenStack的系统安装,了解虚拟化技术、虚拟机的管理、掌握云计算技术、云计算体系结构,掌握如何安装OpenStack的各个组件,学会使用OpenStack系统创建和管理虚拟机、虚拟网络及存储资源。 三、学时安排 四、课程教学内容与基本要求 第1章云计算简介 教学目的:通过本章学习,了解云计算和云存储的概念,了解云计算和云存储的特点,了解私有云与公有云,掌握基于虚拟化的服务部署。
基本要求:掌握云计算和云存储的概念,掌握基于虚拟化的服务部署。 重点与难点:基于虚拟化的服务部署。 教学方法:讲授、学生收集资料。 主要教学内容: 1.云计算与云存储的概念。 2.私有云与公有云。 3.基于虚拟化的服务部署。 4.云计算的解决方案。 第2章虚拟化技术 教学目的:通过本章学习,了解虚拟化技术KVM与Xen,了解虚拟化工具的安装,了解虚拟机的配置文件,掌握如何大批量创建虚拟机,掌握虚拟机的桌面显示。 基本要求:掌握如何大批量创建虚拟机,掌握虚拟机的桌面显示。 重点与难点:大批量创建虚拟机。 教学方法:讲授、学生收集资料。 主要教学内容: 1.虚拟化技术简介。 2.安装虚拟化工具。 3.虚拟机配置文件详解。 4.大批量创建虚拟机。 5.虚拟机桌面显示。 第3章 OpenStack概述 教学目的:通过本章学习,了解OpenStack与云计算的关系,了解OpenStack发展与现状,了解OpenStack的优势,掌握OpenStack各个组件及功能。 基本要求:掌握OpenStack各个组件及功能。 重点与难点:掌握OpenStack各个组件及功能。 教学方法:讲授、学生收集资料。 主要教学内容: 1.OpenStack与云计算。 2.OpenStack发展与现状。 3.OpenStack的优势。 4.OpenStack各个组件及功能。 第4章虚拟机管理系统Nova 教学目的:通过本章学习,了解Nova基本概念,掌握Nova环境搭建,掌握Nova API服务,
2.1.1 双节点OpenStack架构分析 1.项目导入 某职业院校网络中心建设私有云应用服务,选择搭建安全的云计算平台是首要任务,云计算平台可以实现计算资源的池化弹性管理,通过统一安全认证、授权管理来实现学校应用的集中管理。 经过单位调研,该职业院校网络中心决定选用OpenStack项目来搭建云计算IaaS平台。网络中心系统管理员和应用维护人员需要进行云计算架构的设计、部署和管理。由于技术人员要先熟悉搭建步骤,所以决定先利用VMware Workstation虚拟机软件来搭建测试环境。 2.项目目标 ●了解OpenStack双节点云计算系统 ●配置云计算控制节点和计算节点 ●使用Dashboard管理OpenStack ●配置云计算块存储服务 ●使用命令行管理OpenStack 3.双节点OpenStack架构 网络中心管理员设计了一个简单的云计算平台双节点测试环境,如图6-1所示,该拓扑其中一个节点为控制节点(controller node),另一个节点为计算节点(compute node)。控制节点包含一个网卡eth0,用于管理网络。计算节点包含两个网卡,eth0用于管理网络,eth1用于外部网络。 在测试环境中将使用较简单的传统网络(legacy networking),即使用nova-network实现OpenStack网络连接,不需要配置Neutron组件。 图6-1双节点拓扑规划 控制节点负责对其余节点的控制,包含虚拟机建立,迁移,网络分配,存储分配等,计
算节点负责虚拟机运行。 控制节点包括以下服务:管理支持服务、基础管理服务、扩展管理服务。管理支持服务包含MySQL与Qpid两个服务,MySQL数据库为基础/扩展服务产生的数据提供存放的场所,Qpid消息代理(也称消息中间件)为其他各种服务之间提供统一的消息通信服务。基础管理服务包含Keystone,Glance,Nova,Horizon五个服务。Keystone认证管理服务,提供其余所有组件的认证信息/令牌的管理,创建,修改等等,使用MySQL作为统一的数据库。Glance镜像管理服务,提供对虚拟机部署的时候所能提供的镜像的管理,包含镜像的导入,格式,以及制作相应的模板。Nova计算管理服务,提供对计算节点的Nova的管理,使用Nova-API进行通信。Horizon控制台服务,提供了以Web的形式对所有节点的所有服务的管理,通常把该服务称为DashBoard。 计算节点安装Nova基础服务,提供虚拟机的创建,运行,迁移,快照等各种围绕虚拟机的服务,并提供API与控制节点对接,由控制节点下发任务。 项目所需软件列表: ●VMware Workstation 12.0 ●CentOS-6.6-x86_64-bin-DVD1.ISO镜像文件 ●控制节点、计算节点 ●SecureCRT ●Windows 7
Neutron
经典的三节点部署?分三个网络: ?External Network/API Network, 这个网络是连接外网的,无 论是用户调用Openstack的API, 还是创建出来的虚拟机要访 问外网,或者外网要ssh到虚 拟机,都需要通过这个网络 ?Data Network,数据网络,虚 拟机之间的数据传输通过这 个网络来进行,比如一个虚 拟机要连接另一个虚拟机, 虚拟机要连接虚拟的路由都 是通过这个网络来进行 ?Management Network,管理 网络,Openstack各个模块之 间的交互,连接数据库,连 接Message Queue都是通过这 个网络来。
?neutron分成多个模块分布在三个节点上。 ?Controller节点: ?neutron-server,用于接受API请求创建网络,子网,路由器等,然而创建的这些东 西仅仅是一些数据结构在数据库里面 ?Network节点: ?neutron-l3-agent,用于创建和管理虚拟路由器,当neutron-server将路由器的数据结 构创建好,它是做具体的事情的,真正的调用命令行将虚拟路由器,路由表, namespace,iptables规则全部创建好 ?neutron-dhcp-agent,用于创建和管理虚拟DHCP Server,每个虚拟网络都会有一个 DHCP Server,这个DHCP Server为这个虚拟网络里面的虚拟机提供IP ?neutron-openvswith-plugin-agent,这个是用于创建虚拟的L2的switch的,在Network 节点上,Router和DHCP Server都会连接到二层的switch上 ?Compute节点: ?neutron-openvswith-plugin-agent,这个是用于创建虚拟的L2的switch的,在Compute 节点上,虚拟机的网卡也是连接到二层的switch上
1.简介 Apache Hadoop是目前被广泛使用的主流大数据处理计算框架,Sahara项目旨在使用用户能够在Openstack平台上便于创建和管理Hadoop以及其他计算框架集群,实现类似AWS的EMR(Amazon Elastic MapReduce service)服务。用户只需要提供简单的参数,如版本信息、集群拓扑、节点硬件信息等,利用Sahara服务能够在数分钟时间内快速地部署Hadoop、Spark、Storm集群。Sahara还支持节点的弹性扩展,能够方便地按需增加或者减少计算节点,实现弹性数据计算服务。它特别适合开发人员或者QA在Openstack平台上快速部署大数据处理计算集群。 它特效包括: ?Openstack的标准组件之一; ?通过REST API和Dashboard UI界面管理集群; ?支持多种数据处理计算框架,包括: ?多种Hadoop厂商发行版,比如CDH等; ?Apache Spark和Storm; ?可插除的Hadoop安装引擎; ?集成厂商的特定管理工具,如Apache Ambari and Cloudera Management Console。 支持配置模板。 它和其他Openstack组件交互,如图:
2.工作流程 sahara提供两个层次的API,分别为集群管理(cluster provisioning)和任务管理(analytics as a service)。 集群管理工作流包括: 1.选择Hadoop发行版本; 2.选择base镜像,base镜像用于生成工作节点,base镜像或者已经预先安装了Hadoop的必 要组件,或者提供可插除的可自动快速部署Hadoop的工具。base镜像可以自己制作,也可以直接下载:https://www.doczj.com/doc/112964623.html,/images/upstream/liberty/ 3.集群配置,包括集群大小、集群拓扑(配置组件角色)和一些附加参数(如堆大小、HDFS冗 余份数等); 4.创建集群,sahara将自动创建虚拟机、部署和配置数据分析计算框架集群; 5.集群管理,如增加或者删除节点; 6.集群销毁,用户不需要时,可以删除集群,释放所有的资源。 任务管理工作流包括: 1.选择预先定义的数据处理计算框架以及版本; 2.任务配置: ?选择任务类型:pig,hive,java-jar等; ?提供任务脚本源或者jar包地址; ?选择输入、输出地址。 限制集群大小; 执行任务,注意所有底层的集群管理和任务执行流程对用户是完全透明的,当任务执行完后,集群将会自动移除提交的任务; 获取处理结果(如Swift)。 3.用户视角 通过sahara管理集群,用户主要需要操作以下三个实体对象:Node Group Templates, Cluster Templates and Clusters: ?Node Group Templates:设置单一节点的模板,包括启动虚拟机的flavor、安全组、可用域、镜像等,以及配置Hadoop角色,比如namenode、secondarynamenode、 resourcemanager。比如我们可以创建Master节点模板,flavor为https://www.doczj.com/doc/112964623.html,rge,启动镜 像为sahara-mitaka-vanilla-hadoop-2.7.1-ubuntu-14.04,配置namenode、 resourcemanager、secondarynamenode角色,创建Slave节点模板,flavor为 https://www.doczj.com/doc/112964623.html,rge,镜像为sahara-mitaka-vanilla-hadoop-2.7.1-ubuntu-14.04,配置角色为 datanode、nodemanager等。 ?Cluster Templates:即集群拓扑,包括节点数量(如Master数量、Slave数量)、Hadoop 参数配置,比如HDFS配置、YARN配置等。 ?Clusters:集群管理,包括集群扩容、集群启动、集群删除等。
OpenStack Compute物理架构 OpenStack Compute采用无共享、基于消息的架构,非常灵活,我们能安装每个nova- service在单独的服务器上,这意味着安装OpenStack Compute有多种可能的方法。可能多结点部署唯一的联合依赖性,是Dashboard必须被安装在nova-api服务器。上海腾科的Niki 老师为大家介绍几种部署架构如下: a) 单结点:一台服务器运行所有的nova- services,同时也驱动虚拟实例。这种配置只为尝试OpenStack Compute,或者为了开发目的; b) 双结点:一个cloud controller 结点运行除nova-compute外的所有nova-services,compute结点运行nova-compute。一台客户计算机很可能需要打包镜像,以及和服务器进行交互,但是并不是必要的。这种配置主要用于概念和开发环境的证明。 c) 多结点:通过简单部署nova-compute在一台额外的服务器以及拷贝nova.conf文件到这个新增的结点,你能在两结点的基础上,添加更多的compute结点,形成多结点部署。在较为复杂的多结点部署中,还能增加一个volume controller 和一个network controller作为额外的结点。对于运行多个需要大量处理能力的虚拟机实例,至少是4个结点是最好的。 一个可能的Openstack Compute多服务器部署(集群中联网的虚拟服务器可能会改变)如下图所示: [OpenStack Compute物理架构] 如果你注意到消息队列中大量的复制引发了性能问题,一种可选的架构是增加更多的Messaging服务器。在这种情形下,除了可以扩展数据库服务器外,还可以增加一台额外的RabbitMQ服务器。部署中可以在任意服务器上运行任意nova-service,只要nova.conf中配置为指向RabbitMQ服务器,并且这些服务器能发送消息到它。 下图是另外一种多结点的部署架构。
图1-2 Openstack部署架构 0x02 部署Openstack 1.控制节点 控制器节点是云平台中实现包括网络控制、调度管理、API服务、身份管理和镜像管理等在内的物理节点。如图1-1所示,在云平台中只有一个控制器节点,所以它既是调度管理服务器,又是身份管理、镜像管理、API服务管理器。按照表2-1所示的步骤部署和配置云制器节点。 表2-1 部署云控制节点步骤
2.计算节点 计算节点是指提供nova-compute服务的物理节点,为云平台提供包括CPU、内存等计算资源,如图1-1所示,在云平台中一共有4个计算节点为云平台提供nova-compute服务,按照表2-2所示的步骤配置和部署计算节点。 表2-2 部署计算节点步骤 0x03创建/上传系统环境模板 1.创建系统环境模板
云平台环境一般包括操作系统和专业软件环境两部分。 (1)制作操作系统镜像:创建操作系统镜像要求本地环境支持KVM以及安装vncviewer组件。首先创建一个镜像盘,如"qemu -img create -f raw windows_xp.img 10G",该命令创建了一个容量为10G、raw格式的镜像盘;接着创建KVM镜像虚拟机,通过下面的命令启动系统安装W及建立引导启动系统,kvm -m 512 –cdromwindows_xp.iso –drive file=windows_xp.img,if=scsi,index= 0-boot d –net nic -net user -nogrephic -vnc:0;最后使用vnc viewer登录引导界面安装系统; (2)安装专业软件:安装完操作系统后,需要在操作系统之上安装实验所需的专业软件和常用工具。比如为计算机实验室制作平台环境模板时,需要准备专业的VC++实验开发环境VC6.0,Java实验开发环境JDK、Eclipse等。 最后等待安装完成以后退出,通过命令killallkvm终止kvm,经过上述步骤,即可创建一个完整的系统环境模板。 2.上传模板 模板制作完成以后,需要把模板通过glance发布到云端,这样,用户才可以使用该模板,Openstack提供了命令行工具和Dashboard图形化界面上传镜像文件。通过命令行上传镜像;glance image-create -name “windows_xp”-file “windows_xp.img” -disk-format qcow2 -container-format bare -is-public true 3.创建云主机类型 云主机类型主要是指一些虚拟硬件设施的模板,它通过定义内存、硬盘及CPU等参数大小来限制用户对硬件设施的使用,防止因为用户申请过多的资源。Openstack允许开发者或管理员自定义云主机类型,它提供了命令行工具和Web图形界面两种方式支持云主机类型的自定义。Openstack默认提供了常用的五种云主机类型,如图3-1所示。开发者可根据
OpenStack的架构详解(1) 2012-05-16 09:59 多易网多易网我要评论(2)字号:T | T OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平 台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。 AD:51CTO云计算架构师峰会抢票进行中! OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平 台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。 1. OpenStack是什么 OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平 台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。 OpenStack旗下包含了一组由社区维护的开源项目,他们分别是OpenStackCompute(Nova),OpenStackObjectStorage(Swift),以及OpenStackImageService(Glance)。OpenStackCompute[1],为云组织的控制器,它提供一个工具来部署云,包括运行实例、 管理网络以及控制用户和其他项目对云的访问 (thecloudthroughusersandprojects)。它底层 的开源项目名称是Nova,其提供的软件能控制IaaS云计算平台,类似于 AmazonEC2和RackspaceCloudServers。实际上它定义的是,与运行在主机操作系统上潜在的虚拟化机制 交互的驱动,暴露基于 WebAPI的功能。 OpenStackObjectStorage[2],是一个可扩展的对象存储系统。对象存储支持多种应用,比 如复制和存档数据,图像或视频服务,存储次级静态数据,开发数据存储整合的新应用,存储容量难以估计的数据,为Web应用创建基于云的弹性存储。 OpenStackImageService[1],是一个虚拟机镜像的存储、查询和检索系统,服务包括的RESTfulAPI允许用户通过 HTTP请求查询VM镜像元数据,以及检索实际的镜像。VM 镜像有四种配置方式:简单的文件系统,类似OpenStackObjectStorage的对象存储系统, 直接用Amazon'sSimpleStorageSolution(S3)存储,用带有ObjectStore的S3间接访问S3。 三个项目的基本关系如下图1-1所示: