Hadoop生态系统
(第十一部分Spark)
浪潮通信信息系统有限公司
2
目录
1Spark介绍
2Spark vs Hadoop
3一切都以RDD为基础
4Spark任务调度
5Spark编程相关
3从排序测试说起
4
Spark的位置
5
Spark是什么
Apache Spark?is a fast and general engine for large-scale data processing.
?Speed
Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk.
?Ease of Use
Write applications quickly in Java, Scala or Python.
?Generality
Combine SQL, streaming, and complex analytics.
?Runs Everywhere
Spark runs on Hadoop, Mesos, standalone, or in the cloud. It can access diverse data sources including HDFS, Cassandra, HBase, S3.
6Spark能做什么
搞定所有
7Spark版本衍化
?2013年7月—0.73版发布
?2013年9月—0.80版发布
?2014年2月—发布0.9.0版，成为apache顶级项目
?2014年5月—第一个正式版1.0.0版发布
?加入spark sql。
?提供spark-submit，统一了提交任务的入口?2014年9月—第一个正式版1.1.0版发布
?改进shuffle
?2014年12月—第一个正式版1.2.0版发布
8
Spark生态圈
?Spark：核心引擎
?HDFS S3techyon：存储
?Mesos YARN：调度框架
?SparkStreaming：实时处理应
用
?Spark SQL：即席查询应用
?BlinkDB：交互式查询应用
?MLlib或Mlbase：机器学习应用
?GraphX：图处理
9
目录
1Spark介绍
2Spark vs Hadoop
3一切都以RDD为基础
4Spark任务调度
5Spark编程相关
10
Hadoop在数据挖掘遇到的问题
?多进程，启动耗时
?多次迭代
?中间数据的序列化和反序列化
?简单的MR模式vs复杂的机器学习算法
?OO编程
?图计算能力
11Vs mapreduce
12
目录
1Spark介绍
2Spark vs Hadoop
3一切都以RDD为基础
4Spark任务调度
5Spark编程相关
13
RDD概念
RDD是一个数据集,不可改变,分布在集群上,通过DAG来实现自动数据恢复,支持内存物化(Cache)和硬盘物化(Checkpoint)，来保存中间结果.
RDD操作–Resilient Distributed Dataset所有的操作都是针对RDD,类似于MPPDB的技术实现,分布、并行、内存计算和压缩。优于MPP点在于毫秒级的调度,适用于复杂计算,逊于MPP点在于数据处理没有SQL方便和强大。
RDD是Spark的核心，也是整个Spark的架构基础。
它的特性可以总结如下：
它是不变的数据结构存储
它是支持跨集群的分布式数据结构
可以根据数据记录的key对结构进行分区
提供了粗粒度的操作，且这些操作都支持分区
它将数据存储在内存中，从而提供了低延迟性
14
RDD操作
Persist:持久化RDD，修改了RDD的meta info中的storage level
Checkpoint:持久化RDD的同时切断Lineage，修改了RDD的meta info中的lineage
均返回经过修改的RDD对象自身而非新的RDD对象，均属Lazy操作
15RDD容错
Lineage
每个RDD都会记录?己依赖于哪个(哪些)RDD，万一某个RDD的某些partition挂了，可以通过其它RDD并?行计算迅速恢复出来。
延时调度
RDD将操作分为两类：transformation与action。无论执行了多少次transformation操作，RDD都不会真正执行运算，只有当action操作被执行时，运算才会触发。而在RDD的内部实现机制中，底层接口则是基于迭代器的，从而使得数据访问变得更高效，也避免了大量中间结果对内存的消耗。
16宽窄依赖
17
stage
18
RDD操作举例
假设网站中的一个WebService出现错误，我们想要从数以TB的HDFS日志文件中找到问题的原因，此时我们就可以用Spark加载日志文件到一组结点组成集群的RAM中，并交互式地进行查询。以下是操作举例：
19
目录
1Spark介绍
2Spark vs Hadoop
3一切都以RDD为基础
4Spark任务调度
5Spark编程相关
20RDD执行
RDD graph记录各个RDD的来源，Scheduler进行快速调度，Block tracker跟踪HDFS块位置。Shuffle记录RDD之间的数据分发。Cluster采用Y arn等产品。T ask在线程上执行。
https://www.doczj.com/doc/3f14221336.html, 网易视频云：Kudu，支持快速分析的新型 Hadoop存储系统 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在在线音视频平台。 Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。 背景——功能上的空白 Hadoop生态系统有很多组件，每一个组件有不同的功能。在现实场景中，用户往往需要同时部署很多Hadoop工具来解决同一个问题，这种架构称为混合架构(hybrid architecture)。比如，用户需要利用Hbase的快速插入、快读random access的特性来导入数据，HBase也允许用户对数据进行修改，HBase对于大量小规模查询也非常迅速。同时，用户使用HDFS/Parquet + Impala/Hive来对超大的数据集进行查询分析，对于这类场景，Parquet这种列式存储文件格式具有极大的优势。
https://www.doczj.com/doc/3f14221336.html, 很多公司都成功地部署了HDFS/Parquet + HBase混合架构，然而这种架构较为复杂，而且在维护上也十分困难。首先，用户用Flume或Kafka等数据Ingest工具将数据导入HBase，用户可能在HBase上对数据做一些修改。然后每隔一段时间(每天或每周)将数据从Hbase中导入到Parquet文件，作为一个新的partition放在HDFS上，最后使用Impala等计算引擎进行查询，生成最终报表。 这样一条工具链繁琐而复杂，而且还存在很多问题，比如： ? 如何处理某一过程出现失败？ ? 从HBase将数据导出到文件，多久的频率比较合适？ ? 当生成最终报表时，最近的数据并无法体现在最终查询结果上。 ? 维护集群时，如何保证关键任务不失败？ ? Parquet是immutable，因此当HBase中删改某些历史数据时，往往需要人工干预进行同步。
中国管理科学研究院人才战略研究所 人才所[2015]第（06）号 “Hadoop大数据系统理论与实践”高级培训班通知一、培训特色 当前，我国已经进入大数据时代，在这样的时代背景下，Hadoop的应用也逐渐深入，正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。目前Hadoop应用场景已广泛应用于日志存储、查询和非结构化数据处理等大数据应用领域，随着Hadoop技术的不断成熟以及生态系统相关产品的完善，包括Hadoop对SQL不断加强的支持，以及主流商业软件厂商对Hadoop支持的不断增强，必定会带动Hadoop渗透到越来越多的应用场景中。 2014年是中国大数据的应用落地年，越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中，最受关注的是衍生于开源平台的Hadoop生态系统。Hadoop从2006年诞生至今已经超8年时间。2014年，整个生态系统变得比以往更加丰富，无论是在开源领域，商业软件厂商或是硬件厂商，都开始推出基于Hadoop的相关产品。Hadoop之所以受到如此的关注，主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析，在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。中国管理科学研究院人才战略研究所特举办“hadoop大数据系统理论与实践”高级培训班;并由盛科博文（北京）文化发展有限公司具体承办。 本课程将分别从理论基础知识，系统搭建以及应用案例三方面对Hadoop进行介绍。 本课程采用循序渐进的课程讲授方法，首先讲解Hadoop系统基础知识，概念及架构，之后讲解Hadoop实战技巧，最后详尽地介绍Hadoop经典案例，使培训者从概念到实战，均会有收获和提高。 二、目标收益 本课程将为大家全面而又深入的介绍Hadoop平台的构建流程，涉及Hadoop系统基础知识，概念及架构，Hadoop实战技巧，Hadoop经典案例等。 通过本课程实践，帮助学员对Hadoop生态系统有一个清晰明了的认识；理解Hadoop系统适用的场景；掌握Hadoop等初、中级应用开发技能；搭建稳定可靠的Hadoop集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例。 三、时间地点 2015年4月24日——2015年4月27日北京 （第一天报到，授课三天） 四、培训对象 各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。 主办单位：承办单位： 中国管理科学研究院人才战略研究所盛科博文（北京）文化发展有限公司2015年03月20日2015年03月20日
1自由选课一 1、以下哪个不是数据仓库的特点 2、以下哪个不属于数据仓库需求分析的先决条件 3、进行需求分析可使用多种工具，但以下哪项是不适用的 4、以下哪个不属于数据仓库需求分析的先决条件 5、以下与逻辑建模技术表述无关的是哪一个 6、数据仓库设计过程中所采用的逻辑模型是下面哪一个 7、以下有关ETL表述不正确的是哪一个 8、以下哪一个不属于元数据管理系统的建设的步骤 9、以下哪一个不是数据仓库管理的内容 10、以下哪一项在数据挖掘项目中所占时间比重最大
11、在数据挖掘中，可以通过哪种方法找出发现不真实的数据资料，保证资料的可信度 12、软件需求规格说明书的内容不应包括对的描述 13、K-means算法的缺点不包括 14、CRM是指在合适的、通过合适的、在合适的内、向合适的、提供合适的。 15、银行客户流失预测模型建立流程中模型预测周期一般为 16、商业银行信用评分模型中的数据源不包括 17、利用客户偏好模型对客户进行合理性、等角度去描述群体和调整模型，直至得到理想的模型。 18、客户关系管理的核心是 19、BI和CRM的关系描述中，不正确的是 20、关于软件的概念，说法错误的是
21、下列说法有误的是 22、下列关于ORM的描述，哪些是错误的 23、下列关于软件重用的描述有误的是 中间件是通用服务，这些服务具有标准的程序接口和协议，针对不同的操作系统和硬件平台，它们可以有符合接口和协议规范的多种实现。以下关于中间件的相关描述有误的是 24、Hadoop的标志物是 25、BigTable对应Apache开源项目中的 26、Hadoop生态系统中，被作为ETL使用的软件是 27、Hadoop生态系统中，由Facebook开源，使用SQL语言进行离线分析的软件是 28、Hadoop是由何种语言编写的 29、下列哪些服务是在安装Hadoop时需要临时关闭
hadoop生态系统及简介 一、hadoop1.x的生态系统 HBase：实时分布式数据库 相当于关系型数据库，数据放在文件中，文件就放在HDFS中。因此HBase是基于HDFS的关系型数据库。实时性：延迟非常低，实时性高。 举例：在近18亿条数据的表中查询1万条数据仅需1.58s，这是普通数据库（Oracle 集群，Mysql集群）无法办到的。 HDFS：分布式文件系统 MapReduce：分布式计算框架 Zookeeper：分布式协作服务 协作HBase存储、管理、查询数据，Zookeeper是一个很好的分布式协作服务框架。
Hive：数据仓库 数据仓库： 比如给你一块1000平方米的仓库，让你放水果。如果有春夏秋冬四季的水果，让你放在某一个分类中。但是水果又要分为香蕉、苹果等等。然后又要分为好的水果和坏的水果。。。。。 因此数据仓库的概念也是如此，他是一个大的仓库，然后里面有很多格局，每个格局里面又分小格局等等。对于整个系统来说，比如文件系统。文件如何去管理？Hive 就是来解决这个问题。 Hive： 分类管理文件和数据，对这些数据可以通过很友好的接口，提供类似于SQL语言的HiveQL查询语言来帮助你进行分析。其实Hive底层是转换成MapReduce的，写的HiveQL进行执行的时候，Hive提供一个引擎将其转换成MapReduce再去执行。 Hive设计目的：方便DBA很快地转到大数据的挖掘和分析中。 Pig：数据流处理 基于MapReduce的，基于流处理的。写了动态语言之后，也是转换成MapReduce 进行执行。和Hive类似。 Mahout：数据挖掘库 基于图形化的数据碗蕨。
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。 Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？ 现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类，同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源在组织内从未被挖掘。这就是Hadoop与传统数据处理方式最大的不同。 本文就重点探讨了Hadoop系统的组成部分，并解释各个组成部分的功能。MapReduce——Hadoop的核心 Google的网络搜索引擎在得益于算法发挥作用的同时，MapReduce在后台发挥了极大的作用。MapReduce框架成为当今大数据处理背后的最具影响力的“发动机”。除了Hadoop，你还会在MapReduce上发现MPP（Sybase IQ推出了列示数据库）和NoSQL（如Vertica和MongoDB）。 MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行 的多个节点中处理。当数据量很大时就无法在一台服务器上解决问题，此时分布式计算优势就体现出来。将这种技术与Linux服务器结合可获得性价比极高的替代大规模计算阵列的方法。Yahoo在2006年看到了Hadoop未来的潜力，并邀请Hadoop创始人Doug Cutting着手发展Hadoop技术，在2008年Hadoop已经形成一定的规模。Hadoop项目再从初期发展的成熟的过程中同时吸纳了一些其他
作者：GETINDATA公司创始人兼大数据顾问彼得亚·雷克鲁斯基（Piotr Krewski）和GETINDATA公司首席执行官兼创始人亚当·卡瓦（Adam Kawa） 目录 ?内容简介 ?设计理念 ?H ADOOP组件 ?H DFS ?Y ARN ?Y ARN 应用程序 ?监控 YARN 应用程序 ?用HADOOP处理数据 ?H ADOOP 的其它工具 ?其它资源 内容简介 Hadoop是目前最流行的大数据软件框架之一，它能利用简单的高级程序对大型数据集进行分布式存储和处理。本文将介绍Hadoop的核心概念，描述其体系架构，指导您如何开始使用Hadoop以及在Hadoop上编写和执行各种应用程序。 Hadoop是阿帕奇（Apache）软件基金会发布的一个开源项目，它可以安装在服务器集群上，通过服务器之间的通信和协同工作来存储和处理大型数据集。因为能够高效地处理大数据，Hadoop近几年获得了巨大的成功。它使得公司可以将所有数据存储在一个系统中，并对这些数据进行分析，而这种规模的大数据分析用传统解决方案是无法实现或实现起来代价巨大的。
以Hadoop为基础开发的大量工具提供了各种各样的功能，Hadoop还出色地集成了许多辅助系统和实用程序，使得工作更简单高效。这些组件共同构成了Hadoop生态系统。 Hadoop可以被视为一个大数据操作系统，它能在所有大型数据集上运行不同类型的工作负载，包括脱机批处理、机器学习乃至实时流处理。 您可以访问https://www.doczj.com/doc/3f14221336.html,网站获取有关该项目的更多信息和详细文档。 您可以从https://www.doczj.com/doc/3f14221336.html,获取代码（推荐使用该方法）来安装Hadoop，或者选择Hadoop商业发行版。最常用的三个商业版有Cloudera(CDH)、Hortonworks(HDP)和MapR。这些商业版都基于Hadoop的框架基础，将一些组件进行了打包和增强，以实现较好的集成和兼容。此外，这些商业版还提供了管理和监控平台的(开源或专有的)工具。 设计理念 Hadoop在解决大型数据集的处理和存储问题上，根据以下核心特性构建： ?分布式：存储和处理并非构建在一台大型超级计算机之上，而是分布在一群小型电脑上，这些电脑之间可以相互通信并协同工作。 ?水平可伸缩性：只需添加新机器就可以很容易地扩展Hadoop集群。每台新机器都相应地增加了Hadoop集群的总存储和处理能力。 ?容错：即使一些硬件或软件组件不能正常工作，Hadoop也能继续运行。 ?成本优化：Hadoop不需要昂贵的高端服务器，而且在没有商业许可证的情况下也可以正常工作。 ?编程抽象：Hadoop负责处理与分布式计算相关的所有纷杂的细节。由于有高级API，用户可以专注于实现业务逻辑，解决他们在现实世界中的问题。 ?数据本地化：Hadoop不会将大型数据集迁移到应用程序正在运行的位置，而是在数据所在位置运行应用程序。
大数据技术与应用 网络与交换技术国家重点实验室 交换与智能控制研究中心 程祥 2016年9月
提纲-大数据处理和分析 1. 批处理计算 1.1 MapReduce 1.2 Spark 2. 流计算 2.1 Storm 3. 图计算 3.1 Pregel 4. 分析和挖掘 4.1 Hive 4.2 Mahout
2 Spark ?2.1 Spark概述 ?2.2 Spark生态系统 ?2.3 弹性分布式数据集（RDD）?2.3 Spark运行架构 ?2.4 Spark编程实践
2.1 Spark概述 ?2.1.1Spark简介 ?2.1.2Scala简介 ?2.1.3Spark与Hadoop的比较
?Spark最初由美国加州伯克利大学（UC Berkeley）的AMPLab于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序 ?2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的分布式计算系统开源项目之一 ?Spark在2014年打破了Hadoop保持的基准排序纪录–Spark/206个节点/23分钟/100TB数据 –Hadoop/2000个节点/72分钟/100TB数据 Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度！
Spark具有以下特点： ①运行速度快：采用DAG执行引擎和内存计算 ②容易使用：支持包括Scala、Java、Python和R语 言在内的多种语言进行编程 ③与HDFS等存储层兼容：可以独立运行，也可以运 行在YARN等集群管理系统之上，特别地，它可以运行在任何的Hadoop数据源上，例如，HDFS和 HBase ④通用性：类似Hadoop，Spark提供了完整而强大 的技术栈，包括SQL查询、流式计算、机器学习和图算法等组件
Hadoop配置部署 每个节点上的Hadoop配置基本相同，在Master节点操作，然后完成复制到其他所有的从节点。 下面所有的操作都使用waibao用户，切换waibao用户的命令是： su waibao 密码是：waibao 将软件包中的Hadoop生态系统包复制到相应waibao用户的主目录下（直接拖拽方式即可拷贝） 3.3.1 Hadoop安装包解压 进入Hadoop软件包，命令如下： cd /home/waibao/resources/ 复制并解压Hadoop安装包命令如下： cp hadoop-2.5.2.tar.gz ~/ cd tar -xvf hadoop-2.5.2.tar.gz mv hadoop-2.5.2 hadoop cd hadoop ls -l看到如下图的内容，表示解压成功： 3.3.2配置环境变量hadoop-env.sh 环境变量文件中，只需要配置JDK的路径。
vi etc/hadoop/hadoop-env.sh 在文件的靠前的部分找到下面的一行代码： export JAVA_HOME=${JAVA_HOME} 将这行代码修改为下面的代码： export JAVA_HOME=/usr/java/jdk7 然后保存文件。 3.3.3配置环境变量yarn-env.sh 环境变量文件中，只需要配置JDK的路径。 vi etc/hadoop/yarn-env.sh 在文件的靠前的部分找到下面的一行代码： # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 将这行代码修改为下面的代码（将#号去掉）： export JAVA_HOME=/usr/java/jdk7 然后保存文件。 3.3.4配置核心组件core-site.xml vi etc/hadoop/core-site.xml 用下面的代码替换core-site.xml中的内容：