如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类，同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源在组织内从未被挖掘。这就是Hadoop与传统数据处理方式最大的不同。
本文就重点探讨了Hadoop系统的组成部分，并解释各个组成部分的功能。MapReduce——Hadoop的核心
Google的网络搜索引擎在得益于算法发挥作用的同时，MapReduce在后台发挥了极大的作用。MapReduce框架成为当今大数据处理背后的最具影响力的“发动机”。除了Hadoop，你还会在MapReduce上发现MPP（Sybase IQ推出了列示数据库）和NoSQL（如Vertica和MongoDB）。
MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行
的多个节点中处理。当数据量很大时就无法在一台服务器上解决问题，此时分布式计算优势就体现出来。将这种技术与Linux服务器结合可获得性价比极高的替代大规模计算阵列的方法。Yahoo在2006年看到了Hadoop未来的潜力，并邀请Hadoop创始人Doug Cutting着手发展Hadoop技术，在2008年Hadoop已经形成一定的规模。Hadoop项目再从初期发展的成熟的过程中同时吸纳了一些其他
的组件，以便进一步提高自身的易用性和功能。
HDFS和MapReduce
以上我们讨论了MapReduce将任务分发到多个服务器上处理大数据的能力。而对于分布式计算，每个服务器必须具备对数据的访问能力，这就是HDFS（Hadoop Distributed File System）所起到的作用。
HDFS与MapReduce的结合是强大的。在处理大数据的过程中，当Hadoop集群中的服务器出现错误时，整个计算过程并不会终止。同时HFDS可保障在整个集群中发生故障错误时的数据冗余。当计算完成时将结果写入HFDS的一个节点之中。HDFS对存储的数据格式并无苛刻的要求，数据可以是非结构化或其它类别。相反关系数据库在存储数据之前需要将数据结构化并定义架构。
开发人员编写代码责任是使数据有意义。HadoopMapReduce级的编程利用Java APIs，并可手动加载数据文件到HDFS之中。
Pig和Hive
对于开发人员，直接使用Java APIs可能是乏味或容易出错的，同时也限制了Java程序员在Hadoop上编程的运用灵活性。于是Hadoop提供了两个解决方案，使得Hadoop编程变得更加容易。
?Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。
?Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS），并允许使用类似于SQL语法进行数据查询。与Pig一样，Hive的核心功能是可扩展的。
Pig和Hive总是令人困惑的。Hive更适合于数据仓库的任务，Hive主要用于静态的结构以及需要经常分析的工作。Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。Pig赋予开发人员在大数据集领域更多的灵活性，并允许开发简洁的脚本用于转换数据流以便嵌入到较大的应用程序。Pig相比Hive 相对轻量，它主要的优势是相比于直接使用Hadoop Java APIs可大幅削减代码量。正因为如此，Pig仍然是吸引大量的软件开发人员。
改善数据访问：HBase、Sqoop以及Flume
Hadoop核心还是一套批处理系统，数据加载进HDFS、处理然后检索。对于计算这或多或少有些倒退，但通常互动和随机存取数据是有必要的。HBase作为面向列的数据库运行在HDFS之上。HBase以Google BigTable为蓝本。项目的目标就是快速在主机内数十亿行数据中定位所需的数据并访问它。HBase利用MapReduce来处理内部的海量数据。同时Hive和Pig都可以与HBase组合使用，Hive和Pig还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。
但为了授权随机存储数据，HBase也做出了一些限制：例如Hive与HBase的性能比原生在HDFS之上的Hive要慢4-5倍。同时HBase大约可存储PB级的数据，与之相比HDFS的容量限制达到30PB。HBase不适合用于ad-hoc分析，HBase更适合整合大数据作为大型应用的一部分，包括日志、计算以及时间序列数据。获取数据与输出数据
Sqoop和Flume可改进数据的互操作性和其余部分。Sqoop功能主要是从关系数据库导入数据到Hadoop，并可直接导入到HFDS或Hive。而Flume设计旨在直接将流数据或日志数据导入HDFS。
Hive具备的友好SQL查询是与繁多数据库的理想结合点，数据库工具通过JDBC 或ODBC数据库驱动程序连接。
负责协调工作流程的ZooKeeper和Oozie
随着越来越多的项目加入Hadoop大家庭并成为集群系统运作的一部分，大数据处理系统需要负责协调工作的的成员。随着计算节点的增多，集群成员需要彼此同步并了解去哪里访问服务和如何配置，ZooKeeper正是为此而生的。
而在Hadoop执行的任务有时候需要将多个Map/Reduce作业连接到一起，它们之间或许批次依赖。Oozie组件提供管理工作流程和依赖的功能，并无需开发人员编写定制的解决方案。
Ambari是最新加入Hadoop的项目，Ambari项目旨在将监控和管理等核心功能加入Hadoop项目。Ambari可帮助系统管理员部署和配置Hadoop，升级集群以及监控服务。还可通过API集成与其他的系统管理工具。
Apache Whirr是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr现今相对中立，当前支持Amazon EC2和Rackspace服务。
机器学习：Mahout
各类组织需求的不同导致相关的数据形形色色，对这些数据的分析也需要多样化的方法。Mahout提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括集群、分类、推荐过滤、频繁子项挖掘。
使用Hadoop
通常情况下，Hadoop应用于分布式环境。就像之前Linux的状况一样，厂商集成和测试Apache Hadoop生态系统的组件，并添加自己的工具和管理功能。
https://www.doczj.com/doc/8c13914437.html, 网易视频云：Kudu，支持快速分析的新型 Hadoop存储系统 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在在线音视频平台。 Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。 背景——功能上的空白 Hadoop生态系统有很多组件，每一个组件有不同的功能。在现实场景中，用户往往需要同时部署很多Hadoop工具来解决同一个问题，这种架构称为混合架构(hybrid architecture)。比如，用户需要利用Hbase的快速插入、快读random access的特性来导入数据，HBase也允许用户对数据进行修改，HBase对于大量小规模查询也非常迅速。同时，用户使用HDFS/Parquet + Impala/Hive来对超大的数据集进行查询分析，对于这类场景，Parquet这种列式存储文件格式具有极大的优势。
https://www.doczj.com/doc/8c13914437.html, 很多公司都成功地部署了HDFS/Parquet + HBase混合架构，然而这种架构较为复杂，而且在维护上也十分困难。首先，用户用Flume或Kafka等数据Ingest工具将数据导入HBase，用户可能在HBase上对数据做一些修改。然后每隔一段时间(每天或每周)将数据从Hbase中导入到Parquet文件，作为一个新的partition放在HDFS上，最后使用Impala等计算引擎进行查询，生成最终报表。 这样一条工具链繁琐而复杂，而且还存在很多问题，比如： ? 如何处理某一过程出现失败？ ? 从HBase将数据导出到文件，多久的频率比较合适？ ? 当生成最终报表时，最近的数据并无法体现在最终查询结果上。 ? 维护集群时，如何保证关键任务不失败？ ? Parquet是immutable，因此当HBase中删改某些历史数据时，往往需要人工干预进行同步。
中国管理科学研究院人才战略研究所 人才所[2015]第（06）号 “Hadoop大数据系统理论与实践”高级培训班通知一、培训特色 当前，我国已经进入大数据时代，在这样的时代背景下，Hadoop的应用也逐渐深入，正在从互联网企业，逐渐拓展到电信，金融，政府，医疗这些传统行业。目前Hadoop应用场景已广泛应用于日志存储、查询和非结构化数据处理等大数据应用领域，随着Hadoop技术的不断成熟以及生态系统相关产品的完善，包括Hadoop对SQL不断加强的支持，以及主流商业软件厂商对Hadoop支持的不断增强，必定会带动Hadoop渗透到越来越多的应用场景中。 2014年是中国大数据的应用落地年，越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中，最受关注的是衍生于开源平台的Hadoop生态系统。Hadoop从2006年诞生至今已经超8年时间。2014年，整个生态系统变得比以往更加丰富，无论是在开源领域，商业软件厂商或是硬件厂商，都开始推出基于Hadoop的相关产品。Hadoop之所以受到如此的关注，主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析，在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。中国管理科学研究院人才战略研究所特举办“hadoop大数据系统理论与实践”高级培训班;并由盛科博文（北京）文化发展有限公司具体承办。 本课程将分别从理论基础知识，系统搭建以及应用案例三方面对Hadoop进行介绍。 本课程采用循序渐进的课程讲授方法，首先讲解Hadoop系统基础知识，概念及架构，之后讲解Hadoop实战技巧，最后详尽地介绍Hadoop经典案例，使培训者从概念到实战，均会有收获和提高。 二、目标收益 本课程将为大家全面而又深入的介绍Hadoop平台的构建流程，涉及Hadoop系统基础知识，概念及架构，Hadoop实战技巧，Hadoop经典案例等。 通过本课程实践，帮助学员对Hadoop生态系统有一个清晰明了的认识；理解Hadoop系统适用的场景；掌握Hadoop等初、中级应用开发技能；搭建稳定可靠的Hadoop集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例。 三、时间地点 2015年4月24日——2015年4月27日北京 （第一天报到，授课三天） 四、培训对象 各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。 主办单位：承办单位： 中国管理科学研究院人才战略研究所盛科博文（北京）文化发展有限公司2015年03月20日2015年03月20日
1自由选课一 1、以下哪个不是数据仓库的特点 2、以下哪个不属于数据仓库需求分析的先决条件 3、进行需求分析可使用多种工具，但以下哪项是不适用的 4、以下哪个不属于数据仓库需求分析的先决条件 5、以下与逻辑建模技术表述无关的是哪一个 6、数据仓库设计过程中所采用的逻辑模型是下面哪一个 7、以下有关ETL表述不正确的是哪一个 8、以下哪一个不属于元数据管理系统的建设的步骤 9、以下哪一个不是数据仓库管理的内容 10、以下哪一项在数据挖掘项目中所占时间比重最大
11、在数据挖掘中，可以通过哪种方法找出发现不真实的数据资料，保证资料的可信度 12、软件需求规格说明书的内容不应包括对的描述 13、K-means算法的缺点不包括 14、CRM是指在合适的、通过合适的、在合适的内、向合适的、提供合适的。 15、银行客户流失预测模型建立流程中模型预测周期一般为 16、商业银行信用评分模型中的数据源不包括 17、利用客户偏好模型对客户进行合理性、等角度去描述群体和调整模型，直至得到理想的模型。 18、客户关系管理的核心是 19、BI和CRM的关系描述中，不正确的是 20、关于软件的概念，说法错误的是
21、下列说法有误的是 22、下列关于ORM的描述，哪些是错误的 23、下列关于软件重用的描述有误的是 中间件是通用服务，这些服务具有标准的程序接口和协议，针对不同的操作系统和硬件平台，它们可以有符合接口和协议规范的多种实现。以下关于中间件的相关描述有误的是 24、Hadoop的标志物是 25、BigTable对应Apache开源项目中的 26、Hadoop生态系统中，被作为ETL使用的软件是 27、Hadoop生态系统中，由Facebook开源，使用SQL语言进行离线分析的软件是 28、Hadoop是由何种语言编写的 29、下列哪些服务是在安装Hadoop时需要临时关闭
hadoop生态系统及简介 一、hadoop1.x的生态系统 HBase：实时分布式数据库 相当于关系型数据库，数据放在文件中，文件就放在HDFS中。因此HBase是基于HDFS的关系型数据库。实时性：延迟非常低，实时性高。 举例：在近18亿条数据的表中查询1万条数据仅需1.58s，这是普通数据库（Oracle 集群，Mysql集群）无法办到的。 HDFS：分布式文件系统 MapReduce：分布式计算框架 Zookeeper：分布式协作服务 协作HBase存储、管理、查询数据，Zookeeper是一个很好的分布式协作服务框架。
Hive：数据仓库 数据仓库： 比如给你一块1000平方米的仓库，让你放水果。如果有春夏秋冬四季的水果，让你放在某一个分类中。但是水果又要分为香蕉、苹果等等。然后又要分为好的水果和坏的水果。。。。。 因此数据仓库的概念也是如此，他是一个大的仓库，然后里面有很多格局，每个格局里面又分小格局等等。对于整个系统来说，比如文件系统。文件如何去管理？Hive 就是来解决这个问题。 Hive： 分类管理文件和数据，对这些数据可以通过很友好的接口，提供类似于SQL语言的HiveQL查询语言来帮助你进行分析。其实Hive底层是转换成MapReduce的，写的HiveQL进行执行的时候，Hive提供一个引擎将其转换成MapReduce再去执行。 Hive设计目的：方便DBA很快地转到大数据的挖掘和分析中。 Pig：数据流处理 基于MapReduce的，基于流处理的。写了动态语言之后，也是转换成MapReduce 进行执行。和Hive类似。 Mahout：数据挖掘库 基于图形化的数据碗蕨。
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。 Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？ 现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类，同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源在组织内从未被挖掘。这就是Hadoop与传统数据处理方式最大的不同。 本文就重点探讨了Hadoop系统的组成部分，并解释各个组成部分的功能。MapReduce——Hadoop的核心 Google的网络搜索引擎在得益于算法发挥作用的同时，MapReduce在后台发挥了极大的作用。MapReduce框架成为当今大数据处理背后的最具影响力的“发动机”。除了Hadoop，你还会在MapReduce上发现MPP（Sybase IQ推出了列示数据库）和NoSQL（如Vertica和MongoDB）。 MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行 的多个节点中处理。当数据量很大时就无法在一台服务器上解决问题，此时分布式计算优势就体现出来。将这种技术与Linux服务器结合可获得性价比极高的替代大规模计算阵列的方法。Yahoo在2006年看到了Hadoop未来的潜力，并邀请Hadoop创始人Doug Cutting着手发展Hadoop技术，在2008年Hadoop已经形成一定的规模。Hadoop项目再从初期发展的成熟的过程中同时吸纳了一些其他
作者：GETINDATA公司创始人兼大数据顾问彼得亚·雷克鲁斯基（Piotr Krewski）和GETINDATA公司首席执行官兼创始人亚当·卡瓦（Adam Kawa） 目录 ?内容简介 ?设计理念 ?H ADOOP组件 ?H DFS ?Y ARN ?Y ARN 应用程序 ?监控 YARN 应用程序 ?用HADOOP处理数据 ?H ADOOP 的其它工具 ?其它资源 内容简介 Hadoop是目前最流行的大数据软件框架之一，它能利用简单的高级程序对大型数据集进行分布式存储和处理。本文将介绍Hadoop的核心概念，描述其体系架构，指导您如何开始使用Hadoop以及在Hadoop上编写和执行各种应用程序。 Hadoop是阿帕奇（Apache）软件基金会发布的一个开源项目，它可以安装在服务器集群上，通过服务器之间的通信和协同工作来存储和处理大型数据集。因为能够高效地处理大数据，Hadoop近几年获得了巨大的成功。它使得公司可以将所有数据存储在一个系统中，并对这些数据进行分析，而这种规模的大数据分析用传统解决方案是无法实现或实现起来代价巨大的。
以Hadoop为基础开发的大量工具提供了各种各样的功能，Hadoop还出色地集成了许多辅助系统和实用程序，使得工作更简单高效。这些组件共同构成了Hadoop生态系统。 Hadoop可以被视为一个大数据操作系统，它能在所有大型数据集上运行不同类型的工作负载，包括脱机批处理、机器学习乃至实时流处理。 您可以访问https://www.doczj.com/doc/8c13914437.html,网站获取有关该项目的更多信息和详细文档。 您可以从https://www.doczj.com/doc/8c13914437.html,获取代码（推荐使用该方法）来安装Hadoop，或者选择Hadoop商业发行版。最常用的三个商业版有Cloudera(CDH)、Hortonworks(HDP)和MapR。这些商业版都基于Hadoop的框架基础，将一些组件进行了打包和增强，以实现较好的集成和兼容。此外，这些商业版还提供了管理和监控平台的(开源或专有的)工具。 设计理念 Hadoop在解决大型数据集的处理和存储问题上，根据以下核心特性构建： ?分布式：存储和处理并非构建在一台大型超级计算机之上，而是分布在一群小型电脑上，这些电脑之间可以相互通信并协同工作。 ?水平可伸缩性：只需添加新机器就可以很容易地扩展Hadoop集群。每台新机器都相应地增加了Hadoop集群的总存储和处理能力。 ?容错：即使一些硬件或软件组件不能正常工作，Hadoop也能继续运行。 ?成本优化：Hadoop不需要昂贵的高端服务器，而且在没有商业许可证的情况下也可以正常工作。 ?编程抽象：Hadoop负责处理与分布式计算相关的所有纷杂的细节。由于有高级API，用户可以专注于实现业务逻辑，解决他们在现实世界中的问题。 ?数据本地化：Hadoop不会将大型数据集迁移到应用程序正在运行的位置，而是在数据所在位置运行应用程序。
大数据技术与应用 网络与交换技术国家重点实验室 交换与智能控制研究中心 程祥 2016年9月
提纲-大数据处理和分析 1. 批处理计算 1.1 MapReduce 1.2 Spark 2. 流计算 2.1 Storm 3. 图计算 3.1 Pregel 4. 分析和挖掘 4.1 Hive 4.2 Mahout
2 Spark ?2.1 Spark概述 ?2.2 Spark生态系统 ?2.3 弹性分布式数据集（RDD）?2.3 Spark运行架构 ?2.4 Spark编程实践
2.1 Spark概述 ?2.1.1Spark简介 ?2.1.2Scala简介 ?2.1.3Spark与Hadoop的比较
?Spark最初由美国加州伯克利大学（UC Berkeley）的AMPLab于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序 ?2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的分布式计算系统开源项目之一 ?Spark在2014年打破了Hadoop保持的基准排序纪录–Spark/206个节点/23分钟/100TB数据 –Hadoop/2000个节点/72分钟/100TB数据 Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度！
Spark具有以下特点： ①运行速度快：采用DAG执行引擎和内存计算 ②容易使用：支持包括Scala、Java、Python和R语 言在内的多种语言进行编程 ③与HDFS等存储层兼容：可以独立运行，也可以运 行在YARN等集群管理系统之上，特别地，它可以运行在任何的Hadoop数据源上，例如，HDFS和 HBase ④通用性：类似Hadoop，Spark提供了完整而强大 的技术栈，包括SQL查询、流式计算、机器学习和图算法等组件
Hadoop配置部署 每个节点上的Hadoop配置基本相同，在Master节点操作，然后完成复制到其他所有的从节点。 下面所有的操作都使用waibao用户，切换waibao用户的命令是： su waibao 密码是：waibao 将软件包中的Hadoop生态系统包复制到相应waibao用户的主目录下（直接拖拽方式即可拷贝） 3.3.1 Hadoop安装包解压 进入Hadoop软件包，命令如下： cd /home/waibao/resources/ 复制并解压Hadoop安装包命令如下： cp hadoop-2.5.2.tar.gz ~/ cd tar -xvf hadoop-2.5.2.tar.gz mv hadoop-2.5.2 hadoop cd hadoop ls -l看到如下图的内容，表示解压成功： 3.3.2配置环境变量hadoop-env.sh 环境变量文件中，只需要配置JDK的路径。
vi etc/hadoop/hadoop-env.sh 在文件的靠前的部分找到下面的一行代码： export JAVA_HOME=${JAVA_HOME} 将这行代码修改为下面的代码： export JAVA_HOME=/usr/java/jdk7 然后保存文件。 3.3.3配置环境变量yarn-env.sh 环境变量文件中，只需要配置JDK的路径。 vi etc/hadoop/yarn-env.sh 在文件的靠前的部分找到下面的一行代码： # export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 将这行代码修改为下面的代码（将#号去掉）： export JAVA_HOME=/usr/java/jdk7 然后保存文件。 3.3.4配置核心组件core-site.xml vi etc/hadoop/core-site.xml 用下面的代码替换core-site.xml中的内容：