你想了解大数据，却对生涩的术语毫不知情？你想了解大数据的市场和应用，却又没有好的案例和解说？别担心，这本来自Wikibon社区的小书想要帮你。
是的，这是一本小书而不是一篇文章，因为它详实细致的让你从一个完全不了解大数据技术及相关应用的门外汉，变成一个熟知其概念和意义的“内行人”，所以它很棒！
主要内容
目录
1.来自Wikibon社区的大数据宣言 (1)
2.数据处理和分析：传统方式 (2)
3.大数据性质的变化 (3)
4.大数据处理和分析的新方法 (5)
4.1 Hadoop (5)
4.1.1 Hadoop如何工作 (6)
4.1.2 Hadoop的技术组件 (7)
4.1.3 Hadoop：优点和缺点 (8)
4.2 NoSQL (8)
4.3 大规模并行分析数据库 (9)
5.大数据方法的互补 (10)
6.大数据供应商发展状况 (12)
7.大数据：实际使用案例 (13)
8.大数据技能差距 (14)
9.大数据：企业和供应商的后续动作 (15)
1.来自Wikibon社区的大数据宣言
为公司提供有效的业务分析工具和技术是首席信息官的首要任务。有效的业务分析（从基本报告到高级的数据挖掘和预测分析）使得数据分析人员和业务人员都可以从数据中获得见解，当这些见解转化为行动，会给公司带来更高的效率和盈利能力。
所有业务分析都是基于数据的。传统意义上，这意味着企业自己创建和存储的结构化数据，如CRM系统中的客户数据，ERP系统中的运营数据，以及会计数据库
中的财务数据。得益于社交媒体和网络服务（如Facebook，Twitter），数据传感器以及网络设备，机器和人类产生的网上交易，以及其他来源的非结构化和半结构化的数据的普及，企业现有数据的体积和类型以及为追求最大商业价值而产生的近实时分析的需求正在迅速增加。我们称这些为大数据。
传统的数据管理和业务分析工具及技术都面临大数据的压力，与此同时帮助企业获得来自大数据分析见解的新方法不断涌现。这些新方法采取一种完全不同于传统工具和技术的方式进行数据处理、分析和应用。这些新方法包括开源框架Hadoop，NoSQL数据库（如Cassandra和Accumulo）以及大规模并行分析数据库（如EMC的Greenplum，惠普的Vertica和TeradataASTERData）。这意味着，企业也需要从技术和文化两个角度重新思考他们对待业务分析的方式。
对于大多数企业而言，这种转变并不容易，但对于接受转变并将大数据作为业务分析实践基石的企业来说，他们会拥有远远超过胆小对手的显著竞争优势。大数据助力复杂的业务分析可能为企业带来前所未有的关于客户行为以及动荡的市
场环境的深入洞察，使得他们能够更快速的做出数据驱动业务的决策，从而比竞争对手更有效率。
从存储及支持大数据处理的服务器端技术到为终端用户带来鲜活的新见解的前
端数据可视化工具，大数据的出现也为硬件、软件和服务供应商提供了显著的机会。这些帮助企业过渡到大数据实践者的供应商，无论是提供增加商业价值的大数据用例，还是发展让大数据变为现实的技术和服务，都将得到茁壮成长。
大数据是所有行业新的权威的竞争优势。认为大数据是昙花一现的企业和技术供应商很快就会发现自己需要很辛苦才能跟上那些提前思考的竞争对手的步伐。在我们看来，他们是非常危险的。对于那些理解并拥抱大数据现实的企业，新创新，高灵活性，以及高盈利能力的可能性几乎是无止境的。
2.数据处理和分析：传统方式
传统上，为了特定分析目的进行的数据处理都是基于相当静态的蓝图。通过常规的业务流程，企业通过CRM、ERP和财务系统等应用程序，创建基于稳定数据模型的结构化数据。数据集成工具用于从企业应用程序和事务型数据库中提取、转换和加载数据到一个临时区域，在这个临时区域进行数据质量检查和数据标准化，
数据最终被模式化到整齐的行和表。这种模型化和清洗过的数据被加载到企业级
数据仓库。这个过程会周期性发生，如每天或每周，有时会更频繁。
图1–传统的数据处理/分析资料来源：Wikibon2011
在传统数据仓库中，数据仓库管理员创建计划，定期计算仓库中的标准化数据，并将产生的报告分配到各业务部门。他们还为管理人员创建仪表板和其他功能有限的可视化工具。
同时，业务分析师利用数据分析工具在数据仓库进行高级分析，或者通常情况下，由于数据量的限制，将样本数据导入到本地数据库中。非专业用户通过前端的商业智能工具（SAP的BusinessObjects和IBM的Cognos）对数据仓库进行基础的数据可视化和有限的分析。传统数据仓库的数据量很少超过几TB，因为大容量
的数据会占用数据仓库资源并且降低性能。
3.大数据性质的变化
Web、移动设备和其他技术的出现导致数据性质的根本性变化。大数据具有重要而独特的特性，这种特性使得它与“传统”企业数据区分开来。不再集中化、高度结构化并且易于管理，与以往任何时候相比，现在的数据都是高度分散的、结构松散（如果存在结构的话）并且体积越来越大。
具体来说：
?体积-通过Web、移动设备、IT基础设施和其他来源产生的企业内部和防火墙外的数据量每年都在成倍增加。
?类型-数据类型的多样性增加，包括非结构化文本数据以及半结构化数据（如社交媒体数据，基于位置的数据和日志文件数据）。
?速度-得益于数字化交易、移动计算以及互联网和移动设备的高用户量，新数据被创建的速度以及实时分析的需求正在增加。
广义地说，大数据由多个来源产生，包括：
?社交网络和媒体：目前有超过7亿Facebook用户，2.5亿Twitter用户和1.56亿面向公众开放的博客。Facebook上的每个更新、Tweet和博客
上文章的发布及评论都会创建多个新的数据点（包含结构化、半结构化和非结构化的），这些数据点有时被称为“数据废气”。
?移动设备：全球有超过50亿正在使用中的移动电话。每次呼叫、短信和即时消息都被记录为数据。移动设备（尤其是智能手机和平板电脑）让使用社交媒体等应用程序更容易，而社会媒体的使用会产生大量数据。移动设备也收集和传送位置数据。
?网上交易：数十亿的网上购物、股票交易等每天都在发生，包括无数的自动交易。每次交易都产生了大量数据点，这些数据点会被零售商、银行、信用卡、信贷机构和其他机构收集。
?网络设备和传感器：各种类型的电子设备（包括服务器和其他IT硬件、智能电表和温度传感器）都会创建半结构化的日志数据记录每一个动作。
图2–传统数据v.大数据资料来源：Wikibon2011
从时间或成本效益上看，传统的数据仓库等数据管理工具都无法实现大数据的处理和分析工作。也就是说，必须将数据组织成关系表（整齐的行和列数据），传统的企业级数据仓库才可以处理。由于需要的时间和人力成本，对海量的非结构化数据应用这种结构是不切实际的。此外，扩展传统的企业级数据仓库使其适应潜在的PB级数据需要在新的专用硬件上投资巨额资金。而由于数据加载这一个瓶颈，传统数据仓库性能也会受到影响。
因此，需要处理和分析大数据的新方法。
4.大数据处理和分析的新方法
存在多种方法处理和分析大数据，但多数都有一些共同的特点。即他们利用硬件的优势，使用扩展的、并行的处理技术，采用非关系型数据存储处理非结构化和半结构化数据，并对大数据运用高级分析和数据可视化技术，向终端用户传达见解。
Wikibon已经确定了三种将会改变业务分析和数据管理市场的大数据方法。
4.1 Hadoop
Hadoop是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由雅虎的Doug Cutting创建，Hadoop的灵感来自于 MapReduce ，MapReduce
是谷歌在2000年代初期开发的用于网页索引的用户定义函数。它被设计用来处理分布在多个并行节点的PB级和EB级数据。
Hadoop集群运行在廉价的商用硬件上，这样硬件扩展就不存在资金压力。Hadoop 现在是Apache软件联盟(The Apache Software Foundation)的一个项目，数百名贡献者不断改进其核心技术。基本概念：与将海量数据限定在一台机器运行的方式不同，Hadoop将大数据分成多个部分，这样每个部分都可以被同时处理和
分析。
4.1.1 Hadoop如何工作
客户从日志文件、社交媒体供稿和内部数据存储等来源获得非结构化和半结构化数据。它将数据打碎成“部分”，这些“部分”被载入到商用硬件的多个节点组成的文件系统。Hadoop的默认文件存储系统是Hadoop分布式文件系统。文件系统（如HDFS）善于存储大量非结构化和半结构化数据，因为它们不需要将数据
组织成关系型的行和列。
各“部分”被复制多次，并加载到文件系统。这样，如果一个节点失效，另一个节点包含失效节点数据的副本。名称节点充当调解人，负责沟通信息：如哪些节点是可用的，某些数据存储在集群的什么地方，以及哪些节点失效。
一旦数据被加载到集群中，它就准备好通过MapReduce 框架进行分析。客户提
交一个“匹配”的任务（通常是用Java编写的查询语句）给到一个被称为作业跟踪器的节点。该作业跟踪器引用名称节点，以确定完成工作需要访问哪些数据，以及所需的数据在集群的存储位置。一旦确定，作业跟踪器向相关节点提交查询。每个节点同时、并行处理，而非将所有数据集中到一个位置处理。这是Hadoop
的一个本质特征。
当每个节点处理完指定的作业，它会存储结果。客户通过任务追踪器启动“Reduce”任务。汇总map阶段存储在各个节点上的结果数据，获得原始查询的“答案”，然后将“答案”加载到集群的另一个节点中。客户就可以访问这些可以载入多种分析环境进行分析的结果了。MapReduce 的工作就完成了。
一旦MapReduce 阶段完成，数据科学家和其他人就可以使用高级数据分析技巧
对处理后的数据进一步分析。也可以对这些数据建模，将数据从Hadoop集群转移到现有的关系型数据库、数据仓库等传统IT系统进行进一步的分析。
4.1.2 Hadoop的技术组件
Hadoop “栈”由多个组件组成。包括：
?Hadoop分布式文件系统（HDFS）：所有Hadoop集群的默认存储层;
?名称节点：在Hadoop集群中，提供数据存储位置以及节点失效信息的节点。
?二级节点：名称节点的备份，它会定期复制和存储名称节点的数据，以防名称节点失效。
?作业跟踪器：Hadoop集群中发起和协调MapReduce作业或数据处理任务的节点。
?从节点：Hadoop集群的普通节点，从节点存储数据并且从作业跟踪器那里获取数据处理指令。
除了上述以外，Hadoop生态系统还包括许多免费子项目。NoSQL数据存储系统（如Cassandra和HBase）也被用于存储Hadoop的MapReduce作业结果。除了Java，很多 MapReduce 作业及其他Hadoop的功能都是用Pig语言写的，Pig是专门针对Hadoop设计的开源语言。Hive最初是由Facebook开发的开源数据仓库，可以在Hadoop中建立分析模型。
请参阅文章：Hadoop组件和子项目指导手册：HBase,Sqoop,Flume等：Apache
Hadoop定义
（https://www.doczj.com/doc/198480757.html,/wiki/v/HBase,_Sqoop,_Flume_and_More:_Apache_Hado
op_Defined）
4.1.3 Hadoop：优点和缺点
Hadoop的主要好处是，它可以让企业以节省成本并高效的方式处理和分析大量
的非结构化和半结构化数据，而这类数据迄今还没有其他处理方式。因为Hadoop 集群可以扩展到PB级甚至EB级数据，企业不再必须依赖于样本数据集，而可以处理和分析所有相关数据。数据科学家可以采用迭代的方法进行分析，不断改进和测试查询语句，从而发现以前未知的见解。使用Hadoop的成本也很廉价。开发者可以免费下载Apache的Hadoop 分布式平台，并且在不到一天的时间内开
始体验Hadoop。
Hadoop及其无数组件的不足之处是，他们还不成熟，仍处于发展阶段。就像所
有新的、原始的技术一样，实施和管理Hadoop集群，对大量非结构化数据进行高级分析，都需要大量的专业知识、技能和培训。不幸的是，目前Hadoop开发者和数据科学家的缺乏，使得众多企业维持复杂的Hadoop集群并利用其优势变得很不现实。此外，由于Hadoop的众多组件都是通过技术社区得到改善，并且新的组件不断被创建，因此作为不成熟的开源技术，也存在失败的风险。最后，Hadoop是一个面向批处理的框架，这意味着它不支持实时的数据处理和分析。
好消息是，一些聪明的IT人士不断对Apache Hadoop项目做出贡献，新一代的Hadoop开发者和数据科学家们正在走向成熟。因此，该技术的发展日新月异，
逐渐变得更加强大而且更易于实施和管理。供应商（包括Hadoop的初创企业Cloudera和Hortonworks）以及成熟的IT中坚企业（如IBM和微软）正在努力开发企业可用的商业Hadoop分布式平台、工具和服务，让部署和管理这项技术成为传统企业可用的实际现实。其他初创企业正在努力完善NoSQL（不仅仅是SQL）
数据系统，结合Hadoop提供近实时的分析解决方案。
4.2 NoSQL
一种称为NoSQL的新形式的数据库（Not Only SQL）已经出现，像Hadoop一样，可以处理大量的多结构化数据。但是，如果说Hadoop擅长支持大规模、批量式
的历史分析，在大多数情况下（虽然也有一些例外），NoSQL 数据库的目的是为最终用户和自动化的大数据应用程序提供大量存储在多结构化数据中的离散数据。这种能力是关系型数据库欠缺的，它根本无法在大数据规模维持基本的性能水平。
在某些情况下，NoSQL和Hadoop协同工作。例如，HBase是流行的NoSQL数据库，它仿照谷歌的BigTable，通常部署在HDFS（Hadoop分布式文件系统）之上，为Hadoop提供低延迟的快速查找功能。
目前可用的NoSQL数据库包括：
?HBase
?Cassandra
?MarkLogic
?Aerospike
?MongoDB
?Accumulo
?Riak
?CouchDB
?DynamoDB
目前大多数NoSQL数据库的缺点是，为了性能和可扩展性，他们遵从ACID（原子性，一致性，隔离性，持久性）原则。许多NoSQL数据库还缺乏成熟的管理和监控工具。这些缺点在开源的NoSQL社区和少数厂商的努力下都在克服过程中，这些厂商包括DataStax,Sqrrl,10gen,Aerospike和Couchbase，他们正在尝试商业化各种NoSQL数据库。
4.3 大规模并行分析数据库
不同于传统的数据仓库，大规模并行分析数据库能够以必需的最小的数据建模,快速获取大量的结构化数据，可以向外扩展以容纳TB甚至PB级数据。
对最终用户而言最重要的是，大规模并行分析数据库支持近乎实时的复杂SQL
查询结果，也叫交互式查询功能，而这正是Hadoop显著缺失的能力。大规模并行分析数据库在某些情况下支持近实时的大数据应用。大规模并行分析数据库的基本特性包括：
大规模并行处理的能力：就像其名字表明的一样，大规模并行分析数据库采用大规模并行处理同时支持多台机器上的数据采集、处理和查询。相对传统的数据仓库具有更快的性能，传统数据仓库运行在单一机器上，会受到数据采集这个单一瓶颈点的限制。
无共享架构：无共享架构可确保分析数据库环境中没有单点故障。在这种架构下，每个节点独立于其他节点，所以如果一台机器出现故障，其他机器可以继续运行。对大规模并行处理环境而言，这点尤其重要，数百台计算机并行处理数据，偶尔出现一台或多台机器失败是不可避免的。
列存储结构：大多数大规模并行分析数据库采用列存储结构，而大多数关系型数据库以行结构存储和处理数据。在列存储环境中，由包含必要数据的列决定查询语句的“答案”，而不是由整行的数据决定，从而导致查询结果瞬间可以得出。这也意味着数据不需要像传统的关系数据库那样构造成整齐的表格。
强大的数据压缩功能：它们允许分析数据库收集和存储更大量的数据，而且与传统数据库相比占用更少的硬件资源。例如，具有10比1的压缩功能的数据库，可以将10 TB字节的数据压缩到1 TB。数据编码（包括数据压缩以及相关的技术）是有效的扩展到海量数据的关键。
商用硬件：像Hadoop集群一样，大多数（肯定不是全部）大规模并行分析数据库运行在戴尔、IBM等厂商现成的商用硬件上，这使他们能够以具有成本效益的方式向外扩展。
在内存中进行数据处理：有些（肯定不是全部）大规模并行分析数据库使用动态RAM或闪存进行实时数据处理。有些(如SAP HANA和 Aerospike)完全在内存中运行数据，而其他则采用混合的方式，即用较便宜但低性能的磁盘内存处理“冷”数据，用动态RAM或闪存处理“热”数据。
然而，大规模并行分析数据库确实有一些盲点。最值得注意的是，他们并非被设计用来存储、处理和分析大量的半结构化和非结构化数据。
5.大数据方法的互补
Hadoop，NoSQL 和大规模并行分析数据库不是相互排斥的。相反的，Wikibon 认为这三种方法是互补的，彼此可以而且应该共存于许多企业。Hadoop擅长处理
和分析大量分布式的非结构化数据，以分批的方式进行历史分析。NoSQL 数据库
擅长为基于Web的大数据应用程序提供近实时地多结构化数据存储和处理。而大规模并行分析数据库最擅长对大容量的主流结构化数据提供接近实时的分析。例如，Hadoop完成的历史分析可以移植到分析数据库供进一步分析，或者与传统的企业数据仓库的结构化数据进行集成。从大数据分析得到的见解可以而且应该通过大数据应用实现产品化。企业的目标应该是实现一个灵活的大数据架构，在该架构中，三种技术可以尽可能无缝地共享数据和见解。
很多预建的连接器可以帮助Hadoop开发者和管理员实现这种数据集成，同时也有很多厂商（包括Pivotal Initiative-原EMC的Greenplum，CETAS-和Teradata Aster）提供大数据应用。这些大数据应用将Hadoop、分析数据库和预配置的硬件进行捆绑，可以达到以最小的调整实现快速部署的目的。另外一种情况，Hadapt 提供了一个单一平台，这个平台在相同的集群上同时提供SQL和
Hadoop/MapReduce的处理功能。Cloudera也在Impala和Hortonworks项目上通过开源倡议推行这一策略。
但是，为了充分利用大数据，企业必须采取进一步措施。也就是说，他们必须使用高级分析技术处理数据，并以此得出有意义的见解。数据科学家通过屈指可数的语言或方法（包括SAS和R）执行这项复杂的工作。分析的结果可以通过Tableau 这样的工具可视化，也可以通过大数据应用程序进行操作，这些大数据应用程序包括自己开发的应用程序和现成的应用程序。其他厂商（包括 Platfora和Datameer）正在开发商业智能型的应用程序，这种应用程序允许非核心用户与大数据直接交互。
图3 –现代数据架构资料来源：Wikibon 2013
底层的大数据方法（如Hadoop，NoSQL和大规模并行分析数据库）不仅本身是互补的，而且与大部分大型企业现有的数据管理技术互补。Wikibon并不建议企业CIO们为了大数据方法而“淘汰并更换”企业现有的全部的数据仓库、数据集成和其他数据管理技术。
相反，Wikibon认为首席信息官必须像投资组合经理那样思考，重新权衡优先级，为企业走向创新和发展奠定基础，同时采取必要的措施减轻风险因素。用大数据方法替换现有的数据管理技术，只有当它的商业意义和发展计划与现有的数据管理基础设施尽可能无缝地整合时才有意义。最终目标应该是转型为现代数据架构（见图3和文章链接）。
6.大数据供应商发展状况
大数据供应商正在迅速发展。参见图4对一个细分市场的概述，对于大数据市场的详细分析，包括市场规模（现状及到2017年的五年预测）和供应商之间的大数据收入数字，详情参考：大数据供应商收入和市场预测2012-2017。
图4 –大数据供应商发展状况资料来源：Wikibon 2012
7.大数据：实际使用案例
让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。这可能会产生引出新产品的想法，或者帮助确定改善运营效率的方法。不过，也有一些已经明确的大数据用例，无论是互联网巨头如谷歌，Facebook和LinkedIn还是更多的传统企业。它们包括：
推荐引擎：网络资源和在线零售商使用Hadoop根据用户的个人资料和行为数据匹配和推荐用户、产品和服务。LinkedIn使用此方法增强其“你可能认识的人”这一功能，而亚马逊利用该方法为网上消费者推荐相关产品。
情感分析： Hadoop与先进的文本分析工具结合，分析社会化媒体和社交网络发布的非结构化的文本，包括Tweets和Facebook，以确定用户对特定公司，品牌或产品的情绪。分析既可以专注于宏观层面的情绪，也可以细分到个人用户的情绪。
风险建模：财务公司、银行等公司使用Hadoop和下一代数据仓库分析大量交易数据，以确定金融资产的风险，模拟市场行为为潜在的“假设”方案做准备，并根据风险为潜在客户打分。
欺诈检测：金融公司、零售商等使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。例如，信用卡公司使用大数据技术识别可能的被盗卡的交易行为。
营销活动分析：各行业的营销部门长期使用技术手段监测和确定营销活动的有效性。大数据让营销团队拥有更大量的越来越精细的数据，如点击流数据和呼叫详情记录数据，以提高分析的准确性。
客户流失分析：企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型，该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。企业就能采取最有效的措施挽留欲流失客户。
社交图谱分析： Hadoop和下一代数据仓库相结合，通过挖掘社交网络数据，可以确定社交网络中哪些客户对其他客户产生最大的影响力。这有助于企业确定其“最重要”的客户，不总是那些购买最多产品或花最多钱的，而是那些最能够影响他人购买行为的客户。
用户体验分析：面向消费者的企业使用Hadoop和其他大数据技术将之前单一客户互动渠道（如呼叫中心，网上聊天，微博等）数据整合在一起，，以获得对客户体验的完整视图。这使企业能够了解客户交互渠道之间的相互影响，从而优化整个客户生命周期的用户体验。
网络监控：Hadoop 和其他大数据技术被用来获取，分析和显示来自服务器，存储设备和其他IT硬件的数据，使管理员能够监视网络活动，诊断瓶颈等问题。这种类型的分析，也可应用到交通网络，以提高燃料效率，当然也可以应用到其他网络。
研究与发展：有些企业（如制药商）使用Hadoop技术进行大量文本及历史数据的研究，以协助新产品的开发。
当然，上述这些都只是大数据用例的举例。事实上，在所有企业中大数据最引人注目的用例可能尚未被发现。这就是大数据的希望。
8.大数据技能差距
企业运用大数据的最大障碍是缺乏相关的技能，如Hadoop管理技能、大数据分析技能或数据科学。为了让大数据真正被大量采用，并且实现其全部潜力，缩小技能上的差距就至关重要了。这需要从两条战线进行攻击：
首先，这意味着开源社区和商业大数据厂商必须开发易于使用的大数据管理和分析工具和技术，为传统的IT和商业智能专业人士降低进入的门槛。这些工具和
技术，必须从底层数据处理框架抽象掉尽可能多的复杂性。可以通过图形用户界面，类似于向导的安装功能和日常任务自动化的组合方式实现。
其次，社会必须开发更多的教育资源，培养现有的IT和商业智能专业人士以及高中生和大学生成为我们未来所需要的大数据从业者。
据麦肯锡公司研究，到2018年仅美国就有可能面临14万?19万具备专业分析技能的人才，以及懂得使用大数据分析做出有效决策的150万经理和分析师的短缺。造成短缺的部分原因是数据科学本身的规律导致的，因为数据科学要求各种综合技能。
具体来说，数据科学家必须具备的技术技能侧重于统计、计算机科学和数学。但他们还必须具有商业头脑，即了解现有业务，并且能找到大数据可以业务提供最大价值的方向。或许同样重要的是，数据科学家必须具备专业的沟通技巧，以及通过大数据的可视化，向业务同事讲故事的能力。
正如本报告中提到的，一些大数据厂商开始提供大数据培训课程。IT从业者具有极好的机会，利用这些培训和教育活动的优势磨练自己的数据分析技能，并可以在企业内部确定新的职业道路。同样，在南加州大学、北卡罗来纳州立大学、纽约大学和其他地方，几门关于大数据和高级分析技术的大学级别的课程也应运而生。但大数据的发展和普及还是需要更多的课程。
只有通过两条战线-更好的工具和技术，更好的教育和培训-才能克服大数据技术差距。
9.大数据：企业和供应商的后续动作
对企业和为他们服务的供应商双方而言，大数据都具有很大的潜力，但首先必须先采取行动。Wikibon的建议如下。
行动项目：各个行业的企业应评估现有和潜在的大数据用例，参与大数据社区了解最新的技术发展。与大数据社区里志趣相投的企业和供应商一起识别大数据能够提供商业价值的领域。接下来，考虑企业内部的大数据技术水平，确定是否开始大数据方法，如Hadoop的试验。如果是这样，与IT部门和业务部门一起制定计划，将大数据工具、技术和方法整合到企业现有的IT基础架构。
最重要的是，首先要在所有工作人员中培养数据驱动的文化，鼓励数据实验。当这个基础已经奠定，开始使用大数据的技术和方法提供最大的业务价值，并不断地重新评估新成熟的大数据方法。
IT供应商应该帮助企业找出最有利可图、最实用的大数据用例，开发使大数据技术更易于部署、管理和使用的产品和服务。拥有开放而不专有的心态，给予客户尝试新的大数据技术和工具所需要的灵活性。同样地，开始建立大数据服务，帮助企业发展部署和管理大数据方法（如Hadoop）所需要的技能。最重要的是，随着大数据部署方案的成熟和成长，及时倾听和回应客户的反馈。
第一章 一、单选题 1、下面哪个选项不属于Google的三驾马车？（C ） A、GFS B、MapReduce C、HDFS D、BigTable 2、大数据的数据量现在已经达到了哪个级别？（C ） A、GB B、TB C、PB D、ZB 3、2003年，Google公司发表了主要讲解海量数据的可靠存储方法的论文是？（ A ） A、“The Google File System” B、“MapReduce: Simplified Data Processing on Large Clusters” C、“Bigtable: A Distributed Storage System for Structured Data” D、“The Hadoop File System” 4、下面哪个选项不是HDFS架构的组成部分？（ C ） A、NameNode B、DataNode C、Jps D、SecondaryNameNode 5、Hadoop能够使用户轻松开发和运行处理大数据的应用程序，下面不属于Hadoop特性的是（C ） A、高可靠性、高容错性 B、高扩展性 C、高实时性 D、高效性 6、2004年，Google公司发表了主要讲解海量数据的高效计算方法的论文是？（ B ） A、“The Google File System” B、“MapReduce: Simplified Data Processing on Large Clusters” C、“Bigtable: A Distributed Storage System for Structured Data” D、“The Hadoop File System” 7、建立在Hadoop文件系统之上的分布式的列式数据库？（A ）
Hadoop大数据平台架构与实践--基础篇 大数据时代已经到来，越来越多的行业面临着大量数据需要存储以及分析的挑战。Hadoop，作为一个开源的分布式并行处理平台，以其高扩展、高效率、高可靠等优点，得到越来越广泛的应用。 本课旨在培养理解Hadoop的架构设计以及掌握Hadoop的运用能力。 导师简介 Kit_Ren，博士，某高校副教授，实战经验丰富，曾担任过大型互联网公司的技术顾问，目前与几位志同道合的好友共同创业，开发大数据平台。 课程须知 本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋，可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼～～ 你能学到什么？ 1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理 大纲一览 第1章初识Hadoop 本章讲述课程大纲，授课内容，授课目标、预备知识等等，介绍Hadoop的前世今生，功能与优势 第2章 Hadoop安装 本章通过案例的方式，介绍Hadoop的安装过程，以及如何管理和配置Hadoop 第3章 Hadoop的核心-HDFS简介 本章重点讲解Hadoop的组成部分HDFS的体系结构、读写流程，系统特点和HDFS
的使用。 第4章 Hadoop的核心-MapReduce原理与实现 本章介绍MapReduce的原理，MapReduce的运行流程，最后介绍一个经典的示例WordCount 第5章开发Hadoop应用程序 本章介绍在Hadoop下开发应用程序，涉及多个典型应用，包括数据去重，数据排序和字符串查找。 课程地址：https://www.doczj.com/doc/198480757.html,/view/391
Hadoop大数据平台测试报告及成功案例
目录 1技术规范书应答书 ................................. 错误！未定义书签。2技术方案建议 ......................................... 错误！未定义书签。3测试及验收 ............................................. 错误！未定义书签。4项目实施与管理 ..................................... 错误！未定义书签。5人员资质与管理 ..................................... 错误！未定义书签。6技术支持及保修 ..................................... 错误！未定义书签。7附录 ......................................................... 错误！未定义书签。
1.1 大数据平台测试报告 1.1.1某银行Cloudera CDH 性能测试测试 某银行现有HODS在支撑行内业务方面已经遇到瓶颈。希望通过搭建基于Hadoop 的历史数据平台(新HODS)，以提升平台运行效率及数据覆盖面，支撑未来大数据应用，满足未来业务发展需求。本次POC测试的主要目的是验证Hadoop商业发行版(EDH) 是否可以满足某银行HODS应用特点，主要考察点包括： ?验证产品本身的易用性、可扩展性，主要涉及集群的部署、运维、监控、升级等； ?验证产品对安全性的支持，包括认证、授权、审计三大方面； ?验证产品对资源分配的控制与调度； ?验证Hadoop基本功能，包括可靠性、稳定性、故障恢复等； ?验证Hadoop子系统(包括HDFS、HBase、Hive、Impala等) 的性能、使用模式、设计思想、迁移代价等。 1.1.1.1基础设施描述 1.1.1.1.1硬件配置 硬件配置分为两类：管理节点(master node) 与计算节点(worker node)。 管理节点配置(2) CPU Intel? Xeon? E5-2650 v3 2.3GHz,25M Cache,9.60GT/s QPI,Turbo,HT,10C/20T (105W) Max Mem 2133MHz (40 vcore) 内存16GB RDIMM, 2133MT/s, Dual Rank, x4 Data Width (128GB) 网络Intel X520 DP 10Gb DA/SFP+ Server Adapter, with SR Optics
单选题 1、以下选项哪个是YARN的组成部分？（A） A、Container、ResourceManager、NodeManager、ApplicationMaster B、Container、ResourceManager、NodeManager、ApplicationManager C、Container、ResourceManager、Scheduler、ApplicationMaster D、Container、ApplicationManager、NodeManager、ApplicationMaster 2、下列关于YARN的描述错误的是？（C） A、ResourceManager负责整个系统的资源分配和管理，是一个全局的资源管理器 B、NodeManager是每个节点上的资源和任务管理器 C、ApplicationManager是一个详细的框架库，它结合从ResourceManager 获得的资源和 NodeManager协同工作来运行和监控任务 D、调度器根据资源情况为应用程序分配封装在Container中的资源 3、下列关于调度器的描述不正确的是？（A） A、先进先出调度器可以是多队列 B、容器调度器其实是多个FIFO队列 C、公平调度器不允许管理员为每个队列单独设置调度策略 D、先进先出调度器以集群资源独占的方式运行作业 4、YARN哪种调度器采用的是单队列？（A） A、FIFO Scheduler B、Capacity Scheduler C、Fair Scheduler D、ResourceManager
1、YARN不仅支持MapReduce，还支持Spark，Strom等框架。 ( √ ) 2、Container是YARN中资源的抽象，它封装了某个节点上的多维度资源。 ( √ ) 3、YARN的三种调度器只有FIFO是属于单队列的。 ( √ ) 4、在YARN的整个工作过程中，Container是属于动态分配的。 ( √ )
Hadoop是什么 Apache Hadoop is an open source software framework for storage and large scale processing of data-sets on clusters of commodity hardware
Hadoop名字的由来 Hadoop was created by Doug Cutting and Mike Cafarella in 2005 Named the project after son's toy elephant
从移动数据到移动算法
Hadoop的核心设计理念?可扩展性 ?可靠性
相对于传统的BI 架构转变 数据仓库电子表格 视觉化工 具 数据挖掘集成开发工具 数据集市 企业应用工具 传统文件日志社交& 网络遗留系 统结构化 非结构化 音视频数据应用非关系型数据库内存数据库NO SQL 应用 Nod e Nod e Nod e Hadoop * Web Apps MashUps 导出/导入INSIGHTS 消费Create Map 存储/计算实时数据处理通道（Spark,Storm)数据交换平台数据存储计算平台数据访问 层Kafka Flume Goldengat e Shareplex ..传感器传感器
hadoop 的适用场景 小数据+ 小计算量OLTP 业务系统：ERP/CRM/EDA 大数据+ 小计算量如全文检索，传统的ETL 小数据+大计算量D a t a Compute 数据 计算 实时性
大数据Hadoop和Spark开发案例 千锋大数据培训机构，如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。 如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。 项目一：数据整合 称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源（实时或批处理）并且把它们存储在hadoop中。有时，这是成为一个“数据驱动的公司”的第一步；有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心”通常由HDFS 文件系统和HIVE或IMPALA中的表组成。 未来，HBase和Phoenix在大数据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。销售人员喜欢说“读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么（Hive模式不会看起来与你
在企业数据仓库中所做的不一样）。真实的原因是一个数据湖比Teradata和Netezza公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用Tabelu和Excel。许多复杂的公司以“数据科学家”用Zeppelin或IPython 笔记本作为前端。 项目二：专业分析 许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险/蒙特卡罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭受一个有限的功能集（大部分是因为软件厂商不可能像专业机构那样了解的那么多）。在Hadoop和Spark的世界，看看这些系统大致相同的数据整合系统，但往往有更多的HBase，定制非SQL代码，和更少的数据来源（如果不是唯一的）。他们越来越多地以Spark为基础。 项目三：Hadoop作为一种服务 在“专业分析”项目的任何大型组织（讽刺的是，一个或两个“数据整理”项目）他们会不可避免地开始感觉“快乐”（即，疼痛）管理几个不同配置的
你想了解大数据，却对生涩的术语毫不知情？你想了解大数据的市场和应用，却又没有好的案例和解说？别担心，这本来自Wikibon社区的小书想要帮你。 是的，这是一本小书而不是一篇文章，因为它详实细致的让你从一个完全不了解大数据技术及相关应用的门外汉，变成一个熟知其概念和意义的“内行人”，所以它很棒！ 主要内容 目录 1.来自Wikibon社区的大数据宣言 (1) 2.数据处理和分析：传统方式 (2) 3.大数据性质的变化 (3) 4.大数据处理和分析的新方法 (5) 4.1 Hadoop (5) 4.1.1 Hadoop如何工作 (6) 4.1.2 Hadoop的技术组件 (7) 4.1.3 Hadoop：优点和缺点 (8) 4.2 NoSQL (8) 4.3 大规模并行分析数据库 (9) 5.大数据方法的互补 (10) 6.大数据供应商发展状况 (12) 7.大数据：实际使用案例 (13) 8.大数据技能差距 (14) 9.大数据：企业和供应商的后续动作 (15) 1.来自Wikibon社区的大数据宣言 为公司提供有效的业务分析工具和技术是首席信息官的首要任务。有效的业务分析（从基本报告到高级的数据挖掘和预测分析）使得数据分析人员和业务人员都可以从数据中获得见解，当这些见解转化为行动，会给公司带来更高的效率和盈利能力。 所有业务分析都是基于数据的。传统意义上，这意味着企业自己创建和存储的结构化数据，如CRM系统中的客户数据，ERP系统中的运营数据，以及会计数据库
中的财务数据。得益于社交媒体和网络服务（如Facebook，Twitter），数据传感器以及网络设备，机器和人类产生的网上交易，以及其他来源的非结构化和半结构化的数据的普及，企业现有数据的体积和类型以及为追求最大商业价值而产生的近实时分析的需求正在迅速增加。我们称这些为大数据。 传统的数据管理和业务分析工具及技术都面临大数据的压力，与此同时帮助企业获得来自大数据分析见解的新方法不断涌现。这些新方法采取一种完全不同于传统工具和技术的方式进行数据处理、分析和应用。这些新方法包括开源框架Hadoop，NoSQL数据库（如Cassandra和Accumulo）以及大规模并行分析数据库（如EMC的Greenplum，惠普的Vertica和TeradataASTERData）。这意味着，企业也需要从技术和文化两个角度重新思考他们对待业务分析的方式。 对于大多数企业而言，这种转变并不容易，但对于接受转变并将大数据作为业务分析实践基石的企业来说，他们会拥有远远超过胆小对手的显著竞争优势。大数据助力复杂的业务分析可能为企业带来前所未有的关于客户行为以及动荡的市 场环境的深入洞察，使得他们能够更快速的做出数据驱动业务的决策，从而比竞争对手更有效率。 从存储及支持大数据处理的服务器端技术到为终端用户带来鲜活的新见解的前 端数据可视化工具，大数据的出现也为硬件、软件和服务供应商提供了显著的机会。这些帮助企业过渡到大数据实践者的供应商，无论是提供增加商业价值的大数据用例，还是发展让大数据变为现实的技术和服务，都将得到茁壮成长。 大数据是所有行业新的权威的竞争优势。认为大数据是昙花一现的企业和技术供应商很快就会发现自己需要很辛苦才能跟上那些提前思考的竞争对手的步伐。在我们看来，他们是非常危险的。对于那些理解并拥抱大数据现实的企业，新创新，高灵活性，以及高盈利能力的可能性几乎是无止境的。 2.数据处理和分析：传统方式 传统上，为了特定分析目的进行的数据处理都是基于相当静态的蓝图。通过常规的业务流程，企业通过CRM、ERP和财务系统等应用程序，创建基于稳定数据模型的结构化数据。数据集成工具用于从企业应用程序和事务型数据库中提取、转换和加载数据到一个临时区域，在这个临时区域进行数据质量检查和数据标准化，
Hadoop大数据平台建设要求及应答方案
目录 2技术规范书应答书 (2) 2.1业务功能需求 (4) 2.1.1系统管理架构 (4) 2.1.2数据管理 (12) 2.1.3数据管控 (26) 2.1.4数据分析与挖掘 (27) 2.2技术要求 (30) 2.2.1总体要求 (30) 2.2.2总体架构 (31) 2.2.3运行环境要求 (32) 2.2.4客户端要求 (35) 2.2.5数据要求 (36) 2.2.6集成要求 (36) 2.2.7运维要求 (37) 2.2.8性能要求 (49) 2.2.9扩展性要求 (50) 2.2.10可靠性和可用性要求 (52) 2.2.11开放性和兼容性要求 (57) 2.2.12安全性要求 (59)
1大数据平台技术规范要求 高度集成的Hadoop平台：一个整体的数据存储和计算平台，无缝集成了基于Hadoop 的大量生态工具，不同业务可以集中在一个平台内完成，而不需要在处理系统间移动数据；用廉价的PC服务器架构统一的存储平台，能存储PB级海量数据。并且数据种类可以是结构化，半结构化及非结构化数据。存储的技术有SQL及NoSQL，并且NoSQL能提供企业级的安全方案。CDH提供统一的资源调度平台，能够利用最新的资源调度平台YARN分配集群中CPU,内存等资源的调度，充分利用集群资源； 多样的数据分析平台–能够针对不用的业务类型提供不同的计算框架，比如针对批处理的MapReduce计算框架；针对交互式查询的Impala MPP查询引擎；针对内存及流计算的Spark框架；针对机器学习，数据挖掘等业务的训练测试模型；针对全文检索的Solr搜索引擎 项目中所涉及的软件包括： ?Hadoop软件（包括而不限于Hadoop核心） ?数据采集层：Apache Flume, Apache Sqoop ?平台管理：Zookeeper, YARN ?安全管理：Apache Sentry ?数据存储：HDFS, HBase, Parquet ?数据处理：MapReduce, Impala, Spark ?开发套件：Apache Hue, Kite SDK ?关系型数据库系统：SAP HANA企业版 ?ETL工具：SAP Data Services 数据管控系统的二次开发量如下： ?主数据管理功能 通过二次开发的方式实现主数据管理功能，并集成甲方已有的主数据管理系统。
第1章 初识Hadoop大数据技术 本章主要介绍大数据的时代背景，给出了大数据的概念、特征，还介绍了大数据相关问题的解决方案、Hadoop大数据技术以及Hadoop的应用案例。 本章的主要内容如下。 （1）大数据技术概述。 （2）Google的三篇论文及其思想。 （3）Hadoop概述。 （4）Hadoop生态圈。 （5）Hadoop的典型应用场景和应用架构。 1.1 大数据技术概述 1.1.1 大数据产生的背景 1946年，计算机诞生，当时的数据与应用紧密捆绑在文件中，彼此不分。19世纪60年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导，具体发展阶段如图1-1所示。
Hadoop 大数据技术与应用 图1-1 数据管理技术在2001年前的两个发展阶段 2001年后，互联网迅速发展，数据量成倍递增。据统计，目前，超过150亿个设备连接到互联网，全球每秒钟发送290万封电子邮件，每天有2.88万小时视频上传到YouTube 网站，Facebook 网站每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB 。2016年全球产生数据量16.1ZB ，预计2020年将增长到35ZB （1ZB = 1百万，PB = 10亿TB ），如图1-2所示。 图1-2 IDC 数据量增长预测报告 2011年5月，EMC World 2011大会主题是“云计算相遇大数据”，会议除了聚焦EMC 公司一直倡导的云计算概念外，还抛出了“大数据”（BigData ）的概念。2011年6月底，IBM 、麦肯锡等众多国外机构发布“大数据”相关研究报告，并予以积极的跟进。 19世纪60年代，IT 系统规模和复杂度变大，数据与应 用分离的需求开始产生，数据库技术开始萌芽并蓬勃发 展，并在1990年后逐步统一到以关系型数据库为主导 1946年，计算机诞生， 数据与应用紧密捆绑 在文件中，彼此不分 1946 1951 1956 1961 1970 1974 1979 1991 2001 … 网络型 E-R SQL 关系型数据库 数据仓库 第一台 计算机 ENIAC 面世 磁带+ 卡片 人工 管理 磁盘被发明，进入文件管理时代 GE 公司发明第一个网络模型数据库，但仅限于GE 自己 的主机 IBM E. F.Dodd 提出关系模型 SQL 语言被发明 ORACLE 发布第一个商用SQL 关系数据库，后续快速发展 数据仓库开始涌现，关系数据库开始全面普及且与平台无关，数据管理技术进入成熟期 0.8ZB ：将一堆 DVD 堆起来够 地球到月亮一 个来回 35ZB ：将一堆DVD 堆起来是地球到火星距离的一半 IDC 报告“Data Universe Study ” 预测：全世界数据量将从2009 年的0.8ZB 增长到2020年的 35ZB ，增长44倍！年均增 长率>40%！
大数据技术Hadoop面试题,看看你能答对多少？ 单项选择题 1. 下面哪个程序负责HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 4. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 5. HDFS 默认Block Size a)32MB b)64MB c)128MB 6. 下列哪项通常是集群的最主要瓶颈 a)CPU b)网络 c)磁盘 d)内存 7. 关于SecondaryNameNode 哪项是正确的？ a)它是NameNode 的热备 b)它对内存没有要求 c)它的目的是帮助NameNode 合并编辑日志，减少NameNode 启动时间 d)SecondaryNameNode 应与NameNode 部署到一个节点 多选题： 8. 下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper
9. 配置机架感知的下面哪项正确 a)如果一个机架出问题，不会影响数据读写 b)写入数据的时候会写到不同机架的DataNode 中 c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确 a)数据经过NameNode 传递给DataNode b)Client 端将文件切分为Block，依次上传 c)Client 只上传数据到一台DataNode，然后由NameNode 负责Block 复制工作 11. 下列哪个是Hadoop 运行的模式 a)单机版 b)伪分布式 c)分布式 12. Cloudera 提供哪几种安装CDH 的方法 a)Cloudera manager b)Tar ball c)Yum d)Rpm 判断题： 13. Ganglia 不仅可以进行监控，也可以进行告警。（） 14. Block Size 是不可以修改的。（） 15. Nagios 不可以监控Hadoop 集群，因为它不提供Hadoop 支持。（） 16. 如果NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。（） 17. Cloudera CDH 是需要付费使用的。（） 18. Hadoop 是Java 开发的，所以MapReduce 只支持Java 语言编写。（） 19. Hadoop 支持数据的随机读写。（） 20. NameNode 负责管理metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入metadata 信息并反馈client 端。（） 21. NameNode 本地磁盘保存了Block 的位置信息。（） 22. DataNode 通过长连接与NameNode 保持通信。（） 23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。（） 24. Slave 节点要存储数据，所以它的磁盘越大越好。（） 25. hadoop dfsadmin –report 命令用于检测HDFS 损坏块。（） 26. Hadoop 默认调度器策略为FIFO（） 27. 集群内每个节点都应该配RAID，这样避免单磁盘损坏，影响整个节点运行。（） 28. 因为HDFS 有多个副本，所以NameNode 是不存在单点问题的。（） 29. 每个map 槽就是一个线程。（） 30. Mapreduce 的input split 就是一个block。（） 31. NameNode 的Web UI 端口是50030，它通过jetty 启动的Web 服务。（） 32. Hadoop 环境变量中的HADOOP_HEAPSIZE 用于设置所有Hadoop 守护线程的内存。它默认是200 GB。（） 33. DataNode 首次加入cluster 的时候，如果log 中报告不兼容文件版本，那需要NameNode执行“Hadoop namenode -format”操作格式化磁盘。（） 【编辑推荐】 没有数据分析大数据什么也不是...... 大数据告诉你，真正的白富美的生活是怎样的呢？
基于Hadoop的大数据平台实施——整体架构设计大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数据，说真的，到目前为止就和云计算一样，让我总觉得像是在看电影《云图》——云里雾里的感觉。或许那些正在向你推销大数据产品的公司会对您描绘一幅乌托邦似的美丽画面，但是您至少要保持清醒的头脑，认真仔细的慎问一下自己，我们公司真的需要大数据吗? 做为一家第三方支付公司，数据的确是公司最最重要的核心资产。由于公司成立不久，随着业务的迅速发展，交易数据呈几何级增加，随之而来的是系统的不堪重负。业务部门、领导、甚至是集团老总整天嚷嚷的要报表、要分析、要提升竞争力。而研发部门能做的唯一事情就是执行一条一条复杂到自己都难以想象的SQL语句，紧接着系统开始罢工，内存溢出，宕机........简直就是噩梦。OMG!please release me!!! 其实数据部门的压力可以说是常人难以想象的，为了把所有离散的数据汇总成有价值的报告，可能会需要几个星期的时间或是更长。这显然和业务部门要求的快速响应理念是格格不入的。俗话说，工欲善其事，必先利其器。我们也该鸟枪换炮了......。 网上有一大堆文章描述着大数据的种种好处，也有一大群人不厌其烦的说着自己对大数据的种种体验，不过我想问一句，到底有多少人多少组织真的在做大数据?实际的效果又如何?真的给公司带来价值了?是否可以将价值量化?关于这些问题，好像没看到有多少评论会涉及，可能是大数据太新了(其实底层的概念并非新事物，老酒装新瓶罢了)，以至于人们还沉浸在各种美妙的YY中。 做为一名严谨的技术人员，在经过短暂盲目的崇拜之后，应该快速的进入落地应用的研究中，这也是踩着“云彩”的架构师和骑着自行车的架构师的本质区别。说了一些牢骚话，
大数据离线分析项目(Hadoop)
一、项目总体需求、具体设计 1、总体需求：捕获用户每天的行为数据，生成 业务日志文件，根据日志文件清洗、分析、提取出需要的价值信息（pv：页面浏览量uv：独立访客数独立IP 会话时长等），对网站的良好运营提供有价值的指标。 2、具体设计 2.1捕获（JsSDK）用户行为数据（launch 事件、pageView事件、event事件、 chargerequet事件） 2.2将捕获的数据发送给web服务器，生 成日志文件（Nginx） 2.3将日志文件上传至文件存储系统中 （Shell脚本、Flume） 2.4在文件存储系统中对日志文件进行清
洗，过滤掉脏数据和不需要的字段 （MapReuce job任务） 2.5将过滤后的日志文件导入到数据库中 （HBase） 2.6通过MapReduce程序或Hive进行统 计分析（Hive） 2.7将统计分析后的结果导入到本地数据 库中进行永久储存（Mysql） 2.8在前端进行展示 （SpringMVC+Highcharts） 二、项目架构（画图）
具体分为三个部分（如下图所示）： 数据收集层 hadoop、hive、flume、kafka、shell 数据分析层 hive、MapReduce、spark
数据展示层 springmvc + highcharts 三、技术选型、特点、为什么 1.JsSDK捕获前端页面数据。Javascript 编写 页面日志生成与发送工具（原则：保持对业务代码最小影响） 特点：采用原生的JavaScript编写，以 js文件嵌入到前端，页面触发业务所关注 的事件（按照收集数据的不同分为不同的 事件）时调用相关方法。
Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。 ?Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是google File System，google公司为了存储海量搜索数据而设计的专用文件系统。 2004年Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。 2004年Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。 2005年Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。 2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce 升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。 不得不说Google和Yahoo对Hadoop的贡献功不可没。 ?Hadoop核心
Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。要想了解Hadoop，就必须知道HDFS和MapReduce 是什么。 HDFS HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。 HDFS的设计特点是： 1、大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了。 2、文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算机上，它的意义在于读取文件时可以同时从多个主机取不同区块的文件，多主机读取比单主机读取效率要高得多得多。 3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同，它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，要变化也只能在文件末添加内容。 4、廉价硬件，HDFS可以应用在普通PC机上，这种机制能够让给一些公司用几十台廉价的计算机就可以撑起一个大数据集群。 5、硬件故障，HDFS认为所有计算机都可能会出问题，为了防止某个主机失效读取不到该主机的块文件，它将同一个文件块副本分配到其它某几个主机上，如果其中一台主机失效，可以迅速找另一块副本取文件。
《Hadoop大数据开发基础》教学大纲课程名称：Hadoop大数据开发基础 课程类别：必修 适用专业：大数据技术类相关专业 总学时：48学时 总学分：3.0学分 一、课程的性质 本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。 二、课程的任务 通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。 三、教学内容及学时安排
四、考核方式 突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成= 平时作业（20%）+ 课堂参与（10%）+ 期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、基本理论、程序设计、综合应用等部分，题型可采用判断题、选择、简答、应用题等方式。
课题：项目3 部署Hadoop大数据平台第2部分部署Hadoop平台课次：第7次教学目标及要求： （1）任务1 JDK的安装配置（熟练掌握） （2）任务2部署Hadoop（熟练掌握） （3）任务3 理解启动Hadoop（熟练掌握） 教学重点： （1）任务1 JDK的安装配置 （2）任务2 部署Hadoop （3）任务3 启动Hadoop 教学难点： （1）任务2 部署Hadoop （2）任务3 启动Hadoop 思政主题： 旁批栏： 教学步骤及内容： 1.课程引入 2.本次课学习内容、重难点及学习要求介绍 （1）任务1 JDK的安装配置 （2）任务2 部署Hadoop （3）任务3 启动Hadoop 3.本次课的教学内容 （1）任务1 JDK的安装配置（熟练掌握） Hadoop的不同版本与JDK的版本存在兼容性问题，所有必须选择对应 版本的JDK进行安装，表中列出了Hadoop和JDK兼容表。我们通过测试 使用Hadoop3.0.0 和JDK1.8。 安装JDK我们使用JDK包安装的方式。首先我们新建JDK的安装目录 /opt/bigddata。操作步骤为：//定位opt目录【操作新建目录/opt/bigdata】
[root@master /]# cd /opt/ //在opt目录下新建bigdata文件夹 [root@master /]# mkdir bigdata //查看opt目录下文件夹是否存在 [root@master /]# ls bigdata [root@master /]# Jdk解压安装，步骤为：【操作解压步骤】 [root@master opt]# cd / [root@master /]# cd /opt/ [root@master opt]# ls bigdata jdk-8u161-linux-x64.tar.gz //解压jdk压缩包 [root@master opt]# tar -zxvf jdk-8u161-linux-x64.tar.gz [root@master opt]# ls bigdata jdk1.8.0_161 jdk-8u161-linux-x64.tar.gz //把Jdk目录移动至bigdata目录 [root@master opt]# mv jdk1.8.0_161/ bigdata [root@master opt]# cd bigdata/ //查看是否移动成功 [root@master bigdata]# ls jdk1.8.0_161 [root@master bigdata]# JDK配置环境变量，此步骤为添加JA V A_HOME变量，并配置JDK。具体步骤为：【操作JDK的配置】 //进入环境变量配置文件 [root@master /]# vi /etc/profile //添加如下信息 export JA V A_HOME="/opt/bigdata/jdk1.8.0_161" export PATH=$JA V A_HOME/bin:$PATH //激活环境变量配置文件 [root@master /]# source /etc/profile //验证JDK是否配置完成 [root@master /]# java -version java version "1.8.0_161" Java(TM) SE Runtime Environment (build 1.8.0_161-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
大数据分析的六大工具介绍 2016年12月 一、概述 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分享在大数据处理分析过程中六大最好用的工具。 我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 二、第一种工具:Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点: , 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 , 高扩展 性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务 的，这些集簇可以方便地扩展到数以千计的节点中。 , 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动 态平衡，因此处理速度非常快。 , 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败 的任务重新分配。 , Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。三、第二种工具:HPCC HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大 挑战项目:高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到:开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
HADOOP大数据平台配置方法（完全分布式，懒人版） 一、规划 1、本系统包括主节点1个，从节点3个，用Vmware虚拟机实现； 2、主节点hostname设为hadoop,IP地址设为192.168.137.100； 3、从节点hostname分别设为slave01、slave02，slave03，IP地址设为192.168.137.201、192.168.137.202、192.168137.203。今后如要扩充节点，依此类推； 基本原理：master及slave机器的配置基本上是一样的，所以我们的操作方式就是先配置好一台机器，然后克隆3台机器出来。这样可以节省大量的部署时间，降低出错的概率。安装配置第一台机器的时候，一定要仔细，否则一台机器错了所有的机器都错了。 二、前期准备 1、在Vmware中安装一台CentOS虚拟机； 2、设置主机名（假设叫hadoop）、IP地址，修改hosts文件； 3、关闭防火墙； 4、删除原有的JRE，安装JDK，设置环境变量； 5、设置主节点到从节点的免密码登录（此处先不做，放在第七步做）； 三、安装Hadoop 在hadoop机上以root身份登录系统，按以下步骤安装hadoop： 1、将hadoop-1.0.4.tar.gz复制到/usr 目录； 2、用cd /usr命令进入/usr目录，用tar –zxvf hadoop-1.0.4.tar.gz进行 解压，得到一个hadoop-1.0.4目录； 3、为简单起见，用mv hadoop-1.0.4 hadoop命令将hadoop-1.0.4文件夹 改名为hadoop； 4、用mkdir /usr/hadoop/tmp命令，在hadoop文件夹下面建立一个tmp 目录； 5、用vi /etc/profile 修改profile文件，在文件最后添加以下内容： export HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME/bin 6、用source /usr/profile命令使profile 立即生效； 四、配置Hadoop Hadoop配置文件存放在/usr/hadoop/conf目录下，本次有4个文件需要修改。这4个文件分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml。 1、修改hadoop-env.sh，在文件末添加如下内容： export JAVA_HOME=/usr/jdk (此处应与Java所在的目录一致) 2、修改core-site.xml文件，在文件中添加如下内容（教材109）：