OSGi初体验
一．“序”
随着参与过的项目越来越多，大家都会希望在新的项目中能够将先前项目使用过的、功能一样或类似的子模块复用起来。这样即缩短项目整体开发周期，也减少测试时间。但现实中，由于模块的组织通常来说和系统的基础架构有直接的关联，而由于系统的基础架构没有形成规范，这样就导致有可能因为模块的组织方式不同而无法复用的现象。
因此，在OSGi没有出现之前，人们采用的是自主编写插件架构实现的方式，而事实证明插件体系结构的实现远不如想像中的那么简单，最终基于自主实现的插件架构来开发系统的插件并不容易，而且也不方便。经过真正深刻的去思考插件体系结构，OSGi应运而生，形成统一插件体系结构规范。
二．OSGI介绍
1．OSGI框架
OSGi框架是 OSGi 规范的核心。它提供了一个通用的、安全的和可扩管的 Java 框
架，这个框架支持可动态部署和下载的应用程序 Bundle 。OSGi兼容设置可以下载和安装OSGiBundle ，并且可以在无需使用它们时删除。这个框架以一种动态和可升级的方式在一个 OSGi环境中管理 Bundle 的安装和更新。为达到这个目的，它细致的管理了 Bundle 和服务间的依赖关系。框架为 Bundle 开发人员提供了利用 Java 平台独立和动态代码加载需要的资源，使得能够更加容易在小内存的设备上开发服务且能够大规模部署。
OSGI体系结构图
框架的功能被分成以下层次：安全层、模块层、生命周期层、服务层和实际的服务Bundle。
1.安全层:基于 Java2 安全，但添加了大量的限制并补充了了 Java 留下的标准。它定义了一个安全包的格式，同时定义了运行时与 Java2 安全层的交互方式。
2.模块层为 Java 定义了模块化模型。模块化层为Bundle 间的 Java 包共享或屏蔽共享提供了严格的规则。模块层可以独立于生命周期层和服务层使用。生命周期层提供了管理模块层 Bundle 的 API ，而服务层提供了 Bundle 间的通讯模型。
3.生命周期层提供了 Bundle 的生命周期管理 API 。这个 API 为 Bundle 提供了运行时模型。它定义了 Bundle 如何被启动和停止，也定义了如何安装、更新和卸载。此外，它提供了一个完善的事件 API ，运行一个管理 Bundle 来控制服务平台的操作。生命周期层依赖于模块层，但可以不依赖安全层。
4.服务层为 Java Bundle 开发人员提供了一个动态的、简单的和一致的编程模型，它通过将服务规范和服务实现解耦来简化了服务 Bundle 的开发和部署。
2．OSGI带来什么
到底 OSGi 给我们带来了什么呢？从需求实现方面，OSGi 为动态扩充、修改系统功能和改变系统行为提供了支撑。从技术角度方面，OSGi 带来了规范化的模块组织以及统一的开发方式，这为传统的模块的组织、模块开发以及模块积累提供了一种全新的指导以及支撑。
●可插拔的系统
OSGi 使得热插拔技术在软件界成为现实。基于 OSGi 的系统，可通过安装新的 Bundle、更新或停止现有的 Bundle 来实现系统功能的插拔。
●可动态改变行为的系统
OSGi 提供一整套完整的机制去实现动态改变系统行为。基于这个基础上可以做出更为复杂的多的动态改变系统行为的支持。可插拔、可动态改变行为从根本上保证了系统在运行期足够的灵活性和扩展性。OSGi 的动态性原则保证了系统的高效，只有在请求发生时OSGi 才去完全加载、启动相应的 Bundle、Service。
●稳定、高效的系统
基于 OSGi 的系统采用的是微核机制，微核机制保证了系统的稳定性，微核机制的系统只要微核是稳定运行的，那么系统就不会崩溃，也就是说基于 OSGi 的系统不会受到运行在其中的 Bundle 的影响，不会因为 Bundle 的崩溃而导致整个系统的崩溃。
3．已有OSGI框架实现简介
在开源界中实现 OSGi 的框架比较知名的有：Equinox、Apache Felix、Knopflerfish。
Equinox
Equinox是Eclipse旗下的OSGi框架，本身也被Eclipse采用，是Eclipse注明的PDE 开发环境的底层。Equinox本身也是相当的全面的框架，提供的功能不比Felix少多少。但是它功能的分类就稍显混乱，文档和Sample也组织的不是很好。事实上相当Equinox还是被当作开发Eclipse Plugin的应用较多。Equinox最大的优势在于它和Eclipse结合紧密，只要你安装了PDE就已经有了Equinox，可以方便的在Eclipse里设置你开发的Bundle，启动、部署等操作也异常简单，而且有专门的Debug界面。想基于Eclipse开发，Equinox无疑是好选择。
Apache Felix
Apache Felix是Apache旗下的一个OSGi框架，项目本身非常成熟，已经被用到了很
多其他的项目中。它本身提供的服务也是最全的，几乎涵盖了全部的OSGi4.2的标准。除此之外还提供了一些非标准的功能，例如iPOJO。框架本身非常紧凑，你只需要3个包加一个shell就可以运行了，无论是开发还是Debug都非常简便。总的来说，Apache Felix是我个人推荐的最佳OSGi框架，它简单的结构也更适合初学OSGi的开发人员。
Knopflerfish
Knopflerfish是一个知名的OSGi框架，目前提供的最新版本也已经完整的实现了OSGiR4，Knopflerfish 的开发状态非常的活跃，同时它也提供了为方便开发基于 OSGi系统的大量的 Bundle。
美国SPARK课程初探 摘要：美国学者所提出的SPARK课程明确地提出了体育教学的全新理念。借鉴引用国外先进课程理念让它为体育教学实践服务。 关键词：美国；SPARK课程；体育教学 一、SPARK课程产生的背景 1989年6月，美国圣地亚哥州立大学的一个研究团队从当时已经比较普遍的学生肥胖问题入手，提出通过运动、玩耍和积极休息的方式进行体育教学改革，以提高小学生的健康水平，而这个研究项目的最终成果就是SPARK（Sport，Play，and Active Recreation for Kids，儿童运动、游戏和娱乐活动）课程。 二、SPARK课程的特点及优势 SPARK的教学不只是40分钟的课堂传授，更强调将每个孩子的运动兴趣和能力在时间上予以延续；SPARK的另外一个突破点便在于其大胆地开创了自主选择性教学。他的任何一项体育活动，都有多种参与水平，倡导给予学生更多自主选择的机会。 三、初识SPARK课程的几点启发
1.大胆放手鼓励，让孩子成为学习的主人 实施新课改以来，体育教师在教学中一直努力地尝试通过各种方法与手段，帮助学生进行自主学习、合作学习与探究学习，但结果并不尽如人意。SPARK课程所实施的“个人最好的一天”则给了我们一些启示：学生是学习过程的主人；学习评价是学生学习过程中一个根据教学要求自我设计的环节，学生的学习过程开始逐渐转变为学生自我控制的过程。 2.顺应孩子天性，实现游戏与运动技能的渗透 在SPARK课程下很多教学都融入了贴近生活并趣味十足的游戏练习，尊重并顺应了孩子们天性发展的客观规律，充分体现了体育教学生活化的特点。例如：在初学基础舞步时，体育教师会为学生创设一种“荒芜”的情境，组织学生围着圆圈慢走，借助“风滚草”这种植物的特性，不仅引导学生在地面模仿“风滚草”的旋转动作，同时还让学生对这种植物有了更直观的了解，使得旋转变得更加有趣。 反观国内体育教师在运用游戏教学方式时，有些体育教师“为游戏而进行游戏教学”，缺少与运动技能学习的结合，从而造成整个课堂教学内容重游戏、轻技能，看似活跃，实则空洞的现象。 3.多维分析教材，充分衍生教学资源 课堂教学不能仅仅只局限于“教材”，更要注重从本课
SPARK课程培训心得 本次培训主要包括以下内容： 一、美国SPARK课程培训师Julie的SPARK课堂实践的培训。二、美国运动教育模式研究人沃德博士的讲座。三、华师大体育与健康学院季书记的新课程的培训讲座。四、中国体卫艺司王司长的讲座。五、参观SPARK课程实验学校，观摩教师上课。六、华师大体育与健康学院金燕老师的SOFT数据收集的讲座。七、华师大体育与健康学院汪晓赞院长的SPARK课程前期经验汇总及后期工作安排的报告。 通过以上的培训让我收获颇多，具体心得如下： 一、Julie的培训，除了给我们讲解了SPARK课程的一些理念之外，更重要的是给我们一线体育教师呈现了SPARK课程如何在体育课中进行音乐的运用，例如如何用音乐控制开始与结束，用音乐作为练习的背景音乐，用音乐来调动学生们的练习兴趣。分组的随机性、公平性、超级团队的形成。在练习过程中要不断的变换练习方式，练习的难度要循序渐进，同时在过程中注重培养学生们的空间位置感、安全意识、规则意识等，同时最主要的是注重体能的发展。 二、沃德博士讲座让我深有感触，他主要讲到的：（一）运动教育的主要目标：通过教学使你变得，有能力、有学问、热衷运动。（二）运动教育可以为学生们带来：友谊、学会团队成员工作、分享成功与失败的经验、学会公平竞赛、学会洒脱的对待胜负、成为团队成员、在比赛中熟练的运用技术和战术、理解体育比赛。（三）沃德博士以球类教学为例：要求每节课不要少于30分钟，以单元教学为主，不要少于18课时，以赛季的形式呈现学习过程。赛季前主要学习技、战术，开展团队工作，学习公平竞赛的技能。赛季期间队于队之间打1-2场比赛。采用积分累积的形式，可以把很多的内容融入评比得分之中。（四）赛季选择角色：教练、管理者、队长、裁判、体能教练等。每个队还要签公平协议。沃德博士亲自运用运动教育课程模式现场执教了两节足球课，30名志愿者教师积极参与并体验了运动教育课程模式，这种新的模式又一次冲击了教师们的教育思潮。课后沃德博士针对老师们提出的问题进行了集中解惑，理论与实践相结合，让老师们更加深入的了解和认识了运动教育课程模式！ 三、季书记的讲话中向我们一线教师提出了两方面的要求：（一）我们一线
用Apache Spark进行大数据处理——第一部分：入门介绍 什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。 首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。 Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。 Spark让开发者可以快速的用Java、Scala或Python编写程序。它本身自带了一个超过80个高阶操作符集合。而且还可以用它在shell中以交互式地查询数据。 除了Map和Reduce操作之外，它还支持SQL查询，流数据，机器学习和图表数据处理。开发者可以在一个数据管道用例中单独使用某一能力或者将这些能力结合在一起使用。 在这个Apache Spark文章系列的第一部分中，我们将了解到什么是Spark，它与典型的MapReduce解决方案的比较以及它如何为大数据处理提供了一套完整的工具。 Hadoop和Spark Hadoop这项大数据处理技术大概已有十年历史，而且被看做是首选的大数据集合处理的解决方案。MapReduce是一路计算的优秀解决方案，不过对于需要多路计算和算法的用例来说，并非十分高效。数据处理流程中的每一步都需要一个Map阶段和一个Reduce阶段，而且如果要利用这一解决方案，需要将所有用例都转换成MapReduce模式。 在下一步开始之前，上一步的作业输出数据必须要存储到分布式文件系统中。因此，复制和磁盘存储会导致这种方式速度变慢。另外Hadoop解决方案中通常会包含难以安装和管理的集群。而且为了处理不同的大数据用例，还需要集成多种不同的工具（如用于机器学习的Mahout和流数据处理的Storm）。 如果想要完成比较复杂的工作，就必须将一系列的MapReduce作业串联起来然后顺序执行这些作业。每一个作业都是高时延的，而且只有在前一个作业完成之后下一个作业才能开始启动。 而Spark则允许程序开发者使用有向无环图（DAG）开发复杂的多步数据管道。而且还支持跨有向无环图的内存数据共享，以便不同的作业可以共同处理同一个数据。
实验一Scala部署及基本语法 (5) 1. 安装Scala (6) 1.1 进入安装目录 (6) 2. Scala基础 (7) 2.1 基础语法 (7) 2.2 控制结构 (11) 实验二Scala数据结构 (13) 3. Scala数据结构 (14) 3.1 列表 (14) 3.2 集合 (14) 3.3 映射（Map） (15) 3.4 迭代器 (17) 实验三Scala类和对象 (20) 4. 类 (21) 4.1 简单的类 (21) 5. 对象 (24) 5.1 单例对象 (25) 5.2 伴生对象 (25) 5.3 应用程序对象 (26) 实验四Scala函数式编程WordCount (27) 6. 实验操作 (29) 6.1 创建需要统计的目录 (29) 实验五spark安装部署 (31) 1、检查环境hadoop集群环境 (31) 2、Spark部署 (32) 1
实验六Spark RDD编程 (45) 1.RDD编程 (46) 实验七Spark单词统计实验 (47) 2、检查hadoop集群环境 (49) 2、创建项目 (50) 2.1创建java maven项目 (51) 2.2更改JDK版本 (54) 2.3配置pom.xml文件 (58) 2.4创建SparkWordCount类 (64) 4、打包项目 (70) 5、运行打包好的jar程序 (76) 5.1 运行程序 (76) 实验八Spark Hbase读写实验 (77) 1、检查hadoop集群环境 (79) 2、Hbase创建studen表 (80) 2.1 进入hbase环境 (80) 2.2 查看表是否存在 (80) 2.3 创建student表 (81) 2.4 往表里插入数据 (81) 2.5 使用scan命令查看表结构 (82) 3、创建项目 (83) 3.1创建java maven项目 (84) 3.2更改JDK版本 (87) 3.3配置pom.xml文件 (91) 1
spark入门教程及经验总结 问题导读1.cluster mode 模式运行包含哪些流程？ 2.yarn mode 运行模式有什么特点？ 3..在关闭http file server进程时，遇到什么错误？一、环境准备测试环境使用的cdh提供的quickstart vmhadoop版本：2.5.0-cdh5.2.0spark版本：1.1.0 二、Hello Spark将 /usr/lib/spark/examples/lib/spark-examples-1.1.0-cdh5.2.0-hado op2.5.0-cdh5.2.0.jar 移动到 /usr/lib/spark/lib/spark-examples-1.1.0-cdh5.2.0-hadoop2.5.0-cd h5.2.0.jar 执行程序./bin/run-example SparkPi 10 日志分析：程序检查ip,host,SecurityManager 启动sparkDriver。通过akka工具启动一个tcp监听[akka.tcp://sparkDriver@192.168.128.131:42960]
启动MapOutputTracker，BlockManagerMaster 启动一个block manager，也就是 ConnectionManagerId(192.168.128.131,41898)，其中包含一个MemoryStore 通过netty启动一个HTTP file server： SocketConnector@0.0.0.0:55161 启动一个sparkUI：http://192.168.128.131:4040通过http上传本地程序运行Jar包 连接HeartbeatReceiver: akka.tcp://sparkDriver@192.168.128.131:42960/user/Heartbeat Receiver Starting job: reduce分析中job，有stage 0 (MappedRDD[1]) 添加并启动运行task Submitting 10 missing tasks from Stage 0通过http协议获取程序jar包，并添加到classloader完成task 后，将结果发送到driverscheduler.DAGScheduler完成Stage
Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介 【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取 1、SparkSQL的发展历程 1.1Hive and Shark SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，大量的SQL-on-Hadoop工具开始产生，其中表现较为突出的是： ●MapR的Drill ●Cloudera的Impala ●Shark 其中Shark是伯克利实验室Spark生态环境的组件之一，它修改了下图所示的右下角的内存管理、物理计划、执行三个模块，并使之能运行在Spark引擎上，从而使得SQL查询的速度得到10-100倍的提升。 1.2Shark和SparkSQL
但是，随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All 的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发了SparkSQL代码；由于摆脱了对Hive的依赖性，SparkSQL 无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便，真可谓“退一步，海阔天空”。 ●数据兼容方面不但兼容Hive，还可以从RDD、parquet文件、JSON文件中获取数据， 未来版本甚至支持获取RDBMS数据以及cassandra等NOSQL数据； ●性能优化方面除了采取In-Memory Columnar Storage、byte-code generation等优 化技术外、将会引进Cost Model对查询进行动态评估、获取最佳物理计划等等； ●组件扩展方面无论是SQL的语法解析器、分析器还是优化器都可以重新定义，进行扩展。 2014年6月1日Shark项目和SparkSQL项目的主持人Reynold Xin宣布：停止对Shark 的开发，团队将所有资源放SparkSQL项目上，至此，Shark的发展画上了句话，但也因此发展出两个直线：SparkSQL和Hive on Spark。
SPARK课程培训心得 SPARK课程培训心得 本次培训主要包括以下内容： 一、美国SPARK课程培训师Julie的SPARK课堂实践的培训。二、美国运动教育模式研究人沃德博士的讲座。三、华师大体育与健康学院季书记的新课程的培训讲座。四、中国体卫艺司王司长的讲座。五、参观SPARK 课程实验学校，观摩教师上课。六、华师大体育与健康学院金燕老师的SOFT 数据收集的讲座。七、华师大体育与健康学院汪晓赞院长的SPARK课程前期经验汇总及后期工作安排的报告。 通过以上的培训让我收获颇多，具体心得如下： 一、Julie的培训，除了给我们讲解了SPARK课程的一些理念之外，更重要的是给我们一线体育教师呈现了SPARK课程如何在体育课中进行音乐的运用，例如如何用音乐控制开始与结束，用音乐作为练习的背景音乐，用音乐来调动学生们的练习兴趣。分组的随机性、公平性、超级团队的形成。在练习过程中要不断的变换练习方式，练习的难度要循序渐进，同时在过程中注重培养学生们的空间位置感、安全意识、规则意识等，同时最主要的是注重体能的发展。
二、沃德博士讲座让我深有感触，他主要讲到的：（一）运动教育的主要目标：通过教学使你变得，有能力、有学问、热衷运动。（二）运动教育可以为学生们带来：友谊、学会团队成员工作、分享成功与失败的经验、学会公平竞赛、学会洒脱的对待胜负、成为团队成员、在比赛中熟练的运用技术和战术、理解体育比赛。（三）沃德博士以球类教学为例：要求每节课不要少于30分钟，以单元教学为主，不要少于18课时，以赛季的形式呈现学习过程。赛季前主要学习技、战术，开展团队工作，学习公平竞赛的技能。赛季期间队于队之间打1-2场比赛。采用积分累积的形式，可以把很多的内容融入评比得分之中。（四）赛季选择角色：教练、管理者、队长、裁判、体能教练等。每个队还要签公平协议。沃德博士亲自运用运动教育课程模式现场执教了两节足球课，30名志愿者教师积极参与并体验了运动教育课程模式，这种新的模式又一次冲击了教师们的教育思潮。课后沃德博士针对老师们提出的问题进行了集中解惑，理论与实践相结合，让老师们更加深入的了解和认识了运动教育课程模式！ 三、季书记的讲话中向我们一线教师提出了两方面的要求：（一）我们一线教师要做一名有科研意识的教师，不要总是让别人牵着走。在教学方面要有自己的特点，教学中要研究开发适合自己学校的校本课程，并制定相应的教学计划。（二）体育课教学首先要关注学生们体能的发展，要让学生们出汗。其次在技术教学的同时要与战术相结合，达到学以致用。更重要的是发挥体育教育的育人功能，培养学生们的综合能力及综合素质。
Spark入门（Python版） 本文由伯乐在线- douxingxiang 翻译，toolate 校稿。未经许可，禁止转载！ 英文出处：Benjamin Bengfort。欢迎加入翻译组。Hadoop是对大数据集进行分布式计算的标准工具，这也是为什么当你穿过机场时能看到”大数据(Big Data)”广告的原因。它已经成为大数据的操作系统，提供了包括工具和技巧在内的丰富生态系统，允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。2003和2004年，两个来自Google的观点使Hadoop成为可能：一个分布式存储框架(Google文件系统)，在Hadoop中被实现为HDFS；一个分布式计算框架(MapReduce)。 这两个观点成为过去十年规模分析（scaling analytics）、大规模机器学习（machine learning），以及其他大数据应用出现的主要推动力！但是，从技术角度上讲，十年是一段非常长的时间，而且Hadoop还存在很多已知限制，尤其是MapReduce。对MapReduce编程明显是困难的。对大多数分析，你都必须用很多步骤将Map和Reduce任务串接起来。这造成类SQL 的计算或机器学习需要专门的系统来进行。更糟的是，MapReduce要求每个步骤间的数据要序列化到磁盘，这意味着MapReduce作业的I/O成本很高，导致交互分析和迭代算
法（iterative algorithms）开销很大；而事实是，几乎所有的最优化和机器学习都是迭代的。 为了解决这些问题，Hadoop一直在向一种更为通用的资源管理框架转变，即YARN（Yet Another Resource Negotiator, 又一个资源协调者）。YARN实现了下一代的MapReduce，但同时也允许应用利用分布式资源而不必采用MapReduce进 行计算。通过将集群管理一般化，研究转到分布式计算的一般化上，来扩展了MapReduce的初衷。 Spark是第一个脱胎于该转变的快速、通用分布式计算范式，并且很快流行起来。Spark使用函数式编程范式扩展了MapReduce模型以支持更多计算类型，可以涵盖广泛的工作流，这些工作流之前被实现为Hadoop之上的特殊系统。Spark 使用内存缓存来提升性能，因此进行交互式分析也足够快速(就如同使用Python解释器，与集群进行交互一样)。缓存同时提升了迭代算法的性能，这使得Spark非常适合数据理论任务，特别是机器学习。 本文中，我们将首先讨论如何在本地机器上或者EC2的集群上设置Spark进行简单分析。然后，我们在入门级水平探索Spark，了解Spark是什么以及它如何工作（希望可以激发更多探索）。最后两节我们开始通过命令行与Spark进行交互，然后演示如何用Python写Spark应用，并作为Spark作业提交到集群上。
第一章Graphx 参考：https://www.doczj.com/doc/539617573.html,/art/201408/450049.htm Spark+GraphX大规模图计算和图挖掘（V3.0） 本章旨在介绍图计算、Spark GraphX和梳理GraphX学习时的关键知识结构。 1.1 分布式计算 1.1.1 分布式图计算框架的目的 将对于巨型图的各种操作包装为简单的接口，让分布式存储、并行计算等复杂问题对上层透明，从而使复杂网络和图算法的工程师，更加聚焦在图相关的模型设计和使用上，而不用关心底层的分布式细节。 需要解决两个通用问题：图存储模式和图计算模式。 1.1.2 图存储模式 巨型图的存储总体上有边分割和点分割两种存储方式。2013年，GraphLab2.0将其存储方式由边分割变为点分割，在性能上取得重大提升，目前基本上被业界广泛接受并使用。 1.1. 2.1边分割 每个顶点都存储一次，但有的边会被打断分到两台机器上。这样做的好处是节省存储空间；坏处是对图进行基于边的计算时，对于一条两个顶点被分到不同机器上的边来说，要跨机器通信传输数据，内网通信流量大。 1.1. 2.2点分割 每条边只存储一次，都只会出现在一台机器上。邻居多的点会被复制到多台机器上，增加了存储开销，同时会引发数据同步问题。好处是可以大幅减少内网通信量。 现在是点分割占上风，各种分布式图计算框架都将自己底层的存储形式变成了点分割。主要原因有以下两个。 磁盘价格下降，存储空间不再是问题，而内网的通信资源没有突破性进展，集群计算时内网带宽是宝贵的，时间比磁盘更珍贵。这点就类似于常见的空间换时间的策略。 在当前的应用场景中，绝大多数网络都是“无尺度网络”，遵循幂律分布，不同点的邻居数量相差非常悬殊。而边分割会使那些多邻居的点所相连的边大多数被分到不同的机器上，这样的数据分布会使得内网带宽更加捉襟见肘，于是边分割存储方式被渐渐抛弃了。 1.1.3 图计算模型
我将分以下4部分为大家进行介绍。首先介绍spark的相关背景，包括基本概念以及spark与hadoop的关系。接下来介绍如何使用spark RDD进行数据分析。之后分享spark与大数据分析的关系，以及spark在大数据分析中所起到的作用。最后，为大家分享一下我与四位小伙伴基于去年的SODA开放的交通数据做的案例：大型活动大规模人群的检测与疏散。 spark是一个快速易用的大规模数据计算框架，具有速度快、易使用、功能全的特点，并且可以与Hadoop很好地集成。
那么我们什么时候需要使用spark呢？首先，当我们需要处理的数据量超过了单机尺度（比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据）这时我们可以选择spark集群进行计算。有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算。 spark可以提供了丰富的数据处理操作，包括在线的流式数据处理、离线的批量数据处理、即席查询、机器学习。 spark也提供了多种编程API接口，供具有不同开发经验的数据分析者使用。
spark与Hadoop是什么关系呢? Hadoop有两个核心模块，分布式存储模块HDFS和分布式计算模块Mapreduce。spark本身并没有提供分布式文件系统，因此spark的分析大多依赖于Hadoop的分布式文件系统HDFS。另一方面，Hadoop的Mapreduce与spark都可以进行数据计算，而相比于Mapreduce，spark的速度更快并且提供的功能更加丰富。 下面来介绍如何使用spark RDD进行编程。
Life is short，you need Spark！ Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台。基于RDD，Spark成功地构建起了一体化、多元化的大数据处理体系。 雅虎、Conviva、淘宝、网易、大众点评、优酷土豆、腾讯、华为等公司均在生产环境中部署了大规模的Spark。 《大数据Spark企业级实战》完全从企业处理大数据业务场景的角度出发，完全基于实战代码来组织内容，从零起步，不需任何基础，完全无痛地掌握Spark大数据处理实战技术，源码解析： Spark集群的动手构建 Spark架构 Spark内核的深入解析 Spark四大子框架的细致剖析和实战 Tachyon文件系统揭秘 Spark多语言编程 SparkR Spark性能调优和最佳实践 一站式实现Spark企业级开发实战！ 内容简介： Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台，是Apache软件基金会下所有开源项目中三大顶级开源项目之一。 在“One Stack to rule them all”理念的指引下，Spark基于RDD成功地构建起了大数据处理的一体化解决方案，将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等大数据计算模型统一到一个技术堆栈中，开发者使用一致的API操作Spark中的所有功能；更为重要的是Spark的Spark SQL、MLLib、GraphX、Spark Streaming等四大子框架之间可以在内存中完美的无缝集成并可以互相操作彼此的数据，这不仅打造了Spark在当今大数据计算领域其他任何计算框架都无可匹敌的优势，更使得Spark正在加速成为大数据处理中心首选的和唯一的计算平台。 《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和四大子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。 《大数据Spark企业级实战》从零起步，完全从企业处理大数据业务场景的角度出发，基于实战代码来组织内容，对于一名大数据爱好者来说，《大数据Spark企业级实战》内容可以帮助您一站式地完成从零起步到进行Spark企业级开发所需要的全部核心内容和实战需要。 作者简介： 王家林，Spark亚太研究院首席专家，中国移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0源码研究。 目录： 第1章Spark编程模型 1．1 Spark：一体化、多元化的高速 大数据通用计算平台和库 1．1．1 为什么需要使用Spark 1．1．2 Spark技术生态系统简介 1．2 Spark大数据处理框架 1．2．1 Spark速度为何如此之快 1．2．2 RDD：分布式函数式编程 1．3 Spark子框架解析 1．3．1 图计算框架Spark GraphX 1．3．2 实时流处理框架 （Spark Streaming） 1．3．3 交互式SQL处理框架
学院 课程教学进度计划表（20 ～20 学年第二学期） 课程名称Spark大数据技术与应用授课学时64 主讲（责任）教师 参与教学教师 授课班级/人数 专业（教研室） 填表时间 专业（教研室）主任 教务处编印 年月
一、课程教学目的 本课程以任务为导向的教学模式，较为全面地介绍了Spark大数据技术的相关知识。全书共9章，具体内容包括Spark概述；Scala基础；Spark编程；Spark编程进阶；SparkSQL；SparkStreaming；SparkGraphX；SparkMllib；项目案例：餐饮平台菜品智能推荐。本课程贴合企业真实需求，沿着实际项目的开发流程，在教与练中培养学生的实践能力。基本每个章节都都包含了实训与课后习题，通过练习和操作，帮助读者巩固所学的内容。通过创造了更加符合企业大数据应用真实场景，帮助广大学生提升对大数据专业的理解能力、操作能力和执行能力。 二、教学方法及手段 本课程采用理论与实践相结合的教学方法。在理论上，通过典型案例引入概念、原理和方法。在实践上，由教师讲解案例背景，提供简单思路。引导学生对案例进行针对性的分析，审理和讨论，扩展学生的思维，增加学生的兴趣。通过学生的讨论、自主实践和练习，提高学生的判断能力，专业能力和综合素质。 要求学生自主搭建Spark集群、完成章节任务、掌握基本理论和提升专业能力。在每章的任务教学中，可适当布置联系、组织讨论、引导提出扩展的解决方案，充分调动学生的主观能动性，锤炼学生的专业精神并提升动手能力，以达到本课程的培养目的。 三、课程考核方法 突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成= 出勤（10%）+平时作业与课堂练习（30%）+ 课程设计（60%）。
Spark入门 Hadoop是对大数据集进行分布式计算的标准工具，这也是为什么当你穿过机场时能看到”大数据(Big Data)”广告的原因。它已经成为大数据的操作系统，提供了包括工具和技巧在内的丰富生态系统，允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。2003和2004年，两个来自Google的观点使Hadoop 成为可能：一个分布式存储框架(Google文件系统)，在Hadoop中被实现为HDFS；一个分布式计算框架(MapReduce)。 这两个观点成为过去十年规模分析（scaling analytics）、大规模机器学习（machine learning），以及其他大数据应用出现的主要推动力！但是，从技术角度上讲，十年是一段非常长的时间，而且Hadoop还存在很多已知限制，尤其是MapReduce。对MapReduce编程明显是困难的。对大多数分析，你都必须用很多步骤将Map和Reduce任务串接起来。这造成类SQL的计算或机器学习需要专门的系统来进行。更糟的是，MapReduce要求每个步骤间的数据要序列化到磁盘，这意味着MapReduce作业的I/O成本很高，导致交互分析和迭代算法（iterative algorithms）开销很大；而事实是，几乎所有的最优化和机器学习都是迭代的。 为了解决这些问题，Hadoop一直在向一种更为通用的资源管理框架转变，即YARN （Yet Another Resource Negotiator, 又一个资源协调者）。YARN实现了下一代的MapReduce，但同时也允许应用利用分布式资源而不必采用MapReduce进行计算。通过将集群管理一般化，研究转到分布式计算的一般化上，来扩展了MapReduce的初衷。 Spark是第一个脱胎于该转变的快速、通用分布式计算范式，并且很快流行起来。Spark使用函数式编程范式扩展了MapReduce模型以支持更多计算类型，可以涵盖广泛的工作流，这些工作流之前被实现为Hadoop之上的特殊系统。Spark使用内存缓存来提升性能，因此进行交互式分析也足够快速(就如同使用Python 解释器，与集群进行交互一样)。缓存同时提升了迭代算法的性能，这使得Spark 非常适合数据理论任务，特别是机器学习。 本文中，我们将首先讨论如何在本地机器上或者EC2的集群上设置Spark进行简单分析。然后，我们在入门级水平探索Spark，了解Spark是什么以及它如何工作（希望可以激发更多探索）。最后两节我们开始通过命令行与Spark进行交互，然后演示如何用Python写Spark应用，并作为Spark作业提交到集群上。 设置Spark 在本机设置和运行Spark非常简单。你只需要下载一个预构建的包，只要你安装了Java 6+和Python 2.6+，就可以在Windows、Mac OS X和Linux上运行Spark。确保java程序在PATH环境变量中，或者设置了JAVA_HOME环境变量。类似的，python也要在PATH中。
第一章Scala语法介绍 1.1阅读说明 本文档针对scala2.10.x，由于scala目前发展迅速，因此可能会和其他版本的不同。 本手册适合对象：有Java编程经验的程序员。阅读时如果发现难以理解，可以根据关键词自行上网搜索对应内容进行辅助学习。 *标注的小节，表示阅读优先级较低或者可以不用阅读。 阅读时遵循先易后难得准则，从有代码示例的地方着手会比较简单。 1.2第一个scala程序 参考：https://www.doczj.com/doc/539617573.html,/documentation/getting-started.html object ScalaTest{ def main(args:Array[String]){ println("hello scala.") } } 1.2.1scala解释器 安装好scala并配置好PATH环境变量之后，就可以在终端中输入“scala”命令打开scala 解释器。在其中，你可以像使用shell一样，使用TAB补全、Ctrl+r搜索、上下方向键切换历史命令等等。退出scala解释器，可以使用命令：“:q”或者“:quit”。 由于解释器是输入一句执行一句，因此也常称为REPL。REPL一次只能看到一行代码，因此如果你要在其中粘贴代码段的话，可能会出现问题，这时你可以使用粘贴模式，键入如下语句： :paste 然后把代码粘贴进去，再按下Ctrl+d，这样REPL就会把代码段当作一个整体来分析。 1.2.2scala作为脚本运行 scala代码也可以作为脚本运行，只要你设置好代码文件的shell前导词（preamble），并将代码文件设置为可执行。如下： #!/usr/bin/env scala println("这是scala脚本") 设置代码文件为可执行，即可执行。 scala脚本的命令行参数保存在名为args的数组中，你可以使用args获取命令行输入的程序参数： hello.scala文件中：println("hello,"+args(0)) 在命令行中执行：scala hello.scala vitohuang