大数据第九章课后题答案
——图计算
黎狸
1.试述BSP模型中超步的3个组件及具体含义。
①局部通信。每个参与的处理器都有自身的计算任务，它们只读取存储
在本地内存中的值，不同处理器的计算任务都是异步并且独立的。
②通信。处理器群相互交换数据，交换的形式是，由一方发起推送（Put）
和获取（Get）操作
③栅栏同步。当一个处理器遇到“路障”（或栅栏），会等其他所有的处
理器完成它们的计算步骤；每一次同步也是一个超步的完成和下一个超步的开始。
2.Pregel 为什么选择一种纯消息传递模型?
采用这种做法主要基于以下两个原因：
②息传递具有足够的表达能力，没有必要使用远程读取或共享内存的方
式。
②有助于提升系统整体性能。大型图计算通常是由一个集群完成的，集
群环境中执行远程数据读取会有较高的时间延迟；Pregel的消息模式采用异步和批量的方式传递消息，因此可以缓解远程读取的延迟。
3.给定一个连通图，如图9-9所示。请给出采用Pregel模型计算上图中顶点最
大值的计算过程。其中寻找最大值的函数可以通过继承Pregel中已预定义好的一个基类--- Vertex 类实现，请实现该函数。
4.请简述Aggregator的作用，并以具体Aggregator的例子做说明。
Aggregator提供了一种全局通信、监控和数据查看的机制。Aggregator
的聚合功能，允许在整型和字符串类型上执行最大值、最小值、求和操作，比如可以定义一个“Sum”Aggregator来统计每个顶点的出射边数量，最后相加可以得到整个图的边的数量。Aggregator还可以实现全局协同的功能，比如当可以设计“and”Aggregator来决定在某个超步中Compute（）函数是否执行某些逻辑分支，只有当“and”Aggregator显示所有顶点都满足了某条件时，才去执行这些逻辑分支。
5.假设在同一个超步中，两个请求同时要求增加同一个顶点，但初始值不一样。
Pregel 中可以采用什么机制解决该冲突?
6.简述Pregel的执行过程。
（1）选择集群中的多台机器执行图计算任务，每台机器上运行用户程序的一个副本，其中，有一台机器会被选为Master，其他机器作为Worker。
（2）Master把一个图分成多个分区，并把分区分配到多个Worker。
（3）Master会把用户输入划分成多个部分，通常是基于文件边界进行划分。（4）Master向每个Worker发送指令，Worker收到指令后，开始运行一个超步。当完成以后，Worker会通知Master，并把自己在下一个超步还处于“活跃”状态的顶点的数量报告给Master。上述步骤会被不断重复，直到所有顶点都不再活跃并且系统中不会有任何消息在传输，这时，执行过程才会结束。（5）计算过程结束后，Master会给所有的Worker发送指令，通知每个Worker 对自己的计算结果进行持久化存储。
7.Master 如何检测Worker是否失效?什么情况下确定Worker已失效?当
Worker失效后，那些被分配到这些Worker的分区的当前状态信息就丢失了, 这些分区丢失的信息可以恢复吗?如果可以的话，如何对这些信息进行恢复?
一个大规模图计算任务会被Master分解到多个Worker 去执行，在每个超步开始时，Master都会向所有处于“有效”状态的Worker发送相同的指令，然后等待这些Worker的回应，如可以恢复。如果在指定时间内收不到某个Worker的反馈，Master 就认为这个Worker失效。
如果参与任务执行的多个Worker中的任意一个发生了故障失效, Master 就会进人恢复模式。
在每个超步中，图计算的各种工作，如输人、输出、计算、保存和从检查点中恢复，都会在“路障( Barrier)”之前结束。如果路障同步成功，说明一个超步顺利结束，Master 就会进入下一个处理阶段，图计算进入下一个超步的执行。
8.试述Worker和Master的作用。
Worker的作用：借助于名称服务系统定位到Master的位置，并向Master 发送自己的注册信息，Master会为每个Worker分配一个唯一的ID。在一个Worker中，它所管辖的分区状态信息被保存在内存。在每个超步中，Worker 会对自己所管辖分区中的每个顶点进行遍历，并调用顶点上的Compute()函数。
Master的作用：Pregel采用检查点（CheckPoint）机制来实现容错。在每个超步的开始，Master会通知所有的Worker把自己管辖的分区的状态写入持久化存储设备。Master周期地ping每个Worker，Worker收到ping消息后向Master反馈消息。如果在指定的时间间隔内没有收到某个Worker的反馈，Master就会将它标为“失效”，并启动恢复模式。
习题参考答案 第1章习题参考答案 一、选择题 1. C 2. B 3. D 4. C 5. D 6. B 7. A 8. B 9. D 10. B 11. C 12. D 13. D 14. D 15. B 16. C 17. D 18. A 19. D 20. A 21. D 22. D 23. C 24. A 25. C 二、填空题 1. 数据库系统阶段 2. 关系 3. 物理独立性 4. 操作系统 5. 数据库管理系统（DBMS） 6. 一对多 7. 独立性 8. 完整性控制 9. 逻辑独立性 10. 关系模型 11. 概念结构（逻辑） 12. 树有向图二维表嵌套和递归 13. 宿主语言（或主语言） 14. 数据字典 15. 单用户结构主从式结构分布式结构客户/服务器结构浏览器/服务器结构 16. 现实世界信息世界计算机世界 三、简答题 1、简述数据库管理技术发展的三个阶段。各阶段的特点是什么？ 答：数据库管理技术经历了人工管理阶段、文件系统阶段和数据库系统阶段。 (1）、人工管理数据的特点： A、数据不保存。 B、系统没有专用的软件对数据进行管理。 C、数据不共
享。D、数据不具有独立性。 （2）、文件系统阶段的特点： A、数据以文件的形式长期保存。 B、由文件系统管理数据。 C、程序与数据之间有一定的独立性。 D、文件的形式已经多样化 E、数据具有一定的共享性 （3）、数据库系统管理阶段特点： A、数据结构化。 B、数据共享性高、冗余度底。 C、数据独立性高。 D、有统一的数据控制功能。 2、从程序和数据之间的关系来分析文件系统和数据库系统之间的区别和联系 答：数据管理的规模日趋增大，数据量急剧增加，文件管理系统已不能适应要求，数据库管理技术为用户提供了更广泛的数据共享和更高的数据独立性，进一步减少了数据的余度，并为用户提供了方便的操作使用接口。数据库系统对数据的管理方式与文件管理系统不同，它把所有应用程序中使用的数据汇集起来，以记录为单位存储，在数据库管理系统的监督和管理下使用，因此数据库中的数据是集成的，每个用户享用其中的一部分。 3、简述数据库、数据库管理系统、数据库系统三个概念的含义和联系。答：数据库是指存储在计算机内、有组织的、可共享的数据集合。 数据库管理系统是软件系统的一个重要组成部分，它通过借助操作系统完成对硬件的访问，并对数据库的数据进行存取、维护和管理。 数据库系统是指计算机系统中引入数据库后的系统构成。它主要由数据库、数据库用户、计算机硬件系统和计算机软件系统几部分组成。 三者的联系是：数据库系统包括数据库和数据库管理系统。数据库系统主要通过数据库管理系统对数据库进行管理的。 4、数据库系统包括哪几个主要组成部分？各部分的功能是什么？画出整个数据库系统的层次结构图。 答：数据库系统包括：数据库、数据库用户、软件系统和硬件系统。 数据库主要是来保存数据的。 数据库用户是对数据库进行使用的人，主要对数据库进行存储、维护和检索等操作。 软件系统主要完成对数据库的资源管理、完成各种操作请求。 硬件系统主要完成数据库的一些物理上的操作，如物理存储、输入输出等。
《数据库原理及应用教程》试题及答案 一、选择题 1、下面叙述正确的是(C) A. 算法的执行效率与数据的存储结构无关 B. 算法的空间复杂度是指算法程序中指令（或语句）的条数 C. 算法的有穷性是指算法必须能在执行有限个步骤之后终止 D. 以上三种描述都不对 (2) 以下数据结构中不属于线性数据结构的是(C) A. 队列 B. 线性表 C. 二叉树 D. 栈 (3) 在一棵二叉树上第5层的结点数最多是(B) 注：由公式2k-1得 A. 8 B. 16 C. 32 D. 15 (4) 下面描述中，符合结构化程序设计风格的是(A) A. 使用顺序、选择和重复（循环）三种基本控制结构表示程序的控制逻辑 B. 模块只有一个入口，可以有多个出口 C. 注重提高程序的执行效率 D. 不使用goto语句 (5) 下面概念中，不属于面向对象方法的是(D) 注：P55-58 A. 对象 B. 继承 C. 类 D. 过程调用 (6) 在结构化方法中，用数据流程图（DFD）作为描述工具的软件开发阶段是(B)
A. 可行性分析 B. 需求分析 C. 详细设计 D. 程序编码 (7) 在软件开发中，下面任务不属于设计阶段的是(D) A. 数据结构设计 B. 给出系统模块结构 C. 定义模块算法 D. 定义需求并建立系统模型 (8) 数据库系统的核心是(B) A. 数据模型 B. 数据库管理系统 C. 软件工具 D. 数据库 (9) 下列叙述中正确的是(C) A.数据库是一个独立的系统，不需要操作系统的支持 B.数据库设计是指设计数据库管理系统 C.数据库技术的根本目标是要解决数据共享的问题 D.数据库系统中，数据的物理结构必须与逻辑结构一致 (10) 下列模式中，能够给出数据库物理存储结构与物理存取方法的是(A) 注：P108 A. 内模式 B. 外模式 C. 概念模式 D. 逻辑模式 (11) 算法的时间复杂度是指(C) A. 执行算法程序所需要的时间 B. 算法程序的长度 C. 算法执行过程中所需要的基本运算次数 D. 算法程序中的指令条数 (12) 算法的空间复杂度是指(D)
大数据技术原理与应用第四章课后作业 黎狸 1.试述在Hadoop体系架构中HBase与其他组成部分的相互关系。 HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海量数据存储能力; Sqoop为HBase的底层数据导入功能，Pig 和Hive为HBase提供了高层语言支持，HBase是BigTable的开源实现。 2.请阐述HBase和BigTable的底层技术的对应关系。 3.请阐述HBase和传统关系数据库的区别。 4.HBase有哪些类型的访问接口？ HBase提供了Native Java API , HBase Shell , Thrift Gateway , REST GateWay , Pig , Hive 等访问接口。 5.请以实例说明HBase数据模型。
6.分别解释HBase中行键、列键和时间戳的概念。 ①行键标识行。行键可以是任意字符串，行键保存为字节数组。 ②列族。HBase的基本的访问控制单元，需在表创建时就定义好。 ③时间戳。每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索 引。 7.请举个实例来阐述HBase的概念视图和物理视图的不同。 8.试述HBase各功能组件及其作用。 ①库函数：链接到每个客户端； ②一个Master主服务器：主服务器Master主要负责表和Region的管理工作； ③③许多个Region服务器：Region服务器是HBase中最核心的模块，负责存储和 维护分配给自己的Region，并响应用户的读写请求
大数据技术原理与应用-林子雨版-课后习 题答案
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
第1章习题参考答案 1.思考题 （1）什么是数据库、数据库管理系统、数据库系统？它们之间有什么联系？ 答：数据库是存贮在计算机的有结构的数据集合；数据库管理系统是一个软件，用以维护数据库、接受并完成用户对数据库的一切操作；数据库系统指由硬件设备、软件系统、专业领域的数据体和管理人员构成的一个运行系统。 （2）当前，主要有哪几种新型数据库系统？它们各有什么特点？用于什么领域，试举例说明？答：主要有：分布式数据库、面向对象数据库、多媒体数据库、数据仓库技术、空间数据库。 （3）什么是数据模型？目前数据库主要有哪几种数据模型？它们各有什么特点？ 答：数据模型是一组描述数据库的概念。这些概念精确地描述数据、数据之间的关系、数据的语义和完整性约束。很多数据模型还包括一个操作集合。这些操作用来说明对数据库的存取和更新。数据模型应满足3方面要求：一是能真实地模拟现实世界；二是容易为人们理解；三是便于在计算机上实现。目前在数据库领域，常用的数据模型有：层次模型、网络模型、关系模型以及最近兴起的面向对象的模型。 （4）关系数据库中选择、投影、连接运算的含义是什么？ 答： 1）选择运算：从关系中筛选出满足给定条件的元组（记录）。选择是从行的角度进行运算，选择出的记录是原关系的子集。 2）投影运算：从关系中指定若干个属性（字段）组成新的关系。投影是从列的角度进行运算，得到的新关系中的字段个数往往比原关系少。 3）连接运算：将两个关系按照给定的条件横向拼接成新的关系。连接过程是通过两个关系中公有的字段名进行的。 （5）关键字段的含义是什么？它的作用是什么？ 答：一个关系中可以确定一个字段为关键字段，该字段的值在各条记录中不能有相同的值。（如：门牌）；关键字段的作用主要是为建立多个表的关联和进行快速查询。 （6）什么是E-R图？E-R 图是由哪几种基本要素组成？这些要素如何表示？ 答：E-R图也称实体-联系图(Entity Relationship Diagram)，提供了表示实体类型、属性和联系的方法，用来描述现实世界的概念模型。构成E-R图的基本要素有3种，即实体、属性和联系。其表示方法为：用矩形框表示现实世界中的实体，用菱形框表示实体间的联系，用椭圆形框表示实体和联系的属性，实体名、属性名和联系名分别写在相应框。 ABAAC ABCAA 第2章习题解答 1. 思考题 （1）在SQL Server 2008中的数据库中包含哪些对象？其中什么对象是必不可少的？其作用又是什么？ 答：SQL Server 2008中的数据库对象主要包括数据库关系图、表、视图、同义词、可编程性、Service Broker、存储和安全性等。其中表对象是必不可少的。表是由行和列构成的集合，用来存储数据。 （2）SQL Server提供的系统数据库master它的作用是什么？用户可以删除和修改吗？为什么？答：master 数据库记录SQL Server 系统的所有系统级信息。主要包括实例围的元数据、端点、服务器和系统配置设置以及记录了所有其他数据库的存在、数据库文件的
第1章数据概述 一．选择题 1．下列关于数据库管理系统的说法，错误的是C A．数据库管理系统与操作系统有关，操作系统的类型决定了能够运行的数据库管理系统的类型 B．数据库管理系统对数据库文件的访问必须经过操作系统实现才能实现 C．数据库应用程序可以不经过数据库管理系统而直接读取数据库文件 D．数据库管理系统对用户隐藏了数据库文件的存放位置和文件名 2．下列关于用文件管理数据的说法，错误的是D A．用文件管理数据，难以提供应用程序对数据的独立性 B．当存储数据的文件名发生变化时，必须修改访问数据文件的应用程序 C．用文件存储数据的方式难以实现数据访问的安全控制 D．将相关的数据存储在一个文件中，有利于用户对数据进行分类，因此也可以加快用户操作数据的效率 3．下列说法中，不属于数据库管理系统特征的是C A．提供了应用程序和数据的独立性 B．所有的数据作为一个整体考虑，因此是相互关联的数据的集合 C．用户访问数据时，需要知道存储数据的文件的物理信息 D．能够保证数据库数据的可靠性，即使在存储数据的硬盘出现故障时，也能防止数据丢失 5．在数据库系统中，数据库管理系统和操作系统之间的关系是D A．相互调用 B．数据库管理系统调用操作系统 C．操作系统调用数据库管理系统 D．并发运行 6．数据库系统的物理独立性是指D A．不会因为数据的变化而影响应用程序 B．不会因为数据存储结构的变化而影响应用程序 C．不会因为数据存储策略的变化而影响数据的存储结构 D．不会因为数据逻辑结构的变化而影响应用程序 7．数据库管理系统是数据库系统的核心，它负责有效地组织、存储和管理数据，它位于用户和操作系统之间，属于A A．系统软件B．工具软件 C．应用软件D．数据软件 8．数据库系统是由若干部分组成的。下列不属于数据库系统组成部分的是B A．数据库B．操作系统 C．应用程序D．数据库管理系统 9．下列关于客户/服务器结构和文件服务器结构的描述，错误的是D A．客户/服务器结构将数据库存储在服务器端，文件服务器结构将数据存储在客户端 B．客户/服务器结构返回给客户端的是处理后的结果数据，文件服务器结构返回给客户端的是包含客户所需数据的文件 C．客户/服务器结构比文件服务器结构的网络开销小 D．客户/服务器结构可以提供数据共享功能，而用文件服务器结构存储的数据不能共享
数据库原理及应用 课后答案 第一章 选择题 1、A。 从数据库管理系统的角度看，数据库系统的结构通常分为三级模式的总体结构，在这种模式下，形成了二级映像，实现了数据的独立性。其中三级模式结构指的是外模式、模式和内模式，二级映像指的是外模式/模式映像、模式/内模式映像。对于外模式/模式映像，当模式改变时，相应的外模式/模式映像作相应的改变，以使外模式保持不变，而应用程序是依据数据的外模式来编写的，外模式不变，应用程序就没必要修改，这保证了数据与程序的逻辑独立性。对于模式/内模式映像，当数据库的存储结构变了，模式/内模式映像会作相应的改变，以使模式保持不变，而模式不变，与模式没有直接联系的应用程序也不会改变，这保证了数据与程序的物理独立性。 数据逻辑独立性指的就是当模式改变时，外模式和应用程序不需要改变，所以选项A正确。C选项的内模式改变，模式不变指的是数据的物理独立性，所以C选项不正确，B选项中前后两句与C选项相比顺序不符，所以B选项不正确。D选项中，应为“模式和应用程序不变”，不应为“外模式”，所以D选项不正确。 2、B。 DB指的是数据库（DataBase），DBMS指的是数据库管理系统（DataBase Management System），DBS指的是数据库系统（DataBase System），DBA指的是数据库管理员（Database Administrator），Data指的是数据。
由书中概念易得DBS（数据库系统）包括DBMS（数据库管理系统），DBMS管理和控制DB（数据库），而DB载入、存储、重组与恢复Data（数据）。所以B选项正确。 3、C。 数据库系统的特点有：⑴、实现数据共享；⑵、减少数据冗余度；⑶、保持数据的一致性； ⑷、数据的独立性；⑸、安全保密性；⑹、并发控制；⑺、故障恢复 由以上可得C选项错误，应改为数据冗余度“低”。 4、C。 DB是长期储存在计算机内、有组织的、可共享的大量数据集合；DBS是实现有组织地、动态地存储大量关联数据，方便多用户访问计算机软件、硬件和数据资源组成的系统；DBMS 是把用户对数据的操作转化为对系统存储文件的操作，有效地实现数据库三级（外模式、模式和内模式）之间的转化；MIS指的是管理信息系统（Management Information System），是一个以人为主导，利用计算机硬件、软件及其他办公设备进行信息的收集、传递、存贮、加工、维护和使用的系统。由以上概念可知，位于用户和数据库之间的一层数据管理软件是DBMS。所以C选项正确。 5、C。 书中图1.6明确指出模式/内模式映像把概念数据库与物理数据库联系起来，所以C选项正确。 6、C。 数据库有这样三层关系，第一层和第三层不能直接发生关系，所以D选项不正确，内模式与外模式没有直接关系，应改为“模式与应用程序不变”。
【最新整理，下载后即可编辑】 第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。
3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？ 答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。
8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术 答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。
11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 2.试述数据产生方式经历的几个阶段 答：运营式系统阶段，用户原创内容阶段，感知式系统阶段。 3.试述大数据的4个基本特征 答：数据量大、数据类型繁多、处理速度快和价值密度低。 4.试述大数据时代的“数据爆炸”的特性 答：大数据时代的“数据爆炸”的特性是，人类社会产生的数据一致都以每年50%的速度增长，也就是说，每两年增加一倍。 5.数据研究经历了哪4个阶段？
答：人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式。 6.试述大数据对思维方式的重要影响 答：大数据时代对思维方式的重要影响是三种思维的转变：全样而非抽样，效率而非精确，相关而非因果。 7.大数据决策与传统的基于数据仓库的决策有什么区别 答：数据仓库具备批量和周期性的数据加载以及数据变化的实时探测、传播和加载能力，能结合历史数据和实时数据实现查询分析和自动规则触发，从而提供对战略决策和战术决策。 大数据决策可以面向类型繁多的、非结构化的海量数据进行决策分析。 8.举例说明大数据的基本应用 答： 9.举例说明大数据的关键技术
答：批处理计算，流计算，图计算，查询分析计算 10.大数据产业包含哪些关键技术。 答：IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层、数据应用层。 11.定义并解释以下术语：云计算、物联网 答：云计算：云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。 物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。 12.详细阐述大数据、云计算和物联网三者之间的区别与联系。
林子雨大数据技术原理及应用课后题答案 大数据第一章大数据概述课后题 (1) 大数据第二章大数据处理架构Hadoop课后题 (5) 大数据第三章Hadoop分布式文件系统课后题 (10) 大数据第四章分布式数据库HBase课后题 (16) 大数据第五章NoSQl数据库课后题 (22) 大数据第六章云数据库课后作题 (28) 大数据第七章MapReduce课后题 (34) 大数据第八章流计算课后题 (41) 大数据第九章图计算课后题 (50) 大数据第十章数据可视化课后题 (53) 大数据第一章课后题 ——大数据概述 1.试述信息技术发展史上的3次信息化浪潮及其具体内容。 第一次信息化浪潮1980年前后个人计算机开始普及，计算机走入企业和千家万户。代表企业：Intel，AMD，IBM，苹果，微软，联想，戴尔，惠普等。 第二次信息化浪潮1995年前后进入互联网时代。代表企业：雅虎，谷歌阿里巴巴，百度，腾讯。 第三次信息浪潮2010年前后，云计算大数据，物联网快速发展，即将涌现一批新的市场标杆企业。 2.试述数据产生方式经历的几个阶段。 经历了三个阶段: 运营式系统阶段数据伴随一定的运营活动而产生并记录在数据库。 用户原创内容阶段Web2.0时代。 感知式系统阶段物联网中的设备每时每刻自动产生大量数据。 3.试述大数据的4个基本特征。
数据量大（Volume） 据类型繁多（Variety） 处理速度快（Velocity） 价值密度低（Value） 4.试述大数据时代的“数据爆炸”特性。 大数据摩尔定律：人类社会产生的数据一直都在以每年50%的速度增长，即每两年就增加一倍。 5.科学研究经历了那四个阶段？ 实验比萨斜塔实验 理论采用各种数学，几何，物理等理论，构建问题模型和解决方案。例如：牛一，牛二，牛三定律。 计算设计算法并编写相应程序输入计算机运行。 数据以数据为中心，从数据中发现问题解决问题。 6.试述大数据对思维方式的重要影响。 全样而非抽样 效率而非精确 相关而非因果 7.大数据决策与传统的基于数据仓库的决策有什么区别？ 数据仓库以关系数据库为基础，在数据类型和数据量方面存在较大限制。 大数据决策面向类型繁多的，非结构化的海量数据进行决策分析。 8.举例说明大数据的具体应用。 汽车行业大数据和物联网技术无人汽车
第一章 单选题 1、下列选项中，最早提出“大数据”这一概念的是（）。 ?A、贝恩 ?B、麦肯锡 ?C、吉拉德 ?D、杰弗逊 参考答案: B 答案解析: 暂无解析 2、下列选项中，哪一项是研究大数据最重要的意义（）。 ?A、分析 ?B、统计 ?C、测试 ?D、预测 参考答案: D 答案解析: 研究大数据，最重要的意义是预测。 3、Hadoop1.0中，Hadoop内核的主要组成是（）。 ?A、HDFS和MapReduce ?B、HDFS和Yarn ?C、Yarn ?D、MapReduce和Yarn 参考答案: A 答案解析: Hadoop1.0中，Hadoop内核的主要是由HDFS和MapReduce两个系统组成。 4、在HDFS中，用于保存数据的节点是（）。
?B、datanode ?C、secondaryNode ?D、yarn 参考答案: B 答案解析: 暂无解析 多选题 1、下列选项中，属于Google提出的处理大数据的技术手段有（）。 ?A、MapReduce ?B、MySQL ?C、BigTable ?D、GFS 参考答案: A,C,D 答案解析: Google提出了三个处理大数据的技术手段，分别是MapReduce、BigTable和G FS。 2、下列选项中，属于Hadoop优势的有（）。 ?A、扩容能力强 ?B、可靠性 ?C、低效率 ?D、高容错性 参考答案: A,B,D 答案解析: Hadoop具有扩展能力强、成本低、高效率、可靠性、高容错性的优势。 3、下列选项中，属于Hadoop版本系列的有（）。 ?A、Hadoop4 ?B、Hadoop2 ?C、Hadoop1
习题一、单项选择题 1. 在数据管理技术的发展过程中，经历了人工管理阶段、文件系统阶段和数据库系统阶段。在这几 个阶段中，数据独立性最高的是（A）阶段。 A. 数据库系统 B. 文件系统 C. 人工管理 D.数据项管理 2. 数据库系统与文件系统的主要区别是（B）。 A. 数据库系统复杂，而文件系统简单 B. 文件系统不能解决数据冗余和数据独立性问题，而数据库系统可以解决 C. 文件系统只能管理程序文件，而数据库系统能够管理各种类型的文件 D. 文件系统管理的数据量较少，而数据库系统可以管理庞大的数据量 3. 在数据库中存储的是（C）。 A. 数据 B. 数据模型 C. 数据及数据之间的联系 D. 信息 4. 数据库的特点之一是数据的共享，严格地讲，这里的数据共享是指（D）。 A. 同一个应用中的多个程序共享一个数据集合 B. 多个用户、同一种语言共享数据 C. 多个用户共享一个数据文件 D. 多种应用、多种语言、多个用户相互覆盖地使用数据集合 5. 数据库（DB）、数据库系统（DBS）和数据库管理系统(DBMS)三者之间的关系是（ A ）。 A. DBS包括DB和DBMS B. DBMS包括DB和DBS C. DB包括DBS和DBMS D. DBS就是DB,也就是DBMS 6. 数据库管理系统（DBMS）是（C）。 A. 一个完整的数据库应用系统 B.一组硬件 C. 一组系统软件 D.既有硬件，也有软件 7. 数据库是在计算机系统中按照一定的数据模型组织、存储和应用的（B）。 A. 文件的集合 B. 数据的集合 C. 命令的集合 D. 程序的集合 8. 支持数据库各种操作的软件系统是（B）。 A. 命令系统 B. 数据库管理系统 C. 数据库系统 D. 操作系统 9. 由计算机硬件、DBMS、数据库、应用程序及用户等组成的一个整体叫（B）。 A. 文件系统 B. 数据库系统 C. 软件系统 D. 数据库管理系统 10. 数据库系统中应用程序与数据库的接口是（B）。 A. 数据库集合 B. 数据库管理系统DBMS C. 操作系统OS D. 计算机中的存储介质 11. 在DBS中，DBMS和OS之间关系是（D）。 A. 并发运行 B. 相互调用 C. OS调用DBMS D. DBMS调用OS 12. 在数据库方式下，信息处理中占据中心位置的是（C）。 A. 磁盘 B. 程序 C. 数据 D. 内存 13. 文件系统与数据库系统对数据处理方式的主要区别体现在（A）。 A. 数据集成化 B. 数据共享 C. 冗余度 D. 容量 14. DBMS通常可以向下述哪个对象申请所需计算机资源（B）。 A. 数据库 B. 操作系统 C. 计算机硬件 D. 应用程序
大数据技术原理及应用 (总10页) -CAL-FENGHAI.-(YICAI)-Company One1 -CAL-本页仅作为文档封面，使用请直接删除
大数据技术原理及应用 大数据处理架构—Hadoop简介 Hadoop项目包括了很多子项目，结构如下图 Common 原名：Core，包含HDFS, MapReduce和其他公共项目，从Hadoop 版本后，HDFS和MapReduce分离出去，其余部分内容构成Hadoop Common。Common为其他子项目提供支持的常用工具，主要包括文件系统、RPC(Remote procedure call) 和串行化库。 Avro Avro是用于数据序列化的系统。它提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持久性数据的文件集、远程调用RPC的功能和简单的动态语言集成功能。其中，代码生成器既不需要读写文件数据，也不需要使用或实现RPC协议，它只是一个可选的对静态类型语言的实现。Avro系统依赖于模式（Schema），Avro数据的读和写是在模式之下完成的。这样就可以减少写入数据的开销，提高序列化的速度并缩减其大小。 Avro 可以将数据结构或对象转化成便于存储和传输的格式，节约数据存储空间和网络传输带宽，Hadoop 的其他子项目（如HBase和Hive）的客户端和服务端之间的数据传输。 HDFS HDFS：是一个分布式文件系统，为Hadoop项目两大核心之一，是Google file system（GFS）的开源实现。由于HDFS具有高容错性（fault-tolerant）的特点，所以可以设计部署在低廉（low-cost）的硬件上。它可以通过提供高吞吐率（high throughput）来访问应用程序的数据，适合那些有着超大数据集的应
《数据库原理与应用》（第三版）习题参考答案 第 1 章数据库概述 1．试说明数据、数据库、数据库管理系统和数据库系统的概念。 答：数据是描述事物的符号记录。 数据库是长期存储在计算机中的有组织的、可共享的大量数据的集合。 数据库管理系统是一个专门用于实现对数据进行管理和维护的系统软件。 数据库系统是指在计算机中引入数据库后的系统，一般由数据库、数据库管理系统（及相关的实用工具）、应用程序、数据库管理员组成。 2．数据管理技术的发展主要经历了哪几个阶段？ 答：文件管理和数据库管理。 3．与文件管理相比，数据库管理有哪些优点？ 答：与文件系统管理数据相比，数据库系统管理数据带来了如下好处：将相互关联的数据集成在一起，较少的数据冗余，程序与数据相互独立，保证数据的安全可靠，最大限度地保证数据的正确性，数据可以共享并能保证数据的一致性。 4．在数据库管理方式中，应用程序是否需要关心数据的存储位置和存储结构？为什么？ 答：不需要。因为数据库管理系统提供了逻辑独立性和物理独立性。 5．在数据库系统中，数据库的作用是什么？ 答：数据库是数据的汇集，它以一定的组织形式保存在存储介质上。 6．在数据库系统中，应用程序可以不通过数据库管理系统而直接访问数据文件吗？ 答：不能 7．数据独立性指的是什么？它能带来哪些好处？ 答：数据独立性是指应用程序不会因数据的物理表示方式和访问技术的改变而改变，即应用程序不依赖于任何特定的物理表示方式和访问技术，它包含两个方面：逻辑独立性和物理独立性。 物理独立性是指当数据的存储位置或存储结构发生变化时，不影响应用程序的特性； 逻辑独立性是指当表达现实世界的信息内容发生变化时，不影响应用程序的特性。 8．数据库系统由哪几部分组成，每一部分在数据库系统中的作用大致是什么？ 答：数据库系统一般包括数据库、数据库管理系统（及相应的实用工具）、应用程序和数据库管理员四个部分。数据库是数据的汇集，它以一定的组织形式保存在存储介质上；数据库管理系统是管理数据库的系统软件，它可以实现数据库系统的各种功能；应用程序专指以数据库数据为基础的程序，数据库管理员负责整个数据库系统的正常运行。 第2章数据模型与数据库结构 1．解释数据模型的概念，为什么要将数据模型分成两个层次？ 答：答：数据模型是对现实世界数据特征的抽象。数据模型一般要满足三个条件：第一是数
数据库原理及应用习题参考答案 习题1 1-1 文件系统阶段的数据管理有哪些特点 答：文件系统阶段主要有5个特点：数据以“文件”形式长期保存；数据的逻辑结构与物理结构有了区别；文件组织已多样化；数据面向应用；对数据的操作以记录为单位。 1-2 文件系统阶段的数据管理有些什么缺陷试举例说明。 答：主要有3个缺陷：数据冗余；数据不一致性；数据联系弱。 例如学校里教务处、财务处、保健处建立的文件中都有学生详细资料，如联系电话，家庭住址等。这就是“数据”冗余；如果某个学生搬家，就要修改3个部门文件中的数据，否则会引起同一数据在3个部门中不一致；产生上述问题的原因是这3个部门的文件中数据没有联系。 1-3 数据库阶段的数据管理有哪些特色 答：主要有5个特点：采用数据模型可以表示复杂的数据结构；有较高的数据独立性； 为用户提供了方便的用户接口；提供了4个方面的数据控制功能；对数据的操作以数据项为 单位，增加了系统的灵活性。 1-4 什么是数据独立性在数据库中有哪两级独立性 答：数据独立性是指应用程序与DB的数据结构之间的相互独立。在物理结构改变时，尽量不影响应用程序，称为物理独立性；在逻辑结构改变时，尽量不影响应用程序，称之为逻辑数据独立性。 1-5 试解释DB、DBMS和DBS三个概念。 答：DB是长期存储在计算机内、有组织的、统一管理的相关数据的集合。 DBMS是位于用户与0S之间的一层数据管理软件，它为用户或应用程序提供访问DB的方法。 DBS是实现有组织地、动态地存储大量关联数据、方便多用户访问的计算机硬件、软件 和数据资源组成的系统，即采用数据库技术的计算机系统。 1-6 SQL Server 2005有哪些数据类型 答：SQL Server中数据类型分为整型、浮点型、二进制数据型、逻辑型、字符型、文本型、图形型、日期时间型、货币型、自定义类型、可变数据类型和表数据类型。 1-7 列举SQL Server 2005中新增的主要功能。 答：SQL Server 2005中新增的主要功能有： ⑴Notification Services增强功能； ⑵Reporting Services增强功能，其中包括：报表功能的增强功能、Reporting Services设计时增强功能、Reporting Services可编程性的增强功能、Reporting Services可管理性和部署的增强功能； ⑶新增的Service Broker以实现SQL Server中的消息传递方面具有以下优势：高伸缩性、消息协调、排序和锁定、集成数据库数据、集成数据库安全性； ⑷数据库引擎增强功能； ⑸数据访问接口方面的增强功能； ⑹SQL Server Analysis Services（SSAS）的增强功能； ⑺Integration Services的增强功能； ⑻在可管理性、可用性、可编程性、移动性、可伸缩性和性能方面提供了改进。 ⑼工具和实用工具增强功能； 第 1 页
Access 数据库技术与应用课后习题答案第一章 一、选择题 1-5：D A D A B 6-10:B B C B B 二、填空题 1、用户操作系统 2、关系模型 3、1：1 1：n m:n 4、二维表 5、字段名 6、域 7、候选键或候选关键字 8、关系 三、简答题 10、借阅信息（读者编号、书籍编号、借书日期） 读者信息（读者编号、读者信息） 图书信息（书籍编号、书籍名称、类别代码） 图书类别表（类别代码、允许天数） 第二章 一、选择题 1-5：C A B A D 二、填空题 1、关系 2、主窗体数据库窗体 5、主窗体 第三章 一、选择题 1-5：CBCDC 二、填空题 1、表查询窗体报表页宏模块 3、宏 4、mdb 5、我的文档 第四章 一、选择题 1-5：CBBDB 6-10:DDDAD 11-15:ABDCC 16-20:CBCCD 二：填空题 1、主关键字 2、结构记录 3、升序降序 4、会不会
5、无有（无重复） 6、多对多 7、备注型 8、字段输入区 9、常规 10、查找替换 第五章 一、选择题 1-5：ADDCB 6-10:AACDA 二、填空题 1、分组 2、生成表追加查询 3、date() now() 4、对话框 5、“”“” 6、行列交叉处 7、同一行不同行 8、一致 第六章 一、选择题 1-5：CACCC 6-10:DBDBD 11:D 二、填空题 1、主体 2、非绑定计算 3、格式 4、事件其他 5、字段列表按钮 6、该节标题 7、键盘输入 8、添加控件 9、文本框 10、双击单击 第七章 一、选择题 1-5：BDCDC 6-10:DDDDA 11-14:ACDD 二、填空题 1、纵栏式表格式 2、文本框 3、原表记录顺序 4、报表向导
《数据库原理及应用》期末考试试卷答案及评分标准 一、单选题 (每小题 2 分，共 20 分) 1.关系数据库规范化是为解决关系数据库中（）问题而引入的。 A. 插入异常、删除异常和数据冗余 B. 提高查询速度 C. 减少数据操作的复杂性 D. 保证数据的安全性和完整性 2.数据库（DB）、数据库系统（DBS）和数据库管理系统（DBMS）三者之间的关 系是（）。 A．DBMS包括DB和DBS B．DB包括DBS和DBMS C．DBS包括DB和DBMS D．DBS就是DB，也就是DBMS 3.数据库管理系统能实现对数据库中数据表、索引等对象的定义、修改、删除， 这类语言称为（）。 A．数据定义语言（DDL）B．数据操纵语言（DML） C．数据查询语言（DQL）D．数据控制语言（DCL） 4.概念模型是（） A、用于信息世界的建模，与具体的 DBMS 有关 B、用于信息世界的建模，与具体的 DBMS 无关 C、用于现实的建模，与具体的 DBMS 有关 D、用于现实的建模，与具体的 DBMS 无关 5.物理数据独立性是指（）。 A. 模式改变，外模式和应用程序不变 B. 模式改变，内模式不变 C. 内模式改变，模式不变 D. 内模式改变，外模式和应用程序不变 6.SQL语言是（）语言。 A．层次数据库B．网络数据库C．关系数据库D．非数据库 7.自然连接是构成新关系的有效方法。一般情况下，当对关系R和S使用自然连 接时，要求R和S含有一个或多个共有的（）。 A. 元组 B. 行 C. 记录 D. 属性 8.文件系统与数据库系统的最大区别是（）。 A. 数据共享 B. 数据独立 C. 数据结构化 D. 数据冗余 9.用于事务回滚的SQL语句是（） A、CREATE TABLE B、COMMIT C、GRANT和REVOKE D、ROLLBACK 10.为提高效率，关系数据库系统必须进行（）处理。 A、定义视图 B、查询优化 C、建立索引 D、数据规范化到最高范式 二、填空题 (每小题 2 分，共 20 分)
第5章数据库完整性与安全性 1. 什么是数据库的完整性什么是数据库的安全性两者之间有什么区别和联系 解： 数据库的完整性是指数据库中数据的正确性、有效性和相容性，其目的是防止不符合语义、不正确的数据进入数据库，从而来保证数据库系统能够真实的反映客观现实世界。 数据库安全性是指保护数据库，防止因用户非法使用数据库造成数据泄露、更改或破坏。 数据的完整性和安全性是两个不同的概念，但是有一定的联系: 前者是为了防止数据库中存在不符合语义的数据，防止错误信息的输入和输出，即所谓垃圾进垃圾出所造成的无效操作和错误结果。后者是保护数据库防止恶意的破坏和非法的存取。也就是说，安全性措施的防范对象是非法用户和非法操作，完整性措施的防范对象是不合语义的数据。 2. 什么是数据库的完整性约束条件完整性约束条件可以分为哪几类 解： 完整性约束条件是指数据库中的数据应该满足的语义约束条件。一般可以分为六类：静态列级约束、静态元组约束、静态关系约束、动态列级约束、动态元组约束、动态关系约束。静态列级约束是对一个列的取值域的说明，包括以下几个方面：①数据类型的约束，包括数据的类型、长度、单位、精度等；②对数据格式的约束；③对取值范围或取值集合的约束；④对空值的约束；⑤其他约束。静态元组约束就是规定组成一个元组的各个列之间的约束关系，静态元组约束只局限在单个元组上。静态关系约束是在一个关系的各个元组之间或者若干关系之间常常存在各种联系或约束。常见的静态关系约束有：①实体完整性约束；②参照完整性约束；③函数依赖约束。动态列级约束是修改列定义或列值时应满足的约束条件，包括下面两方面：①修改列定义时的约束； ②修改列值时的约束。动态元组约束是指修改某个元组的值时需要参照其旧值，并且新旧值之间需要满足某种约束条件。动态关系约束是加在关系变化前后状态上的限制条件，例如事务一致性、原子性等约束条件。 3. 试述DBMS如何实现完整性控制。 解： 为了维护数据库的完整性，DBMS提供了以下三种机制： ①完整性约束条件定义完整性约束条件也称为完整性规则，是数据库中的数据必须满足的语义约束条件。SQL标准使用了一系列概念来描述完整性，包括关系模型的实体完整性、参照完整性和用户定义完整性。这些完整性一般由SQL的DDL语义来实现。它们作为数据库模式的一部分存入数据字典中。 ②完整性检查方法检查数据是否满足已定义的完整性约束条件称为完整性检查。一般在INSERT、UPDATE、DELETE语句执行后开始检查，也可以在事务提交时检查。检查这些操作执行后数据库中的数据是否违背了完整性约束条件。 ③违约处理若发现用户操作违背了完整性约束条件，应采取一定的措施，如拒绝（NOACTION）执行该操作，或级连（CASCADE）执行其它操作，进行违约处理以保证数据的完整性。 4. 现有以下四个关系模式： ，其中供应商编号为主码；供应商（供应商编号，姓名，电话，地点）． 零件（零件编号，零件名称，颜色，重量），其中零件编号为主码； 工程（工程编号，工程名称，所在地点），其中工程编号为主码； 供应情况（供应商编号，零件编号，工程编号，数量），其中供应商编号，零件编号，工程编号为主码
《数据库原理与应用》课后习题参考答案 第一章作业参考答案 1、单选题C C D B C 2、判断题对错错错对 3填空题网状模型用户商业智能数据挖掘系统设计 4简答题 1）数据模型就是指描述事物对象得数据组成、数据关系、数据约束得抽象结构及其说明。数据模型就是指描述事物对象得数据组成、数据关系、数据约束得抽 象结构及其说明。数据模型就是指描述事物对象得数据组成、数据关系、数据约束 得抽象结构及其说明。3）数据约束：用于描述数据结构中数据之间得语义联系、数据之间得制约与依存关系，以及数据动态变化得规则。主流数据库采用关系图模 型。数据库典型数据模型：层次数据模型网状数据模型关系数据模型其它数据模 型（如对象数据模型、键值对数据模型、列式数据模型。。。） 2）数据库——就是一种依照特定数据模型组织、存储与管理数据得文件，数据库文件一般存放在辅助存储器以便长久保存。数据库具有如下特点：数据不重复 存放；提供给多种应用程序访问；数据结构独立于使用它得应用程序；对数据 增、删、改、检索由统一软件进行管理与控制。 3）数据库(Database)就是一种依照特定模型组织、存储与管理数据得数据结构。在数据库中，不仅存放了数据，而且还存放了数据与数据之间得关系。数据库 内部元素：用户表：用户在数据库中创建得数据库表；系统表：数据库中系统自带 得数据库表；视图：数据库中用于对数据进行查询得虚拟表；索引：数据库中用于 加快数据查询得索引项；约束：数据库中对数据、数据关系施加得规则；存储过 程：数据库内部完成特定功能处理得程序；触发器：数据库内部因数据变化自动执 行得一类存储过程等等 4）数据库系统包括：用户、数据库应用程序、数据库管理系统与数据库四个组成要素。 5）数据库管理系统（Database Manage System，DBMS ）——就是一种专门用来创建数据库、管理数据库、维护数据库，并提供对数据库访问得系统软件。数 据库管理系统（DBMS）主要功能：创建数据库与表; 创建支持结构,如索引等; 读取 数据库数据; 修改数据库数据; 维护数据库结构; 执行规则; 并发控制; 提供安全性; 执行备份与恢复等等 第二章作业参考答案 1 单选题C B D A A 2、判断题对对错对错 3填空题全外连接数据约束候选键用户定义完整性4简答题外码键 1）在关系模型中，使用“关系”来存储“实体”中得数据。关系（relation）——就是指存放实体数据得二维表。关系特征：行存储实体得个体数