大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，不管什么，都要带上“大数据”三个字才显得时髦。大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。
一、基本概念
在讲什么是大数据之前，我们首先需要厘清几个基本概念。
1.数据
关于数据的定义，大概没有一个权威版本。为方便，此处使用一个简单的工作定义:数据是可以获取和存储的信息。
直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。
不过数值是所有数据中最容易被处理的一种，许多和数据相关的概念，例如下面的数据可视化和数据分析，最早是立足于数值数据的。
传统意义上的数据一词，尤其是相对于今天的“大数据”的“小数据”,主要指的就是数值数据，甚至在很多情况下专指统计数值数据。这些数值数据用来描述某种客观事物的属性。
2.数据可视化
对应英语的data visulization(或可译为数据展示)，指通过图表将若干数字以直观的方式呈现给读者。比如非常常见的饼图、柱状图、走势图、热点图、K线等等，目前以二维展示为主，不过越来越多的三维图像和动态图也被用来展示数据。
3.数据分析
这一概念狭义上，指统计分析，即通过统计学手段，从数据中精炼对现实的描述。例如:针对以关系型数据库中以table形式存储的数据，按照某些指定的列进行分组，然后计算不同组的均值、方差、分布等。再以可视化的方式讲这些计算结果呈现出来。目前很多文章中提及的数据分析，其实是包括数据可视化的。
4.数据挖掘
这个概念的定义也是众说纷纭，落到实际，主要是在传统统计学的基础上，结合机器学习的算法，对数据进行更深层次的分析，并从中获取一些传统统计学方法无法提供的Insights(比如预测)。
简单而言:针对某个特定问题构建一个数学模型(可以把这个模型想象成一个或多个公式)，其中包含一些具体取值未知的参数。我们将收集到的相关领域的若干数据(这些数据称为训练数据)代入模型，通过运算(运算过程称为训练)，得出那些参数的值。然后再用这个已经确定了参数的模型，去计算一些全新的数据，得出相应结果。这一过程叫做机器学习。
机器学习的算法纷繁复杂，最常用的主要有回归分析、关联规则、分类、聚类、神经网络、决策树等。
二、大数据和大数据分析
大数据首先是数据，其次，它是具备了某些特征的数据。目前公认的特征有四个:Volumne,Velocity,Variety,和Value,简称4V.
1.Volume:大量。就目前技术而言，至少TB级别以下不能成大数据。
2.Velocity:高速。1TB的数据，十分钟处理完，叫大数据，一年处理完，就不能算“大”了。
3.Variety:多样。就内容而言，大数据已经远远不局限数值，文字、图片、语音、图像，一切在网络上可以传输显示的信息，都属于此列。从结构而言，和存储在数据库中的结构化数据不同，当前的大数据主要指半结构化和非结构化的信息，比如机器生成信息(各种日志)、自然语言等。
4. Value:价值。如果不能从中提取出价值，不能通过挖掘、分析，得到指导业务的insights,那这些数据也就没什么用。不过现在还有另外一种提法:只要是数据就都有用，能不能获得价值，是分析人员的能力问题。
大数据分析，顾名思义，就是将前述的数据可视化、数据分析、数据挖掘等方法作用到大数据之上。
从某种意义上讲，大数据可谓机器学习的福音，很多原有的简单粗糙的机器学习模型，仅仅因为训练数据量级的增加就大幅提高了准确性。还有一些模型则因为准确性随着数据量增加而增加的势头尤其明显，得以脱离默默无闻而被广泛使用。
另一方面，大数据分析对于运算量的需求激增，原有的基于单机的运算技术显然已经不能满足需求，这就催生了一些列新技术。
三、大数据技术
抽象而言，各种大数据技术无外乎分布式存储 + 并行计算。具体体现为各种分布式文件系统和建立在其上的并行运算框架。这些软件程序都部署在多个相互连通、统一管理的物理或虚拟运算节点之上，形成集群(cluster)。因此不妨说，云计算是大数据的基础。
下面介绍几种当前比较流行的大数据技术:
1.Hadoop
Hadoop无疑是当前最知名的大数据技术了。
2003年到2004年间，Google发布了关于GFS、MapReduce和BigTable 三篇技术论文(这几篇论文成为了后来云计算、大数据领域发展的重要基石)。当时一位因公司倒闭赋闲在家的程序员Doug Cutting根据前两篇论文，开发出了一个简化的山寨版GFS – HDFS,以及基于其的MapReduce计算框架，这就是Hadoop最初版本。后来Cutting被
Yahoo雇佣，得以依赖Yahoo的资源改进Hadoop,并将其贡献给了Apache开源社区。
简单描述Hadoop原理:数据分布式存储，运算程序被发派到各个数据节点进行分别运算(Map)，再将各个节点的运算结果进行合并归一(Reduce)，生成最终结果。相对于动辄TB级别的数据，计算程序一般在KB – MB的量级，这种移动计算不移动数据的设计节约了大量网络带宽和时间，并使得运算过程可以充分并行化。
在其诞生后的近10年里，Hadoop凭借其简单、易用、高效、免费、社区支持丰富等特征成为众多企业云计算、大数据实施的首选。
2.Storm
Hadoop虽好，却有其“死穴”.其一:它的运算模式是批处理。这对于许多有实时性要求的业务就无法做到很好的支持。因此，Twitter 推出了他们自己的基于流的运算框架--Storm.不同于Hadoop一次性处理所有数据并得出统一结果的作业(job)，Storm对源源导入的数据流进行持续不断的处理，随时得出增量结果。
3.Spark
Hadoop的另一个致命弱点是:它的所有中间结果都需要进行硬盘存储，I/O消耗巨大，这就使得它很不适合多次迭代的运算。而大多数机器学习算法，恰恰要求大量迭代运算。
2010年开始，UC Berkeley AMP Lab开始研发分布式运算的中间过程全部内存存储的Spark框架，由此在迭代计算上大大提高了效率。也因此成为了Hadoop的强有力竞争者。
4.NoSQL 数据库
NoSQL数据库可以泛指非关系型数据库，不过一般用来指称那些建立在分布式文件系统(例如HDFS)之上，基于key-value对的数据管理系统。
相对于传统的关系型数据库，NoSQL数据库中存储的数据无需主键和严格定义的schema.于是，大量半结构化、非结构化数据可以在未经清洗的情况下直接进行存储。这一点满足了处理大量、高速、多样的大数据的需求。当前比较流行的NoSQL数据库有MongoDB,Redis,Cassandra,HBase等。
NoSQL并不是没有SQL,而是不仅仅有(not only)SQL的意思。为了兼容之前许多运行在关系型数据库上的业务逻辑，有很多在NoSQL数据
库上运行SQL的工具涌现出来，最典型的例如Hive和Pig,它们将用户的SQL语句转化成MapReduce作业，在Hadoop上运行。
四、和数据、大数据相关的职位
和数据、数据分析相关的职位有不少，大都不是新生事物。
1.有一个历史悠久的职位叫“统计”.一般的农村生产队都有统计员，工厂也有专门的统计职位。比如一个工厂里，每个车间每天都要上报各种原材料的使用、耗损情况、产品成品数，废品数等。这些数字被汇总给统计人员，统计员会做一个表格，说明某日、月、年的成品率、成品数等等概念。虽然看起来不够in,但实际上他们做的数据收集整理展示的工作，从根本上和现在的数据分析师是同理的。
2.另一个相对摩登一点的职位，叫做BI (business intelligence)。这个职位，其实和传统工厂的统计差别不大，如果说有差别，就是差在数据展示上。BI都被要求使用软件工具对数据进行整理和展示。比如，某大型生产型企业的BI,他的工作是统计该企业各种产品在各个地区的销售信息。他每天从拿到各个销售网点提交的excel表，把其中数据导出到数据库里，进行一些SQL查询，然后用可视化工具将结果生成图形表格提交给业务人员参考。
3.还有两个职位，一个叫做数据分析师(data analyst)，另一个叫数据科学家(data scientist)。这两个职位，在有些机构组织中，职责不同;在另一些地方，职责相同，或相似，但级别不同。对于职责不同的地方，一般数据科学家要使用机器学习的算法，而数据分析师则专注在统计。
目前数据科学家这个词一般都和大数据绑定在一起，包括在美国，似乎一提data scientist就是做大数据的，但是实际上未必，很多有data scientist 头衔的人，也确实在工作中大量应用机器学习算法，但是，他们处理的并不是大数据，很可能只是几十万，几百万量级的数据库记录。
4.(大)数据工程师(data engineer/big data engineer)。这个职位更偏重于数据本身的处理，即大规模(TB/PB级别)数据的提取、迁移、抽取和清洗。数据工程师也可以进行数据挖掘工作，或者协助数据科学家实现算法。
5.数据质量(data quality)。担任这个职位的，是保证各层级数据完整性和准确性的人员。他们负责制定数据完整性和准确性标准，设计检测方法并实施检测。
上述这些职位，主要指IT产业内的职位，其他还有一些在研究机构
或者大公司研究部门进行算法优化和研究的人员，以及另一些相对低端的，手工清洗数据的劳动者(例如:在数据库时代，手工录入数据到数据库的人)，就都不计入此列了。
五、大数据的影响
大数据概念的兴起正在对我们的社会产生多方面的影响:
1.定量分析
因“大数据”而使得人们开始关注“数据”,可谓最首要的影响。尤其对于国内而言，越来越多的决策者开始重视数据的力量，会在决断同时参考各类统计、分析报表，而不再是凭直觉拍脑袋。
2.从必然到相关
相对于传统的小数据统计，大数据更关注与发现事物之间的相关性，而非因果关系。人类历经百万年基于数据贫乏的现状而形成的“因为……所以……”的思维习惯，在大数据时代，是否会向“……有关联……”转变?
3.信息安全
以今日的技术，一个人的个人信息、网页浏览记录、购物记录、对图书影片等内容的偏好，在浏览不同页面时的行为习惯，如此种种，都可以轻易被商家或某些机构获取。在大数据的笼罩之下，每个人都将无所遁形。那么，对于每个人本该拥有的隐私权，该如何保护?
新技术解决了许多之前无法解决的问题，然而，新生事物也带来了新的问题。像所有技术一样，大数据也是一把“双刃剑”.能否用其利除其弊，有赖于全社会的共同努力。
实用标准文档 文案大全第1章数据结构基础 结构之美无处不在： 说到结构，任何一件事物都有自己的结构，就如可以看得见且触摸得到的课桌、椅子，还有看不见却也存在的化学中的分子、原子。可见，一件事物只要存在，就一定会有自己的结构。一幅画的生成，作家在挥毫泼墨之前，首先要在数尺素绢之上做结构上的统筹规划、谋篇布局。一件衣服的制作，如果在制作之前没有对衣服的袖、领、肩、襟、身等各个部位周密筹划，形成一个合理的结构系统，便无法缝制出合体的衣服。还有教育管理系统的结构、通用技术的学科结构和课堂教学结构等。试想一下，管理大量数据是否也需要用到数据结构呢？ 本章知识要点： 数据结构的基本概念 数据类型和抽象数据类型 算法和算法分析 1.1 数据结构的基本概念 计算机科学是一门研究数据表示和数据处理的科学。数据是计算机化的信息，它是计算机可以直接处理的最基本和最重要的对象。无论是进行科学计算，还是数据处理、过程控制、对文件的存储和检索以及数据库技术等计算机应用，都是对数据进行加工处理的过程。因此，要设计出一个结构良好而且效率较高的程序，必须研究数据的特性、数据间的相互关系及其对应的存储表示，并利用这些特性和关系设计出相应的算法和程序。 计算机在发展的初期，其应用围是数值计算，所处理的数据都是整型、实型和布尔型等简单数据，以此为加工、处理对象的程序设计称为数值型程序设计。随着计算技术的发展，计算机逐渐进入到商业、制造业等其他领域，广泛地应用于数据处理和过程控制中。与此相对应，计算机所处理的数据也不再是简单的数值，而是字符串、图形、图像、语音和视频等复杂的数据。这些复杂的数据不仅量大，而且具有一定的结构。例如，一幅图像是一个由简单数值组成的矩阵，一个图形中的几何坐标可以组成表。此外，语言编译过程
《网络数据库技术》课程标准 1.课程定位 《网络数据库技术》是计算机软件专业、网络专业必修的一门核心课程。通过本门课程的学习，要求学生了解数据库技术基本的理论知识；掌握数据库系统通用的结构化查询语言SQL；通过实例掌握数据库的安装、数据库和表的管理、事务处理、安全性管理、数据完整性控制以及备份和恢复等操作。 本门课程主要面向计算机软件专业、网络专业的学生，培养学生数据库设计和开发能力，以培养学生数据库实际使用和开发能力以及对应的综合素质为目标，重点围绕SQL语言的使用、数据库设计与管理，数据库对象的设计与操作等内容，兼顾数据库基础理论知识的讲解，让学生在了解数据库的概念和作用的同时，拥有操作、设计、管理和开发数据库以及信息管理系统的能力。 本门课程共设72个课时，其中讲课50学时，实践22学时。共5个学分。 2. 工作任务与课程目标 2.1 工作任务 本课程的任务是培养学生安装和配置SQL Server；创建和管理数据库和数据库对象；保证数据完整性和数据安全性；根据需要对数据进行增、删、改、查询操作；对SQL Server数据库进行日常管理与维护的职业能力并为后续课程的学习以及实际工作中的应用打下坚实的基础。 2.2.课程目标 2.2.1课程总目标 通过本课程的学习使学生能够：（1）掌握数据库的基本原理和理论；（2）掌握结构化查询语言SQL及其使用；（3）熟悉数据库设计的基本理论和方法；（4）掌握SQL SERVER数据库管理系统的使用；（5）游标、触发器、存储过程的应用；（6）熟悉数据库系统的实施和维护, 熟悉数据库安全的相关知识和技术，角色、用户和权限；（8）数据库还原和备份、维护计划；（11）DTS数据传输；（12）规划索引、创建并维护索引；（13）了解数据库技术的发展动向。 2.2.2课程具体目标
数据库基本概念 引言 本章的目标是讲解数据库研究人员常常要使用到的一些理论和术语。我所在的工作组集中了一批以开发性能优异的数据库系统为谋生手段的精英，数据库理论乍看起来与我们的具体工作相距甚远。 是否很有必要学习有关数据库理论方面的知识可能是留给你思考的一个问题。我们说，理解一种技术的基本原理是非常重要的。这就好比把你的汽车交给一个不懂火花塞工作原理的机械师，或是坐在一架由不懂飞行理论的驾驶员的飞机上。如果你不懂数据库设计的相关理论，又怎能指望用户登陆门请你设计系统呢？ 研究人员所用的某些术语和概念令我们感到困惑，部分原因是数学基础的问题。有一些术语，大多数程序员理解为一种含义，而实际上是完全不同的另一种含义。为了能设计合理的系统，了解关系数据库理论是十分重要的。 为了搞清楚研究人员的专业术语，我们需要学习一些关系数据库理论中较浅显的内容，并且同我们所熟知的SQL概念进行比较。许多书中都讲解了这些内容，所以并不打算过于深入地探讨理论。我们只提供一些基本且实用的数据库概念。 本章将主要从面向SQL的角度介绍关系理论。我们将常常涉及相关理论的具体实现，尽管这超出了本书的范围，但却是难以避免的。然而我们不会陷入实现的细节，仅仅给出一个概述。更进一步的内容，参看第一章提到的参考书目。 在本章中，我们将会看到下列内容： ?关系模型——考察相关的技术术语：我们将在后面的章节中构造它们 ?其他数据库概念的定义 关系模型 正像第1章中提到的，E.F.Codd早在1970年就提出了关系模型的概念。在这一节中，我们将从SQL Server 的角度出发，考察一些在关系模型中比较重要的内容。 正像我们所看到的那样，SQL Server 与关系模型有很多共性的东西，但
大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，不管什么，都要带上“大数据”三个字才显得时髦。大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。 一、基本概念 在讲什么是大数据之前，我们首先需要厘清几个基本概念。 1.数据 关于数据的定义，大概没有一个权威版本。为方便，此处使用一个简单的工作定义:数据是可以获取和存储的信息。 直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。
不过数值是所有数据中最容易被处理的一种，许多和数据相关的概念，例如下面的数据可视化和数据分析，最早是立足于数值数据的。 传统意义上的数据一词，尤其是相对于今天的“大数据”的“小数据”,主要指的就是数值数据，甚至在很多情况下专指统计数值数据。这些数值数据用来描述某种客观事物的属性。 2.数据可视化 对应英语的data visulization(或可译为数据展示)，指通过图表将若干数字以直观的方式呈现给读者。比如非常常见的饼图、柱状图、走势图、热点图、K线等等，目前以二维展示为主，不过越来越多的三维图像和动态图也被用来展示数据。 3.数据分析 这一概念狭义上，指统计分析，即通过统计学手段，从数据中精炼对现实的描述。例如:针对以关系型数据库中以table形式存储的数据，按照某些指定的列进行分组，然后计算不同组的均值、方差、分布等。再以可视化的方式讲这些计算结果呈现出来。目前很多文章中提及的数据分析，其实是包括数据可视化的。
课程标准 1 课程定位 《数据库技术》课程是计算机应用技术专业的一门核心课程。其主要任务是使学生掌握数据库的基础知识和基本技能，培养学生利用数据库系统进行数据处理的能力。通过学习数据库的理论及实践开发技术，使学生使用所学的数据库知识，根据实际问题进行数据库的创建和维护、检索与统计，能开发简单的数据库应用程序，具有计算机信息管理的初步能力。《数据库技术》是《C#程序设计》课程与《https://www.doczj.com/doc/391390277.html,》课程的基础。 2 工作任务和课程目标 （一）工作任务及职业能力 工作任务与职业能力分析表
（二）课程目标 该课程将使学生掌握数据库管理的基本技术知识。学生在学习本课程的过程中将完成数据库的建立与维护，数据库表的建立与数据的录入与维护，在应用程序中访问数据库，数据库编程等工作任务。以通过本课程的学习，具备为各类应用程序提供数据库数据存储的技能。 知识目标 1 理解数据库、数据库系统、数据库的体系结构结构及分类等基本概念。
2 熟悉数据库基本管理方法：表的操作、数据完整性以及表的索引和视图、数据库查询和管理、数据库备份与恢复等。 3 认识和了解SQL语言。知道SQL语言的组成、功能。 4 了解数据库应用项目开发过程。 技能目标 1 具有根据系统需求分析绘制E-R图，并将E-R图转换为关系模型的能力； 2 具有对关系模型进行规范化能力； 3 具有创建数据库和数据库表的能力； 4 具有对数据库表进行添加、修改和删除数据的能力； 5 具有对数据进行查询、统计汇总的能力； 6 具有对数据库进行完整性维护的能力； 态度目标 本课程主要加强以下各方面职业素质的培养： 1 具有良好的思想品德和诚实、敬业、负责等职业道德； 2 具有良好的文化修养； 3 具有良好的团结协作精神、团队意识、组织协调能力； 4 具有开拓创新精神；。 3 教学组织 根据《数据库技术》课程工作任务与职业能力分析，为使学生掌握数据库的使用与维护工作，本课程设计了11个学习项目，在项目的教学实施中，进一步分解成62个学习型工作任务。 教学组织表
数据库的4个基本概念 1.数据(Data)：描述事物的符号记录称为数据。 2.数据库(DataBase，DB)：长期存储在计算机内、有组织的、可共享的大量数据的集合。 3.数据库管理系统(DataBase Management System，DBMS 4.数据库系统(DataBase System，DBS) 数据模型 数据模型（data model）也是一种模型，是对现实世界数据特征的抽象。用来抽象、表示和处理现实世界中的数据和信息。数据模型是数据库系统的核心和基础。 数据模型的分类 第一类：概念模型 按用户的观点来对数据和信息建模，完全不涉及信息在计算机中的表示，主要用于数据库设计现实世界到机器世界的一个中间层次 实体(Entity): 客观存在并可相互区分的事物。可以是具体的人事物，也可以使抽象的概念或联系 实体集(Entity Set): 同类型实体的集合。每个实体集必须命名。 属性(Attribute): 实体所具有的特征和性质。 属性值(Attribute Value): 为实体的属性取值。 域(Domain): 属性值的取值范围。 码(Key): 唯一标识实体集中一个实体的属性或属性集。学号是学生的码 实体型(Entity Type): 表示实体信息结构，由实体名及其属性名集合表示。如：实体名(属性1,属性2,…) 联系(Relationship): 在现实世界中，事物内部以及事物之间是有联系的，这些联系在信息世界中反映为实体型内部的联系（各属性）和实体型之间的联系（各实体集）。有一对一，一对多，多对多等。 第二类：逻辑模型和物理模型 逻辑模型是数据在计算机中的组织方式 物理模型是数据在计算机中的存储方式 数据模型的组成要素 数据模型通常由数据结构、数据操作和数据的完整性约束条件三部分组成 关系模型（数据模型的一种，最重要的一种） 从用户观点看关系模型由一组关系组成。每个关系的数据结构是一张规范化的二维表。 ?关系(Relation)：一个关系对应通常说的一张表。 ?元组(Tuple)：表中的一行即为一个元组。 ?属性(Attribute)：表中的一列即为一个属性，给每一个属性起一个名称即属性名。 ?码(Key)：表中的某个属性组，它可以唯一确定一个元组。 ?域(Domain)：一组具有相同数据类型的值的集合。属性的取值范围来自某个域。
考试：大数据概述及基本概念 试卷年份：2015年 题量：10题 答题时间：分钟 总分：100分 合格线：60分 1 【单选】下列不属于商业大数据类型的是（） A. 传统企业数据 B. 机器和传感器数据 C. 社交数据 D. 电子商务数据 A B C D 正确答案：D 2 【单选】信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等的技术。凡涉及到这些过程和技术的工作部门，都可称作（）部门 A. 技术 B. 研究 C. 信息 D. 管理 A B C D 正确答案：C 3 【单选】数据本身所承载的信息内容是指（） A. 内容维度 B. 关系维度 C. 时空维度 D. 维度的交叉综合 A B
C D 正确答案：A 4 【多选】大数据平台的三个重要的技术部分有（） A. 数据交易技术 B. 数据交互技术 C. 数据存储技术 D. 数据处理技术 A B C D 正确答案：A B D 5 【多选】互连网上出现的海量信息可以划分为三种，分别为（） A. 结构化信息 B. 非结构化信息 C. 半结构化信息 D. 特殊化信息 A B C D 正确答案：A B C 6 【多选】“大数据”的特点是（） A. 数据体量大 B. 数据类别大 C. 数据处理速度快 D. 数据真实性高 A B C D 正确答案：A B C D 7 【判断】结构化数据是指不方便用数据库二维逻辑表来表现的数据（）
A. 正确 B. 错误 正确 错误 正确答案：错误 8 【判断】数据存储是大数据平台的根本。没有了存储平台，数据也就没有了载体（） A. 正确 B. 错误 正确 错误 正确答案：正确 9 【判断】可视化是给机器看的，数据挖掘就是给人看的（） A. 正确 B. 错误 正确 错误 正确答案：错误 10 【判断】全球数据的90%产生于过去2年内（） A. 正确 B. 错误 正确 错误 正确答案：正确
广东理工职业学院 《数据库原理与应用》课程标准 一、课程基本信息 课程名称（课程代码）：数据库技术（22000863） 课程性质：专业必修课 课程类型：理论＋实践 适用专业：电子信息技术 学分：3 总学时：54（理论学时数：36，实践学时数：18） 考核方式：笔试与平时成绩+上机开卷考试 二、课程定位 数据库技术课程属于专业必修课。由于信息技术的飞速发展，掌握数据库技术及开发数据库应用系统成为了当今最热门的计算机职业技能之一，正因为数据库应用及开发的专业人才需求量非常大，所以学习和掌握数据库技术的相关技能和知识是非常必要的，是计算机各专业中的职业核心能力课程。该课程培养学生掌握数据库的设计、建立、管理和应用系统开发能力，为使学生成为数据库管理员和软件开发人员起到主要支撑作用。要求学生首先学习计算机导论、程序设计语言等基础课程，为后续的软件项目开发、动态网页设计技术等课程的学习打好基础。 三、课程目标 1．知识目标： 了解关系数据库系统的基础知识及数据库设计和规范化基本理论； 掌握SQL Server 2008安装的基本过程及安装后的主要组件SQL Server Management Studio 的使用方法； 掌握在SQL Server Management Studio中建立与管理用户数据库的基本方法，了解SQL Server 2008数据库的基本体系结构和系统数据库的作用； 理解SQL Server 2008数据库中表的基本概念，数据完整性概念及其应用，熟练掌握在SQL Server Management Studio中建立用户表、表中约束的建立、修改用户表的结构、往表中插入、删除和修改数据以及表的删除操作；
大数据概念 大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety （多样）、Value（价值）、Veracity（真实性）。 应用学科:计算机，信息科学，统计学 适用领域范围: BI，工业4.0，云计算，物联网，互联网+, 人工智能 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 意义 现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，显示大数据对于阿里巴巴集团来说举足轻重。 有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。 大数据的价值体现在以下几个方面： 1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销 2) 做小而美模式的中长尾企业可以利用大数据做服务转型 3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值不过，“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考，科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过：“就今日言，有很多人忙碌于资料之无益累积，以致对问题之说明与解决，丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。
《Access数据库应用技术》课程标准 一、课程概述 ( 一) 、课程的性质 《数据库应用技术》课程是旅游三部计算机应用专业、会计专业学生的一门必修专业基础课, 课程性质是职业能力课程中的职业基础课程, 主要培养学生数据库管理和应用的能力, 以及结合高级程序设计语言进行数据库应用系统、管理信息系统、动态网站开发的能力, 是计算机应用专业动态网站开发数据库课程的基础。 ( 二) 、课程定位 本课程以计算机应用专业学生的就业为导向, 根据用人单位对计算机应用专业所涵盖的岗位群进行的任务和职业能力分析, 以Access数据库管理系统为主线, 以本专业应共同具备的岗位职业能力为依据, 遵循学生认知规律, 为了充分体现任务引领、实践导向课程思想, 将本课程的教学活动分解设计成若干实验项目或工作情景, 以具体的项目任务为单位组织教学, 以典型实际问题设备为载体, 引出相关专业理论知识, 使学生在实训过程中加深对专业知识、技能的理解和应用, 培养学生的综合职业能力, 满足学生职业生涯发展的需要。( 叙述本课程在专业人才培养中的地位、作用和功能, 与其它课程的关系, 以及课程类型等内容。) 二、课程目标:
本课程以就业为导向, 按照”以能力为本位、以职业实践为主线、以项目课程为主体的模块化专业课程体系”的总体设计要求, 该门课程以形成数据库管理能力和利用高级编程语言进行数据库编程能力为基本目标, 紧紧围绕完成工作任务的需要来选择和组织课程内容, 突出工作任务与知识的联系, 让学生在职业实践活动的基础上掌握知识, 增强课程内容与职业能力要求的相关性, 提高学生的就业能力。在教学内容和方法上贯彻”技能培养为主, 知识够用为度”的教学思想, 旨在培养学生的创新意识, 提高岗位实践能力和适应能力。 选取项目的基本依据是该门课程涉及的工作领域和工作任务范围, 但在具体设计过程中还以数据库系统开发流程与典型的项目为载体, 使工作任务具体化。 学习程度用语主要使用”了解”、”理解”、”能”或”会”等用语来表述。”了解”用于表述事实性知识的学习程度, ”理解”用于表述原理性知识的学习程度, ”能”或”会”用于表述技能的学习程度。 三、内容标准 按照专业课程目标和涵盖的工作任务要求, 结合学生的认知特点和相应职业资格标准确定课程内容( 学习单元) 。 ( 一) 课程内容及学时安排 1、课程主要内容说明 根据计算机应用及工程师、程序员等职业岗位的任职要求,
★事业单位考试专用★ 数据库 1.数据模型（Data Models）：在数据库中用数据模型这个工具来抽象、表示和处理现实世界中的数据和信息。通俗地讲数据模型就是现实世界的模拟。 2.数据模型应满足三方面要求：能比较真实地模拟现实世界；容易为人所理解；便于在计算机上实现。 3.数据模型：按计算机的观点对数据建模，主要用于DBMS的实现。一般有层次，网状，关系三种。 4.矩形：表示实体集；菱形：表示联系集；线：连接实体集与联系集或属性与实体集；椭圆：表示属性；下划线：主码属性。 5.常用数据模型：层次模型、网状模型、关系模型、面向对象模型。 6.层次模型的存储结构：邻接法：前序穿线树；链接法：用指针表示层次关系(子女－兄弟链接法，层次序列链接法)。（众） 7.网状模型存储结构：链接法：用指针表示层次关系（单链，双链，环链等）。（S_XH，C_KCH） 8.关系模型中，关系的每一个分量必须是一个不可分的数据项。 9.SQL语言的REVOKE语句实现安全性数据控制功能。 10.数据仓库通常采用三层体系结构、底层的数据仓库服务器一般是一个关系型数据库系统、数据仓库前端分析工具中包括报表工具。 11.Linux是一套免费使用和自由传播的类Unix操作系统、Linux提供强大的应用程序开发环境，支持多种编程语言、Linux提供对TCP/IP协议的完全支持。 12.Solaris是SUN公司的高性能Unix，Solaris运行在许多RISC工作站和服务器
上，Solaris支持多处理、多线程。 13.Unix系统的特色：交互的分时系统、以全局变量为中心的模块结构、可以分成内核和外壳。Unix系统中进程由三部分组成：进程控制块，正文段和数据段。Unix系统中，输入／输出设备被看成是特殊文件。 14.属于企业级的大型数据库管理系统的主要有Oracle、DB2、Informix、Sybase 、SQL Server。 15.DBA是数据库系统的一个重要组成，有很多职责：定义数据库的存储结构和存取策略、定义数据库的结构、定期对数据库进行重组和重构。 16.对于数据量大的网站，应选用的数据库是DB2。 17.关系代数表达式的优化策略中，首先要做的是尽早执行选择运算。
《数据库原理及应用》课程标准 一、课程说明 课程名称：数据库原理及应用 课程代码：PE123037 参考学分：3 参考学时：48 课程管理系部：计算机系 适用专业：计算机应用技术专业 开发人员:职业技术学院计算机系数据库原理及应用教学团队 二、课程概述 （一）课程性质与定位 1.课程性质 《数据库原理及应用》课程是计算机专业的专业核心课程，是培养数据库管理及开发人员的基础支撑课程。 2.课程定位 根据高职计算机专业人才培养模式的要求,培养学生基于当今主流软件开发技术的应用开发能力，确立了本课程作为开发后台数据库在专业课程体系中的地位。如今各类信息系统、动态网站、移动应用的开发都需要使用后台数据库，数据库已成为当今计算机时代中不可或缺的组成部分。通过本课程的学习，要求学生掌握关系型数据库的开发过程，为软件开发、动态网站的创建打下坚实的技术基础。 前导课程：程序设计基础 后续课程：网页设计、JSP动态网页开发、.NET编程技术、高级编程技术 （二）课程设计思路 本课程采用“项目驱动，案例教学，一体化课堂”的教学模式开展教学。整个课程通过一个实际数据库应用开发项目驱动，完成教师与学生互动的讲练结合教学过程。学生在完成各项任务、子任务的过程中，学会数据库的应用技术、原理和工具的使用。 本课程的理论安排在多媒体教室，实践环节安排在设施先进的多媒体机房进行，教学中以学生为中心，教师负责讲授知识，指导项目设计，充分调动师生双方的积极性以达到教学目标。 （1）项目贯穿教学
以学生管理系统等数据库为载体开展教学，贯穿数据库的整个开发过程，包括：概念模型设计、关系模型设计、创建与维护数据库、创建与维护表、对表的查询、建立存储过程、数据库备份与恢复、数据库安全等。 （2）任务分解知识点 明确每堂课的任务、子任务，教学就是完成任务的过程，在这一过程中融入相关知识，以达到“任务完成，知识掌握，本领学会”的教学目的。 （3）“教、学、做”一体化教学 在一体化教室完成教师与学生互动的讲练结合的教学过程。教师讲解项目、分解任务、传授知识、演示示范；学生重复操作过程，学习知识技能；做拓展项目，如“选课管理”数据库、“图书管理”数据库、“活期存单”数据库等可供学生选做。 三、课程的教学目标 表1 四、课程内容与要求 选取难易度适中的案例、项目，加以分解、序化，兼顾从简单到复杂的认知规律和学生的学习兴趣，作为载体，以项目为导向，创设学习情境，学生按照工作流程，合作完成一个小型项目的后台数据库的设计工作。
1.4 数据库设计基础 考点17 数据库系统的基本概念 1、数据、数据库、数据库管理系统和数据库系统 （1）数据 数据（Data）是描述事物的符号记录。 数据：在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据经过加工后就成为信息。 在计算机科学中，数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。 （2）数据库 数据库（Database, DB)是指长期存储在计算机内的、有组织的、可共享的数据集合。 数据库是一个单位或是一个应用领域的通用数据处理系统，他存储的是属于企业和事业部门、团体和个人的有关数据的集合。数据库中的数据是从全局观点出发建立的，他按一定的数据模型进行组织、描述和存储。其结构基于数据间的自然联系，从而可提供一切必要的存取路径，且数据不再针对某一应用，而是面向全组织，具有整体的结构化特征。 数据库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据
库中的数据；多个用户可以同时共享数据库中的数据资源，即不同的用户可以同时存取数据库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。 （3）数据库管理系统 数据库管理系统（Database Management System, DBMS）是数据库的机构，它是一个系统软件，负责数据库中的数据组织、数据操纵、数据维护、控制及保护和数据服务等。 数据库管理系统的主要类型有4种：文件管理系统，层次数据库系统，网状数据库系统和关系数据库系统，其中关系数据库系统的应用最为广泛。 数据库管理系统是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库。它对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。用户通过它访问数据库中的数据，数据库管理员也通过它进行数据库的维护工作。它可使多个应用程序和用户用不同的方法在同时或不同时刻去建立，修改和询问数据库。DBMS 提供数据定义语言DDL（Data Definition Language）与数据操作语言DML（Data Manipulation Language），供用户定义数据库的模式结构与权限约束，实现对数据的追加、删除等操作。 （4）数据库系统 数据库系统（Database System, DBS）是指引进数据库技术后的整个计算机系统，能够实现有组织地、动态地存储大量相关数据，
大数据的定义及基本特征 无论是2001年梅塔集团分析师道格〃莱尼提出的大数据技术萌芽，还是2008年IBM公司的史密斯首次以“BIG DATA”的名词初步定义了大数据的含义，时至今日，科学届对大数据还没有给出一个完整准确的定义，不同领域的科学家们都从不同的视角诠释了大数据的基本含义。但是，纵观大数据发展的前世今生，以及今后的发展趋势，大数据的含义可以归结为： 大数据是人类认知世界的技术理念，是在信息技术支撑下，利用全新的数据分析处理方法，在海量、复杂、散乱的数据集合中提取有价值信息的技术处理过程，其核心就是对数据进行智能化的信息挖掘，并发挥其作用。 有人说世界的本质就是数据，在当今充满数字化数据的时代，数据处理变得更加容易、更加快速，人们能够在瞬间处理成千上万的海量数据，为了在数据中理解信息内容，发现信息与信息之间的关系，人类从没有像今天这样对数据有那么深刻的认识，实际上，我们应该重新认识数据的特征：（1）海量的数据规模（Volume）。具有当前任何一种单体设备难以直接存储、管理和使用的数据量，大数据中所说的“大”也包括数据的全面性。 （2）快速的数据流转和动态的数据变化（Velocity）。数据会随着时间和环境发生变化。
（3）多样的数据类型（Variety）。刻画特定事物特征或规律的数据是以多种形式存在的。 （4）巨大的数据价值（Value）。数据就是资源，许多看似杂乱无章的数据，其潜在蕴含着巨大的价值，数据的价值是由不同的应用目的而体现。 （5）智能化数据挖掘（Intelligence）。无论数据有多少，还是以何种形式呈现，人类要想从数据中发现事物的真相，必须应用全新的方法分析数据，以得到有价值的信息。
大数据的概念、算法及应用 一、大数据基本概念 大数据Big Data是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。 大数据的预处理 主要完成对已接收数据的辨析、抽取、清洗等操作。 (1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。 (2)清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。 大数据带来的数学问题 在数学上来看，计算机中存在不断变大的数据集，不存在绝对的大数据，计算机中的所有数据集都是有限集合。 ?大数据采样——把大数据变小、找到与算法相适应的极小样本集、采样对算法误差的影响 ?大数据表示——表示决定存储、表示影响算法效率 ?大数据不一致问题——导致算法失效和无解、如何消解不一致 ?大数据中的超高维问题——超高维导致数据稀疏、算法复杂度增加 ?大数据中的不确定维问题——多维度数据并存、按任务定维难 ?大数据中的不适定性问题——高维导致问题的解太多难以抉择 大数据的特征 ?稠密与稀疏共存：局部稠密与全局稀疏 ?冗余与缺失并在：大量冗余与局部缺失 ?显式与隐式均有：大量显式与丰富隐式 ?静态与动态忽现：动态演进与静态关联 ?多元与异质共处：多元多变与异质异性 ?量大与可用矛盾：量大低值与可用稀少 目前大数据的外延 大数据规模大小是一个不断演化的指标： 当前任务处理的单一的数据集,从数十TB到十几PB级的数据规模(TB?PB?EB?ZB) 处理大数据的可等待的合理时间依赖任务的目标： 地震数据预测要求在几分钟内才有效、气象数据应该在小时级别、失联飞机数据处理要在7天之内、数据挖掘一般要求在12小时内 回到顶部 二、大数据悖论 大数据已被定义为科学探索的第四范式。继几千年前的实验科学、数百年前的理论科学和数十年前的计算科学之后，当今的数据爆炸孕育了数据密集型科学，将理论、实验和计算仿真等范式统一起来。大数据已被誉为“非竞争性”生产要素。大数据具有“取之不尽，用之不竭”的特性，在不断的再利用、重组和扩展中持续释放其潜在价值，在广泛的公开、共享中不断创造着新的财富。根源在于，大数据的价值在于预测未知领域、非特定因素的未来趋势，在于破解长期的、普遍的社会难题。而目前的大数据技术和应用，依然局限于历史和实时数据的关联分析，局限于满足短线的、特定的市场需求。解决悖论的过程，恰恰是理论和方法
考试：大数据概述及基本概念 1 【单选】下列不属于商业大数据类型的是（） ? A. 传统企业数据 ? B. 机器和传感器数据 ? C. 社交数据 ? D. 电子商务数据 ? A ? B ? C ? D ?正确答案：D 2 【单选】信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等凡涉及到这些过程和技术的工作部门，都可称作（）部门 ? A. 技术 ? B. 研究 ? C. 信息 ? D. 管理 ? A
? B ? C ? D ?正确答案：C 3 【单选】数据本身所承载的信息内容是指（） ? A. 内容维度 ? B. 关系维度 ? C. 时空维度 ? D. 维度的交叉综合 ? A ? B ? C ? D ?正确答案：A 4 【多选】大数据平台的三个重要的技术部分有（）? A. 数据交易技术 ? B. 数据交互技术 ? C. 数据存储技术
? A ? B ? C ? D ?正确答案：A B D 5 【多选】互连网上出现的海量信息可以划分为三种，分别为（）? A. 结构化信息 ? B. 非结构化信息 ? C. 半结构化信息 ? D. 特殊化信息 ? A ? B ? C ? D ?正确答案：A B C 6 【多选】“大数据”的特点是（） ? A. 数据体量大
? C. 数据处理速度快 ? D. 数据真实性高 ? B ? C ? D ?正确答案：A B C D 7 【判断】结构化数据是指不方便用数据库二维逻辑表来表现的数据（） ? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：错误 8 【判断】数据存储是大数据平台的根本。没有了存储平台，数据也就没有了载体（）? A. 正确 ? B. 错误 ?正确
1.关系的基本操作：选择、投影、并、差、笛卡尔集。 2.声明变量的语句：declare @XXX (XXX为变量名称) 3.判断并发调度的正确性： （1）可串行性的调度：多个事务的并发执行是正确的，当且仅当其结果与某一次串行的执行这些实物的结果相同。 （2）可串行性：是并发事务调度的准则。按照这个准则，一个给定的并发调度，当且仅当他是可串行化的才认为是正确的调度。 4.事物的四个特性：原子性、一致性、隔离性和持续性。 5.定义视图： Create view <视图名称>[（列名）[，（列名）]] As <子查询> [with check option] 6.关系数据理论： 7.范式： （1）第二范式：若R∈1NF，且每一个非主属性完全依赖于码，则R∈2NF （2）第三范式：非主属性中不存在传递关系。 8.角色、权限 （1）创建角色：create role <角色名> （2）给角色授权：create <权限> on <对象类型> 对象名to 角色。 9.设计中概念模型描述什么：实体、属性、码、实体型、实体集、联系。 10.关系的完整性：实体完整性、参照完整性、用户定义的完整性。 11.读锁和写锁的定义： （1）写锁：又称“排它锁”，若事物T对数据对象A加上X锁，则只允许T读取和修改A，其他任何事物都不能对A加任何类型的锁，直到T释放A上的锁。 （2）读锁：又称“共享锁”，若事物T对数据对象A加上S锁，则事物T可以读A但不能修改A，其他事物只能对A加S锁，而不能加X锁，直到T释放A上的S锁。 简答： 1.关系模式：判断是第几范式，分析指出主键、外键P175 例题4 2.举例说明参照完整性（外键取值的几种情况）P49例题1，例题2，例题3 3.数据库的设计步骤、任务。 （1）需求分析（2）概念结构设计（3）逻辑结构设计（4）物理结构设计 （5）数据库实施（6）数据库运行和维护 4.描述并发调度中锁的概念、作用 （1）概念：事物T对某个数据对象操作之前，先向系统发出申请，对其加锁。加锁后的事物T就对该数据对象有了一定的控制，在事物T释放它的锁之前，其他的事物不能更新此数据对象。 （2）作用：解决了事物并发过程中可能出现的丢失修改、不可重复读、读“脏”数据。
马建光等：大数据的概念、特征及其应用 (2013-09-05 16:15:35) 转载▼ 分类：学习资料 标签： 杂谈 大数据的概念、特征及其应用 马建光，姜巍 (国防科技大学人文与社会科学学院，湖南长沙410074) 源自：国防科技2013年4月 ［摘要］随着互联网的飞速发展，特别是近年来随着社交网络、物联网、云计算以及多种传感器的广泛应用，以数量庞大，种类众多，时效性强为特征的非结构化数据不断涌现，数据的重要性愈发凸显，传统的数据存储、分析技术难以实时处理大量的非结构化信息，大数据的概念应运而生。如何获取、聚集、分析大数据成为广泛关注的热点问题。介绍大数据的概念与特点，分别讨论大数据的典型的特征，分析大数据要解决的相关性分析、实时处理等核心问题，最后讨论大数据可能要面临的多种挑战。 ［关键词］大数据; 非结构化信息; 解决核心问题; 未来挑战 一、引言 自上古时代的结绳记事起，人类就开始用数据来表征自然和社会，伴随着科技和社会的发展进步，数据的数量不断增多，质量不断提高。工业革命以来，人类更加注重数据的作用，不同的行业先后确定了数据标准，并积累了大量的结构化数据，计算机和网络的兴起，大量数据分析、查询、处理技术的出现使得高效的处理大量的传统结构化数据成为可能。而近年来，随着互联网的快速发展，音频、文字、图片视频等半结构化、非结构化数据大量涌现，社交网络、物联网、云计算广泛应用，使得个人可以更加准确快捷的发布、获取数据。在科学研究、互联网应用、电子商务等诸多应用领域，数据规模、数据种类正在以极快的速度增长，大数据时代已悄然降临。 首先，全球数据量出现爆炸式增长，数据成了当今社会增长最快的资源之一。根据国际数据公司IDC 的监测统计［1］，即使在遭遇金融危机的2009 年，全球信息量也比2008 年增长了62%，达到80 万PB ( 1PB 等于10亿GB) ，到2011 年全球数据总量已经达到1. 8ZB ( 1ZB 等于1 万亿GB，) ，并且以每两年翻一番的速度飞速增长，预计到2020 年全球数据量总量将达到40 ZB，10年间增长20 倍以上，到2020 年，地球上人均数据预计将达5247GB。在数据规模急剧增长的同时，数据类型也越来越复杂，包括结构化数据、半结构化数据、非结构化数据等多种类型，其中采用传统数据处理手段难以处理的非结构化数据已接近数据总量的75%。 如此增长迅速、庞大繁杂的数据资源，给传统的数据分析、处理技术带来了巨大的挑战。为了应对这样的新任务，与大数据相关的大数据技术、大数据工程、大数据科学和大数据应用等迅速成为信息科学领域的热点问题，得到了一些国家政府部门、经济领域以及科学领域有关专家的广泛关注。2012 年3 月22 日，奥巴马宣布美国政府五大部门投资2 亿美元启动“大数据研究和发展计划( Big Data Research and Development Initiative) ”［2］，欲大力推
1. 课程设置概述 1.1课程在相关专业中的性质与定位 本课程是计算机类各专业的一门专业必修课程。通过本课程的学习，使学生 掌握关系数据库的基本原理，学会SQL Server 管理数据的方法： T-SQL语言、数据库和表的创建、数据库的查询、视图和索引、数据完整性的实现、存储过程和 触发器等，并且能够在SQL Server 提供的客户／服务器的平台上进行软件应用 与开发。 本课程的后续课程有程序设计、网站建设等。 1.2本课程的基本教学理念 本课程按照高职教育以就业为导向的原则，把工作任务作为出发点，将理论 知识的学习，操作技能的训练，职业素质的培养融为一体，将知识点与学习任务 整合到工作任务中，让学生在完成工作任务的过程中，掌握课程知识点，并完成 由知识到能力的转化，同时培养学生的工作责任心、职业品质、职业规范等综合 素质和能力，最终达成学生职业技能的培养与提高，具备较强的就业能力。 1.3本课程标准的设计思路与特色 本课程按照学生掌握数据库应用系统开发技能的顺序进行组织，坚持以理论 够用为度，以培养学生数据库应用系统的开发技能为主，将课程知识点与学习任 务整合到设计的项目中，通过大量来自工程实践领域的应用实例让学生完成理论 知识到操作技能的转化。 其总体设计思路是：课程以培养学生职业能力为重点，改进传统教学中重知 识教授为重点的课程模式，针对企业工作岗位需求，以工作任务组织教学内容， 理论知识以够用为度，并与具体项目实例紧密结合，让学生在完成项目的过程中， 深化对理论知识的学习，完成由知识到职业能力的转化，达到理论知识为工作项 目服务，工作任务应用中深化理论知识的目标。教学过程中，按照学生掌握数据 库应用系统开发技能的顺序进行组织，并为学生提供大量的学习资源，为学生的 自主学习创造条件，综合运用案例教学，任务驱动教学，分组讨论教学等多 种教学方法，让学生熟悉 SQL Server 2012 平台，熟练掌握从需求分析、系统设计、物理实现及应用和维护等的数据库开发过程。教学效果的评价采用过程性评
大数据概念 研究机构Gartner—大数据概念 "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能 力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无 法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务（AWS）、大数据科学 家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数 据的极限"。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪
些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开 源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。 大数据分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。 大数据技术