第五章 空间数据查询与分析
本章主要讲述了空间数据查询和空间数据分析以及数字地面模型的相关知识。空间数据查询内容包括空间数据查询的含义，各种查询方式、查询结果的显示方式；空间数据查询应用。空间数据分析的内容包括空间数据分析基础即空间几何量算；空间数据分析方法即缓冲区分析、叠加分析、空间数据再分类、网络分析、空间插值、统计分类分析；，空间数据分析的应用。在本章的第三节介绍了数字地面模型（DTM）和数字高程模型(DEM)的概念，DEM的数据的采集及表示方法，DEM的应用及地形分析。
第一节 空间数据查询
空间数据的查询是地理信息系统的一项重要功能，查询是用户与系统交流的途径，它可以向人们提供与地理空间、时间空间相关的空间数据，或者是与其关联的属性数据。目前大多数成熟的商品化地理信息系统软件的查询功能都能完美地实现对空间实体的简单查找，如根据鼠标所指的空间位置，系统可查找出该位置的空间实体和空间范围（由若干个空间实体组成）以及它们的属性，并显示出该空间对象的属性列表，并可以进行有关统计分析。
1 空间数据查询的含义
空间数据查询首先是给出查询条件，然后系统经过空间量算，或在空间数据库和与其相联的属性数据库中快速检索返回满足条件的内容。
查询是GIS用户最经常使用的功能，用户提出的很大一部分问题都可以通过查询的方式解决，查询的方法和查询的范围在很大程度上决定了GIS的应用程度和应用水平。
通过数据查询可以定位空间对象，提取对象信息，为地理信息系统的高层次空间分析奠定基础。GIS数据查询包含了图形和属性的双向查询以及基于时间要素的图形、属性联合查询。
2 空间数据查询的方式
2．1 基于空间关系查询
空间实体间存在着多种空间关系，包括拓扑、顺序、距离、方位等关系。通过空间关系查询和定位空间实体是地理信息系统不同于一般数据库系统的功能之一。用户往往希望地理信息系统提供一些更能直接计算空间实体关系的功能，如用户希望查询出满足如下条件的旅游景点：
86
87
（1）在北京三环以外；
（3）距离三环线不超过100公里；
（3）景点选择区域是特定的多边形；
整个查询过程涉及到了空间顺序方位关系：在北京三环以外，距离三环线不超过100公里 ；空间拓扑关系：特定的选择区域之内。
地理信息系统中简单的面、线、点相互关系的查询包括：
（1）面面查询。如与某个多边形相邻的多边形有哪些（与河北省相邻的省市有哪些）。
（2）面线查询。如某个多边形的边界有哪些线（密云水库的边界）；
（3）面点查询。如某个多边形内有哪些点状地物（北京地区有哪些旅游景点）；
（4）线面查询。如某条线经过（穿过）的多边形有哪些，某条链的左、右多边形是哪些（京广铁路穿过那些省、市）；
（5）线线查询。如与某条河流相连的支流有哪些，某条道路跨过哪些河流；
（6）线点查询。如某条道路上有哪些桥梁，某条输电线上有哪些变电站；
（7）点面查询。如某个点落在哪个多边形内（泰山位于哪个省内）；
（8）点线查询。如某个结点由哪些线相交而成（经过郑州的铁路线）。
在实际的地理信息系统的中往往不是指对单一关系查询，而是数种关系的组合，还可能有属性信息的条件限制。
2．2 基于空间关系和属性特征查询
1）基于属性数据的查询
根据空间目标的属性数据来查询该目标的其他属性信息或者相应的图形信息。GIS 中基于属性数据的查询包括两个方面的内容：一是由地物目标的某种属性数据（或者属性集合）查询该目标的其他属性信息；由地物目标的属性信息查询其对应的图形信息。
目前GIS 的地物属性数据库大多是以传统的关系数据库为基础的，地物的图形数据和属性数据是分开存贮的，图形和属性之间通过目标的ID 码进行关联，因此基于属性的GIS 查询可以通过关系数据库的SQL 语言进行查询。
2）基于图形数据的查询
基于图形的查询是可视化的查询，用户通过在屏幕上选取地物目标来查询其对应的图形和属性信息。它包括两种方式：区域查询和点选查询。
区域查询包括矩形区域、圆形区域和任意多边形区域查询。
用户通过在屏幕上指定一个区域
来查询其中的地物目标的信息，
可自行定义是否只有当目标全部
落入指定区域才认为该目标被选
中，如图5-1所示。
点选查询指用户通过直接在屏幕上选取地物目标的整体(点状地物)或者局部(线状和面状地物)来查询其信息。
为方便用户进行图形选取，系统在设计时一般考虑到，点选查询要设置合适的选取图5-1区域查询示意图
捕捉范围，区域查询要注意目标与查询区域边界相交时的处理。
基于图形数据的查询包括两个方面的内容：
1）由屏幕显示的地物目标查询该目标的属性信息。如在屏幕上选取住宅，要查询其相关属性，是通过其ID码在属性数据库中查询它对应的属性数据（如层高，面积等）。
2）由地物目标查询该目标其他部分的图形信息。
3）由地物目标查询与其相关目标的图形信息。
基于图形的查询是为方便用户输入查询条件而设计成可视化空间查询的，其实在GIS中仍然要翻译成形式化的SQL语言。查询过程是：通过屏幕捕捉获取目标的坐标信息，根据坐标信息在图形库中查询对应的图形及其ID，再通过ID在属性库中找出相应的属性。
3）图形与属性的混合查询
图形与属性的混合查询是指查询条件同时包括了图形方面的内容和属性方面的内容，查询结果集应该同时满足这两个方面的要求。
例如查询在屏幕上指定矩形区域内的建筑面积在120平米以上，业主职业为教师的住宅。这一查询是图形与属性的混合查询，查询条件包含了三个条件：坐标范围限制在所选区域、建筑面积120米以上，业主职业是教师。查询的结果可以是图形的屏幕显示或者属性的报表显示。
混合查询中有两个方面是比较重要的。一是查询条件的分离。查询的条件要分离为对图形查询和属性查询，在相应的图形数据和属性数据库中查询，然后将其结果求交集作为输出结果；二是查询的优化。对于多条件的混合查询，经过分析可以按某种顺序，逐层查询，后一个条件查询是在前一个条件查询得出的结果中进行查询，最后得出的结果为满足所有条件的查询结构。各查询条件的先后顺序优化很重要，它关系到系统的计算量，直接表现在查询速度快慢上，但不影响查询结果。
2．3 模糊查询
模糊查询指的是限定需要查询的数据项的部分内容，查询所有数据项中具有该内容的数据库记录，GIS中的模糊查询与其他的数据库的模糊查询是相通的，只是具有了空间数据的特性。对于属性数据的模糊查询，完全等同于一般意义的数据库模糊查询；空间数据的模糊查询在于通过目标图形上某一点的（点选）或者某一部分确定整个目标。由于地物目标的空间特性和计算机环境决定了用户不可能通过点选，完整选取线状和面状目标，而只能通过区域选取的方式进行图形的查询。
模糊查询具有一定的模糊性或者概括性,这种模糊性往往导致查询结果是一个目标集合。模糊查询是快速获取具有某种特性的数据集的快速方法。例如，小区GIS数据库每一个住户代码编号为六位，前两位是楼号，第三位是单元号，后三位是门牌号，如果想找1号楼上户主是的信息，可引入下列模糊查询语句：
select * from yezhu.db where fh like '01*'
2．4 自然语言空间查询
所谓自然语言查询就是在GIS的数据查询中引入人类使用的自然语言(区别于程序语言和数据库SQL语言)，可以使查询更轻松自如。通过简单而意义直接的自然语言来表
88
达数据查询的要求。在GIS中很多地理方面的概念是模糊的，而空间数据查询语言中使用的概念往往都是精确的。自然语言的空间查询的关键在于自然语言的计算机解译以及向计算机查询的转换。
2．5 超文本查询
超文本方式查询是一种基于IE浏览器的查询。在浏览器里面，可以把图形、图像、字符等皆当作文本，并设置一些“热连接”（Hotlink），“热点”可以是文本、图形或者其部分等。用户用鼠标点击“热点”后，浏览器可以弹出说明信息、播放声音、完成某项工作等，这些信息往往都是与该目标相关联的信息，从而达到“查询”的目的。但超文本查询只能预先设置好，用户不能实时构建自己要求的各种查询。
2．6 符号查询
地物在GIS中都是以一定的符号系统表示的，系统应该提供根据地物符号来进行查询的功能。符号查询是根据地物在系统中的符号表现形式来查询地物的信息，实质是通过用户指定某种符号，在符号库中查询其代表的地物类型，在属性库中查询该地物的属性信息或者图形信息。
3 查询结果的显示方式
空间数据查询不仅能给出查询到的数据，还应以最有效的方式将空间数据显示给用户。对于查询到的地理现象的属性数据，能以表格、统计图表的形式显示，或根据用户的要求来确定。空间数据的最佳表示方式是地图，因而，空间数据查询的结果最好以专题地图的形式表示出来。为了方便查询结果的显示，Max（1991，1994）在基于扩展SQL 的查询语言中增加了图形表示语言，作为对查询结果显示的表示。查询结果的显示有六个环境参数：
（1）显示方式。有5种显示方式用语，对多次查询结果进行运算：刷新、覆盖、清除、相交和强调。
（2）图形表示。用于选定符号、图案、色彩等。
（3）绘图比例尺。确定地图显示的比例尺（内容和符号不随比例尺变化）。
（4）显示窗口。确定屏幕上显示窗口的尺寸。
（5）相关的空间要素。显示相关的空间数据，使查询结果更容易理解。
（6）查询内容的检查。检查多次查询后的结果。
通过选择这些环境参数可以把查询结果以用户选择的不同的形式显示出来，但距离把查询结果以丰富多彩的专题地图显示出来的目标还相差很远。
4 GIS的空间查询实例
1）上海市水环境污染源调查地理信息系统，实现了污染源属性和空间数据双向查询功能，实现模糊查询、大户查询、任意空间地域查询和地图要素查询。部份查询窗口见图5-2和图5-3所示。
89
图5-2 年污水量地图显示
图5-3 数据查询结果表格显示
2）北京派的伟业开发的农田地理信息系统实现的信息查询功能包括属性数据查询、空间数据查询和专题查询。
（1）属性查询主要是根据地图查询属性，如查询北京地区各县、区主要农作物的播种面积、产量及历史变化、灌溉水平、化肥用量、机械化水平等；
（2）空间查询可以实现自由放大、缩小、漫游等空间查询，可以量测不同区域的周长、面积；
（3）专题查询可以进行色彩专题、图案专题、点密度专题、表专题和比例专题的查询。如产量水平、复种指数、土壤肥力、作物灌溉比例等专题图的查询和分析。
第二节 空间数据分析
空间数据分析是GIS区别于其他信息系统的重要特征之一，也是GIS中难点和重点，它通过空间量算研究空间中点、线、面的几何属性，以及它们之间的相互几何关系，再通过基于几何的空间关系分析，揭示地理特征和过程的内在规律和机理，获取新的地理
90
91
信息，最终的目的是解决人们所涉及到地理空间的实际问题，提取和传输地理空间信息，特别是隐含信息，以辅助决策。本节介绍GIS 中实现空间分析的基本功能，包括空间几何量算，缓冲区分析、叠加分析、网络分析、空间插值、统计分类分析等。
1 空间量算
1．1 几何量算
几何量算对不同的点、线、面地物有不同的含义：
（1）点状地物（0维）：坐标；
（2）线状地物（1维）：长度，曲率，方向；
（3）面状地物（2维）：面积，周长，形状，曲率等；
（4）体状地物（3维）：体积，表面积等。
一般的GIS 软件都具有对点、线、面状地物的几何量算功能，可以是针对矢量数据结构的空间数据，也可以是针对栅格数据结构的空间数据。
1）线的长度计算
线状地物对象最基本的形态参数之一是长度。在矢量数据结构下，线表示为点对坐标（X，Y）或（X，Y，Z）的序列，在不考虑比例尺情况下，线长度的计算公式为：
()()()[])15(10121212
121?=?+?+?=∑∑?==+++L L L L L n i n i i i i i i i i l Z Z Y Y X X L 对于复合线状地物对象，则需要在对诸分支曲线求长度后，再求其长度总和。 通过离散坐标点对来表达线对象，选择反映曲线形状的选点方案非常重要，选点方案不同，长度计算的精度会不同。为提高计算精度，增加点的数目，会对数据获取、管理与分析带来额外的负担，折中的选点方案是在曲线的拐弯处加大点的数目，在平直段减少点数，以达到计算允许精度要求。
在栅格数据结构里，线状地物的长度就是累加地物骨架线通过的格网数目，骨架线通常采用8方向连接，当连接方向为对角线方向时，还要乘上2。
2）面状地物的面积
面积是面状地物最基本的参数。在矢量结构下，面状地物以其轮廓边界弧段构成的多边形来表示。对于没有空洞的简单多边形，假设有N 个顶点，其面积计算公式为： ()())
25(21112111????????+?=∑?=++L L L L L L N N N i i i i i y x y x y x y x S
对于有孔或内岛的多边形，可分别计算外多边形与内岛面积，其差值为原多边形面积。此方法亦适合于体积的计算。
对于栅格结构，多边形面积计算就是统计具有相同属性值的格网数目。但对计算破碎多边形的面积有些特殊，可能需要计算某一个特定多边形的面积，必须进行再分类，将每个多边形进行分割赋给单独的属性值，之后再进行统计。
92
1．2 形状量算
面状地物形状量测的两个基本考虑：空间一致性问题，即有孔多边形和破碎多边形的处理；多边形边界特征描述问题。度量空间一致性最常用的指标是欧拉函数，用来计算多边形的破碎程度和孔的数目。欧拉函数的结果是一个数，称为欧拉数。图5-4表示了多边形的三种可能的情形。欧拉函数的计算公式为：
)35(?=L L L L L L L L L L （碎片数） —（孔数）欧拉数 关于多边形边界描述的问题，由于面状地物的外观是复杂多变的，很难找到一个准确的指标进行描述。最常用的指标包括多边形长、短轴之比，周长面积比，面积长度比等。其中绝大多数指标是基于面积和周长的。通常认为圆形地物既非紧凑型也非膨胀型，则可定义其形状系数r 为：
)45(2??=L L L L L L A P
r π
（5-4）式中，P 为地物周长，A 为面积。如果r<1为紧凑型；r=1为标准圆；r>1为膨胀型。
1．3 质心量算
质心通常定义为一个多边形或面的几何中心。例如要得到一个全国的人口分布等值线图，而人口数据只能到县级，所以必须在每个县域里定义一个点作为质心，代表该县的数值，然后进行插值计算全国人口等值线。
在某些情况下，质心描述的是分布中心，而不是绝对几何中心。同样以全国人口为例，当某个县绝大部分人口明显集中于一侧时，可以把质心放在分布中心上，这种质心称为平均中心或重心。如果考虑其它一些因素的话，可以赋予权重系数，称为加权平均中心，计算公式是：
图5-4：欧拉数
)55(?????
?????==∑∑∑∑L L L L L L L L L L L L i i i
i i G i i i
i i G W Y W Y W X W X
93
式（5-5）中，Wi 为第i 个离散目标物权重，Xi、Yi 为第i 个离散目标物的坐标。 质心量测经常用于宏观经济分析和市场区位选择，还可以跟踪某些地理分布的变化，如人口变迁、土地类型变化等。
1．4 距离量算
“距离”是人们日常生活中经常涉及到的概念，它描述了两个事物或实体之间的远近程度，最常用的距离概念是欧氏距离。在GIS 中，距离通常是两个地点之间的计算，但有时人们想知道一个地点到所有其它地点的距离，这时得到的距离是一个距离表面。如果一区域中所有的性质与方向无关，则称为各向同性区域。以旅行时间为例，如果从某一点出发，到另一点的所耗费的时间只与两点之间的欧氏距离成正比，则从一固定点出发，旅行特定时间后所能达到的点必然组成一个等时圆。而现实生活中，旅行所耗费的时间不只与欧氏距离成正比，还与路况、运输工具性能等有关，从固定点出发，旅行特定时间后所能到达的点则在各个方向上是不同距离的，形成各向异性距离表面。如图图5-5所示。
考虑到阻力影响，计算的距离称为耗费距离。物质在空间中移动总要花费一些代价，如资金、时间等。阻力越大耗费也越大。相应的通过耗费距离得到的距离表面称为阻力表面或耗费表面，其属性值代表一耗费或阻力大小。可以根据阻力表面计算最小耗费距离。
对于描述点、线、面坐标的矢量结构，也有一系列的不同于欧氏距离的概念。欧氏距离通常用于计算两点的直线距离： ()())
65(22??+?=L L L L L L L L L j i j i Y Y X X d
图5-5：各向同性和各向异性的距离表面
当有障碍或阻力存在时，两点之间的距离就不能用直线距离，计算非标准欧氏距离的一般公式为： ()()[])75(1??+?=L L L L L L L L L L L L k j i k j i Y Y X X d
当k=2时，就是欧氏距离计算公式。当k=1时，得到的距离称为曼哈顿距离。
2 缓冲区分析
(各向同性表面）
简单距离耗费距
离
阻力低阻力
94
邻近度描述了地理空间中两个地物距离相近的程度。如公共设施（商场，邮局，银行，医院，车站，学校等）的服务半径，大型水库建设引起的搬迁，铁路、公路以及航运河道对其所穿过区域经济发展的重要性等，均是一个邻近度问题。缓冲区分析是解决邻近度问题的空间分析工具之一 。
所谓缓冲区就是地理空间目标的一种影响范围或服务范围。缓冲区分析是GIS 的基本空间操作功能之一。例如，某地区有危险品仓库，要分析一旦仓库爆炸所涉及的范围，这就需要进行点缓冲区分析；如果要分析因道路拓宽而需拆除的建筑物和需搬迁的居民，则需进行线缓冲区分析；而在对野生动物栖息地的评价中，动物的活动区域往往是在距它们生存所需的水源或栖息地一定距离的范围内，为此可用面缓冲区进行分析等等。
从数学的角度看，缓冲区分析的基本思想是给定一个空间对象或集合，确定它们的邻域，邻域的大小由邻域半径决定。图5-6为点对象、线对象、面对象及对象集合的缓冲区示例。
在建立缓冲区时，缓冲区的宽度也就是邻域的半径并不一定是相同的，可以根据要素的不同属性特征，规定不同的邻域半径，以形成可变宽度的缓冲区。例如，沿河流绘出的环境敏感区的宽度应根据河流的类型而定。这样就可根据河流属性表，确定不同类型的河流所对应的缓冲区宽度，以产生所需的缓冲区。
建立单条线缓冲区就是生成缓冲区多边形。只需在线的两边按一定的距离（缓冲距）绘平行线，并在线的端点处绘半圆，就可连成缓冲区多边形,如图5-7
所示。
图5-6 点、线、多边形的缓冲区
图5-7单条线的缓冲区
在对多条线建立缓冲区时，可能会出现缓冲区之间的重叠，如图5-18所示。这时需把重叠的部分去除。基本思路是，对缓冲区边界求交，并判断每个交点是出点还是入点，以决定交点之间的线段保留或删除。这样就可得到岛状的缓冲区。
(a)输入数据 (b)缓冲区操作(c)重叠处理后的缓冲区
图5-8多条线的缓冲区的过程
3 叠加分析
叠加分析是地理信息系统最常用的提取空间隐含信息的手段之一。该方法源于传统的透明材料叠加，即将来自不同的数据源的图纸绘于透明纸上，在透光桌上将其叠放在一起，然后用笔勾出感兴趣的部分——提取出感兴趣的信息。地理信息系统的数据是分层表示的，同一地区的整个数据层集表达了该地区地理景观的内容。每个主题层，可以叫做一个数据层面。数据层面既可以用矢量结构的点、线、面图层文件方式表达，也可以用栅格结构的图层文件格式进行表达。地理信息系统的叠加分析是将有关主题层组成的数据层面，进行叠加产生一个新数据层面的操作，其结果综合了原来两层或多层要素所具有的属性。
叠加分析不仅包含空间关系的比较，还包含属性关系的比较。地理信息系统叠加分析可以分为以下几类：视觉信息叠加、点与多边形叠加、线与多边形叠加、多边形叠加、栅格图层叠加。
3．1 视觉信息叠加
视觉信息叠加是将不同侧面的信息内容叠加显示在结果图件或屏幕上，以便研究者判断其相互空间关系，获得更为丰富的空间信息。地理信息系统中视觉信息叠加包括以下几类：
95
（1）点状图、线状图和面状图之间的叠加显示；
（2）面状图区域边界之间或一个面状图与其他专题区域边界之间的叠加；
（3）遥感影象与专题地图的叠加；
（4）专题地图与数字高程模型（DEM）叠加显示立体专题图；
视觉信息叠加不产生新的数据层面，只是将多层信息复合显示，便于分析。
3．2 点与多边形叠加
点与多边形叠加，实际上是计算多边形对点的包含关系。矢量结构的GIS能够通过计算每个点相对于多边形线段的位置，进行点是否在一个多边形中的空间关系判断。在完成点与多边形的几何关系计算后，还要进行属性信息处理。最简单的方式是将多边形属性信息叠加到其中的点上。当然也可以将点的属性叠加到多边形上，用于标识该多边形。
通过点与多边形叠加，可以计算出每个多边形类型里有多少个点，不但要区分点是否在多边形内，还要描述在多边形内部的点的属性信息。通常不直接产生新数据层面，只是把属性信息叠加到原图层中，然后通过属性查询间接获得点与多边形叠加的需要信息。例如一个中国政区图（多边形）和一个全国矿产分布图（点），二者经叠加分析后，并且将政区图多边形有关的属性信息加到矿产的属性数据表中，然后通过属性查询，可以查询指定省有多少种矿产，产量有多少；而且可以查询，指定类型的矿产在哪些省里有分布等信息。
3．3 线与多边形叠加
线与多边形的叠加，是比较线上坐标与多边形坐标的关系，判断线是否落在多边形内。计算过程通常是计算线与多边形的交点，只要相交，就产生一个结点，将原线打断成一条条弧段，并将原线和多边形的属性信息一起赋给新弧段。叠加的结果产生了一个新的数据层面，每条线被它穿过的多边形打断成新弧段图层，同时产生一个相应的属性数据表记录原线和多边形的属性信息。根据叠加的结果可以确定每条弧段落在哪个多边形内，可以查询指定多边形内指定线穿过的长度。例如线状图层为河流，多边形图层为全国各省、市区域，叠加的结果是多边形将穿过它的所有河流打断成弧段，可以查询任意省或市内的河流长度，进而计算它的河流密度等；如果线状图层为道路网，叠加的结果可以得到每个省或市内的道路网密度，内部的交通流量，进入、离开各个多边形的交通量，相邻多边形之间的相互交通量。
3．4 多边形叠加
多边形叠加是将两个或多个多边形图层进行叠加产生一个新多边形图层的操作，其结果将原来多边形要素分割成新要素，新要素综合了原来两层或多层的属性。如图5-9所示。
叠加过程可分为几何求交过程和属性分配过程两步。几何求交过程首先求出所有多边形边界线的交点，再根据这些交点重新进行多边形拓扑运算，叠加结果可能会出现一些碎屑多边形，通常可以设定一模糊容限以消除它。对新生成的拓扑多边形图层的每个对象赋一多边形唯一标识码，同时生成一个与新多边形对象一一对应的属性表。
多边形叠加完成后，根据新图层的属性表可以查询原图层的属性信息，新生成的图
96
97
层和其它图层一样可以进行各种空间分析和查询操作。
3．5 栅格图层叠加
栅格图层叠加的一种常见形式是二值逻辑叠加，常作为栅格结构的数据库查询工具。数据库查询就是查找数据库中已有的信息，例如：基于位置信息查询如已知地点的土地类型，以及基于属性信息的查询如地价最高的位置；比较复杂的查询涉及多种复合条件，如查询所有的面积大于10公顷且邻近工业区的全部湿地。这种数据库查询通常分为两步，首先进行再分类操作，为每个条件创建一个新图层，通常是二值图层，1代表符合条件，0表示所有不符合条件。第二步进行二值逻辑叠加操作得到想查询的结果。 4 网络分析
地理网络（如交通网络）、城市基础设施网络（如各种网线、电力线、电话线、供排水管线等）进行地理分析和模型化，是地理信息系统中网络分析功能的主要目的。其基本思想则在于人类活动总是趋于按一定目标选择达到最佳效果的空间位置。
4．1 网络数据结构
网络数据结构的基本组成部分和属性如下：
1）链（Link）
网络中流动的管线，如街道、河流、水管等，其状态属性包括阻力和需求。
2）结点（Node）
网络中链的结点，如港口、车站、电站等，其状态属性包括阻力和需求等。结点中又有下面几种特殊的类型。
（1）障碍（Barrier）
。禁止网络中链上流动的点；
图5-9多边形叠加分析
（2）拐点（Turn）。出现在网络链中的分割结点上，状态属性有阻力，如拐弯的时间和限制（如在8:00到18:00不允许左拐）。
（3）中心（Center）。是接受或分配资源的位置，如水库、商业中心、电站等，其状态属性包括资源容量（如总量），阻力限额（中心到链的最大距离或时间限制）。
（4）站点（Stop），在路径选择中资源增减的结点，如库房、车站等，其状态属性有资源需求，如产品数量。
4．2 主要网络分析功能
1）路径分析
（1）静态求最佳路径：在给定每条链上的属性后，求最佳路径。
（2）N条最佳路径分析：确定起点或终点，求代价最小的N条路径，因为在实践中最佳路径的选择只是理想情况，由于种种因素而要选择近似最优路径。
（3）最短路径或最低耗费路径：确定起点、终点和要经过的中间点、中间连线，求最短路径或最小耗费路径。
（4）动态最佳路径分析：实际网络中权值是随权值关系式变化的，可能还会临时出现一些障碍点，需要动态的计算最佳路径。
2）资源分配
资源分配网络模型由中心点（分配中心或收集中心）及其属性和网络组成。分配有两种形式，一种是由分配中心向四周分配，另一种是由四周向收集中心分配。资源分配的应用包括消防站点分布和求援区划分、学校选址、垃圾收集站点分布，停水停电对区域的社会、经济影响估计等。
（1）负荷设计
负荷设计可用于估计排水系统在暴雨期间是否溢流，输电系统是否超载等。
（2）时间和距离估算
时间和距离估算除用于交通时间和交通距离分析外，还可模拟水、电等资源或能量在网络上的距离损耗。
一般的GIS软件往往只能提供一些常用的网络分析方法、或提供描述网络的数据模型和存储信息的数据库。其中最常用的方法是线性阻抗法，即资源在网络上的运输与所受的阻力和距离（或时间）成线性正比关系，在这基础上选择路径，估计负荷，分配资源，计算时间和距离等。
5 空间插值
空间插值常用于将离散点的测量数据转换为连续的数据曲面，以便与其它空间现象的分布模式进行比较，它包括了空间内插和外推两种算法。空间内插算法是一种通过已知点的数据推求同一区域其它未知点数据的计算方法；空间外推算法则是通过已知区域的数据，推求其它区域数据的方法。
空间插值的理论假设是空间位置上越靠近的点，越可能具有相似的特征值；而距离越远的点，其特征值相似的可能性越小。
98
99
5．1 需要空间插值的情况
（1）现有的离散曲面的分辨率，象元大小或方向与所要求的不符。例如将一个扫描影像从一种分辨率或方向转换到另一种分辨率或方向的影像；
（2）现有的连续曲面的数据模型与所需的数据模型不符。如将一个连续的曲面从一种空间切分方式变为另一种空间切分方式，从TIN 到栅格、栅格到TIN 或矢量多边形到栅格；
（3）现有的数据不能完全覆盖所要求的区域范围。如将离散的采样点数据内插为连续的数据表面。
5．2 空间插值的数据源
（1）摄影测量得到的正射航片或卫星影像；
（2）卫星或航天飞机的扫描影像；
（3）野外测量采样数据，采样点随机分布或有规律的线性分布（沿剖面线或沿等高线）；
（4）数字化的多边形图、等值线图。
空间插值的数据通常是复杂空间变化有限的采样点的测量数据，这些已知的测量数据称为“硬数据”。如果采样点数据比较少的情况下，可以根据已知的导致某种空间变化的自然过程或现象的信息机理，辅助进行空间插值，这种已知的信息机理，称为“软信息”。
图
5-10 各种不同的采样方式
（1）规则采样 （2）随机采样 （4）成层随机采样 （5）聚集采样 （3）断面采样
采样点的空间位置对空间插值的结果影响很大，用完全规则的采样网络可能会得到片面的结果，如有规律间隔的数或沟渠。用完全随机的采样同样存在缺陷，可能会导致采样点的分布不均，一些点的数据密集，另一些点的数据缺少。图5-10列出空间采样点分布的几种选择。
规则采样和随机采样好的结合方法是成层随机采样，即单个的点随机的分布于规则的格网内。聚集采样可用于分析不同尺度的空间变化。规则断面采样常用于河流、山坡剖面的测量。等值线采样是数字化等高线图插值数字高程模型最常用的方法。
5．3 空间插值方法
空间插值方法可以分为整体插值和局部插值方法两类。整体插值方法用研究区所有采样点的数据进行全区特征拟合；局部插值方法是仅仅用邻近的数据点来估计未知点的值。
1）整体插值方法
（1）边界内插方法
边界内插方法假设任何重要的变化发生在边界上，边界内的变化是均匀的，同质的，即在各方向都是相同的。这种概念模型经常用于土壤和景观制图，可以通过定义“均质的”土壤单元、景观图斑，来表达其它的土壤、景观特征属性。
（2）趋势面分析
趋势面分析的思路是先用已知采样点数据拟合出一个平滑的数学平面方程，再根据该方程计算无测量值的点上的数据。这种只根据采样点的属性数据与地理坐标的关系，进行多元回归分析得到平滑数学平面方程的方法，称为趋势面分析。
（3）变换函数插值
根据一个或多个空间参量的变换函数进行整体空间插值，这种方法称为变换函数插值。它也是经常使用的空间插值方法。下面以一个研究实例进行说明。
冲积平原的土壤重金属污染与几个重要因子有关，其中距污染源（河流）的距离，和高程两个因子最重要。一般情况，携带重金属的粗粒泥沙沉积在河滩上，携带重金属的细粒泥沙沉淀在低洼的在洪水期容易被淹没的地方，而那些洪水频率低的地方，由于携带重金属污染泥沙颗粒比较少，受到污染轻。由于距河流的距离和高程是比较容易得到的空间变量，可以用各种重金属含量与它们的经验方程进行空间插值，以改进对重金属污染的预测。
整体插值方法通常使用方差分析和回归方程等标准的统计方法，计算比较简单。其它的许多方法也可用于整体空间插值，如傅立叶级数和小波变换，特别是遥感影象分析方面 ，但它们需要的数据量大。
2）局部插值方法
局部插值方法只使用邻近的数据点来估计未知点的值，包括几个步骤：
（1）定义一个邻域或搜索范围；
（2）搜索落在此邻域范围的数据点；
（3）选择表达这有限个点的空间变化的数学函数；
（4）为落在规则格网单元上的数据点赋值。重复这个步骤直到格网上的所有点赋值
100
完毕。
3）几种常用局部插值方法
（1）最近邻点法(泰森多边形方法)
泰森多边形采用了一种极端的边界内插方法，只用最近的单个点进行区域插值。泰森多边形按数据点位置将区域分割成子区域，每个子区域包含一个数据点，各子区域到其内数据点的距离小于任何到其它数据点的距离，并用其内数据点进行赋值。
GIS和地理分析中经常采用泰森多边形进行快速的赋值，实际上泰森多边形的一个隐含的假设是任何地点的气象数据均使用距它最近的气象站的数据。而实际上，除非是有足够多的气象站，否则这个假设是不恰当的，因为降水、气压、温度等现象是连续变化的，用泰森多边形插值方法得到的结果图变化只发生在边界上，在边界内都是均质的和无变化的。
（2）移动平均插值方法(距离倒数插值)
距离倒数插值方法综合了泰森多边形的邻近点方法和趋势面分析的渐变方法的长处，它假设未知点处属性值是在局部邻域内中所有数据点的距离加权平均值。距离倒数插值方法是加权移动平均方法的一种。
距离倒数插值方法是GIS软件根据点数据生成栅格图层的最常见方法。距离倒数法计算值易受数据点集群的影响，计算结果经常出现一种孤立点数据明显高于周围数据点的“鸭蛋”分布模式，可以在插值过程中通过动态修改搜索准则进行一定程度的改进。
（3）样条函数插值方法
在计算机用于曲线与数据点拟合以前，绘图员是使用一种灵活的曲线规逐段的拟合出平滑的曲线。这种灵活的曲线规绘出的分段曲线称为样条。与样条匹配的那些数据点称为桩点，绘制曲线时桩点控制曲线的位置。
样条函数是数学上与灵活曲线规对等的一个数学等式，是一个分段函数，进行一次拟合只有与少数点拟合，同时保证曲线段连接处连续。这就意味着样条函数可以修改少数数据点配准而不必重新计算整条曲线。
样条函数与趋势面分析和移动平均方法相比，它保留了局部的变化特征，并在视觉上得到了令人满意的结果。样条函数的一些缺点是：样条内插的误差不能直接估算，同时在实践中要解决的问题是样条块的定义以及如何在三维空间中将这些“块”拼成复杂曲面，又不引入原始曲面中所没有的异常现象等问题。
6 空间统计分类分析
统计分析主要用于数据分类和综合评价。数据分类方法是地理信息系统重要的组成部分。一般说地理信息系统存储的数据具有原始性质，用户可以根据不同的实用目的，进行提取和分析，特别是对于观测和取样数据，随着采用分类和内插方法的不同，得到的结果有很大的差异。因此，在大多数情况下，首先是将大量未经分类的数据输入信息系统数据库，然后要求用户建立具体的分类算法，以获得所需要的信息。
下面简要介绍分类评价中常用的几种数学方法。
101
6．1 主成分分析
地理问题往往涉及大量相互关联的自然和社会要素，众多的要素常常给模型的构造带来很大困难，同时也增加了运算的复杂性。为使用户易于理解和解决现有存储容量不足的问题，有必要减少某些数据而保留最必要的信息。由于地理变量中许多变量通常都是相互关联的，就有可能按这些关联关系进行数学处理达到简化数据的目的。主成分分析是通过数理统计分析，求得各要素间线性关系的实质上有意义的表达式，将众多要素的信息压缩表达为若干具有代表性的合成变量，这就克服了变量选择时的冗余和相关，然后选择信息最丰富的少数因子进行各种聚类分析。
在实际工作中常挑选前几个方差比例最大的主成分，这样既减少了指标的数目，又抓住了主要矛盾，简化了指标之间的关系。
很显然，主成分分析这一数据分析技术是把数据减少到易于管理的程度，也是将复杂数据变成简单类别便于存储和管理的有力工具。
6．2 层次分析法
层次分析法是系统分析的数学工具之一，它把人的思维过程层次化、数量化，并用数学方法为分析、决策、预报或控制提供定量的依据。这是一种定性和定量分析相结合的方法。该方法把相互关联的要素按隶属关系分为若干层次，请有经验的专家对各层次各因素的相对重要性给出定量指标，利用数学方法综合专家意见给出各层次各要素的相对重要性权值，作为综合分析的基础。
6．3 聚类聚合分析
聚类、聚合分析是栅格结构的数据的一种分析方法，是指将一个单一层面的栅格数据系统经某种变换而得到一个具有新含义的栅格数据系统的数据处理过程。
聚类分析是根据设定的聚类条件对原有数据系统进行有选择的信息提取而建立新的栅格数据系统的方法。聚类分析的步骤一般是根据实体间的相似程度，逐步合并若干类别，其相似程度由距离或者相似系数定义。进行类别合并的准则是使得类间差异最大，而类内差异最小。
聚合分析是指根据空间分辨力和分类表，进行数据类型的合并或转换以实现空间地域的兼并。空间聚合的结果往往将较复杂的类别转换为较简单的类别，并且常以较小比例尺的图形输出。当从地点、地区到大区域的制图综合变换时常需要使用这种分析处理方法。
6．4 判别分析
判别分析与聚类分析同属分类问题，所不同的是，判别分析是预先根据理论与实践确定等级序列的因子标准，再将待分析的地理实体安排到序列的合理位置上的方法，对于诸如水土流失评价、土地适宜性评价等有一定理论根据的分类系统定级问题比较适用。
第三节 数字地形模型及地形分析
数字高程模型（DEM）是地理信息系统地理数据库中最为重要的空间信息资料和赖以
102
进行地形分析的核心数据系统。目前世界各主要发达国家都纷纷建立了覆盖全国的DEM 数据系统，DEM已经在测绘、资源与环境、灾害防治、国防等与地形分析有关的科研及国民经济各领域发挥着越来越巨大的作用。数字地面模型（DTM）是地理信息系统的重要组成部分，与计算机、测绘、遥感等多学科内容相互交叉渗透，它在测绘、水文、气象、地貌、地质、土壤、工程建设、通讯、气象、军事等国民经济和国防建设以及人文和自然科学领域有着广泛的应用。它最初是美国麻省理工学院Miller教授为高速公路的自动设计于1956年提出来的。此后，它被用于各种线路选线（铁路、公路、输电线）的设计以及各种工程的面积、体积、坡度计算，任意两点间的通视判断及任意断面图绘制。在测绘中被用于绘制等高线、坡度坡向图等。它还是地理信息系统的基础数据，可用于土地利用现状的分析、合理规划及洪水险情预报等。本节我们主要学习数字地面模型的基本概念，DEM的形成，利用的DEM进行地形分析。
1 DEM和DTM的概念
数字地形模型（DTM——Digital Terrain Model）是地形表面形态属性信息的数字表达，是带有空间位置特征和地形属性特征的数字描述。这些特征不仅包含高程属性，还包含其它的地表形态属性，如坡度、坡向、温度、降雨量等。数字地形模型中地形属性为高程时称为数字高程模型（DEM——Digital Elevation Model）。
从数学的角度，高程模型是高程Z关于平面坐标X，Y两个自变量的连续函数，数字高程模型（DEM）只是它的一个有限的离散表示。高程模型最常见的表达是相对于海平面的海拔高度，或某个参考平面的相对高度。高程是地理空间中的第三维坐标。由于传统的地理信息系统的数据结构都是二维的，数字高程模型的建立是一个必要的补充。地理信息系统中，DEM是建立DTM的基础数据，其它的地形要素可由DEM直接或间接导出，称为“派生数据”，如坡度、坡向。
2 DEM的数据采集和表示
2．1 DEM数据的采集
1）地面测量
利用全站仪或电子经纬仪和测距仪配合，在已知点位的测站上，观测到目标点的方向、距离和高差三个要素。计算出各目标点的（X、Y、Z）三维坐标，然后转存计算机中，作为DEM的原始数据。该方法适合于小区域内对精度要求较高的地面模型。
2）地形图数字化
该种方法主要以大比例尺的近期地形图为数据源，通过手工方法采集、手扶跟踪数字化仪采集、扫描数字化仪采集等方法得到地面点集的高程数据，建立数字地面模型（DTM）。
3）以航空或航天遥感图像为数据源
该种方法是由航空或航天遥感影像作为数据源，采用各种摄影测量的方法建立空间
103
地形立体模型，量取密集数字高程数据，建立数字地面模型（DTM）。
4）数字摄影测量方法
数字摄影测量方法是空间数据采集最有效的手段，它具有效率高、劳动强度低的优点。数据点的采样方法根据产品的要求不同而异。可沿等高线、断面线、地性线进行采样有目的的采样，也可基于规则格网或不规则格网点的进行面采样。
数据采集是DEM的关键问题，采集的数据点太稀会降低DEM的精度；数据点过密，又会增大数据量、处理的工作量和不必要的存储量。故在DEM数据采集之前，依照所需精度要求确定合理的取样密度，或者数据采集过程中根据地形复杂程度动态调整采样点密度。
2．2 DEM的主要表示方法
一个地区的地表高程的变化可以采用多种方法表达，用数学定义的表面或点、线、影像都可用来表示DEM，如图5-11所示。
图5-11 DEM的表示方法
1）数学方法
这种方法把地面分成若干个块，每块用一种数学函数（如傅立叶级数高次多项式、随机布朗运动函数等），以连续的三维函数平滑度地表示复杂曲面，并使函数曲面通过离散采样点。
2）图形方法
线模式。等高线是表示地形高低起伏的最常见的形式，与其相关的山脊线、谷底线、海岸线及坡度变换线等地形特征线也是表达地面高程的重要信息源。
点模式。用离散采样数据点建立DEM是常用的方法之一。数据采样可以按规则格网
采样，可以是密度一致的或不一致的；可以是不规则采样，如不规则三角网、邻近网模
型等；也可以有选择性地采样，采集山峰、洼坑、隘口、边界等重要特征点。
3）规则格网模型
104
105
规则格网模型是将区域空间切分为规则的格网单元，每个格网单元对应一个数值。规则格网可以是正方形、矩形、三角形等。数学上可以表示为一个矩阵，在计算机实现中则是一个二维数组。每个格网单元或数组的一个元素，对应一个高程值，如图5-12所示。
在规则格网模型中，对每个格网中的数值表示的意义有两种不同的观点，第一种是格网栅格观点，认为格网单元的数值是各格网中所有点的高程值，即一个格网单元对应的地面面积内高程是均一的高度，这种数字高程模型是一个不连续的函数。第二种是点栅格观点，认为网格单元的数值是网格中心点的高程或该网格单元的平均高程值，这样格网内任何不是网格中心的点的高程值就需要用一种插值方法来计算。可使用周围4个格网中心点的高程值，采用距离
加权平均方法进行计算。由于规
则格网模型的高程矩阵可方便地
用计算机进行处理，故成为DEM
目前最广泛使用的格式
格网DEM 的缺点一是不能准
确表示地形的结构和细部（可采
用附加地形特征数据来弥补）；二
是数据量过大，尤其是地形平坦
的地方，存在大量的数据冗余，
给数据管理带来了不方便（可采
用不同的方式进行压缩存储）。
4）等高线模型
等高线模型表示高程，高程
值的集合是已知的，每一条等高
线对应一个已知的高程值，这样
图5-12格网
DEM
图5-13 等高线
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法？ (D) A.变量代换 B.离散化
C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法？ (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级
大数据技术与应用专业人才需求分析和预测性调研报告 一、调研情况分析 (一)政府发展规划与政策动态 推动大数据产业持续健康发展，是党中央、国务院作出的重大战略部署，是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前，工业和信息化部正式印发了《大数据产业发展规划（2016－2020年）》（以下简称《规划》），全面部署“十三五”时期大数据产业发展工作，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。 2018年，贵州提出“万企融合”大行动，计划用五年时间，带动10000家企业通过应用大数据技术，提升企业数字化、网络化、智能化水平，实现发展新增长、服务升级。有预测称，这次行动将在贵州形成超过1200亿美元的市场。 (二)市场需求和行业发展趋势 1）大数据市场需求 大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至2014 年，全球大数据市场规模已经成长到300 亿美元的空间，预测到2017 年全球大数据技术和服务市场的2018 年的复合年增长率将达到26.4%，规模达到415 亿
美元，是整个IT 市场增幅的6 倍。大数据市场规模在2020 年有望达到611.6 亿美元，符合年增长率将达到26%。 中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。“大数据”已成为一个热门词语高频出现在各种场合，其专门人才已不能满足市场需求。经过专门调研数据显示，大数据人才岗位缺口2018年高达150万，俱预测2025年中国大数据人才缺口达到200万，这给高校和人力资源企业的一个很大的优惠。未来几年人才需求将持续走俏。引进和培养1000名大数据产业高端人才，形成500亿元大数据产业规模，建成国内重要的大数据产业基地，大数据应用人才在的需求量也将越来越大。 2）大数据行业发展趋势 整体来看，2017 年中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了 234 亿元，和2016年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。 “大数据技术与应用”是个新兴专业必能带动”IT时代“走向”DT时代”。2016年国家发展改革委、工业和信息化部、中央同意贵州省建设国家大数据（贵州）综合试验区，这也是首个国家级大数据综合试验区。此举旨在贯彻落实《国务院关于印发促进大数据发展行动纲要的通知》（国发201550号），加快实施国家大数据战略，促进区域性大数据基础设施的整合和数据资源的汇聚应用，发挥示范带动作用中国国家信息中心发展，在2017年发布的《中国大数据发展报告》显示贵州的大数据发展政策环境指数居全国第一，贵州各级政府在大数据这件事情上给企业也提供了许多的政策支持。随着贵州大数据产业的发展，贵州正吸引越来越多年轻人创业寻梦，吸引本土人才的回流。年轻人的选择，代表了趋势，聚人气的地方，一定有发展。在贵州大数据政策的指引下，走上了快速发展的通道。我们的发展速度也反映了贵州速度，据我所知，贵州省大数据相关企业已经达到8900家。
《大数据分析与挖掘》课程教学大纲 一、课程基本信息 课程代码：16054103 课程名称：大数据分析与挖掘 英文名称：Big data analysis and mining 课程类别：专业选修课 学时：48(理论课：32, 实验课：16) 学 分：3 适用对象: 软件工程专业、计算机科学与技术 考核方式：考查 先修课程：多媒体技术、程序设计、软件工程 二、课程简介 本课程从大数据挖掘分析技术实战的角度，结合理论和实践，全方位地介绍基于Python语言的大数据挖掘算法的原理与使用。本课程涉及的主题包括基础篇和实战篇两部分， 其中基础篇包括：数据挖掘基础，Python数据分析简介，数据探索，数据预处理和挖掘建模；实战篇包括：电力窃漏电用户自动识别，航空公司客户价值分析，中医证型关联规则挖掘，基于水色图像的水质评价，家用电器用户行为分析与事件识别，应用系统负载分析与磁盘容量预测和电子商务网站用户行为分析及服务推荐。 本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论基于Python语言机器学习模型解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，目的是让学生能够扎实地掌握大数据分析挖掘的理论与应用。 This course introduces the principle and application of big data mining algorithm based on Python language comprehensively from the perspective of big data mining analysis technology practice, combining theory and practice. This course covers two parts, the basic part and the practical part. The basic part includes: basic data mining, introduction to Python data analysis, data exploration, data preprocessing and mining modeling. Practical article included: electric power leakage automatic identification of the user, airlines customer value analysis, TCM syndrome association rule mining, based on water quality evaluation of color image, household electrical appliances
大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
第７期 ２４ ２０１４年４月１０日 计算机教育 ＣｏｍｐｕｔｅｒＥｄｕｃａｔｉｏｎ ◆新视点 文章编号：１６７２．５９１３（２０１４）０７—００２４－０６ 中图分类号：Ｇ６４２ 大数据分析及其在医疗领域中的应用 邹北骥 （中南大学信息科学与工程学院，湖南长沙４１００８３） 摘要：互联网和物联网技术的快速发展给数据的上传与下载带来了前所未有的便利，使得互联网上 的数据量急剧增长，由此产生了针对大数据的存储、计算、分析、处理等新问题，尤其是对大数据的挖掘。文章分析当前大数据产生的背景，阐述大数据的基本特征及其应用，结合医疗领域，论述医疗 大数据分析的目的、意义和主要方法。 关键词：大数据；物联网；医疗；大数据挖掘 １ 大数据早已存在，为何现在称之为大
数据时代 计算与数据是一对孪生姐妹，计算需要数据，数据通过计算产生新的价值。数据是客观事 物的定量表达，来自于客观世界并早已存在。例 如，半个世纪前，全球的人口数量就有数十亿，与之相关的数据就是大数据；但是在那个时代，由于技术的局限性，大数据的采集、存储和处理 还难以实现。 互联网时代之前，采集世界各地的数据并让它们快速地进入计算系统几乎是一件不可想象的 事情。２０世纪８０年代兴起的互联网技术在近３０ 年里发生了翻天覆地的变化，彻底地改变了人们的工作和生活方式【ｌ】。通过互联网人们不仅可以下载到新闻、小说、论文等各类文字数据，而且可以轻而易举地下载到音乐、图像和视频等多媒体数据，这使得互联网上的数据流量急剧增长。据统计，现在互联网上每分钟流人流出的数 据量达到１ ０００ ＰＢ，即１０亿 ＧＢｔ２１。 推动大数据产生的另一个重要因素是物联网技术。近几年发展起来的物联网技 术通过给每个物品贴上标签 并应用ＲＦＩＤ等技术实现了
龙源期刊网 https://www.doczj.com/doc/238786496.html, 浅谈大数据时代的数据分析与挖掘 作者：单海波 来源：《科技创新与应用》2016年第24期 摘要：随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了 质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。 关键词：大数据；数据分析；数据挖掘；体系建设 引言 进入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。 然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显
大数据处理及分析理论方法技术 （一）大数据处理及分析建设的过程 随着数据的越来越多，如何在这些海量的数据中找出我们需要的信息变得尤其重要，而这也是大数据的产生和发展原因，那么究竟什么是大数据呢？当下我国大数据研发建设又有哪些方面着力呢？ 一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。 二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。 四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。 （二）大数据处理分析的基本理论 对于大数据的概念有许多不同的理解。中国科学院计算技术研究所李国杰院士认为：大数据就是“海量数据”加“复杂数据类型”。而维基百科中的解释为：大数据是由于规模、复杂性、实时性而导致的使之无法在一定时间内用常规软件工具对其进行获取、存储、搜索、分享、分析、可视化的数据集合。 对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决
图2.1：大数据特征概括为5个V （三）大数据处理及分析的方向 众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定
大数据技术与应用专业详细解读 大数据技术与应用专业是新兴的“互联网+”专业，大数据技术与应用专业将大数据分析挖掘与处理、移动开发与架构、人软件开发、云计算等前沿技术相结合，并引入企业真实项目演练，依托产学界的雄厚师资，旨在培养适应新形势，具有最新思维和技能的“高层次、实用型、国际化”的复合型大数据专业人才。 专业背景 近几年来，互联网行业发展风起云涌，而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前，人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别，数据将逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代，专业的大数据人才必将成为人才市场上的香饽饽。当下，大数据从业人员的两个主要趋势是：1、大数据领域从业人员的薪资将继续增长；2、大数据人才供不应求。 图示说明：2012-2020年全球数据产生量预测 专业发展现状 填补大数据技术与应用专业人才巨大缺口的最有效办法无疑还需要依托众多的高等院校来培养输送，但互联网发展一日千里，大数据技术、手段日新月异，企业所需要的非常接地气的人才培养对于传统以培养学术型、科研型人才为主要使命的高校来说还真有些难度。幸好这个问题已经被全社会关注，政府更是一再提倡产教融合、校企合作来创办新型前沿几
乎以及“互联网+”专业方向，也已经有一些企业大胆开始了这方面的创新步伐。据我了解，慧科教育就是一家最早尝试高校校企合作的企业，其率先联合各大高校最早开设了互联网营销，这也是它们的优势专业，后来慧科教育集团又先后和北京航空航天大学、对外经济贸易大学、贵州大学、华南理工大学、宜春学院、广东开放大学等高校在硕、本、专各个层次开设了大数据专业方向，在课程体系研发、教学授课及实训实习环节均有来自BAT以及各大行业企业一线的技术大拿参与，所培养人才能够很好地满足企业用人需求。 专业示例 笔者在对慧科教育的大数据技术与应用专业做了专门研究，共享一些主要特色给大家参考： 1.培养模式 采用校企联合模式，校企双方（即慧科教育集团和合作校方）发挥各自优势，在最大限度保证院校办学特色及专业课程设置的前提下，植入相应前沿科技及特色人才岗位需求的企业课程。 2.课程体系 笔者对慧科教育的大数据技术与应用做了专门研究，现分享一下慧科专业共建的课程给大家参考。慧科教育集团的专业课程重在培养学生的理论知识和动手实践能力，学生在完成每个学期的理论学习后，至少有两个企业项目实战跟进，让学生在项目中应用各类大数据技术，训练大数据思路和实践步骤，做到理论与实践的充分结合。 大数据专业的课程体系包括专业基础课、专业核心课、大数据架构设计、企业综合实训等四个部分。
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 一、大数据建设思路 1)数据的获得 大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 2)数据的汇集和存储 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 3)数据的管理 大数据管理的技术也层出不穷。在众多技术中，有6种数据管理技术普遍被关注，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、非关系型的数据库、移动数据库技术。其中分布式存储与计算受关注度最高。上图是一个图书数据管理系统。 4)数据的分析 数据分析处理：有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。大数据的处理类型很多，主要的处理模式可以分为流处理和批处理两种。批处理是先存储后处理，而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。 5)大数据的价值：决策支持系统 大数据的神奇之处就是通过对过去和现在的数据进行分析，它能够精确预测未来;通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系;通过对海量数据的挖掘，它能够代替人脑，承担起企业和社会管理的职责。 6)数据的使用 大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分析技术;三是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展和文化生活等各个领
信息工程学院“计算机技术工程”专业硕士点论证 《大数据分析与挖掘》方向： --团队 --近5年发表论文 --近5年获得的代表性科研项目、课题情况 --本研究方向的特色、定位、作用和意义 --培养方案 --人才需求与培养目标 --实践基地与培养模式 1.团队： 2.近5年发表论文： 研究方向 姓 名 出生年月 职 称 学历/学位 备 注 大数据分析与挖掘 邵艳华 1975.03 教授 研究生/博士 学科带头人 张儒良 1963.06 教授 研究生/硕士 学术带头人 曹俊英 1981.05 教授 研究生/博士 学术骨干 夏大文 1982.09 副教授 研究生/博士生 学术骨干 李小武 1966.11 副教授 研究生/博士 学术后备人才 龙 飞 1978.03 副教授 研究生/硕士 学术后备人才 吴有富 1966.04 教授 研究生/博士 兼职 吴茂念 1974.02 教授 研究生/博士 兼职 刘运强 1984.07 高级工程师 研究生/硕士 兼职
本学科方向近5年发表论文情况 序 号 论文名称作者（*）发表时间发表刊物、会议名称或ISSN、检索号 1 Research about Model and Simulation of Enterprise Evolution Based on Agent 邵艳华 （1/？） 2012.10, 3114-3117 ICECC 2012 2 一类复杂适应系统的建模研究 邵艳华 （1/？） 2012, 38(1), 253-255 计算机工程 3 Modeling and simulation of agent decision based on prospect theory. 邵艳华 （1/？） 2014.12 ICFEEE 2014 4 Application of Modeling and Simulation Based on Agent 邵艳华 （1/？） 2014.11, 939-942 ICMECS 2014 5 A Method of Slant Correction of Vehicle License Plate Based on Watershed Algorithm 张儒良 (1/2) 2010.02 Robotics and Automation，2010 (2) 95-98 6 A Method of Slant Correction of Vehicle License Plate Based on Watershed Algorithm 张儒良 (1/2) 2010.02 Robotics and Automation，2010 (2) 95-98 7 Car Number Plate Detection Using https://www.doczj.com/doc/238786496.html,yer Weak Filter 张儒良 (1/2) 2009.07 Business Intelligence (EI收录) IEEE Computer Society, ISBN: 978-0-7695-3705-4 检索号:20094712459305 8 A high order schema for the numerical solution of the fractional ordinary differential equations 曹俊英 （1/2） 2013(4):15 4-168 J. Comput. Physics 9 A high order schema for the numerical solution of ordinary fractional differential equations 曹俊英 （1/2） 2013(586):9 3-103 Contemporary Mathematics 10 Hadoop关键技术的研究与应用 夏大文 （1/？） 2013计算机与现代化 11 A Novel Parallel Algorithm for Frequent Itemsets Mining in Massive Small Files Datasets 夏大文 （1/？） 2014 ICIC Express Letters, Part B: Applications 12 Discovery and Analysis of Usage Data Based on Hadoop for Personalized Information Access 夏大文 （1/？） 2013BDSE’13 13 A geometric strategy for computing intersections of two spatial parametric curves(SCI) 李小武 （1/？） 2013The Visual Computer，29，1151-1158 14 On a family of trimodal distributions, Communications in Statistics - Theory and Methods(SCI) 李小武 （1/？） 2014 Communications in Statistics - Theory and Methods, 43(14),2886–2896. 15 基于开源少民信息资源保存系统设计 研究 龙飞 （1/？） 2011 计算机技术与发展 3. 近5年获得的代表性科研项目、课题情况
大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
大数据技术与应用专业 人才需求分析和预测性调研报告 一、调研情况分析 (一)政府发展规划与政策动态 推动大数据产业持续健康发展，是党中央、国务院作出的重大战略部署，是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前，工业和信息化部正式印发了《大数据产业发展规划（2016－2020年）》（以下简称《规划》），全面部署“十三五”时期大数据产业发展工作，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。 2018年，贵州提出“万企融合”大行动，计划用五年时间，带动10000家企业通过应用大数据技术，提升企业数字化、网络化、智能化水平，实现发展新增长、服务升级。有预测称，这次行动将在贵州形成超过1200亿美元的市场。 (二)市场需求和行业发展趋势 1）大数据市场需求 大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至 2014 年，全球大数据市场规模已经成长到300 亿美元的空间，预测到2017 年全球大数据技术和服务市场的2018 年的复合年增长率将达到26.4%，规模达到415 亿美元，是整个IT 市场增幅的6 倍。大数据市场规模在2020 年有望达到611.6 亿美元，符合年增长率将达到26%。 中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。“大数据”已成为一个热门词语高频出现在各种场合，其专门人才已不能满足市场需求。经过专门调研数据显示，大数据人才岗位缺口2018年高达150万，俱预测2025年中国大数据人才缺口达到200万，这给高校和人力资源企业的一个很大的优惠。未来几年人才需求将持续走俏。引进和培养1000
第五章空间查询与空间分析 学习要求：掌握1、GIS的数据查询的基本知识 2、GIS空间分析模型及其算法 §5.1 空间数据的查询 一、空间数据查询的含义 数据查询是GIS的一个非常重要的功能，定位空间对象、提取对象信息，是地理信息系统进行高层次空间分析的基础。 二、空间数据查询的方式 1、基于属性数据的查询： 2、基于图形数据的查询： 3、图形与属性的混合查询 4、模糊查询： 5、自然语言空间查询： 6、超文本查询 7、符号查询 三、查询结果的显示方式 查询结果的显示环境参数 1、显示方式（the display mode）
有5种显示方式用语多次查询结果的运算：刷新、覆盖、清除、相交和强调。 2、图形表示（the graphical presentation） 用于选定符号、图案、色彩等。 3、绘图比例尺（the scale of the drawing） 确定地图显示的比例尺（内容和符号不随比例尺变化）。 4、显示窗口（the window to be shown） 确定屏幕上显示窗口的尺寸。 5、相关的空间要素（the spatial context） 显示相关的空间数据，使查询结果更容易理解。 6、查询内容的检查（the examination of the content） 检查多次查询后的结果。 §5.2 空间数据的统计分析 讲述空间数据统计分析中基本统计量的计算和常用统计数据的分类分级算法。 一、属性数据的集中特征数 反映属性数据集中特性的参数有： 频数：变量在各组出现或发生的次数； 频率：各组频数与总频数之比； 平均数：反映了数据取值的集中位置；
课程名称：大数据分析与应用 一、课程编码： 课内学时：32学分：2 二、适用学科专业：计算机专业硕士 三、先修课程：无 四、教学目标 通过本课程的课堂学习与应用案例，建立科学的大数据观，掌握大数据架构、大数据精准语义搜索、大数据语义分析挖掘、知识图谱等关键技术，熟练使用常用的大数据搜索挖掘与可视化工具，提升大数据的综合应用能力。 五、教学方式 课堂学习、研讨班与应用实践 六、主要内容及学时分配 1.科学的大数据观2学时 1.1.大数据的定义，科学发展渊源； 1.2.如何科学看待大数据？ 1.3.如何把握大数据，分别从“知著”、“显微”、“晓义”三个层面阐述科学的大 数据观。 2.大数据技术平台与架构4学时 2.1云计算技术与开源平台搭建 2.2Hadoop、Spark等数据架构、计算范式与应用实践 3.机器学习与常用数据挖掘4学时 3.1常用机器学习算法：Bayes,SVM，最大熵、深度神经网络等； 3.2常用数据挖掘技术：关联规则挖掘、分类、聚类、奇异点分析。 4.大数据语义精准搜索4学时 4.1.通用搜索引擎与大数据垂直业务的矛盾； 4.2.大数据精准搜索的基本技术：快速增量在线倒排索引、结构化与非机构化数 据融合、大数据排序算法、语义关联、自动缓存与优化机制； 4.3.大数据精准搜索语法：邻近搜索、复合搜索、情感搜索、精准搜索； 4.4.JZSearch大数据精准搜索应用案例：国家电网、中国邮政搜索、国家标准搜 索、维吾尔语搜索、内网文档搜索、舆情搜索； 5.非结构化大数据语义挖掘10学时 5.1.语义理解基础：ICTCLAS与汉语分词 5.2.内容关键语义自动标引与词云自动生成； 5.3.大数据聚类； 5.4.大数据分类与信息过滤； 5.5.大数据去重、自动摘要； 5.6.情感分析与情绪计算；
大数据时代的数据挖掘 技术 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】
大数据时代的数据挖掘技术 【摘要】随着大数据时代的到来，在大数据观念不断提出的今天，加强数据大数据挖掘及时的应用已成为大势所趋。那么在这一过程中，我们必须掌握大数据与数据挖掘的内涵，并对数据挖掘技术进行分析，从而明确大数据时代下数据挖掘技术的应用领域，促进各项数据的处理，提高大数据处理能力。 【关键词】大数据时代；数据挖掘技术；应用 大数据时代下的数据处理技术要求更高，所以要想确保数据处理成效得到提升，就必须切实加强数据挖掘技术的应用，才能更好地促进数据处理职能的转变，提高数据处理效率，以下就大数据时代下的数据挖掘技术做出如下分析。 1.大数据与数据挖掘的内涵分析 近年来，随着云计算和物联网概念的提出，信息技术得到了前所未有的发展，而大数据则是在此基础上对现代信息技术革命的又一次颠覆，所以大数据技术主要是从多种巨量的数据中快速的挖掘和获取有价值的信息技术，因而在云时代的今天，大数据技术已经被我们所关注，所以数据挖掘技术成为最为关键的技术。尤其是在当前在日常信息关联和处理中越来越离不开数据挖掘技术和信息技术的支持。大数据，而主要是对全球的数据量较大的一个概括，且每年的数据增长速度较快。而数据挖掘，主要是从多种模糊而又随机、大量而又复杂且不规则的数据中，获得有用的信息知识，从数据库中抽丝剥茧、转换分析，从而掌握其潜在价值与规律[1]。
2.大数据时代下数据挖掘技术的核心-分析方法 数据挖掘的过程实际就是对数据进行分析和处理，所以其核心就在于数据的分析方法。要想确保分析方法的科学性，就必须确保所采用算法的科学性和可靠性，获取数据潜在规律，并采取多元化的分析方法促进问题的解决和优化。以下就几种常见的数据分析方法做出简要的说明。 一是归类法，主要是将没有指向和不确定且抽象的数据信息予以集中，并对集中后的数据实施分类整理和编辑处理，从而确保所形成的数据源具有特征一致、表现相同的特点，从而为加强对其的研究提供便利。所以这一分析方法能有效的满足各种数据信息处理。 二是关联法，由于不同数据间存在的关联性较为隐蔽，采取人力往往难以找出其信息特征，所以需要预先结合信息关联的表现，对数据关联管理方案进行制定，从而完成基于某种目的的前提下对信息进行处理，所以其主要是在一些信息处理要求高和任务较为复杂的信息处理工作之中。 三是特征法，由于数据资源的应用范围较广，所以需要对其特征进行挖掘。也就是采用某一种技术，将具有相同特征的数据进行集中。例如采用人工神经网络技术时，主要是对大批量复杂的数据分析，对非常复杂的模式进行抽取或者对其趋势进行分析。而采取遗传算法，则主要是对其他评估算法的适合度进行评估，并结合生物进化的原理，对信息数据的成长过程进行虚拟和假设，从而组建出半虚拟、半真实的信息资源。再如可视化技术则是为数据挖掘提供辅助，采取多种方式对数据的