关于关联分析的研究综述
引言
从信息处理的角度，人们更希望计算机帮助我们分析数据、理解数据，帮助我们基于丰富的数据作出决策，做人力所不能及的事情。于是，数据挖掘——从大量数据中用非平凡的方法发现有用的知识——就成了一种自然的需求，它的主要目的便是从庞大的数据库中寻找出有价值的隐藏事件，找出其中的知识，并根据不同的问题建立不同的模型，以提供决策时的依据，数据挖掘对组织及决策行为将有相当大的帮助。
数据挖掘又称数据库中的知识发现（Knowledge Discovery in Databases），知识发现的一般步骤为：数据抽取，数据清理，数据设计，算法设计，算法运行，结果分析。
1.数据挖掘
数据挖掘的核心步骤是算法的设计阶段，一个好的算法（速度快、伸缩性好、结果容易使用且符合用户的特定需求）是影响数据挖掘效率的最重要因素。数据挖掘是一个循环过程，如果用户对结果不满意，可对数据库进行重新挖掘。
从数据库中发掘的规则可以有以下几种：特征规则、区分规则、聚类规则、关联规则和进化规则等。关联规则是比较新的一种，它的形式简洁，易于解释和理解并可有效捕捉数据间的重要关系。
2.关联规则
关联规则挖掘最相关的三个重要的研究领域是：统计学（Statistics），机器学习(Machine Learning)（或称人工智能，Artificial Intelligent）及数据库（Database）。关联规则挖掘与统计学和机器学习的共同特点是：都是从数据集中发现知识。
2.1基本概念
Agrawal等人于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题，是数据挖掘的一个重要研究领域。它反映出一个事物与其它事物之间的相互依存性和关联性。如果两个或者多个事物之间存在一定的关联关系，那么，其中一个事物就能够通过其它事物预测到。具体描述为：设I={i1，i2，…，im}是二进制文字的集合，其中的元素称为项(item)。记任务相关的数据D为交易T(transaction)的集合，这里交易T是项的集合，并且T?I。每个交易都有一个唯一的标识，如交易号，记作TID。设X是一个I中项的集合，如果X?T，
那么称交易T包含X。
2.2关联规则挖掘的算法
Agrawal等人在1993年设计了一个基本算法，提出了挖掘关联规则的一个重要方法—这是一个基于两阶段频繁项集思想的方法，将关联规则挖掘算法的设计可以分解为两个子问题：
1)找到所有支持度大于最小支持度的项集（Itemset），这些项集称为频繁项集（Frequent Itemset)。
2)使用第1步找到的频繁项集产生期望的规则。
第一个问题是算法设计的核心问题，它的效率高低是影响算法的关键，从庞大的数据库中找出所有符合大于或等于最小支持度的频繁项集，往往是相当艰巨且耗时的过程，但频繁项集被确定以后，要产生相对应的关联规则就容易且直接了，第2步只在生成的频繁项集中创建相应规则的枚举过程，无需复杂的计算，目前所谓的算法设计问题主要是围绕如何生成频繁集展开的。
2.2.1经典频集方法
为了生成所有频繁项集，Agrawal等人在1993年设计了Apriori算法，使用了递推的方法。
首先产生频繁1-项集L1，然后是频繁2-项集L2，直到有某个r值使得Lr为空，这时算法停止。这里在第k次循环中，过程先产生候选k-项集的集合Ck，Ck中的每一个项集是对两个只有一个项不同的属于Lk-1的频繁项集做一个(k-2)-连接来产生的。Ck中的项集是用来产生频繁项集的候选集，最后的频繁项集Lk必须是Ck的一个子集。Ck中的每个元素需在交易数据库中进行验证来决定其是否加入Lk，这里的验证过程是算法性能的一个瓶颈。这个方法要求多次扫描可能很大的交易数据库，即如果频繁项集最多包含10个项，那么就需要扫描交易数据库10遍，这需要很大的I/O负载。
2.2.2 FP－tree算法
Han等人提出FP－tree算法，此算法是不产生候选项集作法的代表，因为不用产生候选项集，只需扫描数据库两次，因此节省了大量I／O的时间，整体的效能大幅提升，而且已运用在实际的产品中。
FP－tree算法和上述算法最主要的差别在于：FP－tree算法不用产生候选项集，且将数据库压缩在FP－tree的结构中，改进了扫描多次数据库的高成本。我们利用例子来说明FP －tree算法。它的最小支持度设为2，其作法可分为两个阶段。
第一个阶段为构建FP－tree结构，需扫描数据库两次，第一次扫描数据库将每个支持度大于或等于最小支持度的项目（频繁1-项集）找出，并根据其支持度值大小和在数据库出现的先后次序作排序。并使得每一项通过一个节点链指向它在树中的出现。第二次扫描过滤掉数据库中不足最小支持度的项目并依据排序表的频繁1-项集的次序得到每笔记录中包含频繁项的模式，同时构建FP－tree结构。
FP－tree构造如下：首先，创建树的根节点，用“root”标记，读入经过排序处理的每笔记录的第一个项时，检查root下的子树是否存在此项目节点，若此项目不存在，则在root 下新增此项目节点（Ni）；如果此项目存在，则将此节Nj支持度加l。之后的项目读入时，检查Nk（Nk为Ni或Nj）下的子树是否存在此项目节点，如果不存在，就在Nk下新增一个项目节点，如果存在，则将此节点支持度加1，以此类推做完每笔频繁项集中的所有项目。
2.2.3 FPL算法
E C.Tseng及Hsu Tseng提出FPL（Frequent Pattern List）算法以改进FP-tree算法，FPL 主要是将数据库中的交易数据做适当的处理后储存在一线性串行数据结构中，并在此线性串行结构上执行简单的运算，即可有效找出所有频繁项集模式，因为FPL算法利用简单的线性串行数据结构，不需产生候选项集，只需扫描数据库两次，且不管是稀疏数据库或是密集数据库均能有效找出所有的频繁项集模式，因此克服了FP-tree的缺点。
FPL算法扫描数据库两次，第一次扫描数据库将每个支持度值大于或等于最小支持度的频繁1-项集找出，并依照支持度大小和在数据库出现的先后次序作排序，第二次扫描以过滤掉记录中不足最小支持度的项目并根据己排序好的项目次序得到每笔记录的包含频繁项的模式，这一步与FP-tree算法一致。
此后FPL执行以下两个阶段。第一个阶段是构建频繁项目线性串行。根据表2-5将频繁项依支持大小建立成FPL串行，并将表2-3中的每笔记录建构成0、1二元数据表（DB-BIT），作法是根据FPL串行节点顺序与表2-3的数据做比较即可得到每笔记录，记录Ti之某位数据若为0（1）表示相对的频繁数据项目未出现（出现）在此记录中，最后将DB-BIT 中的所有记录挂至适当的FPL串行节点上。
第二个阶段是从此串行结构中挖掘所有的频繁项集模式。首先检查串行最右边节点（Ni），这也与FP-tree算法相似，从支持度最小的项开始挖掘。在此要找出所有包含Ni项目的频繁项集模式，计算出现在Ni节点上的其它各项出现次数(Bit count)，接着忽略Ni以及所有Bit count小于最小支持度的项产生Ni项目的频繁1-项集模式：I5：2（代表项目I5在数据库中出现二次），接下来处理Bit count值大于或等于最小支持度的节点(Nb(b=l，2，…
n))，产生频繁模式为Nb和Ni组合，其出现次数皆为Nb支持度值（I2，I5：2），（I1，I5：2），再将Nb重新建立一子串行，并且将Ni所属的所有记录挂至适当的节点上，依据上面的方法，再挖掘新的频繁模式：（I2，I1，I5：2），直到串行中只剩下一个节点I2。接着考虑移走Ni所属的记录及DB-BIT最后一位，找出下一个Ni=1的所有记录并挂至此串行下。重复上述方法寻找频繁项集模式，直至串形结构上只有一个最大节点存在为止。
3.总结
总之，Apriori、FP-tree等现有关联规则挖掘算法都是在单维、单层、布尔关联规则下讨论的，是最简单形式的关联规则，它是解决其它问题的基础。
关联分析
目录 一、概括 (1) 二、数据清洗 (1) 2.1公立学费（NPT4_PUB） (1) 2.2毕业率（Graduation.rate） (1) 2.3贷款率（GRAD_DEBT_MDN_SUPP） (2) 2.4偿还率（RPY_3YR_RT_SUPP） (2) 2.5毕业薪水（MD_EARN_WNE_P10）。 (3) 2.6 私立学费（NPT4_PRIV） (3) 2.7 入学率（ADM_RATE_ALL） (4) 三、Apriori算法 (4) 3.1 相关概念 (5) 3.2 算法流程 (6) 3.3 优缺点 (7) 四、模型建立及结果 (7) 4.1 公立模型 (7) 4.2 私立模型 (10)
一、概括 对7703条样本数据，分别根据公立学费和私立学费差异，建立公立模型和私立模型，进行关联分析。 二、数据清洗 2.1公立学费（NPT4_PUB） 此字段，存在4个负值，与实际情况不符，故将此四个值重新定义为NULL。重新定义后，NULL值的占比为75%，占比很大，不能直接将NULL值删除或者进行插补，故将NULL单独作为一个取值分组。 对非NULL的值按照等比原则进行分组，分组结果如下： A：[0,5896] B：(5896,7754] C：(7754, 9975] D：(9975, 13819] E：(13819, +] 分组后取值分布为： 2.2毕业率（Graduation.rate） 将PrivacySuppressed值重新定义为NULL，重新定义后，NULL值的占比为20%，占比较大，不适合直接删除或进行插补，故将NULL单独作为一个取值分组。 对非NULL值根据等比原则进行分组，分组结果如下： A：[0,0.29]
科技信息 SCIENCE&TECHNOLOGY INFORMATION 2010年第17期 1关联度的概念 关联度是事物之间、因素之间关联性大小的量度。它定量地描述 了事物或因素之间相互变化的情况，即变化的大小、方向与速度等的 相对性。如果事物或因素变化的态势基本一致，则可以认为它们之间 的关联度较大，反之，关联度较小。对事物或因素之间的这种关联关 系，虽然用回归、相关等统计分析方法也可以做出一定程度的回答，但 往往要求数据量较大、数据的分布特征也要求比较明显。而且对于多 因素非典型分布特征的现象，回归相关分析的难度常常很大。相对来 说，灰色关联度分析所需数据较少，对数据的要求较低，原理简单，易 于理解和掌握，对上述不足有所克服和弥补。 2关联度的计算 灰色关联度分析的核心是计算关联度。一般说来，关联度的计算 首先要对原始数据进行处理，然后计算关联系数，由此就可计算出关 联度。 2.1原始数据的处理 由于各因素各有不同的计量单位，因而原始数据存在量纲和数量 级上的差异，不同的量纲和数量级不便于比较，或者比较时难以得出 正确结论。因此，在计算关联度之前，通常要对原始数据进行无量纲化 处理。其方法包括初值化、均值化等。 2.1.1初值化。即用同一数列的第一个数据去除后面的所有数据，得 到一个各个数据相对于第一个数据的倍数数列，即初值化数列。一般 地，初值化方法适用于较稳定的社会经济现象的无量纲化，因为这样 的数列多数呈稳定增长趋势，通过初值化处理，可使增长趋势更加明 显。比如，社会经济统计中常见的定基发展指数就属于初值化数列。 2.1.2均值化。先分别求出各个原始数列的平均数，再用数列的所有 数据除以该数列的平均数，就得到一个各个数据相对于其平均数的倍 数数列，即均值化数列。一般说来，均值化方法比较适合于没有明显升 降趋势现象的数据处理。 2.2计算关联系数 设经过数据处理后的参考数列为： {x0(t)}＝{x01，x02，…，x0n} 与参考数列作关联程度比较的p个数列(常称为比较数列)为： {x1(t)，x2(t)，…，x p(t)}＝ x11x12…x1n x21x22…x2n ………… x p1x p2…x pn 上式中，n为数列的数据长度，即数据的个数。 从几何角度看，关联程度实质上是参考数列与比较数列曲线形状的相似程度。凡比较数列与参考数列的曲线形状接近，则两者间的关联度较大；反之，如果曲线形状相差较大，则两者间的关联度较小。因此，可用曲线间的差值大小作为关联度的衡量标准。 将第k个比较数列(k＝1，2，…，p)各期的数值与参考数列对应期的差值的绝对值记为： Δok(t)=x0(t)-x k(t)t＝1，2，…，n 对于第k个比较数列，分别记n个Δok(t)中的最小数和最大数为Δok(min)和Δok(max)。对p个比较数列，又记p个Δok(min)中的最小者为Δ(min)，p个Δok(max)中的最大者为Δ(max)。这样Δ(min)和Δ(max)分别是所有p个比较数列在各期的绝对差值中的最小者和最大者。于是，第k个比较数列与参考数列在t时期的关联程度(常称为关联系数)可通过下式计算： ζok(t)=Δ(min)+ρΔ(max) ok 式中ρ为分辩系数，用来削弱Δ(max)过大而使关联系数失真的影响。人为引入这个系数是为了提高关联系数之间的差异显著性。0＜ρ＜1。 可见，关联系数反映了两个数列在某一时期的紧密程度。例如，在使Δok(t)＝Δ(min)的时期，ζok(t)＝1，关联系数最大；而在使Δok(t)＝Δ(max)的时期，关联系数最小。由此可知，关联系数变化范围为0＜ζok(t)≤1。 显然，当参考数列的长度为n时，由p个比较数列共可计算出n×p个关联系数。 2.3求关联度 由于每个比较数列与参考数列的关联程度是通过n个关联系数来反映的，关联信息分散，不便于从整体上进行比较。因此，有必要对关联信息作集中处理。而求平均值便是一种信息集中的方式。即用比较数列与参考数列各个时期的关联系数之平均值来定量反映这两个数列的关联程度，其计算公式为： r ok=1 n n i=1 Σζok(t) 式中，r ok为第k个比较数列与参考数列的关联度。 不难看出，关联度与比较数列、参考数列及其长度有关。而且，原始数据的无量纲化方法和分辩系数的选取不同，关联度也会有变化。 2.4排关联度 由上述分析可见，关联度只是因素间关联性比较的量度，只能衡量因素间密切程度的相对大小，其数值的绝对大小常常意义不大，关键是反映各个比较数列与同一参考数列的关联度哪个大哪个小。 当比较数列有p个时，相应的关联度就有p个。按其数值的大小顺序排列，便组成关联序。它反映了各比较数列对于同一参考数列的“主次”、“优劣”关系。 灰色关联度分析方法的运用之一，就是因素分析。在实际工作中，影响一个经济变量的因素很多。但由于客观事物很复杂，人们对事物的认识有信息不完全性和不确定性，各个因素对经济总量的影响作用不是一下子就能够看清楚的，需要进行深入的研究，这就是经济变量的因素分析。运用灰色关联度进行因素分析是非常有效的，而且特别适用于各个影响因素和总量之间不存在严格数学关系的情况。 例1：利用关联度分析方法研究某公路施工企业工资序列（表1）。 表1某公路施工企业工资序列表单位：千元 根据表1中数据，以工资总额为参考数列x0(t)，以计时工资x1(t)、档案工资x2(t)和承包工资x3(t)为比较数列，计算三种工资对于工资总额的关联度。 第一步，对各数列作均值化处理。 工资总额和三种工资的均值分别为： 浅议灰色关联度分析方法及其应用 孙芳芳 (濮阳市公路管理局河南濮阳457000) 【摘要】灰色关联度是灰色数学中的一种方法，用来研究事物相互关联、相互作用的复杂因素的影响作用，确定影响事物的本质因素，使各种影响因素之间的“灰色”关系清晰化。本文介绍了灰色关联度在实际工作中的分析方法和步骤，为定量描述事物或因素之间相互变化的情况提供了理论依据。 【关键词】灰色关联度；分析方法；综合评价；应用 年份工资总额计时工资档案工资承包工资 200313974.23831.06587.23556.0 200415997.64228.07278.04491.6 200517681.35017.07717.44946.9 200620188.35288.69102.25797.5 200724020.35744.011575.26701.0 x i軃18372.34821.78450.05098.6○公路与管理○ 880
灰色关联分析 灰色关联分析是指对一个系统发展变化态势的定量描述和比较的方法，其基本思想是通过确定参考数据列和若干个比较数据列的几何形状相似程度来判断其联系是否紧密，它反映了曲线间的关联程度[1]。 灰色系统理论是由著名学者邓聚龙教授首创的一种系统科学理论(Grey Theory)，其中的灰色关联分析是根据各因素变化曲线几何形状的相似程度，来判断因素之间关联程度的方法。此方法通过对动态过程发展态势的量化分析，完成对系统内时间序列有关统计数据几何关系的比较，求出参考数列与各比较数列之间的灰色关联度。与参考数列关联度越大的比较数列，其发展方向和速率与参考数列越接近，与参考数列的关系越紧密。灰色关联分析方法要求样本容量可以少到4个，对数据无规律同样适用，不会出现量化结果与定性分析结果不符的情况。其基本思想是将评价指标原始观测数进行无量纲化处理，计算关联系数、关联度以及根据关联度的大小对待评指标进行排序。灰色关联度的应用涉及社会科学和自然科学的各个领域，尤其在社会经济领域，如国民经济各部门投资收益、区域经济优势分析、产业结构调整等方面，都取得较好的应用效果。 [2] 关联度有绝对关联度和相对关联度之分，绝对关联度采用初始点零化法进行初值化处理，当分析的因素差异较大时，由于变量间的量纲不一致，往往影响分析，难以得出合理的结果。而相对关联度用相对量进行分析，计算结果仅与序列相对于初始点的变化速率有关，与各观测数据大小无关，这在一定程度上弥补了绝对关联度的缺陷。[2] 灰色关联分析的步骤[2] 灰色关联分析的具体计算步骤如下： 第一步：确定分析数列。 确定反映系统行为特征的参考数列和影响系统行为的比较数列。反映系统行为特征的数据序列，称为参考数列。影响系统行为的因素组成的数据序列，称比较数列。 设参考数列（又称母序列）为Y={Y(k) | k= 1,2,Λ,n}；比较数列（又称子序列）X i={X i(k) | k = 1,2,Λ,n},i= 1,2,Λ,m。 第二步，变量的无量纲化 由于系统中各因素列中的数据可能因量纲不同，不便于比较或在比较时难以得到正确的结论。因此在进行灰色关联度分析时，一般都要进行数据的无量纲化处理。
数据挖掘考试题目——关联分析 一、10个选择 1.以下属于关联分析的是（） A．CPU性能预测B．购物篮分析 C．自动判断鸢尾花类别D．股票趋势建模 2.维克托?迈尔-舍恩伯格在《大数据时代：生活、工作与思维的大变革》一书中，持续强调了一个观点：大数据时代的到来，使我们无法人为地去发现数据中的奥妙，与此同时，我们更应该注重数据中的相关关系，而不是因果关系。其中，数据之间的相关关系可以通过以下哪个算法直接挖掘（） A．K-means B．Bayes Network C．C4.5 D．Apriori 3.置信度(confidence)是衡量兴趣度度量（）的指标。 A．简洁性B．确定性 C．实用性D．新颖性 4.Apriori算法的加速过程依赖于以下哪个策略（） A．抽样B．剪枝 C．缓冲D．并行 5.以下哪个会降低Apriori算法的挖掘效率（） A．支持度阈值增大B．项数减少 C．事务数减少D．减小硬盘读写速率 6.Apriori算法使用到以下哪些东东（） A．格结构、有向无环图B．二叉树、哈希树 C．格结构、哈希树D．多叉树、有向无环图 7.非频繁模式（） A．其置信度小于阈值B．令人不感兴趣 C．包含负模式和负相关模式D．对异常数据项敏感 8.对频繁项集、频繁闭项集、极大频繁项集的关系描述正确的是（）[注：分别以1、2、3代表之] A．3可以还原出无损的1 B．2可以还原出无损的1 C．3与2是完全等价的D．2与1是完全等价的 9.Hash tree在Apriori算法中所起的作用是（） A．存储数据B．查找 C．加速查找D．剪枝 10.以下不属于数据挖掘软件的是（） A．SPSS Modeler B．Weka C．Apache Spark D．Knime 二、10个填空 1.关联分析中表示关联关系的方法主要有：和。 2.关联规则的评价度量主要有：和。 3.关联规则挖掘的算法主要有：和。 4.购物篮分析中，数据是以的形式呈现。 5.一个项集满足最小支持度，我们称之为。 6.一个关联规则同时满足最小支持度和最小置信度，我们称之为。
对应分析方法与对应图解读方法——七种分析角度 对应分析是一种多元统计分析技术，主要分析定性数据Category Data方法，也是强有力的数据图示化技术，当然也是强有力的市场研究分析技术。 这里主要介绍大家了解对应分析的基本方法，如何帮助探索数据，分析列联表和卡方的独立性检验，如何解释对应图，当然大家也可以看到如何用SPSS操作对应分析和对数据格式的要求！ 对应分析是一种数据分析技术，它能够帮助我们研究由定性变量构成的交互汇总表来揭示变量间的联系。交互表的信息以图形的方式展示。主要适用于有多个类别的定类变量，可以揭示同一个变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。适用于两个或多个定类变量。 主要应用领域： 概念发展（Concept Development) 新产品开发 (New Product Development) 市场细分 (Market Segmentation) 竞争分析 (Competitive Analysis) 广告研究 (Advertisement Research) 主要回答以下问题： 谁是我的用户？ 还有谁是我的用户？ 谁是我竞争对手的用户？ 相对于我的竞争对手的产品，我的产品的定位如何？ 与竞争对手有何差异？ 我还应该开发哪些新产品？ 对于我的新产品，我应该将目标指向哪些消费者？ 数据的格式要求 对应分析数据的典型格式是列联表或交叉频数表。常表示不同背景的消费者对若干产品或产品的属性的选择频率。背景变量或属性变量可以并列使用或单独使用。 两个变量间——简单对应分析。 多个变量间——多元对应分析。 案例分析：自杀数据分析 上面的交互分析表，主要收集了48961人的自杀方式以及自杀者的性别和年龄数据！POISON（毒药）GAS（煤气）HANG（上吊）DROWN（溺水）GUN（开枪）JUMP（跳楼）（我们就不翻译成中文了，读者可以把六个方式想象成品牌或别的什么）
对应分析数学模型解析 1.对应分析模型的提出 在因子分析时常常会出现以下三个问题： 第一，因子分析分为R型和Q型，寻找变量的公因子就采用R型，寻找样品的公因子就采用Q型；R型是从变量的相关系数矩阵出发，Q型是从样品的相似矩阵出发。在因子分析中把R型和Q型互相割裂单独进行，有些问题只做R型分析，有些只做Q型分析，即使有些问题同时做了这两种分析，在解释时也无法将它们有机地联系起来。然而变量和样品是分不开的，这也就说明R型分析和Q 型分析是不可分割的。 第二，在实际生活中，我们往往取得样本数目要远远大于变量的数目，这就给Q型因子分析带来了计算上的困难。比如说，有150个样品，每个样品分析10个变量，如果做R型因子分析时只需计算10 10?阶的变量向关系数矩阵的特征值和特征向量，而Q型因子分析则要计算150 150?阶的样品相似矩阵的特征值和特征向量，这个计算量相当可观。 第三，在因子分析中我们为了能将量纲不同的变量进行比较，往往要对变量进行标准化处理，然而这种标准化只能对变量进行，对样品则无从谈标准化，所以标准化对变量和样品是非对等的，这也就给R型和Q型因子分析之间的联系带来障碍。 针对以上问题，我们综合了Q型和R型因子分析的优点，并将他们统一起来使得由R型的分析结果很容易得到Q型的分析结果，这就克服了Q型分析计算量大的问题，更重要的是可以把变量和样品的载荷反映在相同的公因轴上，这样把变量和样品连接起来便于解释和推断。 2. 基本思想：是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。首先编制两变量的交叉列联表，将交叉列联表中的每个数据单元看成两变量在相应类别上的对应点；然后，对应分析将变量及变量之间的联系同时反映在一张二维或三维的散点图；最后，通过观察对应分布图就能直接地把握变量之间的类别联系； 3. 它最大特点：是能把众多的样品和众多的变量同时作到同一张图解
灰色关联分析法原理及解题步骤 ---------------研究两个因素或两个系统的关联度（即两因素变化大小,方向与速度的相对性） 关联程度——曲线间几何形状的差别程度 灰色关联分析是通过灰色关联度来分析和确定系统因素间的影响程度或因素对系统主行为的贡献测度的一种方法。 灰色关联分析的基本思想是根据序列曲线几何形状的相似程度来判断其联系是否紧密 1>曲线越接近,相应序列之间的关联度就越大,反之就越小 2>灰色关联度越大，两因素变化态势越一致 分析法优点 它对样本量的多少和样本有无规律都同样适用,而且计算量小,十分方便,更不会出现量化结果与定性分析结果不符的情况。 灰色系统关联分析的具体计算步骤如下 1》参考数列和比较数列的确定 参考数列——反映系统行为特征的数据序列 比较数列——影响系统行为的因素组成的数据序列 2》无量纲化处理参考数列和比较数列 （1）初值化——矩阵中的每个数均除以第一个数得到的新矩阵
（2）均值化——矩阵中的每个数均除以用矩阵所有元素的平均值得到的新矩阵 （3）区间相对值化 3》求参考数列与比较数列的灰色关联系数ξ（Xi） 参考数列X0 比较数列X1、X2、X3…………… 比较数列相对于参考数列在曲线各点的关联系数ξ（i） 称为关联系数，其中ρ称为分辨系数，ρ∈（0，1），常取0.5.实数第二级最小差，记为Δmin。两级最大差，记为Δmax。为各比较数列Xi曲线上的每一个点与参考数列X0曲线上的每一个点的绝对差值。记为Δoi(k)。所以关联系数ξ（Xi）也可简化如下列公式： 4》求关联度ri 关联系数——比较数列与参考数列在各个时刻（即曲线中的各点）的关联程度值，所以它的数不止一个，而信息过于分散不便于进行整体性比较。因此有必要将各个时刻（即曲线
第五章灰色关联度分析 目录 壹、何谓灰色关联度分析 ------------------------- 5-2 贰、灰色联度分析实例详说与练习 ----------------- 5-8 第五章灰色关联度分析 壹、何谓灰色关联度分析 一.关联度分析 灰色系统分析方法针对不同问题性质有几种不同做法，灰色关联度分析(Grey Relational Analysis)是其中的一种。基 本上灰色关联度分析是依据各因素数列曲线形状的接近程度 做发展态势的分析。 灰色系统理论提出了对各子系统进行灰色关联度分析的概念，意图透过一定的方法，去寻求系统中各子系统(或因素) 之间的数值关系。简言之，灰色关联度分析的意义是指在系统
发展过程中，如果两个因素变化的态势是一致的，即同步变化程度较高，则可以认为两者关联较大；反之，则两者关联度较小。因此，灰色关联度分析对于一个系统发展变化态势提供了量化的度量，非常适合动态(Dynamic)的历程分析。 灰色关联度可分成「局部性灰色关联度」与「整体性灰色关联度」两类。主要的差别在于「局部性灰色关联度」有一参考序列，而「整体性灰色关联度」是任一序列均可为参考序列。 二.直观分析 依据因素数列绘制曲线图，由曲线图直接观察因素列间的接近程度及数值关系，表一某老师给学生的评分表数据数据为例，绘制曲线图如图一所示，由曲线图大约可直接观察出该老师给分总成绩主要与考试成绩关联度较高。 表一某一老师给学生的评分表单位：分/ %
由曲线图直观分析，是可大略分析因素数列关联度，可看出考试成绩与总成绩曲线形状较接近，故较具关联度，但若能以量化分析予以左证，将使分析结果更具有说服力。 三.量化分析 量化分析四步曲： 1.标准化(无量纲化)：以参照数列(取最大数的数列)为 基准点，将各数据标准化成介于0至1之间的数据最 佳。 2.应公式需要值，产生对应差数列表，内容包括：与参 考数列值差(绝对值)、最大差、最小差、ζ（Zeta） 为分辨系数，0＜ζ＜1，可设ζ = 0.5(采取数字最终 务必使关联系数计算：ξi（k）小于1为原则，至于
题目灰色关联分析及其应用 学生姓名魏婧学号 1109014115 所在学院数学与计算机科学学院 专业班级数学与应用数学数教1101班 指导教师马引弟 完成地点陕西理工学院 2015年06月08日
灰色关联分析及其应用 魏婧 （陕西理工学院数计学院数学与应用数学（师范类)专业数教1101班,陕西汉中 723000） 指导教师：马引弟 [摘要] 本文对灰色关联分析相关理论进行研究和总结,通过建立教师教育教学的评价指标体系,用灰色关联度模型进行决策,将定性与定量方法有机结合,使决策简单清晰,计算简单,便于实用. [关键词] 灰色关联分析;教育教学;评价;决策 1 引言 灰色系统理论是20世纪80年代,由中国华中理工大学邓聚龙教授首次在“含未知数系统的控制问题”的学术报告中提出“灰色系统”一词,它是以数学理论为基础的系统工程学科,为灰色系统理论鉴定基础[1].自灰色系统理论诞生以来,灰色关联分析理论作为其中最重要 的一部分就受到学术界的广泛关注.它不仅是灰色系统理论的重要组成部分,也是灰色系统、预测和决策的基石. 随着灰色系统在各个方面的推广、应用,对灰色关联分析的关注也越来越多,同时也存在一些不足.因此,为了更好的将灰色关联应用到实际生活中,对灰色关联分析理论探讨及实际应用进行研究是十分必要的. 党的十八大明确提出深化教育领域综合改革,努力办好人民满意的教育,要坚持教育优先发展,全面贯彻党的教育方针,对教师进行教育教学评价是十分有必要的.由于影响教师教育教学评价的因素很多,如何建立灰色关联模型进行合理的评价,是灰色关联分析应用实际教育教学评价体系的重点. 2 灰色关联分析概述 灰色关联分析理论的基本思想就是根据描述所研究系统指标序列曲线的几何形状与所选的标准系统指标序列曲线的相似程度来判断它们的关联程度是否紧密[1].曲线形状越接近,说明相对应的指标序列关联程度越大;曲线形状差异越大,说明相对应的指标序列的关联程度越小. 由此可以看出,对于如何定义关联度以及关联度的计算方法是灰色关联分析理论的重要组成部分[2].同时在进行关联分析时,必须先确定参考序列,然后比较其他序列的接近程度, 这样才能对其他序列进行比较,进而做出判断. 2.1灰色关联主要基本概念 X为表征系统特征行为的量,其在序号k上的观测数据为定义1[1]:设
4.1 Grey Relational Analysis First,select a reference sequence as shown below : (){}()()()()00000|1,2,1,x 2,x x x k k n x n === And the other group of sequence is, (){}()()()()|1,2,1,2,,1,2,i i i i i x x k k n x x x n i m ==== Then the correlation degree of i x to 0x is, ()1 1n i i k r k n ξ==∑ In which, ()()()()() ()()()() 0000min min max max max max s s s t s t i s s s t x t x t x t x t k x t x t x t x t ρξρ-+-= -+- Then, we use i r to describe the correlation degree between i x and 0x ,namely to describe the influence on 0x caused by the change of i x . In general,Practical problems often have different numbers of different dimension,but when we calculate the correlation degree, it requires the same numbers of same dimension.So we want to carry out a variety of data processing dimensionless.in addition ,For comparison easily, all the sequseces are required to have a common point.In order to solve these two problems, we transform the given sequences.The given sequence ()()()() 1,x 2,,x ,x x n = we name ()()()()()()231,,,,111x x x n x x x x ??= ? ??? as initialization sequence of Original sequence ()()()() 1,x 2,,x x x n = 4.2 Water resources carrying capacity evaluation indexes and classification indexes The establishment of evaluation index system of water resources carrying capacity is a key issue in the study of water resources carrying capacity. Regional water resources carrying capacity is influenced by many factors, Should be selected according to the requirements of the specific regional social development backlog of social - economic index system response - natural
1.预备知识 1.1.数理统计相关概念 12{,,...,}n X x x x = 12{,,...,}n Y y y y = 11()n k k E X x n ==∑ 2 11()(())n k k D X x E X n ==-∑ 11(,){[(X)][()]}[()][()]n k k k Cov X Y E X E Y E Y x E X y E Y n ==--=-?-∑ ()(,) D X Cov X X = （协方差解释：如果有X ，Y 两个变量，每个时刻的“X 值与其均值之差”乘以“Y 值与其均值之差”得到一个乘积，再对这每时刻的乘积求和并求出均值） （可能成立的：如果一个矩阵的期望是0，则另一矩阵与该矩阵相乘得到的矩阵期望也为0） 1.2.数据标准化（z-score 标准化） 最常见的标准化方法就是Z 标准化,也叫标准差标准化，这种方法给予原始数据的均值（mean ）和标准差（standard deviation ）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，注意，一般来说z-score 不是归一化，而是标准化，归一化只是标准化的一种。其转化函数为： *()/X X μσ=- 其中μ为所有样本数据的均值，σ为所有样本数据的标准差。z-score 标准化方法适用于属性A 的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。该种标准化方式要求原始数据的分布可以近似为高斯分布，否则效果会变得很糟糕。标准化的公式很简单，步骤如下：求出各变量（指标）的算术平均值（数学期望）x i 和标准差s i ；进行标准化处理：z ij =（x ij －x i ）/s i ，其中：z ij 为标准化后的变量值；x ij 为实际变量值；将逆指标前的正负号对调。标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。 1.3.拉格朗日乘数法求条件极值 作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n 个变量和k 个约束条件的约束优化问题转化为含有（n+k ）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。如何将一个含有n 个变量和k 个约束条件的约束优化问题转化为含有（n+k ）个变量的无约束优化问题？拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立极值条件，对n 个变量分别求偏导对应了n 个方程，然后加上k 个约束条件（对应k 个拉格朗日乘子）一起构成包含了（n+k ）变量的（n+k ）个方程的方程组问题，这样就能根据求方程组的方法对其进行求解。解决的问题模型为约束优化问题： min/max a function f(x,y,z), where x,y,z are not independent and g(x,y,z)=0.
提供众多的预测模型，这使得它们可以应用在多种商业领域中：如超市商品如何摆放可以提高销量； 分析商场营销的打折方案，以制定新的更为有效的方案； 保险公司分析以往的理赔案例，以推出新的保险品种等等，具有很强的商业价值。 超市典型案例 如何摆放超市的商品引导消费者购物从而提高销量，这对大型连锁超市来说是一个现实的营销问题。关联规则模型自它诞生之时为此类问题提供了一种科学的解决方法。该模型利用数据挖掘的技术，在海量数据中依据该模型的独特算法发现数据内在的规律性联系，进而提供具有洞察力的分析解决方案。通过一则超市销售商品的案例，利用“关联规则模型”，来分析商品交易流水数据，以其发现合理的商品摆放规则，来帮助提高销量。 关联规则简介 关联规则的定义 关联规则表示不同数据项目在同一事件中出现的相关性，就是从大量数据中挖掘出关联规则。有关数据挖掘关联规则的具体理论依据这里不做详细讲解，大家可以参看韩家炜的数据挖掘概论。为了更直观的理解关联规则，我们首先来看下面的场景。 一个市场分析人员经常要考虑这样一个问题：哪些商品是频繁被顾客同时购买的？ 顾客1：牛奶+面包+谷类
顾客2：牛奶+面包+糖+鸡蛋 顾客3：牛奶+面包+黄油 顾客4：糖+鸡蛋 以上的情景类似于当年沃尔玛做的市场调查：啤酒+尿片摆放在同一个货架上，销售业绩激增的著名关联规则应用。 市场分析员分析顾客购买商品的场景，顾客购买面包同时也会购买牛奶的购物模式就可用以下的关联规则来描述： 面包 => 牛奶 [ 支持度 =2%, 置信度 =60%] （式 1） 式 1中面包是规则前项（），牛奶是规则后项 ()。实例数（）表示所有购买记录中包含面包的记录的数量。 支持度（）表示购买面包的记录数占所有的购买记录数的百分比。规则支持度（）表示同时购买面包和牛奶的记录数占所有的购买记录数的百分比。 置信度（）表示同时购买面包和牛奶的记录数占购买面包记录数的百分比。 提升（）表示置信度与已知购买牛奶的百分比的比值，提升大于1 的规则才是有意义的。 关联规则式 1的支持度 2% 意味着，所分析的记录中的 2% 购买了面包。置信度 60% 表明，购买面包的顾客中的 60% 也购买了牛奶。如果关联满足最小支持度阈值和最小置信度阈值，就说关联规则是有意义的。这些阈值可以由用户或领域专家设定。就
21.灰色系统关联度分析法 对两个系统或两个因素之间关联性大小的量度，称为关联度。它描述系统发展过程中因素间相对变化的情况，也就是变化大小、方向及速度等指标的相对性。如果两者在系统发展过程中相对变化基本一致，则认为两者关联度大；反之，两者关联度就小。灰色系统理论的关联度分析与数理统计学的相关分析是不同的，两者的区别在于第一，它们的理论基础不同。关联度分析基于灰色系统的灰色过程，而相关分析则基于概率论的随机过程；第二，分析方法不同。关联分析是进行因素间时间序列的比较，而相关分析是因素间数组的比较；第三，数据量要求不同。关联分析不要求数据太多，而相关分析则需有足够的数据量；第四，研究重点不同。关联度分析主要研究动态过程，而相关分析则以静态研究为主。 因此，关联度分析适应性更广，在用于社会经济系统中的应用更有其独到之处。 21.1原理与方法简介 关联度分析一般包括下列计算和步骤：(1) 原始数据变换；(2) 计算关联系数；(3) 求关联度；(3) 排关联序；(4) 列关联矩阵。在应用中是否进行所有步骤，可视具体情况而定。 设有m 个时间序列 亦即 {{{1(0)2(0)m (0)X t X t X t ()},()},,()} (t =1, 2, …, N ) N 为各序列的长度即数据个数，这m 个序列代表m 个因素(变量)。另设定时间序列： {X 0(0)(t )} (t =1, 2, …, N )
该时间序列称为母序列, 而上述m 个时间序列称为子序列。关联度是两个序列关联性大小的度量。根据这一观点，可给关联度一个量化模型，其计算方法与步骤具体叙述如下： 1均值化变换。先分别求出各个序列的平均值，再用平均值去除对应序列中的各个原始数据，所得到新的数据列。 2指标差值处理。在均值化变换后得到的新数据列 中，用第一列的数据分别与其他列数据相减取绝对值 3 计算关联系数 经数据变换的母数列记为{X 0 (t )}，子数列记为{X i (t )}，则在t =k 时母序列{X 0 (k )}与子序列{X i (k )}的关联系数L 0i (k )可由下式计算,式中?0i (k )表示k 时刻两比较序列的绝对差， 即 ?0i (k )=∣x 0 (k )-x i (k )∣ (1 ≤ i ≤ m )； ?max 和?min 分别表示所有比较序列各个时刻绝对差中的最大值与最小值。因为比较序列相交，故一般取?min ＝0；ρ称为分辨系数，其意义是削弱最大绝对差数值太大引起的失真，提高关联系数之间的差异显著性，ρ∈(0, 1)，一般情况下可取0.1~0.5。本文取0.5。 分析结果 不难看出，关联度与下列因素有关： 1) 母序列X 0不同，则关联度不同； 2) 子序列X i 不同，则关联度不同； 3) 参考点0 (或数据变换)不同，关联度不同； 4) 数据序列长度N 不同，关联度不同； 5) 分辨系数ρ不同，关联度不同。 L k k i i 0 0 ( ) ( ) min max max = + + ? ρ? ? ρ?
本技术提供了一种基于大数据挖掘的虚拟身份关联分析算法模型，属于大数据挖掘技术领域。该方法包括获取电子串号信息和物理地址信息；对源数据进行清洗处理、规则过滤；并对处理后的数据进行属性分割、特征提取、指标计算；针对样本类别不平衡问题，调整不同类别训练样本；搭建Logistic Regression算法模型，以计算手机物理地址和电子串号之间关系的匹配度，实现虚拟身份的挖掘分析和关联匹配，本技术可以通过轨迹追查，确定犯罪轨迹，对犯罪嫌疑人实施跟踪和追捕，侦破案件，最终达到对犯罪的有效控制和打击。 技术要求 1.一种基于大数据挖掘的虚拟身份关联分析算法模型，其特征在于，包括以下步骤： S1：电子串号及物理地址数据预处理；分别对无线数据采集终端的电子串号和物理地址 的脏数据进行处理； S2：关联数据筛选及存储；将满足筛选规则的数据存储于数据库中； S3：样本特征构建及提取；对关联数据进行属性分割及结合，构建M个样本特征，并对特征数据进行降维处理，使样本变量维度变为N； S4：类别不平衡问题处理；采用Fisher判别法调整不同类别训练样本； S5：建立及优化电子串号与物理地址关联模型；根据算法建立模型，得出电子串号与物 理地址的匹配度。
2.根据权利要求1所述的基于大数据挖掘的虚拟身份关联分析算法模型，其特征在于，所述步骤S2中筛选规则具体步骤为： S201、将时间差范围内(即|t1-t2|<Δt，其中t1和t2分别表示电子串号和物理地址被采集到的时间)采集到的电子串号和物理地址数据中的无线数据采集终端经纬度字段进行匹配，若经纬度一致，则将此组电子串号和物理地址作为匹配对，并转入步骤S202；若不一致，则舍弃； S202、从预处理后的数据中分别取出匹配对相应的电子串号/物理地址、采集时间、经度和纬度等字段，满足以下条件的匹配对保留作为匹配组并存储：|d1-d2|
1.地梭梭生长量与气候因子的关联分析 下表为1995年3年梭梭逐月生长量（X0）、月平均气温（X1）、月降水量（X2）、月日照（X3）时数和月平均相对湿度（X4）的原始数据，试排出影响梭梭生长的关联序，并找出主要的影响因子。 灰色系统理论提出了灰色关联度的概念，它是提系统中两个因素关联性大小的量度，关联度的大小直接反映系统中的各因素对目标值的影响程度。运用灰色关联分析法进行因素分析的一般步骤为： 第一步：确定分析数列。 确定反映系统行为特征的参考数列和影响系统行为的比较数列。反映系统行为特征的数据序列，称为参考数列。（Y）设参考数列（又称母序列）为Y = {Y （k）| k = 1，2，Λ，n}；影响系统行为的因素组成的数据序列，称比较数列。（X）比较数列（又称子序列）Xi = {Xi（k）| k = 1,2,Λ,n}，i = 1，2，Λ，m。 第二步，变量的无量纲化 由于系统中各因素列中的数据可能因量纲不同，不便于比较或在比较时难以得到正确的结论。因此为了保证结果的可靠性，在进行灰色关联度分析时，一般都要进行数据的无量纲化处理。 第三步，计算关联系数。X 0（k）与x i （k）的关联系数 记，则 ，称为分辨系数。ρ越小，分辨力越大，一般ρ的取值区间为(0,1),具体
取值可视情况而定。当时，分辨力最好，通常取ρ = 。 ξi（k）继比较数列xi的第k个元素与参考数列xo的第k个元素之间的关联系数。 第四步，计算关联度 因为关联系数是比较数列与参考数列在各个时刻（即曲线中的各点）的关联程度值，所以它的数不止一个，而信息过于分散不便于进行整体性比较。因此有必要将各个时刻（即曲线中的各点）的关联系数集中为一个值，即求其平均值，作为比较数列与参考数列间关联程度的数量表示，关联度ri公式如下： 第五步，关联度排序 关联度按大小排序，如果r1 < r2，则参考数列y与比较数列x2更相似。 在算出Xi（k）序列与Y（k）序列的关联系数后，计算各类关联系数的平均值，平均值ri就称为Y（k）与Xi（k）的关联度。 本题解答过程： 第一步：数据处理 X 0（k）= {，，，，13，，18，，，，8，1 } X 1（k）= {，，10，，，，，，22，18，， } X 2（k）= {17，，，，，，，，，，， } X 3（k）= {，，，137，，，，，，84，， } X 4（k）= {81，79，75，75，77，79，83，86，83，82，81，82}
网络购物分析 【摘要】 本题是对网购问题的分析，由于商场旨在追求利益的最大化，因此对商品聚类分析、找出利益最高的组合，为商家呈现出最好的营销方式，是本题主旨。同时由于本题数据繁杂庞多，其结果也与数据有着直观和密切的联系，所以对于数据的处理极其准确程度也显得尤为重要。（本题所给数据皆真实有效）。 对于问题一，求其商品之间的关联程度，即指如果买一副镜框,一般情况下也要买一副镜片，此时可认为镜片和镜框的关联度很高。故解决此问题可以运用聚类的方法和概率论知识相结合的办法，建立相应的模型，找出关联度很高的组合，即为所求的的结果。 对于问题二，利用穷举法以及第一问的模型，便可以找出同时被频繁购买的商品的组合，便可以据此进行第三问的求解，所以第二问是一个承接的作用。 对于问题三，在问题二的基础上得出促销方案。故需知道各种组合的利益，运用最优解法，结合购买的次数最多以及商品的价格较高两个因素，找出各种组合中的利益最大的组合，促销在此基础上进行。例如：在最大利益的组合中，有一利益最小的商品，则可以对此商品进行打折，以此达到薄利多销的营销策略。经过市场调查，可以得到使其利润最大的打折率f(i),，那么f(i)便是我们的促销打折率，以此便可制定促销方案。与此，也可运用其他的策略。 问题一，问题二结果如下表所示： 问题一结果： 组合商品编号数目关联度 V368 6822860.07732872 V368 5293290.076986159 V956 538 413 120 0.005608505 V368 937 829 413 72 0.00003998 问题二结果： 组合商品编号数目 V368 529329 V368 829307 V368 489 682 122 V368 937 829 413 72
灰色关联分析法 根据因素之间发展趋势的相似或相异程度，亦即“灰色关联度”，来衡量因素间关联程度。灰色关联分析法的基本思想是根据序列曲线几何形状的相似程度来判断其联系是否紧密。 根据评价目的确定评价指标体系， 为了评价×××我们选取下列评价指标： 收集评价数据（此步骤一般为题目中原数据，便省略） 将m 个指标的n 组数据序列排成m*n 阶矩阵： '' ' 12''' '''1212''' 1 2(1)(1)(1)(2)(2)(2)(,,,)()() ()n n n n x x x x x x X X X x m x m x m ?? ? ? = ? ? ??? 对指标数据进行无量纲化 为了消除量纲的影响，增强不同量纲的因素之间的可比性，在进行关联度计 算之前，我们首先对各要素的原始数据作...变换。无量纲化后的数据序列形成如下矩阵： 01010101(1)(2) (1)(2)(2)(2)(,,,)()()()n n n n x x x x x x X X X x n x n x n ?? ? ?= ? ??? 确定参考数据列 为了比较...【评价目的】，我们选取...作为参考数据列，记作 ''''0000((1),(2),,())T X x x x n = 计算0()()i x k x k -，得到绝对差值矩阵 求两级最小差和两级最大差 01 1min min ()()min(*,*,*,*,*,*)*n m i i k x k x k ==-== 01 1 max max ()()max(*,*,*,*,*,*)*n m i i k x k x k ==-== 求关联系数 由关联系数计算公式0000min min ()()max max ()() ()()()max max ()() i i i k i k i i i i k x k x k x k x k k x k x k x k x k ρζρ-+?-= -+?-，取 0.5ρ＝，分别计算每个比较序列与参考序列对应元素的关联系数，得关联系数如 下：