数据挖掘技术与信息管理
摘要：随着网络、数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。数据挖掘就是从大量的实际应用数据中提取隐含信息和知识，它利用了数据库、人工智能和数理统计等多方面的技术，是一类深层次的数据分析方法。
一、数据挖掘与信息管理
现代信息管理的发展趋势之一是从信息的载体形式管理向内容的知识管理深化。长期以来，图书情报部门工作主要是对信息的载体进行管理，以提供信息的外在特征服务为主。随着大量的信息资源的增多，人们对信息的利用要求已经不止满足一般文献的检索和原件的获取，而且还要对信息内容进行深入的分析，因为仅一般的查询和检索不能帮助用户获得结论性的认识，而且信息资源不能得到充分的利用。
近年来，数据库技术得到了迅速的发展，许多领域都建立大量的数据库，并通过网络形式提供有关的服务。数据库大量的数据中隐藏着许多有价值的信息，是不可多得的知识信息源，而目前的数据库系统一般只限于一些基本的数据查询操作，通过数据库管理系统只能对数据“粗加工”，不能从这些数据中归纳出隐含的带有结论性的知识，使得这些有用知识不为人知，无法利用，实际上是对数据库信息资源的一种浪费。因此，对数据的进一步加工和内容分析显得越来越重要。在这样的背景下，数据仓库、数据挖掘和知识发现等技术应用而生。数据挖掘和知识发现是数据库技术的深层次的应用，它能从大量数据中抽取出具有一定规律的知识，深层次的开发可以进一步提高信息资源的使用价值，充分利用信息资源，提高使用效益。数据挖掘和知识发现为给决策分析带来了新的途径，能更好地解决日益复杂多变的决策环境问题，进一步提高了决策的准确性和可靠性，为科学决策提供了基础。数据挖掘和知识发现是知识管理的需要，信息是巨大的社会财富，知识发现可以更为全面地获取信息并深入地对信息进行分析，认识有关的规律，产生最大限度的升华，不断形成新的知识，从而转化为生产力，提高竟争能力。
数据是信息和知识的源泉。但是,拥有大量的数据与拥有许多有用的信息完全是两回事。过去几年中,从数据库中发现知识这一领域发展的很快。广阔的市场和研究利益促使这一领域的飞速发展。计算机技术和数据收集技术的进步使人们可以从更加广泛的范围和几年前不可想象的速度收集和存储信息。收集数据是为了得到信息,然而大量的数据本身并不意味信息。尽管现代的数据库技术使我们很容易存储大量的数据流,但现在还没有一种成熟的技术帮助我们分析、理解并使数据以可理解的信息表示出来。在过去,我们常用的信息获取方法是由知识工程师把专家经验知识经过分析、筛选、比较、综合、再提取出信息和规则。然而,由于知识工程师所拥有知识的有局限性,所以对于获得信息的可信度就应该打个折扣。目前,传统的知识获取技术面对巨型数据仓库无能为力,数据挖掘技术就应运而生。
数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出,人们希望在对已有的大量数据分析的基础上进行科学研究、商业决策或者企业管理,但是目前所拥有的数据分析工具很难对数据进行深层次的处理,使得人们只能望“数”兴叹。数据挖掘正是为了解决传统分析方法的不足,并针对大规模数据的分析处理而出现的。数据挖掘通过在大量数据的基础上对各种学习算法的训练,得到数据对象间的关系模式,这些模式反映了数据的内在特性,是对数据包含信息的更高层次的抽象。目前,在需要处理大数据量的科研领域中,数据挖掘受到越来越多的关注,同时,在实际问题中,大量成功运用数据挖掘的实例说明了数据挖掘对科学研究具有很大的促进作用。数据挖掘可以帮助人们对大规模数据进行高效的分析处理,以节约时间,将更多的精力投入到更高层的研究中,从而提高科研工作的效率。
二、信息管理
信息管理是人类综合采用技术的、经济的、政策的、法律的和人文的方法和手段对信息流(包括非正规信息流和正规信息流)进行控制，以提高信息利用效率、最大限度地实现信息效用价值为目的的一种活动。
信息是事物的存在状态和运动属性的表现形式。“事物”泛指人类社会、思维活动和自然界一切可能的对象。“存在方式”指事物的内部结构和外部联系。
“运动”泛指一切意义上的变化，包括机械的、物理的、化学的、生物的、思维的和社会的运动。“运动状态”是指事物在时间可空间上变化所展示的特征、态势和规律。
信息一般经由两种方式从信息产生者向信息利用者传递。一种是由信息产生者直接流向信息利用者，称为非正规信息流；另一种是信息在信息系统的控制下流向信息利用者，称为正规信息流。
所谓信息管理，是指对人类社会信息活动的各种相关因素(主要是人，信息，技术和机构）进行科学的计划，组织，控制和协调，以实现信息资源的合理开发与有效利用的过程。它既包括微观上对信息内容的管理——信息的组织，检索，加工，服务等，又包括宏观上对信息机构和信息系统的管理。
通过制定完善的信息管理制度，采用现代化的信息技术，保证信息系统有效运转的工作过程。既有静态管理，又有动态管理，但更重要的是动态管理。它不仅仅要保证信息资料的完整状态，而且还要保证信息系统在“信息输入一信息输出”的循环中正常运行。
信息管理是人类为了收集，处理和利用信息而进行的社会活动。它是科学技术的发展，社会环境的变迁，人类思想的进步所造成的必然结果和必然趋势。(1)信息资源
它是信息生产者、信息、信息技术的有机体。信息管理的根本目的是控制信息流向，实现信息的效用与价值。但是，信息并不都是资源，要使其成为资源并实现其效用和价值，就必须借助“人”的智力和信息技术等手段。因此，“人”是控制信息资源、协调信息活动的主体，是主体要素，而信息的收集、存储、传递、处理和利用等信息活动过程都离不开信息技术的支持。没有信息技术的强有力作用，要实现有效的信息管理是不可能的。由于信息活动本质上是为了生产、传递和利用信息资源，信息资源是信息活动的对象与结果之一。信息生产者、信息、信息技术三个要素形成一个有机整体——信息资源，是构成任何一个信息系统的基本要素，是信息管理的研究对象之一。
(2)信息活动
它是指人类社会围绕信息资源的形成、传递和利用而开展的管理活动与服务活动。信息资源的形成阶段以信息的产生、记录、收集、传递、存储、处理等活
动为特征，目的是形成可以利用的信息资源。信息资源的开发利用阶段以信息资源的传递、检索、分析、选择、吸收、评价、利用等活动为特征，目的是实现信息资源的价值，达到信息管理的目的。单纯地对信息资源进行管理而忽略与信息资源紧密联系的信息活动，信息管理的研究对象是不全面的。
三、知识获取与数据挖掘
一般说来,知识获取意为数据库中知识获取,它代表从低层次数据中提取高层次知识的全过程,包括数据信息的收集,数据原型的确定,相关函数的分析,知识的抽取和数据模式分析。统计学中常指的是无假设证实所进行的数据测量和分析。而数据挖掘则是指从数据中自动地抽取模型。数据挖掘包括许多步骤:从大规模数据库中(或从其他来源)取得数据;选择合适的特征属性;挑选合适的样本策略;剔除数据中不正常的数据并补足不够的部分;用恰当的降维、变换使数据挖掘过程与数据模型相适合或相匹配;辨别所得到的是否是知识则需将得到的结果信息化或可视化,然后与现有的知识相结合比较。这些步骤是从数据到知识的必由之路。每一步骤都可能是成功的关键或失败的开始。在一般的定义中数据挖掘是知识获取的一部分。
数据挖掘的研究领域涉及广泛,主要包括数据库系统,基于知识的系统,人工智能,机器学习,知识获取,统计学,空间数据库和数据可视化等领域。
（1）统计学
统计学在数据样本选择、数据预处理及评价抽取知识的步骤中有非常重要的作用。以往许多统计学的工作是针对数据和假设检验的模型进行评价,很明显也包括了评价数据挖掘的结果。在数据预处理步骤中,统计学提出了估计噪声参数过程中要用的平滑处理的技术,在一定程度上对补足丢失数据有相当的作用。统计学对检测数据分析、聚类和实验数据参数设计上也有用。但统计学研究的焦点是在于处理小规模数据样本采集和小规模数据集处理的问题上。统计学的工作大多是针对技术和模型的理论方面。于是许多工作是着眼于线性模型、递增的高斯噪声模型、参数估计和严格分类参数模型上。只有在进行相近模式区别时才强调寻优。大多数数据库用户并不具备恰当使用统计学知识的能力。实际上是要求有关数据库工程师或数据库系统的管理员运用关于数据选择的模型、相当多的域知
识和数学知识的能力,在现实中是不大可能的。
（2）模式识别
在模式识别工作中,传统上是把注意力集中在符号形式化直接结合实际技术的工作过程中。模式识别主要用于分类技术和数据的聚类技术上。模式识别中的分类和含义分析是对数据挖掘概念形成的开端。多数模式识别的算法和方法对降维、变换和设置都有直接的参考意义。在数据挖掘的步骤中,模式识别比统计学更为重要,因为它强调了计算机算法、更加复杂的数据结构和更多的搜索。典型的数据分类是用一定的分类技术把数据从一个向量空间映射到另外一个向量空间。但这种映射并不总是有意义的。
（3）人工智能
人工智能对于数据挖掘来说原来一直是在符号的层次上处理数据,而对于连续变量注意较少。在机器学习和基于案例的推理中,分类和聚类算法着重于启发式搜索和非参数模型。对于其结果,并不象模式识别和统计学在数学上的精确和要求严格分析。随着计算机学习理论的发展。人工智能把注意力集中在了表达广义分类的模糊边缘上。机器学习主要是对数据挖掘过程中的数据变量选择处理极有帮助,在通过大量搜索表达式和选择变量上有很大作用。另外,机器学习对于发现数据结构,特别是人工智能中的不确定推理技术和基于贝叶斯模型推理是统计学意义上的分布密度估计的强有力的工具。人工智能技术建立了关于特定领域知识和数据的已有知识的相对容易理解和自然的框架。人工智能的其他技术,包括知识获取技术、知识搜索和知识表达在数据挖掘的数据变换、数据选择、数据预处理等步骤中都有作用。
（4）数据库
数据库及其相关技术显然与数据挖掘有直接的关系。数据库是原始数据的处理、储存和操作的基础。随着平行和分布式数据库的使用,对数据录入和检索有更高的要求。数据挖掘中很重要的一个问题是对数据库中数据的在线分析,主要是如何利用多种方法对数据进行实时处理和分析。一般来说,通过相关数据结构的标准化可以克服要求特殊存取数据的困难。在数据挖掘中为了对数据进行特定的统计和计数,则要对各个特征属性进行组合形成新的数据库。其中,对于数据挖掘所得知识支持率的研究是个新领域。为直接从数据库中发现联系规则,已经以
产品的形式出现了依靠分析和分类表达式的新方法。此外,为了对数据库问题的求解和优化,利用新出现的数据库定向技术更加易于寻求数据库中隐含的模式。
四、数据挖掘技术的方法
数据挖掘涉及的学科领域和方法很多,如多种分类法。根据开采任务分,可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据开采对象分,有关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据开采方法分,可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中,可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法,另外还有面向属性的归纳方法。
五、结束语
数据挖掘技术是一个发展十分快的领域, 随着对数据挖掘技术在各领域日益广泛的应用,实现了数据资源共享及技术发展的跨域,从而大大提高了工作效率,并带来巨大的成功。21世纪是信息时代的社会,“信息不仅是资源,更是财富”,要实现经济的腾飞,需依赖高新尖科技的发展,故利用提供的信息,充分进行数据挖掘,则将为数据库的应用开辟了广阔的前景,也为人类的文明开辟了一个崭新的时代。
传统分析与大数据分析的 对比 This manuscript was revised on November 28, 2020
“大数据”是用来表示大量的没有按照传统的相关格式存储在企业数据库中的非结构化数据的总术语。以下是大数据的一般特点。 数据存储量相对于当前企业TB（TERA BYTES）字节的存储限制，定义在PB（PETA BYTES）字节，EXA字节以及更高的容量顺序。 通常它被认为是非结构化数据，并不适合企业已经习惯使用的关系型数据库之下 数据的生成使用的是数据输入非传统的手段，像无线射频识别（RFID），传感器网络等。 数据对时间敏感，且由数据的收集与相关的时区组成。 在过去，专业术语“分析”应用于商业智能（BI）世界来提供工具和智能，通过对各种各样可能的信息视角的快速的、一致的、交互式访问获得洞察力。 与分析的概念非常接近，数据挖掘已经应用于企业以保持关键监测和海量信息的分析。最大的挑战就是如何通过大量的数据挖掘出所有的隐藏信息。 传统数据仓库（DW）分析相对于大数据分析 企业数据的分析朝着在一段时间内在那种内容中的信息的有意义的洞察，是大数据分析区别于传统数据仓库分析的原因所在。下表总结了一些它们之间的差别。 大数据分析用例 基于用例，企业可以理解大数据分析的价值和在大数据分析的帮助下如何解决传统的问题。以下是一些用法。 客户满意度和保证分析：也许这是基于产品的企业所担心的最大的一个领域。在当今时代，没有一个清晰的方式来衡量产品的问题和与客户满意度相关的问题，除非他们以一个正式的方式出现在一个电子表格中。
信息质量方面，它是通过各种外部渠道收集的，而且大多数时候的数据没有清洗 因为数据是非结构化数据，无法关联相关的问题，所以长期的解决方案提供给客户 分类和分组的问题陈述都缺失了，导致企业不能对问题进行分组 从上面的讨论中，对客户满意度和保证分析使用大数据分析将帮助企业在急需的客户注意力设置中获得洞察力，并有效地解决他们的问题以及在他们的新产品线上避免这些问题。 竞争对手的市场渗透率分析：在今天高度竞争的经济环境下，我们需要通过一种实时分析对竞争者强大的区域和他们的痛点进行衡量。这种信息是可适用于各种各样的网站、社交媒体网站和其他公共领域。对这种数据的大数据分析可以向企业提供关于他们产品线的优势、劣势、机遇、威胁等非常需要的信息。 医疗保健/流行病的研究和控制：流行病和像流感这样的季节性疾病在人群中以一定的模式开始，如果没有及早发现和控制，它们就会传播到更大的区域。这对发展中以及发达的国家都是一个最大的挑战。当前绝大部分时间的问题是人们之间的症状各异，而且不同的医护人员治疗他们的方法也不同。人群中也没有一种常见的症状分类。在这种典型的非结构化数据上采用大数据分析将有助于地方ZF有效地应对疫情的情况。 产品功能和用法分析：大多数产品企业，尤其是消费品，不断在他们的产品线上增加许多功能，但有可能一些功能不会真正地被顾客所使用，而有些功能则更多地被使用，对这种通过各种移动设备和其它基于无线射频识别（RFID）输入捕捉到的数据的有效分析，可以为产品企业提供有价值的洞察力。 未来方向的分析：研究小组分析在各种业务中的趋势，而这种信息通过行业特定门户网站甚至常见的博客可以获得。对这种未来数据的不断分析将有助于企业期待未来，并将这些期待带入他们的生产线。 总结 大数据分析为企业和ZF分析非结构化的数据提供了新的途径，这些非结构化数据到目前为止在典型的企业数据仓库的情景中被数据清洗的惯例所拒绝。然而从以上用例明显看出，这些分析在改善企业的运营方面有很长的路要走。我们在未来的日子里将会看到更多的产品和应用系统在这个市场上出现。
2013年商业智能BI与大数据行业分析报告 2013年8月
目录 一、行业：BI是为客户真正创造价值的大数据核心应用 (4) 1、大数据时代来临，迎接她，拥抱她 (4) （1）数据爆发性增长，潜在价值巨大 (4) （2）IT巨头重金投入大数据，抢位关键环节 (6) 2、BI是贴近客户并且为客户创造价值的大数据核心应用 (7) （1）BI处于大数据分析应用层的核心位置 (7) （2）BI体系架构：辅助决策，帮助客户拓展业务 (7) （3）BI贴近客户并为客户创造价值，最具含金量 (8) 3、BI应用快速推广，未来消费智能百倍增长空间 (9) （1）BI成为全球CIO首选技术，我国BI市场提速发展 (9) （2）从商业智能到消费智能，前景广阔 (10) ①BI发展趋势一：从O/B域向M域延伸 (10) ②BI发展趋势二：企业全员BI (11) ③BI发展趋势三：消费智能 (11) 二、标杆分析：东方国信 (12) 1、BI龙头，有能力发展成全产业链解决方案提供商 (12) （1）国内BI格局 (12) （2）公司深耕BI领域，具备成为全产业链解决方案提供商的能力 (14) 2、战术措施：纵向产业链延伸，横向行业拓展 (17) （1）纵向延伸，向上管理咨询，向下业务运营 (17) （2）横向拓展，重点突破金融、制造、能源等领域 (20) 3、业务：电信领域稳健成长，非电信领域倍增空间 (21) （1）电信领域：从O/B域向M域扩展，从联通向移动电信渗透 (21) ①从O/B域向M域扩展将提升BI业务的体量和效果 (21) ②基于联通的成功，大力拓展移动电信业务 (22) （2）非电信领域：并购进入金融和制造业BI领域，能源空间广阔 (23) ①金融行业是BI的下一个主战场 (23)
电信运营商基于大数据的商业 智能应用的思考
孙少陵 中国移动通信有限公司研究院 2012年11月
1
目录
3 1 2 3
电信运营商商业智能面临的挑战 基于大数据的商业智能系统的初步构想 “大云”在大数据商业智能领域的实践
2
全球数据量高速增长，信息成为运营商战略资产
?信息社会的信息增量在高速发展 ?随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在 高速增长 ?Jim Gray的新摩尔定理认为，每18个月全球新增的信息量是计算机有史以来全部信息 量的总和。据IDC研究报告，未来10年全球数据量将以40+%的速度增长，2020年全球数 据量将达到35ZB（35,000,000PB），为2009年（0.8ZB）的44倍 ?信息成为企业战略资产，市场竞争和政策管制要求越来越多的数据被长期保存 ?企业越来越需要长期保存各类数据，以进行用户行为分析、市场研究，信息服务企业 更是需要积累越来越多的信息资源 ?为了遵从萨巴斯、上网日志审计等管制要求，企业需要长期保存越来越多的生产数据
3
基于大数据的商业智能（BI）为运营商带来新的机遇
在网络时代，运营商是数据交换中心，运营商的网络管道、业务平台、 支撑系统中每天都在产生大量有价值的数据，基于这些数据的商业智能 应用为运营商带来巨大的机遇
改善用户体验 优化网络质量 助力市场决策 刺激业务创新
? 分析用户行为，改进产品设计 ? 通过用户偏好分析，及时、准确进行业务推荐和客户关怀
? 分析流量、流向变化，调整资源配置 ? 分析网络日志，进行网络优化和故障定位
? 通过业务、资源、财务等各类数据的综合分析，快速准确确 定公司管理和市场竞争策略
? 在确保用户隐私不被侵犯的前提下，对数据进行深度加工， 对外提供信息服务，提升企业价值
4
《商务智能与数据挖掘》简答题部分答案 --《商务智能与方法应用》（刘红岩编著) P9 ●1、什么是商务智能？ 答： 商务智能指用现代数据仓库技术、联机分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 ●4、商务智能系统的主要组成要素有哪些？ 答： 一个商务智能系统通常包含6个主要组成部分：数据源、数据仓库、在线分析处理、数据探查、数据挖掘以及业务绩效管理。 P15 ●2、商务智能系统成功的关键因素有哪些？ 答： 商务智能系统成功的关键因素主要有5个：业务驱动、高层支持、业务人员和IT人员的合作、循序渐进、培训。 ●4、OLTP和OLAP分别代表什么?比较二者之间的不同之处。 答： 在线事务处理(OLTP),是数据库管理系统的主要功能，用于完成企业内部各个部门的日常业务操作。 在线分析处理（OLAP）是数据库系统的主要应用，提供数据的多维分析以支持决策过程。 OLTP和OLAP二者的不同之处有：面向的用户；功能的作用；数据库中存储的数据；数据库设计（包括数据库的数据处理方式、使用方式、执行单元、性能指标、事务特性）。 P103 ●3、构建数据仓库系统的主要阶段？ 答：
数据库项目的开发可以分为6个阶段：项目规划、需求分析、概念设计、ETL 设计、逻辑和物理设计、实现与培训。 1.项目规划阶段主要目的是了解总体需求，界定项目实施的范围，评估项目的必要行和可行性，撰写数据仓库项目的规划文档。 2.需求分析阶段，可进一步详细了解需求，确定分析主题以及相关的维度和度量，了解已有信息系统的功能、结构和模型，确定数据仓库中应该包含的数据，以及相关的数据来源，撰写需求分析说明书。 3.概念设计阶段，可利用概念模型描述数据仓库包含的主要及其关系。 4.ETL设计阶段，包括数据抽取、转换和加载设计三部分。 5.逻辑和物理设计阶段，用于设计数据仓库的逻辑模型和物理模型。 6.实现与培训阶段，包括数据仓库系统的实现和用户使用的培训。 ●4、简要说明数据仓库和数据集市的区别和联系。 答： （1)区别： 1.应用范围上，数据仓库一般为企业级；数据集市一般为部门级。 2.存储内容上，数据仓库包含企业经营过程中所有详细数据；数据集市一般 只包含特定范围的详细数据和适度聚合的数据。 3.优化上，数据仓库侧重于处理和探索海量数据，数据集市则侧重于快速的 访问和分析。 (2)联系：数据集市是数据仓库的一种特殊形式，一般情况下数据集市从属于某个数据仓库，但二者又均以资料导向型设计、不属于任何一个OLTP系统 P110 ●1、OLAP有哪些特点？
数据仓库与数据挖掘论文题目BI技术应用现状及相应软件工具介绍评语： 学院计算机工程学院班级计算1314 姓名 __苏帅豪___ 学号 201321121109 成绩指导老师曾勇进 2016年 6 月 12 日
BI技术应用现状及相应软件工具介绍 [摘要] 商业智能是从大量的数据和信息中发掘有用的知识，并用于决策以增加商业利润，是一个从数据到信息到知识的处理过程。本文从当前商业智能实际出发，清晰阐述了商业智能的概念，总结和分析了商业智能发展的现状,并对商业智能今后的发展做出了展望。与此同时,客观分析了目前我国商业智能发展的状况,介绍了BI工具的情况。使我们能够认清形势,更好地发展。 [关键词] 商业智能、cognos、数据仓库、查询与报表 [正文] 1.商业智能概念： 提到“商业智能”这个词，网上普遍认为是Gartner机构在1996年第一次提出来的，但事实上IBM的研究员Hans Peter Luhn早在1958年就用到了这一概念。他将“智能”定义为“对事物相互关系的一种理解能力，并依靠这种能力去指导决策，以达到预期的目标。” 在1989年，Howard Dresner将商业智能描述为“使用基于事实的决策支持系统，来改善业务决策的一套理论与方法。”商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。为了将数据转化为知识，需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。 可以认为，商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的各级决策者获得知识或洞察力，促使他们做出对企业更有利的决策。商业智能一般由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的实现涉及到软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分析处理和数据挖掘三个部分。因此，把商业智能看成是一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取、转换和装载，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、联机分析处理工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供支持。
2016年出版
正文目录 1、BI行业增长强劲，下游需求突出，竞争壁垒有抬升趋势 (4) 1.1、商业智能（BI）认可度持续提高，市场规模不断扩大 (4) 1.2、BI 产业链结构分析 (6) 1.2.1、BI 上游 (6) 1.2.2、BI 下游 (6) （1）、电信行业：大数据潜在金矿、亟待规模开发 (8) （2）、金融行业：效率与安全双轮驱动大数据应用深化 (8) （3）、电子政务：政务信息化政策利好大数据整体解决方案商用 (9) （4）、电力行业：生产信息决策与节能减排双重利好于大数据 (10) 1.3、BI 与大数据的联系与区别 (10) 2、大数据：逐步走向成熟，市场进入爆发成长期 (11) 2、从BI 到大数据4.0的演变历程 (12) 2.1、大数据核心技术不断演进，年增50% (12) 2.1.1、大数据的史前时代 (16) 2.1.2、大数据1.0 效率为先(2012-2015)：非结构化数据处理加速 (17) 2.1.3、大数据2.0 变现为王(2015-2020)：用户画像与标签 (18) 2.1.4、大数据3.0 与4.0 决策为本(2020-2030)：机器学习与洞察 (19) 2.2、大数据产业步入快速增长、国内相关企业产业布局呈哑铃型 (20) 2.2.1、从概念热炒到实际应用，大数据步入快速成长期 (20) 2.2.2、大数据产业链分工明晰，发展侧重数据采集及应用、呈现哑铃型 (21) 2.3、大数据助力产业升级创新 (22) 3、大数据主要应用分析 (23) 3.1、电信行业大数据应用 (23) 3.1.1、电信大数据爆发式增长，但运营商进入存量经营时代 (23) 3.1.2、电信运营商大数据变现具备基础 (24) 3.1.3、利用大数据，聚焦服务、创新、运行支撑 (25) 3.1.4、海外成功先例，值得借鉴 (26) （1）、全球电信运营商大数据实践 (26) （2）、法国电信：利用大数据开拓新服务领域 (28) （3）、西班牙电信大数据应用 (29) 3.2、金融行业大数据应用 (29) 3.2.1、强调大数据环境下的客户、市场、运营洞察 (29) 3.2.2、工商银行：利用大数据洞察客户心声 (31) 3.3、互联网大数据应用分析 (32) 3.3.1、大数据先行者，促进营销、信息与业务多重变革 (32) 3.3.2、BAT：领军大数据变革时代 (33) 3.3.3、亚马逊：用户行为数据分析助推个性化营销 (36) 3.4、工业大数据应用 (37) 3.4.1、借力大数据，实现设备、系统、决策智能化 (37) 3.4.2、工业大数据：中国制造2025 核心技术 (37) 3.4.3、汽车行业：“变形金刚”改变行业战斗方式 (38) 3.5、航空业大数据应用分析 (39)
2010 年第4 期福建教育学院学报 随着网络技术的迅速发展和数据库技术的成熟， 电子商务显示出巨大的市场价值和发展潜力。当企业 采用电子商务时，迫切需要把企业信息系统产生的大 量数据转换为有用的数据，为企业创造更大的财富。 数据仓库和数据挖掘技术，可以使企业把数据转化为 有用的信息并帮助决策，从而是企业在激烈的市场竞 争中处于优势地位。 一、数据仓库与数据挖掘 1. 数据仓库 数据仓库是面向主题的（subject-oriented）、集成 的（integrated）、非违约的（non-volatile）且时变的（time-variant）用于管理和决策制定的数据集。由此可见，数据仓库是一种分析型数据库，基于标准企业模 型集成的、带有时间属性的、面向主题的数据集合，与传统支持查询为主的事务性操作数据库有着本质区 别，具备以下四个特征： （1）面向主题 主题是一个抽象的概念。基于主题组织的数据， 根据领域的逻辑内涵，分为独立的领域，互不交叉，并形成相应的数据视图，汇总表等，因此适于联机分析 处理（OLAP）。 （2）集成化 当数据从面向应用提取到数据仓库时，由于命名 冲突、数据结构转换等的冲突，需要对原有数据进行 抽取、清理、加工，形成一致的命名、变量度量、编码结构、物理属性等。 （3）非违约性 由于数据仓库中的数据是历史数据，当数据集成 到数据仓库后，不需要更改。仅限于装数据和访问数据；并不存在数据恢复，数据同步，修复死锁等复杂问题。（4）时变性 出于决策的需要，数据仓库中的数据需要标明时 间参数，并随时间不断变化，即随着时间变化，不断有新的数据内容添加；不断导出和删除没用的数据内 容；不断地重新综合数据。 2. 数据挖掘 数据挖掘（Data Mining）就是从大量的、不完全 的、模糊的、有噪声的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和 知识的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。决策者使用它分析历史数据和当 前数据，提取出隐藏的关系和模式，对未来发生的行 为进行预测。
商业智能与商业分析区别 一、商业智能的能够干什么? Reasoning——对于企业的运营和管理，能够解决以下三方面的问题——确定问题的根源，明确问题的原因和影响，以及科学和合理得出相关的结论； Planning ——基于相应的情况和推理，确定一系列的行动计划； Prediction ——基于严格的推理，得到对于未来的各种可能性的预期； Problem solving ——通过相应的问题特点，提供解决根本问题的方法和措施；Abstraction ——通过具体的明细数据和场景，能够生成一般性的概念，模式，观点和结论等等； Comprehend and understand ——能够感知，辨别和确认相应的问题——特别是，对于现状和问题条件的感知，以及从表面确定本质问题等； Innovate ——通过测试和学习能够获取相应新的发现； Learn ——对于技能和知识的认知过程，其是一个无限循环的过程； 二、相对于商业智能，商业分析又能够干什么？ Purposeful——当我们收集相关的信息，进行相关的分析活动时，商业分析是具有绝对的目的性的：例如，商业运营的财务，市场，销售等分析评估，以及员工绩效，风险等等商业管理方面的分析；
Insightful——在我们发现问题的根本原因，以及相应的结论时，商业分析能够提供有见地的说明； Actionable——商业分析的目标是提供可执行的行动方案和规划； 三、商业分析的基本原则 First Define the Problem and Then the Solution——首先明确问题，然后是提出解决方案；Users have the information，Do Not Have Requirements——商业分析需要通过原始的信息中归纳出相应的商业需求； Improve the Process First, Then Add Technology——首先“先下”流程解决，然后“线上”流程规范； The Business Analyst Owns the Solution Requirements——商业分析师是商业需求，以及商业分析报告的第一责任人（而非股东，以及商业问题的利益攸关方）； Communicate, Cooperate, Collaborate——交流，沟通，协作； 【编辑推荐】 大数据，小数据，哪道才是你的菜 大数据分析师“钱途”无量 大数据时代统计学依然是数据分析灵魂 IT系统分析师如何学习大数据 大数据的进击：从占领IT部门到争取业务人员的芳心
第一章绪论 什么是数据挖掘，什么是商业智能 从大型数据库中提取有趣的（非平凡的、蕴涵的、先前未知的且是潜在有用的）信息或模式。 商业智能是要在必须的时间段内，把正确有用的信息传递给适当的决策者，以便为有效决策提供信息支持。 分类算法的评价标准 召回率recall =系统检索到的相关文件数/相关文件总数 准确率precision（查准率）= 系统检索到的相关文件数/系统返回的文件总数第二章数据仓库 什么是数据仓库 是运用新信息科技所提供的大量数据存储、分析能力，将以往无法深入整理分析的客户数据建立成为一个强大的顾客关系管理系统，以协助企业制定精准的运营决策。 数据仓库的基本特征 1面向主题2整合性 3长期性 4稳定性 第三章数据挖掘简介 数据挖掘的一般功能 1分类2估计3 预测4关联分类5聚类 数据挖掘的完整步骤 1理解数据与数据所代表的含义 2获取相关知识与技术 3整合与检查数据 4取出错误或不一致的数据 5建模与假设 6数据挖掘运行 7测试与验证所挖掘的数据 8解释与使用数据 数据挖掘建模的标准 CRISP-CM 跨行业数据挖掘的标准化过程 第四章数据挖掘中的主要方法 基于SQL Server 2005 SSAS的十种数据挖掘算法是什么 1.决策树 2.聚类 3.Bayes分类 4.有序规则 5. 关联规则 6.神经网络 7.线性回归 8. Logistic回归 9. 时间序列10. 文本挖掘 第五章数据挖掘与相关领域的关系 数据挖掘与机器学习、统计分析之间的区别与联系（再看看书整理下） 32页 处理大量实际数据更具优势，并且使用数据挖掘工具无需具备专业的统计学背景。 数据分析的需求和趋势已经被许多大型数据库所实现，并且可以进行企业级别的数据挖掘应用。 相对于重视理论和方法的统计学而言，数据挖掘更强调应用，毕竟数据挖掘目的
BI Business Intelligence 商业智能 AI Artificial Intelligence 人工智能 NN Network Node 网络结点 OLAP On-Line Analytical Processing 联机分析技术 OLTP 联机事务处理 产品案例① BI.Office是由菲奈特软件公司自行研发的商业智能平台产品，其核心技术是商业智能（Business Intelligence）相关技术，包括数据仓库/ 联机分析处理/ 数据挖掘等技术，以及报表处理、数理统计、AI、NN、经济学、管理学等，在目前国内市场的商业智能技术和产品中，处于领先水平。 BI.Office采用业内先进的Web Service技术架构，实现基于Web的分布式组件应用，保证了平台独立和较强的伸缩能力，同时最大程度地独立于软件厂商，保证了客户投资和系统升级能力。BI.Office实现了多种数据源的无缝集成，支持IBM、Microsoft、Oracle等不同类型的OLAP Server，同时支持对OLAP、OLTP和数据仓库的集成访问。【技术层次】 BI. Office 在研发过程中成功应用了XP、RUP和MSF等软件工程理论，把国外成熟的过程控制理论综合应用到了软件产品的生命周期中。【编程规范有利于软件的升级维护】 BI.OFFICE——基于Web Service架构先进的产品技术框架设计，技术架构基本上分为四层：客户端用户图形界面、Web Service Runtime层、业务逻辑层（远程组件）和数据库访问层【产
品架构】 产品功能特点 1.查询 清晰的查询结果格式预览，分离查询的格式和数据信息； 业界最流行的两种OLAP钻取方式，分别是层叠式和覆盖式； 先进的多维查询操作方式，提供三个轴的灵活定制，包括旋转、分页、切片等； 表格和图形的信息互动，多表多图可同时实现查询钻取功能； 提供自定义指标和自定义维成员等OLAP扩展功能，弥补实施过程的遗漏，同时能支持复杂的工业函数和用户扩展的分析要求；
艾瑞报告：中国商业智能行业研究报告2017（附PDF下载） 区别于能够实现海量数据的管理、简单分析与可视化的传统商业智能，艾瑞的此份商业智能报告将聚焦于人工智能技术如何用于商业智能决策，实现商业经营的智能化与自动化。本报告将通过剖析商业智能行业发展背景、技术动态、多场景应用状况等方面，对人工智能在商业落地的真实现状进行说明，凸显AI技术（不包含语音、视觉等感知智能）在现阶段真实应用的价值。 报告核心观点 1、中国企业精细化运营的需求正在爆发 2、商业智能，帮助企业实现数据驱动认知到数据驱动决策的转变 3、商业智能主要应用于金融、电商、物流、出行等领域 4、中国AI论文成果达到国际一线水平 5、技术方面，商业智能的未来将从强调单一技术，到各学科、分支、算法等融会贯通 6、技术以外，企业、技术供应商对场景的理解是产业升级的关键 7、商业智能的落地是一项系统工程，企业的工程实践能力有待增强 目录 报告摘要1 商业智能概述1.1 商业智能行业概念界定1.2 商业智能与大数据1.3 商业智能发展宏观环境分析1.4 商业智能产业图谱1.5 投融资状况分析2 商业智能核心技术剖析
2.1 机器学习2.2 知识图谱2.3 运筹学3 商业智能典型应用 3.1 广告营销3.2 电商3.3 交通出行3.4 供应链3.5 金融风控3.6 投研分析 3.7 智能投顾3.8 智能客服4 典型公司案例 4.1明略数据 4.2第四范式4.3 杉数科技4.4 百分点4.4 文因互联4.5 ZRobot5 商业智能的未来与挑战 商业智能行业概念界定商业智能的下一步，智能化与自动化商业智能（BI，Business Intelligence）概念的提出可追溯至1958年，通常将其视为把企业中现有数据转化为知识，帮助企业做出明智的业务经营决策的工具。过去的商业智能不能给出决策方案，也不能自动处理企业运行过程中遇到的问题。借助于人工智能与其他相关学科的技术进步，现代商业智能已能在特定场景中实现商业经营的智能化与自动化。因此，本报告聚焦于将人工智能技术用于商业智能决策，试图对人工智能在商业落地的真实现状进行说明，凸显AI技术（不包括智能语音、计算机视觉等感知智能）在现阶段应用的价值。商业智能与大数据大数据为商业智能的发展提供土壤互联网、移动互联网高速发展，海量、高维度且可实时接入更新的数据随之而来，为机器学习等前沿技术在各领域中的探索及落地提供可能，进一步拓展了被服务人群且显著提升服务质量。另一面，产业缺乏通用标准约束，数据在采集及流转过程中污染程度不一，数据加密不规范引致的数据泄露时有发生，数据孤岛亦成为企业业务发展的掣肘（如金融
BI商业智能系统
随着企业各种信息系统的建设和完善，企业所拥有的数据越来越多。决策者面对的问题已经不再是缺少信息，而是如何得到正确的信息以帮助制定决策。典型的公司拥有数十乃至上百个应用，但是却难于从中提取、综合、使用这些系统的数据，继而从数据中提取有用的信息，发掘并提升数据的价值。 商业智能(Business Intelligence，简称BI)提供了提取数据、处理加工、信息访问的技术手段。经过多年发展，其运用范围逐渐由支撑特定业务过程的战术性决策发展到在企业范围内系统化地创造价值。因此，越来越多的企业已将其视为战略性的企业应用。 商业智能通过将分散在企业各系统中的数据进行整合，使得繁琐的信息获取过程变得简便易行。任何用户都能够容易的运用这些技术进行决策，业务执行、业务管理、企业管理各个层次上的用户都能够使用不同的工具和技术做出明智的决策，全方位
的提高企业的竞争力。 信息技术在企业中的地位正在由业务支撑工具逐步走向中心性地位，在很大程度上影响着企业如何开展业务和创造新的价值。企业要求IT系统不仅要能够支撑特定业务的执行，而且还要能够创造出新的价值。 由于IT在业务中逐步走向中心地位，对这些信息的访问也需要扩展到原来创建系统所服务的对象之外。系统之间越来越需要广泛的互相连接，以及扩展连接到客户和合作伙伴的系统。 与此同时，由于系统是业务的载体，所以必须要能够跟随业务变化而变化，成为快速革新的助推器而不是障碍。作为企业的关键资产，IT不仅被期望是一个运行良好的成本中心，而且是企业成长和扩张的贡献力量。 业务对IT要求的多种重要能力： 广泛互联的能力：连接客户、合作伙伴，赋予员工新的能力。通过将内部员工、合作伙伴和客户的数据进行整合，并进行加工和提炼后再提供出来供内部员工、合作伙伴和客户使用，商业智能系统提升了三者业务上互相联接的能力 适应变化的能力：随着业务的发展而变化，促进而非阻碍业务发展。 创造价值的能力：在业务的各个不同层面上创造价值。商业智能系统为企业各个不同层面的人提供合适的工具和信息，使得获取准确信息和做出明智决策的能力不仅仅局限于决策层，而是
EXCEL基于大数据的商业智能分析 课程背景: “大数据”的概念出现至今已经超过十年了，然而，大部人还是不知道“大数据”为何物，企业内相关员工由于缺乏大数据分析的技能，还在使用原始低效的统计和分析方法。不是因为大数据离我们太远，而是因为你没有找对分析方法！ 如果你是一家生产型企业，如何根据市场调查结果调整产品特性？ 如果你是一家销售型企业，如何根据产品销售记录发现提高销售额的方法？ 如果你是一家服务型企业，如何根据客户资料区分出高价值的客户？ 如何利用Excel这一常见工具完成颇具挑战的大数据统计分析工作；通过科学分析与精准预测，为企业提供更优秀的决策建议；从茫茫如海的商业数据中挖掘出价值十足的商业信息？此课程为你揭晓答案。 课程收益： 本课程从大数据的宏观知识背景开始，探讨如何将数据分析的技能应用于企业日常的管理运营当中。通过你最熟悉的EXCEL及其他工具，不需要高深的统计学理论，也不需要专业的统计分析软件，以解决实际问题为根本，详细介绍依托EXCEL进行大数据分析的原理、方法和实践。 学习本课程您将可以掌握以下内容： 1．了解大数据的概念，大数据包含哪些技术框架和工具 2．大数据分析如何跟企业的管理工作相结合 3．用数据分析解决问题的基本思路 4．数据分析的工具与数据分析实战 课程对象： 1．常年纠缠于成千上万行数据，嫌EXCEL慢的人 2．经常要从不同系统导出数据，并整理到眼花瞭乱的人 3．经常被领导要求的报表折磨到“吐血”的人 4．想点一点就自动生成可视化报表的超级“懒人” 课程模型：
课程时间：2天，6小时/天 课程软件： 1．Microsoft EXCEL 2013/2016 2．Microsoft POWER BI 课程大纲第一讲：揭开大数据的面纱 1．大数据到底“大”在哪? 2．大数据的全景视图 3．大数据时代，悄然改变着我们的生活 4．最热门的大数据工具有哪些 5．微软商业智能与数据分析 6．Power BI 是什么？ 7．Any data, Any where, Any time 第二讲：让数据获取更快捷 1．理解数据的“颗粒度” 2．神奇的ETL是什么 3．从各种文件中获取动态数据 4．从网页抓取动态数据 5．从数据库中获取海量数据
1商务智能 1.1数据仓库 1.1.1数据仓库的4大特点（特征）？ 面向主题的，集成的，相对稳定的，反映历史变化的。 1.1.2数据仓库的四个层次体系结构？ 1.数据源 是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信 息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信 息包括各类法律法规、市场信息和竞争对手的信息等等； 2.数据的存储与管理 是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库 的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形 式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术 特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照 主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数 据仓库（通常称为数据集市） 3.OLAP服务器 对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次 的分析，并发现趋势。其具体实现可以分为：ROLAP（关系型在线分析处理）、MOLAP （多维在线分析处理）和HOLAP（混合型线上分析处理）。ROLAP基本数据和聚合 数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中； HOLAP 基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。 4.前端工具 主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各 种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP 服 务器，报表工具、数据挖掘工具主要针对数据仓库。 1.1.3描述一下联机分析处理OLAP？（维的概念，基本多维 操作，层次结构，与OLTP的区别） OLAP（联机分析处理On-Line Analytical Processing）也叫多维DBMS。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直
传统分析与大数据分 析的对比
“大数据”是用来表示大量的没有按照传统的相关格式存储在企业数据库中的非结构化数据的总术语。以下是大数据的一般特点。 数据存储量相对于当前企业TB（TERA BYTES）字节的存储限制，定义在PB （PETA BYTES）字节，EXA字节以及更高的容量顺序。 通常它被认为是非结构化数据，并不适合企业已经习惯使用的关系型数据库之下 数据的生成使用的是数据输入非传统的手段，像无线射频识别（RFID），传感器网络等。 数据对时间敏感，且由数据的收集与相关的时区组成。 在过去，专业术语“分析”应用于商业智能（BI）世界来提供工具和智能，通过对各种各样可能的信息视角的快速的、一致的、交互式访问获得洞察力。 与分析的概念非常接近，数据挖掘已经应用于企业以保持关键监测和海量信息的分析。最大的挑战就是如何通过大量的数据挖掘出所有的隐藏信息。 传统数据仓库（DW）分析相对于大数据分析 企业数据的分析朝着在一段时间内在那种内容中的信息的有意义的洞察，是大数据分析区别于传统数据仓库分析的原因所在。下表总结了一些它们之间的差别。 大数据分析用例 基于用例，企业可以理解大数据分析的价值和在大数据分析的帮助下如何解决传统的问题。以下是一些用法。
客户满意度和保证分析：也许这是基于产品的企业所担心的最大的一个领域。在当今时代，没有一个清晰的方式来衡量产品的问题和与客户满意度相关的问题，除非他们以一个正式的方式出现在一个电子表格中。 信息质量方面，它是通过各种外部渠道收集的，而且大多数时候的数据没有清洗 因为数据是非结构化数据，无法关联相关的问题，所以长期的解决方案提供给客户 分类和分组的问题陈述都缺失了，导致企业不能对问题进行分组 从上面的讨论中，对客户满意度和保证分析使用大数据分析将帮助企业在急需的客户注意力设置中获得洞察力，并有效地解决他们的问题以及在他们的新产品线上避免这些问题。 竞争对手的市场渗透率分析：在今天高度竞争的经济环境下，我们需要通过一种实时分析对竞争者强大的区域和他们的痛点进行衡量。这种信息是可适用于各种各样的网站、社交媒体网站和其他公共领域。对这种数据的大数据分析可以向企业提供关于他们产品线的优势、劣势、机遇、威胁等非常需要的信息。 医疗保健/流行病的研究和控制：流行病和像流感这样的季节性疾病在人群中以一定的模式开始，如果没有及早发现和控制，它们就会传播到更大的区域。这对发展中以及发达的国家都是一个最大的挑战。当前绝大部分时间的问题是人们之间的症状各异，而且不同的医护人员治疗他们的方法也不同。人群中也没有一种常见的症状分类。在这种典型的非结构化数据上采用大数据分析将有助于地方ZF有效地应对疫情的情况。 产品功能和用法分析：大多数产品企业，尤其是消费品，不断在他们的产品线上增加许多功能，但有可能一些功能不会真正地被顾客所使用，而有些功能则更多地被使用，对这种通过各种移动设备和其它基于无线射频识别（RFID）输入捕捉到的数据的有效分析，可以为产品企业提供有价值的洞察力。 未来方向的分析：研究小组分析在各种业务中的趋势，而这种信息通过行业特定门户网站甚至常见的博客可以获得。对这种未来数据的不断分析将有助于企业期待未来，并将这些期待带入他们的生产线。 总结 大数据分析为企业和ZF分析非结构化的数据提供了新的途径，这些非结构化数据到目前为止在典型的企业数据仓库的情景中被数据清洗的惯例所拒绝。然而从以上用例明显看出，这些分析在改善企业的运营方面有很长的路要走。我们在未来的日子里将会看到更多的产品和应用系统在这个市场上出现。
《商务智能与数据挖掘》课程教学大纲 课程代码：040942702 课程英文名称： Business Intelligence and Data Mining 课程总学时：32 讲课：32 实验：0 上机：0 适用专业：电子商务 大纲编写（修订）时间：2017.6 一、大纲使用说明 （一）课程的地位及教学目标 当前，新型电子商务模式的发展使得信息量不断增长、信息复杂程度不断提高，在电子商务产业链中的各个参与者都提出了大量的商务智能要求，商务智能已经成为电子商务应用的重要组成部分，基于商务智能的关键技术来挖掘企业重要的信息价值已成为电子商务领域研究和应用的热点。 《商务智能与数据挖掘》是为培养适应新型网络经济和新型电子商务模式发展需要的、应用型的、高层次的专业人才服务的一门专业课。通过本课程的学习，将使学生熟悉商务智能领域的主流产品及工具；掌握数据挖掘常用的算法及应用场景；能够应用数据挖掘原理和算法，通过对数据的分析和处理，解决商务智能中的实际问题。 （二）知识、能力及技能方面的基本要求 通过本课程的教学，使学生达到下列基本要求： 1.了解商务智能与数据挖掘研究前沿的最新成果。 2.掌握商务智能与数据挖掘的基本概念和理论。 3.理解商务智能与数据挖掘的相关技术及原理。 4.培养学生解决构造智能商务应用系统、解决商务智能中关键难点问题的能力。 （三）实施说明 1.本课程是一个不断发展、更新和完善的理论体系，按学时情况可适当调节授课内容并进行充实和完善。 2.本课程内容采用理论教学与案例教学相结合的方式，使学生不仅能够掌握商务智能与数据挖掘的基本概念、基础理论和经典算法，而且通过案例应用的讲解帮助学生更好地掌握数据挖掘在商务智能数据分析中的实际应用。 （四）对先修课的要求 电子商务概论、数据库、数据结构 （五）对习题课、实践环节的要求 习题部分是对理论知识的理解和消化，同时也是实践环节的理论指导，因此应注意将二者紧密联系，既提高学生的理论水平，又提高其动手实践能力。 1.对重点、难点章节（如：数据分类及预测、数据聚类等）应布置课后实践作业，以解决实际问题为目的。 2.课后作业要少而精，内容要多样化，作业题内容必须包括基本概念、基本理论及能力提升方面的内容。学生必须独立、按时完成课外习题和作业，作业的完成情况应作为评定课程成绩的一部分。 （六）课程考核方式 1.考核方式：考查 2.考核目标：考核学生对商务智能与数据挖掘基础知识的掌握情况、数据挖掘实际操作能力
BI商业智能与大数据应用的区别 摘要：BI（BusinessIntelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。 关键词：BI 商业智能大数 BI（BusinessIntelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。 伴随着BI的发展，是ETL，数据集成平台等概念的提出。ETL，Extraction Transformation Loading，数据提取、转换和加载，数据集成平台主要功能对各种业务数据进行抽取和相关转化，以此来满足BI、数据仓库对数据格式和内容挖掘的要求。 数据集成平台的基础工作与ETL有很大的相似性，其主要功能是实现不同系统不同格式数据地抽取，并且按照目标需求转化成为相应的格式。数据集成开始是点对点的，慢慢地发现这种模式对于系统之间，不同所有权的企业数据流向以及数据标准控制很难，为此，诞生了对统一企业数据平台的需求，来实现企业级之间的数据交互。 数据集成平台就像网络中Hub，可以连接所有应用系统，实现系
统之间数据的互通有无。数据集成平台以BI、数据仓库需求而产生，现在已经跨越了最初的需求，上升到了一个更高的阶段。 如今大数据应用更多关注非结构化数据，更多谈论互联网，Twitter、Facebook、博客等非结构化数据，如此理解大数据应用，显然就有些走偏了。结构化数据也属于大数据，且呈现出相同的特点和特征，如数据量大，增长越来越快，对数据处理要求高等。 结构化数据是广义大数据中含金量或者价值密度最高的一部分数据，与之相比，非结构化数据含金量高但价值密度低。在Hadoop 平台出现之前，没有人谈论大数据。数据应用主要是结构化数据，多采用IBM、HP等老牌厂商的小型机或服务器设备。 采用传统方法处理这些价值密度低的非结构化数据，被认为是不值得的，因为其产出实在是有限。Hadoop平台出现之后，提供了一种开放的、廉价的、基于普通商业硬件的平台，其核心是分布式大规模并行处理，从而为非结构化数据处理创造条件。 大数据应用的数据来源应该包括结构化数据，如各种数据库、各种结构化文件、消息队列和应用系统数据等，其次才是非结构化数据，又可以进一步细分为两部分，一是社交媒体，如Twitter、Facebook、博客等产生的数据，包括用户点击的习惯/特点，发表的评论，评论的特点，网民之间的关系等，这些都构成了大数据来源。另外一部分数据，也是数据量比较大的数据，就是机器设备以及传感器所产生的数据。以电信行业为例，CDR、呼叫记录，这些数据都属于原始传感器数据，主要来自路由器或者基站。此外，手机的置传感器，各种手
《商务智能与数据挖掘》教学大纲 课程编号：070663B 课程类型：□通识教育必修课□通识教育选修课 专业必修课□专业选修课 □学科基础课 总学时：48 讲课学时：32 实验（上机）学时： 16 学分：3 适用对象：信息管理与信息系统专业（卓越班） 先修课程：程序设计基础与应用、计算机网络技术与应用 一、教学目标 本课程主要学习商务智能与数据挖掘的方法和技术。商务智能是近几年的研究热点，数据挖掘是实现商务智能的重要手段。教学的主要目标是使学生掌握当前商务智能中使用的核心技术，培养学生运用数据挖掘算法进行数据处理和分析的能力，让学习理解不同算法的应用场景，从而使学生学会利用数据挖掘算法完成数据分析。因此该课程是先修课程“程序设计基础与应用”、“计算机网络技术与应用”的延续，并可为后续的专业课程打下良好的基础。 二、教学内容及其与毕业要求的对应关系 （一）教学内容 本课程主要教学内容是在学生掌握程序设计基础与应用、计算机网络技术与应用等基本原理后，学习如何分析数据、如何利用数据挖掘算法解决问题。具体包括：商务智能概论、商务智能中的核心技术、商务智能与知识管理、数据挖掘基础、数据挖掘的目的任务、数据挖掘的技术方法等。 （二）教学方法和手段
根据教学目标，拟采用的教学方法有：课堂讲解基本概念和核心知识，讲授和讨论相结合领会知识要点，案例教学训练解决问题的能力，借助数据挖掘软件让学生进行上机操作和具体实践。 （三）实践教学环节要求 根据教学进度和要求布置相应的小作业，通过上机实践。每一章都有对应的上机内容。建议安装和配置软件进行自学，完成案例的内容。通过上机学习本课程的理论，掌握常用数据挖掘算法，能够基于数据挖掘算法进行数据分析工作。 （四）学习要求 为有效学习本课程，要求学生首先学习程序设计基础与应用、计算机网络技术与应用等基本原理。按照大纲熟读教材，并通过课后思考和上机实践进行多角度和多层次的反复学习。 （五）与毕业要求的关系 商务智能和数据挖掘是信息管理与信息系统专业的学生必须掌握的一门基础课程，是信息时代发展的必要产物。在学生的毕业设计中，学生可以使用商务智能和数据挖掘中的算法、技术完成毕业设计中核心智能模块的设计和实现。 （六）教学中应注意的问题 由于程序设计基础与应用、计算机网络技术与应用等是该课程的先修基础，如果学生先修基础课没有学好，本课程的实验环节将无法正常进行。因此，教学中需要根据学生掌握先修课程基础情况，由易到难循序渐进学习编程及数据分析相关工具和技术。 三、各教学环节学时分配 教学课时分配