2013．5
一、问题的提出
大数据（ｂｉｇｄａｔａ）泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。这里的“大”有两方面含义。一是数据量巨大。指在科学技术、计算机仿真、互联网应用、电子商务等诸多应用领域产生的海量数据集。二是以数据为“大”的价值论。即大数据之
“大”更多地反映在其重要性上，而不完全指数量上的庞大。因为可以从这些数据中挖掘出有价值的信息，目前大数据被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端，将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者拟结合多年基层工作经历进行初步探讨，意在抛砖引玉，以期更多的同仁共同关注、思考大数据时代对统计工作带来的变化和影响。
二、大数据时代的来临及意义
有资料显示，１９９８年全球网民平均每月使用流量是１ＭＢ，２００８年是１ＧＢ，２０１４年将是１０ＧＢ。全网流量累计达到１ＥＢ的时间在２００１年是一年，在２００４年是一个月，在２００７年是一周，而２０１３年仅需一天，即一天产生的信息量可刻满１．８８亿张ＤＶＤ光盘。淘宝网站单日数据产生量超过５０ＴＢ，存储量４０ＰＢ。百度公司每天要处理６０亿次搜索请求，几十ＰＢ数据。一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十ＰＢ。数据的规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。根据中国互联网络信息中心统计，２０１２年底我国网民数为５．６４亿，手机网民为４．２亿。这些网民每天在网上将产生海量的数据，这些数据记载着他们的思想、行为乃至情感，蕴含着丰富的内涵和很多规律性信息，通过分析相关数据，可以了解大众需求、诉求和意见，
反映舆情民意。大数据的重要价值还在于对其有效的开发和使
用能对社会的发展起到巨大的推动作用。企业和政府的信息系统每天源源不断产生大量数据。根据全球第四大独立软件公司，美国赛门铁克公司的调研报告，全球企业的信息存储总量已达２．２ＺＢ，年增６７％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，
收集环境和社会管理所需的信息。２０１１年，英国《自然》杂志曾出版专刊指出，倘若能够有效地组织和使用大数据，人类将得到更多的机会发挥科学技术
对社会发展的巨大推动作用。
（备注：1024B=1KB 1024KB=1MB 1024MB=1GB 1024GB=1TB 1024TB=1PB 1024PB=1EB 1024EB=1ZB
1024ZB=1YB 1024YB=1BB ）
三、大数据时代统计工作面临的挑战
可以预见，大数据时代的到来，对统计调查部门生产出更高质量的统计产品提供了难得的机遇和更大的可能性，但与此同时，带来更多的则是挑战。这种挑战集中体现在随着大数据时代的到来，统计调查部门应该能够使用更少的投入生产出时效性更强、质量更高的产品。社会各界对统计调查部门新的服务需求和更高的工作要求也将随之形成。基于此，笔者认为在大数据背景下，统计调查工作正面临六大挑战。
一是统计工作方式的挑战。在大数据科技大浪潮的背景下，数字化的行政商业记录、网络在线文本、流媒体数据大大拓宽了统计机构收集数据信息的渠道，统计调查部门的业务工作方式也势必发生改变。在数据收集方面，
会更多的需要从互联网、物联网的数据中进行挖掘收集。如物联网的发展将使工业生产、运输物流、最终消费、服务等各种交易生成直接可用的数据。又如，现行的居民家庭日记帐是通过统一的报表和计量方式将调查对象的收入消费行为转化为可用的数据，在大数据时代将有可能实现通过对超市商场收银系统、ＥＴＣ电子收费系统、ＧＰＳ定位测量、银行转账、微信等数据进行挖掘从而收集到需要的数据，不再需要调查对象长期认真的配合。这种数据收集方式可以有效避免人为误差，篡改数据的可能性越来越小，数据质量将更有保
大数据时代统计调查工作的挑战与思考
季晓晶
摘要：大数据(bi g d ata )泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。因其数据量巨大又可以从中挖掘出有价值的信息，
目前被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端,将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？
统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者结合多年基层工作经历进行了初步探讨。
关键词：大数据；统计调查工作；思考
问题研究
１７
2013．5证。从数据的处理分析利用方面看，目前统计工作主要针对结构化的数据进行分析处理，而大数据类型繁多，如网络日志、视频、图片、地理位置信息等，多以非结构化和半结构化为主，无法用传统的方式度量和处理，必须在现有的结构化数据汇总挖掘方式下，建立非结构化的数据分析利用方法。二是统计方法制度的挑战。近年来统计方法制度伴随着ＩＴ技术和经济生产方式的转变，进行了一系列变革。大数据时代的来临及其应用将意味着统计工作进入到一个新的维度，统计调查部门将不再是唯一的数据生产部门，必须要接受数据生产社会化的现实，这对现行的方法制度的冲击是巨大的。目前ＩＢＭ日本公司从互联网新闻中搜索影响制造业的４８０项经济数据，计算出了采购经理人指数的预测值。美国印第安纳大学利用心情分析工具，从千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到８７％。从国内看，目前阿里研究中心推出的ＩＳＰＩ大有冲击ＣＰＩ之势。随着大数据挖掘技术的深入加之各类信息咨询业的崛起，传统统计的内容、对象、渠道将会发生很多变化，目前的统计体系和方法制度将不能适应新时代的要求。三是统计数据质量的挑战。过去，由于人类的认知能力有限，受数据获取技术的制约，想要获取大范围的情况比较困难，只能感知身边的个体数据乃至群体数据。而大数据和云计算以及数据挖掘技术的日益成熟，数据将实现全社会共享，人们对数据的需求层次、质量和公开、
细化的程度将不断提高。与时同时，大数据时代还将催生大批民间咨询调查机构，他们的服务领域也将会从商务领域向公共领域渗透。届时官方统计将有可能不再作为公共统计数据信息的唯一渠道。没有代表性，不公开、不详细、失公允的数据就有可能被其他数据替代。四是统计数据安全性的挑战。随着ＩＴ技术与统计工作的深度融合，目前大部分统计原始数据实现了联网直报，各种办公软件均捆绑固定ＩＰ或电脑物理信息，网络在线对话活动十分频繁，数据安全性无疑会受到全面挑战。五是统计发布方式的挑战。在大数据的背景下，数据的获取和分析将全社会共享，而非统计部门一家独享。这就决定了大数据背景下数据发布的意义在于看谁的数据更有价值，更能阐述现实意义。可以大胆预测，微观数据在社会上的作用将不亚于宏观数据的重要性，将会受到更多的关注。因此在发布结果上，宏观的ＧＤＰ、平均收入等将满足不了公众的需求，可能需要通过可视化、交互等方式给予公众提供更为详尽的结构、区域等分析信息。六是统计工作职能的挑战。从统计工作的变化轨迹看，计划经济向市场经济转轨时，随着市场化的深入，价格信号会告诉市场主体需求与供给的状况，不再需要统计部门提供社会有多少需求、多少供给，来实现社会总需求与总供给的平衡，进而弱化了物量统计。在大数据时代到来的变化趋势下，现行的一些统计指标，如投资、消费、铁路公路里程等指标的价值将会进一步弱化。大数据所带来的价值可能会超过并会逐渐取代目前的一些统计数据，对于目前统计调查工作的职能、理念将会产生革命性的冲击。
由此可见，大数据时代对统计调查工作的冲击是巨大的，不仅涉及到整个统计工作方式和流程，更对当前的政府统计管理体
制、职能、数据价值、统计能力等方面形成了挑战。但同时应该看到，大数据也是一把
“双刃剑”，对于统计业务的再造、数据质量的提高都有帮助。统计调查部门应当借助于大数据所带来的有利条件，主动顺应数据社会化的趋势，在大数据浪潮中勇立潮头。
四、大数据时代统计调查工作路径的思考
（一）未雨绸缪，加快推进统计调查工作与大数据时代融合尽管短期内大数据离现实的世界或许还有一段距离，但其带来的革命性冲击已经波及到现行的统计制度，加快推进统计调查工作与大数据衔接是应对各种挑战的惟一出路。统计调查部门应利用现有的资源、网络、人员及信息化优势加快统计工作与大数据的衔接。一是改革顶层设计。从推进统计调查工作与大数据衔接的战略高度，根据现有统计指标及标准，针对大数据标准各异的特点，广泛搜集已经存在并继续增加的各类数据，分析
其与目前的统计调查指标在口径、范围、内涵、定义等方面的差异，对统计调查部门应用大数据的统计标准进行统一设计、调整、规范和完善。积极针对大数据“样本＝总体”的特点，加快研究在“全样本”基础上进行抽样或计算的方法，促进传统统计方法制度与大数据衔接。另外，应积极考虑从立法角度确定统计部门在大数据时代的信息主体地位，加快推进商业交易记录和网上搜索信息与统计各项指标的测算对接；加快实施各部门各行业行政记录与统计部门条件共享的进程；加快规范统计在线会话、数据发布、数据质量交叉验证的方式方法等。二是倡导基层创新。从基层角度看，基层调查队作为统计工作组成部门，主要开展收入、价格、产量、消费等调查工作，调查的组织方式也多以抽样调查为主，与大数据的关联度较高，应积极借助大数据在物价、通货膨胀、失业率、消费等统计方面的优势先行先试。以物价统计为例，调查队系统开展的ＣＰＩ统计采用固定权重的拉氏指数计算方法，包含八个商品分类，涉及千种商品、几万个调查销售网点。而目前阿里研究中心推出的ＩＳＰＩ（网络零售价格指数），是采用国际统计学界与宏观经济学界广为接受的链式加权拉氏（Ｌａｓｐｅｙｒｅｓ）指数法，下设有十个商品和服务分类（食品、
烟酒及用品、衣着、家庭设备用品及维修服务、医疗保健和个人用品、交通和通信、娱乐教育文化用品及服务、居住、办公用品及服务、爱好收藏投资等）。从编制方法看，采用链式加权，考虑了权重的动态变化，商品篮子和权重会适时做出调整。从数据采集看，是基于淘宝和天猫销售平台汇聚和即时产生的海量网络零售价格信息，将所有通过网络的消费商品和服务都纳入编制范畴，虽然链式加权，但基于强大的互联网信息处理功能，几乎没有什么成本。从２０１０年至今的数据走势看，ＩＳＰＩ与官方ＣＰＩ环比指数呈现出联动关系，在关键转折点上还呈现一定的领先态势。可以鼓励电商交易活跃的省市调查队尝试通过一定的统计方法对ＩＳＰＩ的权重以及季节等因素进行调整，利用ＩＳＰＩ的优点积极探讨使用电商交易记录替代传统物价采价记录的可能性。另外还应积极尝试通过对物联网和税务、工商、银行等部门的行政记录实施条件共享，从中获取投资、房地产、服务业的调查数据，以期实现大数据对传统统计的有效补充和快速融合。
（二）把握机遇，着力加强统计能力建设
问题研究
１８
2013．5
近年，政府统计系统实施“四大工程”以来，实现了统计生产方式的巨大变革，解放了统计生产力，推进了统计调查工作现代化，提高了统计能力，也为大数据的应用奠定了较好的基础。统计调查部门应尽可能地利用大数据时代带来的机遇，加强统计基础设施建设，利用大数据资源重组或重建统计调查工作的生产流程和组织管理模式。统计调查工作者在大数据时代面临着数据丰富而知识贫乏的困境。一应充分认识到大数据时代和数据生产社会化的大趋势和不可逆性，积极树立大数据时代统计工作理念；二应提高信息技术工作能力。主动适应大数据时代的变化，不断提高网络信息技术应用水平，跟上信息技术不断前进的步伐；三应提高数据挖掘分析能力。大数据为经济发展和人类生产生活创造了前所未有的可量化的维度，但传统的结构化统计数据计算分析和预测的方法面临大量存储于“云端”的数据将显得束手无策。在大数据时代统计工作者的数据挖掘能力应摆
脱低层次的简单查询，提升到能从大量、复杂的行政记录、商业交易这些结构化数据以及视频、图像等非结构化数据中提取隐含的关系、模式和趋势，供统计使用。为此，统计工作者应提高数据库技术、人工智能技术、数理统计、可视化技术等方面的水平，不仅要掌握已有的分类、回归、聚类、关联、变化和偏差分析等数据发掘方法并加以利用，还应积极开发符合统计工作需求的数据分析工具，提高面对大量、复杂、异构数据的挖掘、归纳能力。
参考文献：
［１］克托·迈尔－舍恩伯格．大数据时代［Ｍ］，浙江：浙江人民出版社，２０１２．
［２］顾茜，赵鹏，云时代的企业应用数据挖掘［ＤＢ／ＯＬ］．ｈｔｔｐ：／／ｗｅｎｋｕ．ｂａｉｄｕ．ｃｏｍ／ｖｉｅｗ／６ｄ９ｆ５８１８６ｃ１７５ｆ０ｅ７ｃｄ１３７１９．ｈｔｍｌ
（作者单位：国家统计局牡丹江调查队）
问题研究
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
金秋时节，我们迎来了“第四届中国统计开放日”。今年中国统计开放日确定的主题“统计为您服务”，比之前几届统计开放日主题，
更增添了几分亲和力，进一步拉近了统计部门与统计用户、统计对象的距离，彰显了统计战略发展的新立意、新取向、新高度、新愿景。
加快建设面向统计用户、面向统计基层、面向调查对象的现代化服务型统计，是2012年底全国统计工作会议提出的统计发展战略新构想。这一全新构想，
是统计部门围绕落实党的十八大精神，顺应现代统计发展趋势和国际统计潮流，积极转变观念，开拓创新视野，力求在更高层次和更广阔舞台上实现“三个提高”，加快推进统计改革创新、规范统一、公开透明进程提出的宏伟目标。
现代化服务型统计战略目标的形成，有着重大的意义和深刻的背景，
是统计发展理念升华的产物。从系统论的观点和广义的概念看，统计是一个开放的、涵盖统计对象和统计用户的宏大系统。统计生产过程，
向前延伸到统计对象；统计产品应用过程或社会价值实现过程，向后延伸到统计用户（作为统计生产源头的统计对象，同时也兼具统计用户的身份）。而串联统计对象、统计部门、统计用户这一统计再生产循环各纵向组成部分的关键互动链条，就是服务。统计部门服务的理念是否牢固确立，服务的质量用户是否满意，统计生产体系和服务体系是否能实现良好匹配，都直接决定着、影响着统计这个开放系统能否良性运转。从党的十八大强调的政府职能转变的方向看，服务也是统计部门改革、创新和发展所应强化的重要导向。如果说统计的生命在于真实，那么统计的使命就是服务。现代化服务型统计战略目标的提出，既是统计宗旨的深化，也标志着统计服务理念由虚转实、服务领域由窄拓宽、服务功能由弱变强的重大转折。
自从确立建设现代化服务型统计战略目标以来，统计系统
在增强服务意识、
提高服务效能、拓展服务领域、丰富服务内容等各方面都加大了改革创新力度，并取得了积极成效。如拓展统计数据发布内容，促进统计信息的共享；改进统计数据发布方式，加强统计数据解读；积极应用现代网络技术，提高用户获取统计信息的便利度和时效性，利用微信平台建立“统计微讯”，研发“中国统计”移动资讯客户端和“数据中国”客户端，满足快速增长的手机用户需求；利用多种途径、媒介和方式普及统计知识，提升人们对统计数据的理解和应用能力；加快统计网络服务平台建设，以现代信息技术推动统计服务体系的更新和升级；在
成功推进四大工程的基础上，积极研究利用联网直报平台，为企业提供分行业、分结构的汇总数据，等等。
当然，我们也应看到，现代化服务型统计建设目前还处于起步阶段，统计部门在服务意识、服务领域、服务内容、服务手段等各方面距离社会各界和广大统计用户的要求及期盼还有相当的差距。统计部门应利用当前深入开展群众路线教育实践活动的良机，
认真听取和吸纳各方对加强统计服务的意见和建议，加强对推进现代化服务型统计的统筹规划、顶层设计和组织引导，形成加快服务型统计建设的巨大合力，全面推动统计服务能力的提升，塑造令人耳目一新的统计形象。
以“统计为您服务”为主题的“第四届中国统计开放日”的举办，对增强统计服务意识，宣传统计服务理念，营造建设服务型统计的良好氛围，加强统计部门与统计用户的供需互动，无疑将起到积极的推动作用。我们相信，借助“第四届中国统计开放日”的东风，统计部门定将以更主动的姿态，更积极的作为，更扎实的举措，更到位的服务，鼎力推动现代化服务型统计建设，以更丰硕的统计服务成果，回报社会各界和广大统计用户的支持与厚爱！
（摘自《中国信息报》）
统计的使命在服务
１９
大数据背景下经济统计的机遇与挑战 kxgdy 经济统计的发展是建立在社会技术发展基础之上的，不同时期，面对不同的客观需要不断发展自身，以满足人们研究和社会管理的需求。随着大数据时代的到来，面对海量的数据，经济统计必然面临新的机遇和挑战。 经济统计更多的时候作为一门方法学科被应用到经济、社会等问题的研究中。从其发展的历史可以看到，一方面社会管理的需求对其不断提出更高的要求；另一方面随着统计概念在实际社会生活中的推广，也不断丰富经济统计的方法和内容。这两者之间也有着相辅相成的关系，他们的共同作用使得经济统计越来越在政策制定、问题研究中突显出其重要性 随着大数据时代的到来，每天产生的数据越来越多，我们对于数据的接触也越来越方便，可以说我们现在处于一个数据爆炸的时代。这种情况随着对于大量、多样数据的存储技术的进步以及对于信息技术的推广变得越来越严重。在这种情况下，对于经济统计不仅会提出更高的要求，也会给提供更多的机遇。 大数据背景下的经济数据特征分析 1.数据统计刻度变小 由于技术手段的限制，历史上的多数经济统计数据往往以较大的数据可读进行统计，如年、月等。随着大数据时代的到来，我们相信对于经济数据的统计刻度将不断的缩小。实际上，已经存在对于股票交易数据的分时统计了，而对于高频交易而言数据的统计刻度就更加的小了。 2.样本群体扩大
从以往来看，搜集大量样本的相关信息是一种成本巨大的工作，所以统计中的样本替代总体也是在这样的背景下发展起来的。随着互联网的发展和信息技术的普及，对于大样本数据的观测和统计不再是一项难以完成的任务。 3.样本信息扩大 大样本统计的巨大成本使得我们无法更多的获得样本更多的信息，而只能针对一些关键信息进行统计。随着现在对于数据统计成本的降低，我们不但可以对我们关心的关键数据进行采集和统计，而且对于非关键信息也可以进行统计，这样可以为我们的研究工作提供更多的选择空间。当然，这里的信息扩大也涵盖了对于信息多样化扩大的含义，不久的将来对于经济信息的统计将会以更多的形式呈现。 4.数据的优良性得到改善 在现有的经济数据中从在很多的断层和不连续性，很多是由于历史的原因造成的。随着对于数据存储技术的发展，我们可以获得更 多、更优质的数据。其优质性体现在数据的完整性、连续性和标准化上。大数据时代会有更多的数据已更加标准化的形式产生和存储，降 低我们在对于数据筛选和处理过程中所话费的成本。 5.宏观与微观统计关系更加密切 现在看来，对于宏观经济指标体系是通过微观样本统计得来的，但是宏观经济指标体系只关注特定的一些经济指标，而忽略了大多数 微观个体产生的经济信息，且两者之间的关系也相对复杂，我们不能 很直观的从宏观信息中得出关于相关微观个体经济特征的信息。随着 大数据时代的到来，统计样本数量和层次的增加，将会使得宏观统计 更加具有现实的微观基础，使得宏观统计的准确信以及与微观统计的 关联性有更大的提高。 利用现代数据机遇，强化经济统计发展 1.利用现代数理技术，充实经济理论
湖南农业大学课程论文学院：信息科学技术学院班级：计算机1班姓名：XXX 学号：2015XXXX 课程论文题目：浅谈大数据时代的机遇与挑战 课程名称： 评阅成绩： 评阅意见： 成绩评定教师签名： 日期：年月日
课程论文题目 ——浅谈大数据时代的机遇与挑战 学生：XXX (信息科学技术学院计算机1班) 摘要：随着时代的发展，大数据这个词慢慢进入了人们的视野的当中，而大数据也与我们的生活关联越来越紧密，对我们的影响也越来越大。怎么样才能把握住机遇，在大数据时代中脱颖而出，怎么样才能在大数据时代到来的挑战中稳步前行。 关键词：大数据;机遇与挑战；大数据时代分析 Abstract:with the development of The Times, the word big data slo wly into the people's horizons, and big data is linked to our life more and more closely, to our influence is growing. How to seize the opportunity, in the era of big data, how can ability in the er a of big data move steadily in the coming challenges. Key Words: Big data; Opportunities and challenges; The era of big da ta analysis
一、绪论 （一）什么是大数据？ “大数据”作为时下最火热的IT行业的词汇在互联网时代显得越来越重要。大数据究竟有多大？大数据能做些什么？在新互联网时代，这些词汇让我们应接不暇。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据还有四个特性分别是数据量大，种类多，速度快，价值大。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”（二）大数据能做些什么？ 大数据的应用示例包括了大科学、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦察、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。仅仅十余年，现在越来越多的政府、企业等组织机构意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。大数据不仅是一种海量的数据状态及其相应的数据处理技术，更是一种思维方式，一项重要的基础设施。这或是明天我们治理交通拥堵、雾霾天气、看病难、食品安全等“城市病”的利器，也会为政府打开了解社情民意的更大窗口。众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。二、本论 (一)大数据的重要性 1.大数据的处理分析正成为新一代信息技术融合应用的结点 有专家指出，大数据及其分析，会在未来10年改变几乎每一个行业的业务功能，从科学研究到保险，从银行业到互联网，各个不同的领域都在遭遇爆发式增长的数据量。在美国的17个行业中，已经有15个行业大公司拥有大量的数据，其平均拥有的数据量已经远远超过了美国国会图书馆所拥有的数据量。在医疗与健康行业，根据数据预测，如果具备相关的IT设施，数据投资和分析能力等条
A. 变量代换 B. 离散化 海量数据挖掘技术及工程实践》题目 、单选题(共 80 题) 1) ( D ) 的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得 到 和原始数据相同的分析结果。 A. 数据清洗 B. 数据集成 C. 数据变换 D. 数据归约 2) 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数 据挖 掘的哪类问题 (A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3) 以下两种描述分别对应哪两种对分类算法的评价标准 (A) (a) 警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b) 描述有多少比例的小偷给警察抓了的标准。 据相分离 (B) 哪一类任务 (C) A. 根据内容检索 B. 建模描述 7) 下面哪种不属于数据预处理的方法 (D) A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4) 将原始数据进行集成、 变换、维度规约、数值规约是在以下哪个步骤的任务 (C) 5) A. 频繁模式挖掘 C. 数据预处理 B. D. 当不知道数据所带标签时， 分类和预测 数据流挖掘 可以使用哪种技术促使带同类标签的数据与带其他标签的数 6) A. 分类 C. 关联分析 建立一个模型， B. D. 聚类 隐马尔可夫链 通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 C. 预测建模 D. 寻找模式和规则
C.聚集 D. 估计遗漏值 8) 假设12 个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频(等深)划分时，15 在第几个箱子内(B) A. 第一个 B. 第二个 C. 第三个 D. 第四个 9) 下面哪个不属于数据的属性类型：(D) A. 标称 B. 序数 C.区间 D. 相异 10) 只有非零值才重要的二元属性被称作：( C ) A. 计数属性 B. 离散属性 C.非对称的二元属性 D. 对称属性 11) 以下哪种方法不属于特征选择的标准方法：(D) A. 嵌入 B. 过滤 C.包装 D. 抽样 12) 下面不属于创建新属性的相关方法的是：(B) A. 特征提取 B. 特征修改 C. 映射数据到新的空间 D. 特征构造 13) 下面哪个属于映射数据到新的空间的方法(A) A. 傅立叶变换 B. 特征加权 C. 渐进抽样 D. 维归约 14) 假设属性income 的最大最小值分别是12000元和98000 元。利用最大最小规范化的方 法将属性的值映射到0 至 1 的范围内。对属性income 的73600 元将被转化为：(D) 15) 一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130 人，四年 级110 人。则年级属性的众数是：(A) A. 一年级 B. 二年级 C. 三年级 D. 四年级 16) 下列哪个不是专门用于可视化时间空间数据的技术：(B) A. 等高线图 B. 饼图
大数据时代下数据分析的变化(一)分析思路 大数据时代的分析常常是直接计算现象之间的相依性。传统的统计分析过程是“定性－定量－再定性”，第一个定性是为定量分析找准方向，主要靠经验判断，一般针对数据短缺的情况下比较重要。现在大数据时代，可以直接通过数据分析做出判断，所要做的是直接从“定量的回应”中找出数量特征和数量关系，然后得出可以作为判断或决策依据的结论。因此大数据时代统计分析的过程可以简化为“定量－定性”。在实证分析上，传统思路通常是“假设－验证”，先根据最终的研究目的提出假设性意见，然后收集分析数据，进而验证假设的成立与否。这种实证分析容易受到数据的缺失、假设的局限性以及指标选择的不当等的影响，得不到正确的结论。尤其是在假设本身的非科学性、非客观性、非合理性的情况下，得出的结论更是毫无用处，甚至歪曲事实本身。在现在的大数据时代，可以从中寻找关系、发现规律而不受任何假设的限制，然后得出结论，分析的思路可以概括为“发现－总结”。 (二)研究对象的变化 首先，从数据来源上看，传统的统计抽样调查方法有一些不足:抽样框不稳定，随机取样困难;事先设定调查目的会限制调查的内容和范围;样本量有限，抽样结果经不起细分;纠偏成本高，可塑性弱。而在大数据时代，更多的是将总体直接作为研究对象，摒弃了抽样样本的研究，传统统计抽样调查方法的不足可以在大数据时代得到改进。其次，对于数据类型而言，传统数据通常是结构型的，即
定量数据加上少量的定性数据，格式化，有标准，可通过常规的统计指标和统计图来表示。而大数据则注重非结构性数据或者半结构、异结构数据，多样化、无标准，很难通过传统的统计指标或统计图表加以表现。 (三)假设检验的变化 传统的统计研究，通常是根据内容提出假设意见，然后根据最初设定的理论模型来检验验证假设的真实效用性。但对于大数据时代而言，信息资源充足，可以采用人工智能对数据信息进行挖掘开发，需要验证的假设比传统经济学研究多出很多，不在一个数量级上。传统的假设验证分析是无法满足大数据时代的需求的。 (四)分析关系的变化
大数据时代的机遇与挑战 什么是大数据时代？ “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 大数据时代是怎样产生的？ 物联网、云计算、社交网络、社会媒体以及信息获取技术的飞速发展，数据正以前所未有的速度迅速增长和积累，数据是人类社会最重要的财富大数据时代的到来 大数据时代的特点? 1.数据量大（Volume） 第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。 2.类型繁多（Variety） 第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。 3.价值密度低（Value） 第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。 4.速度快、时效高（Velocity） 第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 大数据时代的机遇 大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机遇。建立大数据中心，及时搜集、实时处理数据信息，为科学决策提供坚实基础。对社会大数据进行历时性和实时性分析，加强社会风险控制，提高政府预测预警能力和应急响应能力。
浅谈大数据时代聊聊小数据 现在好像人人都爱说大数据，就像平时我去开会，不是用大数据分析这个，就是用大数据建构那个。可是我最近看《美国计算机学会通讯》（CACM）上面提到了几次小数据，我觉得大家也有必要了解一下这个有趣的概念。 大数据其实就是一个特别大的数据库，大到用现有的技术无法处理，因此计算机行业的人谈大数据，指的是大数据技术。而生命科学领域的人谈大数据是指该领域的大数据分析，搞大数据设备和管理的人不见得会分析，因为这需要专业。 还有一股力量也将改变我们关于健康的想法和实践，那就是由个人数字跟踪驱动的小数据。基于某种云应用，随时间连续地、安全地、私人地分析你工作、购物、睡觉、吃饭、锻炼和通讯的数字追踪，而得到关于你的健康的画面。这里需要私人的装置和网络服务，特别是自跟踪。譬如昨天我有点胃痛，于是想：前天和大前天有何不同呢？啊！明白了，我每天喝一两酒，前天喝的酒不同，换了一个牌子，可能就是这个新牌子的酒引起我胃痛。这个小数据提供了分析我健康情况的依据。 大数据开启了一个时代的转型，给人们带来一场生活、工作与思维的大变革。时代的变革需要以大数据为视角理解数据与信息。 什么是小数据？小数据就是个体化的数据，是我们每个个体的数字化信息。比如我天天都喝一两酒，突然有天喝完酒了胃疼，我就想了，这天和之前有何不同？原来，这天喝的酒是个新牌子，可能就是喝了这个新牌子的酒让我胃疼。这就是我生活中的小数据，它不比大数据那样浩瀚繁杂，却对我自己至关重要。 第一个意识到小数据重要性的是美国康奈尔大学教授德波哈尔艾斯汀。艾斯汀的父亲去年去世了，而早在父亲去世之前几个月，这位计算机科学教授就注意到老人在数字社会脉动中的些许不同他不再发送电子邮件，不去超级市场买菜，到附近散步的距离也越来越短。然而，这种逐渐衰弱的状态，真到医院去检查心电图，却不一定能看出来。到急诊室检查的时候，不管是测脉搏还是查病历，这个90岁的老人都没有表现出特别明显的异常。可
公需科目大数据培训考试 考试时间：120分钟 选择题中红色代表正确答案，判断题X为错，R为对。 1.根据涂子沛先生所讲，摩尔定律是在哪一年提出的？（单选题1分） A.1988年 B.2004年 C.1965年 D.1989年 2.2015年，贵阳市的呼叫服务产业达到（）坐席。（单选题1分） A.3万 B.5万 C.10万 D.20万 3.以下说法错误的是哪项？（单选题1分） A.大数据的思维方式遵循因果逻辑推理 B.摩尔定律是戈登?摩尔提出的 C.图灵测试是阿兰·图 D.ENIAC于1946年诞生 4.茂名PX事件发生后，下列哪个学校的化工系学生在网上进行了一场“PX词条保卫战”？（单选题1分） A.北大 B.清华 C.浙大 D.复旦 5.促进大数据发展部级联席会议在哪一年的4月13日召开了第一次会议？（单选题1分） A.2014年 B.2015年 C.2013年 D.2016年 6.根据涂子沛先生所讲，哪一年被称为大数据元年？（单选题1分） A.2012年 B.2010年 C.2008年 D.2006年 7.数据、信息与知识三者之间的变化趋势是（单选题1分） A.价值先增后减 B.价值递减 C.价值递增 D.价值不变 8.具体来说，摩尔定律就是每（）个月，产品的性能将提高一倍。（单选题1分） A.18 B.16 C.12 D.6 9.“（）大数据交易所”2015年4月14日正式运营，目前，交易所已有包括京东、华为、阿里巴巴等超过300家会员企业，交易总金额突破6000万元。（单选题1分）
A.毕节 B.安顺 C.贵阳 D.遵义 10.（）说明如果联网越多，从介入方式、技术上越来越突破，则网络规模越大、成本越低，网络的成本可能会趋向于零。（单选题1分） A.吉尔德定律 B.摩尔定律 C.梅特卡尔夫定律 D.新摩尔定律 11.以下说法错误的是哪项？（单选题1分） A.大数据会带来机器智能 B.大数据不仅仅是讲数据的体量大 C.大数据的英文名称是large data D.大数据是一种思维方式 12.美国首个联邦首席信息官是下列哪位总统任命的？（单选题1分） A.克林顿 B.奥巴马 C.小布什 D.老布什 13.截至2015年年底，全国电话用户总数达到（）。（单选题1分） A.13.37亿户 B.12.37亿户 C.14.37亿户 D.15.37亿户 14.2012年全国各城市支付宝人均支出排名中，位居第七位的是（）（单选题1分） A.嘉兴市 B.台中市 C.高雄市 D.嘉义市 15.吴军博士认为过去五十年是（）的时代。（单选题1分） A.科尔定律 B.艾尔定律 C.摩尔定律 D.拉尔定律 16.ENIAC诞生于哪一年？（单选题1分） A.1946年 B.1938年 C.1940年 D.1942年 17.梅特卡尔夫定律主要是描述信息网络，指出网络的价值在于网络的互联，联网的接点数与其价值呈现（）的方式，联网越多，系统的价值越大。（单选题1分） A.正比 B.对数 C.指数 D.反比 18.根据周琦老师所讲，高德交通报告针对全国（）个城市交通状态进行挖掘分析。（单选题1分） A.38 B.21 C.25 D.30 19.2012年全国各城市支付宝人均支出排名中，位居第三位的是（）（单选题1分） A.嘉义市 B.杭州市 C.嘉兴市 D.高雄市
浅析大数据时代下的统计工作 随着我国大数据时代的到来，呈现给我们的时更加丰富多彩和广阔的世界，同时还改变了我们的工作方式，进一步地促进了人类社会的变革。因此面对如此庞大的大数据时代，从而也就繁衍了数据统计工作，并且如今在大数据时代下的统计工作主要的目的就是在大量的数据信息中收集和整理重要的信息，最终将这些数据信息反映到电子计算机设备中，在通过大量的数据对其进行深入的分析，从而得出来的重要的且具有一定价值的结论，紧接着，再根据这些结论在其中找到相应的规律，最后才能合理的运用总结出来的规律开展相应的工作以及生活。大数据时代下，使得信息化数据信息正在成倍的向上增加，因此在面对这一特殊的情况，统计人员需要不断更新统计工作的方式和方法，为了能够更好地满足大数据时代统计工作的需求。 一、大数据时代统计工作的重要性 大数据时代的到来，带给我们的不仅是工作、生活上的便捷，更重要的是带动了我国全面的发展，与此同时大数据时代也伴随着问题带给我们，一个国家在面对如此庞大的大数据信息网络系统，最重要的就是对其中重要的信息进行相应的统计，由此可见统计工作在大数据时代中的重要性，在大数据时代中，通过统计工作而展开的各项数据进行深入的整理和分析，同时为各项决策方案提供较为全面的真实性的依据，从而进一步的促进国家各个方面的全面发展。 二、大数据时代下给统计工作带来的挑战 （一）对数据源采集的智能化的要求更高如今的大数据时代统计
工作与传统的统计工作进行相应的对比可以发现，传统的统计工作主要是通过数据信息相关的报表来进行数据信息的统计工作的，而且在统计工作调查的过程中仍然存在着许多主观性的因素，当然这些主观上的因素必然会影响到统计报表的准确性。如今伴随着大数据时代的到来，便可以有效地避免此类问题的发生，而且，数据信息统计的来源完全是信息技术的记录形成的，并且其记录的数据一般都是最原始的数据信息，这样做的目的就是为了不采取其他的途径，也能有效的保证各项原始信息数据的质量，进一步的保障了大数据时代下的统计工作的质量。 （二）要求及时更新统计的方法和统计的制度大数据时代下对于统计工作的方法和制度有了一定程度的提升，因此，根据大数据时代对统计工作的方法和制度进行深入的完善以及不断地更新，目的就是为了能时刻的满足大数据时代对统计工作的需求。就好比传统的统计工作中的统计报表基本上都是纸质的报表，是需要一层一层的向上级汇报以及分析的，这样的统计方法不仅延长了统计工作的时间，同时还不能确保报表的质量。因此，随着大数据时代的到来，传统的统计报表的统计方法已经无法满足现阶段的统计工作的需求，那么这个时候就需要统计工作的方法和制度在一定的基础上进行深入的改善和更新，并最终达到完全适应现阶段大数据时代的统计工作需求。 （三）对统计数据的搜集流程带来了巨大的挑战现如今的大数据时代对数据的统计和搜集提出了巨大的挑战，而且传统的数据搜集通常是根据研究项目的目的以及对象展开的，进而对其进行设计相应的
分析报告、统计分析和数据挖掘的区别 关于数据挖掘的作用，Berry and Linoff的定义尽管有些言过其实，但清晰的描述了数据挖掘的作用。“分析报告给你后见之明 (hindsight)；统计分析给你先机 (foresight)；数据挖掘给你洞察力(insight)”。 举个例子说。 你看到孙悟空跟二郎神打仗，然后写了个分析报告，说孙悟空在柔韧性上优势明显，二郎神在力气上出类拔萃，所以刚开始不相上下；结果两个人跑到竹林里，在竹子上面打，孙悟空的优势发挥出来，所以孙悟空赢了。这叫分析报告。 孙悟空要跟二郎神打架了，有个赌徒找你预测。你做了个统计，发现两人斗争4567次，其中孙悟空赢3456次。另外，孙悟空斗牛魔王，胜率是89%，二郎神斗牛魔王胜率是71%。你得出趋势是孙悟空赢。因为你假设了这次胜利跟历史的关系，根据经验作了一个假设。这叫统计分析。 你什么都没做，让计算机自己做关联分析，自动找到了出身、教育、经验、单身四个因素。得出结论是孙悟空赢。计算机通过分析发现贫苦出身的孩子一般比皇亲国戚功夫练得刻苦；打架经验丰富的人因为擅长利用环境而机会更多；在都遇得到明师的情况下，贫苦出身的孩子功夫可能会高些；单身的人功夫总比同样环境非单身的高。孙悟空遇到的名师不亚于二郎神，而打架经验绝对丰富，并且单身，所以这次打头，孙悟空赢。这叫数据挖掘。 数据挖掘跟LOAP的区别在于它没有假设，让计算机找出这种背后的关系，而这种关系可能是你所想得到的，也可能是所想不到的。比如数据挖掘找出的结果发现在2亿条打斗记录中，姓孙的跟姓杨的打，总是姓孙的胜利，孙悟空姓孙，所以，悟空胜利。 用在现实中，我们举个例子来说，做OLAP分析，我们找找哪些人总是不及时向电信运营商缴钱，一般会分析收入低的人往往会缴费不及时。通过分析，发现不及时缴钱的穷人占71%。而数据挖掘则不同，它自己去分析原因。原因可能是，家住在五环以外的人，不及时缴钱。这些结论对推进工作有很深的价值，比如在五环外作市场调研，发现需要建立更多的合作渠道以方便缴费。这是数据挖掘的价值。
一、解答题（满分30分，每小题5分） 1. 怎样理解数据挖掘和知识发现的关系？请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式；然后，调用相应的算法生成所需的知识；最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤：先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集；再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有： 1）、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 2）、随机时间序列预测方法:通过建立随机模型，对随机时间序列进行分析，可以预测未来值。若时间序列是平稳的，可以用自回归(Auto Regressive，简称AR)模型、移动回归模型(Moving Average，简称MA)或自回归移动平均(Auto Regressive Moving Average，简称ARMA)模型进行分析预测。 3）、其他方法:可用于时间序列预测的方法很多，其中比较成功的是神经网络。由于大量的时间序列是非平稳的，因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型，用于时间序列的预测。
大数据时代下统计学的挑战与发展 、大数据时代下统计学概念概述 教科书上对统计学给出了这样的定义“有效搜集整理分析 随机性数据， 对考察问题给出推断与预测， 最终为行动提供数据 支持”，这就是统计学。从根本上看，统计学是一门与数据有关 的学科。众所周知， 美国总统奥巴马通过数据团队的帮助得到连 任的机会，阿里巴巴的马云很早就把大数据作为企业发展战略。 随着我们走进大数据时代， 网络科技给搜集数据带来方便， 的设备已经无法容纳大量的数据， 我们对其进行更新， 通过对大 数据的分析，我们为社会传递出有效的、有价值的信息，这一切 为社会的发展起到了不可替代的推动作用。 统计是社会各界乃至各环节不可或缺的因素， 在商品交换过 程中，统计有先导作用，市场经济信息也需要统计学的帮助，大 数据时代， 我们的统计数据不再局限于随机抽样调查， 等高成本的搜集方式， 通过互联网及移动终端， 我们可以获得更 多数据样本， 可以说我们的社会进入高速发展的时期， 大数据时 代下的统计学也进入全新的发展阶段。 二、统计学在大数据时代影响下的变革 1. 从样本的角度看，样本概念得到深化 我们知道统计学离不开样本，有效的样本能够正确反映情 况，大数据时代样本概念与传统不再相同， 通常我们得到诸多网 络数据，一种为静态，即直接在客户端创建的数据，无需提取即 可使用，成本低，另一种为动态数据，即数据随着时间的推移而 变化，最终表现为所有数据的总和， 可见此时的样本不局限于随 机抽样，直接可以做选定分析。 2. 从类型方面看，呈扩大之势 在过去数据通常指结构化数据， 有固定的标准， 大数据时代 数据传统 电话调查
龙源期刊网 https://www.doczj.com/doc/32821815.html, 浅谈大数据时代的数据分析与挖掘 作者：单海波 来源：《科技创新与应用》2016年第24期 摘要：随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了 质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。 关键词：大数据；数据分析；数据挖掘；体系建设 引言 进入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。 然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显
大数据时代题目及答案(三套试题仅供参考)
第一套试题 1、当前大数据技术的基础是由（C）首先提出的。（单选题，本题2分） A：微软 B：百度 C：谷歌 D：阿里巴巴 2、大数据的起源是（C ）。（单选题，本题2分） A：金融 B：电信 C：互联网 D：公共管理 3、根据不同的业务需求来建立数据模型，抽取最有意义的向量，决定选取哪种方法的数据分析角色人员是（C）。（单选题，本题2分） A：数据管理人员 B：数据分析员 C：研究科学家 D：软件开发工程师 4、（D ）反映数据的精细化程度，越细化的数据，价值越高。（单选题，本题2分） A：规模 B：活性 C：关联度 D：颗粒度 5、数据清洗的方法不包括（ D）。（单选题，本题2分） A：缺失值处理 B：噪声数据清除 C：一致性检查 D：重复数据记录处理 6、智能健康手环的应用开发，体现了（ D）的数据采集技术的应用。（单选题，本题2分） A：统计报表 B：网络爬虫 C：API接口 D：传感器 7、下列关于数据重组的说法中，错误的是（A）。（单选题，本题2分） A：数据重组是数据的重新生产和重新采集 B：数据重组能够使数据焕发新的光芒 C：数据重组实现的关键在于多源数据融合和数据集成 D：数据重组有利于实现新颖的数据模式创新 8、智慧城市的构建，不包含（ C）。（单选题，本题2分） A：数字城市 B：物联网 C：联网监控 D：云计算 9、大数据的最显著特征是（A）。（单选题，本题2分） A：数据规模大 B：数据类型多样 C：数据处理速度快 D：数据价值密度高10、美国海军军官莫里通过对前人航海日志的分析，绘制了新的航海路线图，标明了大风与洋流可能发生的地点。这体现了大数据分析理念中的（B ）。（单选题，本题2分） A：在数据基础上倾向于全体数据而不是抽样数据 B：在分析方法上更注重相关分析而不是因果分析 C：在分析效果上更追究效率而不是绝对精确 D：在数据规模上强调相对数据而不是绝对数据 11、下列关于舍恩伯格对大数据特点的说法中，错误的是（D）。（单选题，本题2分） A：数据规模大 B：数据类型多样 C：数据处理速度快 D：数据价值密度高12、当前社会中，最为突出的大数据环境是（A）。（单选题，本题2分） A：互联网 B：物联网 C：综合国力 D：自然资源 13、在数据生命周期管理实践中，（ B）是执行方法。（单选题，本题2分） A：数据存储和备份规范 B：数据管理和维护 C：数据价值发觉和利用 D：数据应用开发和管理 14、下列关于网络用户行为的说法中，错误的是（C）。（单选题，本题2分） A：网络公司能够捕捉到用户在其网站上的所有行为 B：用户离散的交互痕迹能够为企业提升服务质量提供参考 C：数字轨迹用完即自动删除 D：用户的隐私安全很难得以规范保护 15、下列关于计算机存储容量单位的说法中，错误的是（ C）。（单选题，本题2分） A：1KB＜1MB＜1GB B：基本单位是字节（Byte） C：一个汉字需要一个字节的存储空间 D：一个字节能够容纳一个英文字符， 16、下列关于聚类挖掘技术的说法中，错误的是（B）。（单选题，本题2分） A：不预先设定数据归类类目，完全根据数据本身性质将数据聚合成不同类别
大数据时代对统计学的影响分析 大数据和统计学两者在本质上是相互联系、相互促进，没有数据也不可能完成统计，所以二者缺一不可。在大数据时代，统计学必须与时俱进，跟上时代发展的脚步，勇敢地接受大数据带来的的挑战和变革，才会走得更长远。而大数据也要珍惜统计学，两者是无法离开的，只有在共同学习进步下，才能够实现双赢，成为主宰。 关键词：大数据时代；统计学；影响分析 引言 对于大数据(Big data)，可以理解为新模式中具备决策性、洞察力、发现力的一门技术。它主要概括数据的自然增长力和多样化的信息资产。 统计学是大数据里面的一门重要的学科。因为它和大数据有着千丝万缕的关系，所以它被人们广泛使用和学习。它是通过整理分析得出来的科学的数据。具有精准性、客观性即概括性。完成统计学的方法有很多种，如调查法、立案法、实验法等主要广泛应用于社会、科学等方面。 一、大数据和统计学的关系 (一)两者的关系 在当今信息时代，用数字代表的信息越来越多，科技迅速发展，互联网时代高速运转，在许多公司用来统计数据的时候，都用的电子表格，进行整理分析。在把它们汇总起来，就成了统计。数据是统计的本质，统计是数据的概括及意义。数据就像零零碎碎的字母，统计就是英语单词，通过整理分析，把字母拼成一个具有意义的单词，这就是数据和统计的意义。只有相互依存，你中有我我中有你。 （二）大数据和统计学的区别 信息功能不同。大数据的意义是某种事物的代表，有些东西要是用它原本的名称代替可能不太放便，这样一个简便的代号即简便又容易记忆。在工作中，工作人员根据超市销售的数据进行整理分析，在汇总起来就是统计，最终他们看得都是统计整理得出的数，分析的也是统计后的数据。因此，统计学是用样本单位来分析和推断数据总体的特征。由数据控制，我们只能根据获得的数据来推断总体数量。在信息时代，越来越多的东西可以用数据表示，几乎全部的信息资料都
浅谈基于大数据时代的机遇与挑战 本文从网络收集而来，上传到平台为了帮到更多的人，如果您需要使用本文档，请点击下载按钮下载本文档（有偿下载），另外祝您生活愉快，工作顺利，万事如意！ 随着信息时代的到来，大数据(Big Data)一词逐渐被人们认知和熟悉，其常被用于定义和描述“信息爆炸时代产生的海量数”。随着“大数据”时代的来临，在商业、经济及其他领域中，人们做出决策不仅仅依靠经验和直觉，常以数据分析作为决策依据，这种方式大大提高了决策的科学性，最大限度避免决策失误。用好大数据，必将对商业发展、科学研究和政府决策产生积极的影响。 1 大数据的基本概况 大数据(Big Data)是指那些超过传统数据库系统处理能力的数据，其具有以下四个基本特性，即海量性、多样性、易变性、高速性。同时数据类型繁多、数据价值密度相对较低、处理速度快、时效性要求高等也是其主要特征。 2 大数据的时代影响 大数据，对经济、政治、文化等方面都具有较为深远的影响，其可帮助人们进行量化管理，更具科学性和针对性，得数据者得天下。大数据对于时代的影
响主要包括以下几个方面： (1)“大数据决策”更加科学有效。如果人们以大数据分析作为基础进行决策，可全面获取相关决策信息，让数据主导决策，这种方法必将促进决策方式的创新和改变，彻底改变传统的决策方式，提高决策的科学性，并推动信息管理准则的重新定位。2009 年爆发的甲型H1N1 流感就是利用大数据的一个成功范例，谷歌公司通过分析网上搜索的大量记录，判断流感的传播源地，公共卫生机构官员通过这些有价值的数据信息采取了有针对性的行动决策。 (2)“大数据应用”促进行业融合。虽然大数据源于通信产业，但其影响绝不局限于通信产业，势必也将对其他产生较为深远的影响。目前，大数据正逐渐广泛应用于各个行业和领域，越来越多的企业开始以数据分析为辅助手段加强公司的日常管理和运营管理，如麦当劳、肯德基、苹果公司等旗舰专卖店的位置都是基于大数据分析完成选址的，另外数据分析技术在零售业也应用越来越广泛。 (3)“大数据开发”推动技术变革。大数据的应用需求，是大数据新技术开发的源泉。相信随着时代的不断发展，计算机系统的数据分析和数据挖掘功能将逐渐取代以往单纯依靠人们自身判断力的领域应用。借
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法？ (D) A.变量代换 B.离散化
C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法？ (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级
统计学和数据挖掘区别 数据分析微信公众号datadw——关注你想了解的，分享你需要的。 1．简介 统计学和数据挖掘有着共同的目标：发现数据中的结构。事实上，由于它们的目标相似，一些人（尤其是统计学家）认为数据挖掘是统计学的分支。这是一个不切合实际的看法。因为数据挖掘还应用了其它领域的思想、工具和方法，尤其是计算机学科，例如数据库技术和机器学习，而且它所关注的某些领域和统计学家所关注的有很大不同。 统计学和数据挖掘研究目标的重迭自然导致了迷惑。事实上，有时候还导致了反感。统计学有着正统的理论基础（尤其是经过本世纪的发展），而现在又出现了一个新的学科，有新的主人，而且声称要解决统计学家们以前认为是他们领域的问题。这必然会引起关注。更多的是因为这门新学科有着一个吸引人的名字，势必会引发大家的兴趣和好奇。把“数据挖掘”这个术语所潜在的承诺和“统计学”作比较的话，统计的最初含义是“陈述事实”，以及找出枯燥的大量数据背后的有意义的信息。当然，统计学的现代的含义已经有很大不同的事实。而且，这门新学科同商业有特殊的关联（尽管它还有科学及其它方面的应用）。 本文的目的是逐个考察这两门学科的性质，区分它们的异同，并关注与数据挖掘相关联的一些难题。首先，我们注意到“数据挖掘”对统计学家来说并不陌生。例如，Everitt定义它为：“仅仅是考察大量的数据驱动的模型，从中发现最适合的”。统计学家因而会忽略对数据进行特别的分析，因为他们知道太细致的
研究却难以发现明显的结构。尽管如此，事实上大量的数据可能包含不可预测的但很有价值的结构。而这恰恰引起了注意，也是当前数据挖掘的任务。 2．统计学的性质 试图为统计学下一个太宽泛的定义是没有意义的。尽管可能做到，但会引来很多异议。相反，我要关注统计学不同于数据挖掘的特性。 差异之一同上节中最后一段提到的相关，即统计学是一门比较保守的学科，目前有一种趋势是越来越精确。当然，这本身并不是坏事，只有越精确才能避免错误，发现真理。但是如果过度的话则是有害的。这个保守的观点源于统计学是数学的分支这样一个看法，我是不同意这个观点的。尽管统计学确实以数学为基础（正如物理和工程也以数学为基础，但没有被认为是数学的分支），但它同其它学科还有紧密的联系。 数学背景和追求精确加强了这样一个趋势：在采用一个方法之前先要证明，而不是象计算机科学和机器学习那样注重经验。这就意味着有时候和统计学家关注同一问题的其它领域的研究者提出一个很明显有用的方法，但它却不能被证明（或还不能被证明）。统计杂志倾向于发表经过数学证明的方法而不是一些特殊方法。数据挖掘作为几门学科的综合，已经从机器学习那里继承了实验的态度。这并不意味着数据挖掘工作者不注重精确，而只是说明如果方法不能产生结果的话就会被放弃。