国内外政务大数据应用发展述评：方向与问题
来源：电子政务杂志时间：2016-01-04 14:23:30 作者：于施洋,王建冬,等
摘要：大数据正在成为国家的重要战略资源，已是社会各界关注的焦点。从大数据的概念入手，界定了大数据概念的内涵、外延，指出政务大数据应用应成为政府管理改革的全新阶段。基于国内外政务大数据发展现状，在评述国内外政府大数据应用发展的基础上，提出中国政务大数据发展需坚持整体性政府、透明化政府和服务型政府三个基本方向，需避免将将大数据等同于开放数据、共享数据和海量数据三大认识误区，需警惕数据权的恶意使用或过度滥用、大数据带来的信息歧视和互联网公司侵害国家数据主权三大潜在问题。
关键词：电子政务；政务大数据；大数据应用；信息资源；数据开放
近年来，大数据在全球范围内受到追捧。据国际数据资讯（IDC）公司监测，全球数据量大约每两年翻一番，预计到2020年，全球将拥有35ZB的数据量。据统计，平均每一秒即有200万用户在使用Google搜索，Facebook注册用户超过10亿，每天生成300TB以上的日志数据。同时，传感网、物联网、社交网络等技术迅猛发展，引发数据规模爆炸式增长，大数据时代已经到来。著名的管理和咨询公司麦肯锡（McKinsey）认为，“大数据已经渗透到工业和商业领域的各个方面，成为影响生产的一个重要因素”，大数据的应用涉及经济、文化、教育、医疗、公共管理等各行各业。正是由于大数据的广泛应用及其背后蕴藏的巨大潜力和价值，许多国家纷纷将“大数据”的建设和发展上升为国家战略，积极推动大数据应用的发展。
中国政府虽已发布《促进大数据发展行动纲要》，将数据定性为国家基础性战略资源，但各级政府在推动政务大数据应用方面，仍存在不少问题。所谓政务大数据，是指政府推动大数据应用发展的过程或大数据在公共服务领域的应用实践。本文在评述国内外政务大数据应用发展的基础上，界定了大数据的概念内涵和外延，指出中国政务大数据应用发展的方向及应避免的认识误区和需警惕的潜在问题。
一、大数据的概念内涵及其外延
对于大数据概念的界定，目前尚无统一的认识。由于所从事学科领域的差异，国内外学者对“大数据”有不同的看法。一些学者从计算科学角度出发，认为大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。[1]还有学者从信息资源的角度出发，指出大数据是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。[2]而近年来，从事社会科学领域研究的学者认为，大数据的概念内涵不应仅仅局限在技术层面：大数据可以定义为在合理时间内采集大规模资料、处理成为常规使用者更有效决策的社会过程。[3]基于现有学者对“大数据”的研究，本文从大数据的内涵、外延出发，分别作界定（参见图1）。
图1大数据概念的内涵及外延
从概念内涵来看，大数据是指海量数据，泛指大规模或超大规模的数据资源集合。与传统数据相比，大数据具有新的特点，现可概括为“5V”，即Volume（数据规模大）、Velocity（处理速度快）、Variety（数据类型多）、Value（价值密度低）、Veracity（数据准确性低）。
从概念外延来看，大数据还具有如下三个层面的含义：
一是指一种新型的研究方法或发现新知识的分析技术。这是因为大数据不仅强调数据量大，更重视海量数据背后的价值信息。从本质上说，大数据是应对人类数据量剧增挑战而产生的一种新技术。据统计，全球约90%的数据产生于最近两年间，目前每天新增数据量达到2.5TB。[4]IDC的预测则指出，2011年全球数据总量约1.8ZB，到2020年则将激增到40ZB，其中文本、视频、图片等非结构化数据占比将达到75%。面对这样一个全球数据的爆炸性增长，没有一套全新的数据处理和分析技术是无法想象的。
二是指由数据驱动的新型决策机制。Gang-Hoon Kim等认为，大数据技术属于第五代决策分析技术。[5]在大数据时代，小到商业机构的营销分析，大到公共领域的政府决策，越来越多地依靠数据作出。这种基于数据驱动的新型决策机制，表明了大数据不仅仅是一种技术，更是一种理念创新和模式创新。如美国沃尔玛连锁超市因“啤酒与尿布”的购物篮数据分析而获得大量利润，美国总统奥巴马依靠竞选团队的数据分析而作出的竞选决策等，都是大数据时代由数据驱动决策的经典案例。
三是指数字时代下的新型治理模式。大数据不仅仅是政府管理的一种新手段或新工具，它还将带来政府管理改革的一个全新阶段。随着大数据在政府管理和公民社会生活的深入，政府部门内部及其与公民社会的关系将被重新建构。技术、组织、关系和行为的再造呼唤全新的管理模式的出现，这种新的管理模式就是数字时代的治理。[6]这种创新的治理模式不只是政府内部自身的数字化变革，还将是广泛深远的社会变革和管理方式的创新。[7]从这个层面看，由大数据应用带来的数字治理模式创新将成为政府管理改革的全新阶段。Amanda Clarke等认为，在过去的100年间，政府机构设置经历了三种模式（参见图2）。
[8]
图2行政管理的三种模式
首先是韦伯模式，其基本特征是基于书面文献和大规模科层级结构的控制模式。[9]在这一模式下，政府信息化致力于社会集成，即办公自动化，政府获取和掌握数据资源的能力较弱。从20世纪60年代开始，韦伯式政府机构开始面向数字化转型，但其数据主要来自内部业务运转，是一个封闭和不透明的系统。在韦伯式结构中，很少使用数据来理解公民的想法，并为政策制定提供依据。
自20世纪80年代到21世纪初，新公共管理（NPM）模式成为政府管理改革的主要模式，该模式强调大型部门的解构，引入政府机构间竞争机制以及业务线管理机制等。[10]在这一模式中，信息技术在最初被用于更好地传递服务之后，也逐渐被边缘化了，因为激进的NPM理论认为信息技术技能应当剥离给外部服务供应商。[11]由于政府IT部门被外包出去，甚至在某些情况下被私有化，公民使用政府服务所产生的数据被计算机服务商所拥有，从而与服务供给脱节。且由于担心招来不必要的政府审计，这些服务提供商往往选择雪藏这些数据，而不是将其反馈到政府决策过程之中。[12]这些情况的出现，实际上导致NPM模式下的政府机构既不了解公民也不了解他们自己。
自2000年以来，一种新的公共管理模式——数字时代治理（Digital-Era Governance，DEG）模式出现。[13]这种模式将数字化技术置于机构层级的核心位置，恢复了被NPM模式所阻隔的“政府—公民数据流”。DEG模式的基础有三，即对纸质和基于电话的信息系统的完全数据化，以用户为中心的服务一体化，以及对碎片化政府机构的重组与整合。在DEG模式下，政府将跨层级的数据管理从原先的私人部门管理转移到集中化的“智能中心”模式，这种模式类似于沃尔玛的大数据仓库管理模式，比原来的政府数据管理模式有效得多。大数据的兴起，正好与政府管理模式的这一变革遥相呼应。
二、国内外政务大数据发展现状
由于“大数据”的广泛应用以及“大数据”蕴藏的巨大潜力和价值，许多国家纷纷将“大数据”的建设和发展上升为国家战略。2012年3月29日，美国正式发布了《大数据研究和发展倡议》（Big Data Research and Development Initiative）[14]，该倡议书中提到，大数据计划的实施，旨在帮助美国获得从海量复杂数据集中萃取知识的能力，借此提高国家应对急迫挑战的能力。这一计划类似于过去美国联邦政府在高性能计算和互联网等领域的战略性投入，并旨在推动国家在科学研究、教育和国家安全等领域的能力提升。该倡议书的发布，标志着大数据已经上升成为美国在计算服务领域的国家战略。英国、加拿大、新加坡、日本、韩国等国家纷纷推出了以开放、融合、创新为特征的新一轮信息技术革命推进政策。如英国政府所宣布的一项价值1.89亿英镑的“大数据”发展计划，意在推动“大数据”在商业、医疗、农业和科学研究等方面的应用；法国政府发布的“数字路线图（Digital Roadmap）”，计划投资1000余万欧元用于支持包括大数据在内的7个尖端领域的研究；澳大利亚联邦政府发布“澳大利亚公共服务大数据战略”，以推动公共行业利用大数据分析进行服务改革等。2011年9月20日，美国、英国、挪威、墨
西哥、印度尼西亚、菲律宾、巴西、南非等八国发起成立“开放政府联盟”，发布了《开放政府宣言》，目前全球已经有超过60个国家加入该联盟，贴近互联网、开发大数据、造福全社会已经成为当前发达国家政务信息化的主流声音。
相较而言，国内对于大数据的研究起步较晚。始于1993年国家自然科学基金会成立的“大数据共享联盟”，以搜集和展
示大数据的研究开发为主。自1999年起，“第三届亚太地区知识发现与数据挖掘国际会议”“Hadoop与大数据技术大会”和“大
数据共享联盟”等才开始开展有关大数据研究和开发的促进工作。[15]2008年，“计算社区联盟”（Computing Community Consortium）在《大数据计算：在商务、科学和社会领域创建革命性突破》报告中详尽阐述了大数据对社会治理的推动作用，以及潜在的商业价值。[3]直到2013年，维克托·迈尔-舍恩伯格的《大数据时代：生活、工作与思维的大变革》一书才掀起国
内的“大数据”热潮。自2013年以来，大数据、互联网、云计算等新兴产业得到了中国政府的高度重视。李克强总理在2014年《政府工作报告》中明确提出，要设立新兴产业创业创新平台，在大数据、云计算等方面赶超先进，引领未来产业发展。国务院常务会议多次专题研究部署推进互联网、大数据等新兴产业的快速发展，科技部、发改委、工信部等部委在科技和产业化专项中对新一代信息技术给予重点支持，在推进技术研发方面取得了积极效果。在国家层面的积极鼓励和倡导下，各地政府高度重视互联网、大数据、云计算等新兴产业发展。2014年2月，广东省率先提出设立广东省大数据管理局，并正式公布了《广
东省大数据发展规划（2015-2020年）》，为大数据产业发展注入了强大动力。上海、北京等地率先推出了政府数据资源开放共享网络平台，整合本地区数十个部门的政务大数据资源，向全社会开放共享，为企业和个人开展政务信息资源的社会化开发利用提供数据支撑。贵州省提出建设“云上贵州”计划，并力争成为全国首个基于云计算建成省级政府数据共享平台的省份。重庆、内蒙古、陕西、湖北等地都提出建设大数据和云计算产业基地的计划，力图将新兴产业培育成本地的支柱产业。2015年4月，国家发改委在部委中首家专门成立了大数据分析中心——国家发改委互联网大数据分析中心，全面支撑国家发改委宏观调控和重大决策，这标志着中国大数据产业已经开始进入应用深化的全新阶段。
三、政务大数据需坚持的三个基本方向
（一）整体性政府
整体性政府强调政府内部须实现机构、部门、专业、层级等之间的协调整合，以更好地解决公众需求，避免因政府内部矛盾冲突而造成的公共服务效率低下。Michael Milakovich指出，单一数据源已越来越难以满足应对很多政策领域日益复杂问题的需求，未来将会出现越来越多跨数据集的联系，且在数字时代，政府治理的关键在于整合多数据源的公共管理模式，因此，推动政务大数据应用首先应坚持整体性政府方向，推动政府间的数据共享与业务协同。[16]在英国，曾有报道称，由于缺乏跨部门沟通，当地警察部门和医院系统推进的一个分享暴力犯罪数据的项目最终宣告失败。[17]相比商业机构而言，政府在推进大数据方面所面临的挑战更加尖锐，因为他们必须在遵从安全性和相关法规的前提下，不断打破部门孤岛来推进数据的集成。
[5]政府部门不仅要应对多数据源和不同格式数据的集成分析等大数据领域通行问题，还要面对很多政府部门特有的挑战和问题。但对推进政务大数据应用而言，无论是对政府自身监管行为所产生的大数据，还是对公民在社交媒体或其他网络平台上所产生的行为数据进行采集和分析，都可能促进政府机构中跨层级的“智能中心”的建立。如在美国“9·11事件”以后，借由国家安全之名，政府开始强力推进跨部门电子数据共享。如美国国土安全部高度强调跨部门数据的互操作性，并应用多种技术手段促进数据在市政部门、社区、医院、供血站、避难所等各类机构之间的顺畅流动。此外，美国在环保、交通、医疗和公共安全等领域的信息共享也取得了良好成效。
（二）透明化政府
R. C. Joseph等认为，大数据分析技术的使用，能够大大提升政府服务的效能。[18]大数据能够提升电子政府的效率和效果，并促进其进一步演化为透明政府（transformational government，t-government），这被认为是电子政府的最终演化阶段。
[19]大数据应用建立在掌握数据的基础上，以海量数据为前提，政务大数据的发展往往离不开政府开放数据，这使得政府的透明度大大提高。纽约大学法学院教授贝丝·诺维克（Beth Novick）表示，数据的开放可以让政府公职人员和民众一起参与进来，解决政府无法完成的、棘手的问题，更广泛地发挥公众力量，借助大数据平台更好地进行社会管理。随着政府组织的行为及其与公众的交互越来越数据化，在政府自身内部系统中产生的各类大数据也为透明性政府建设提供了巨大潜力。在推进政务大数据应用中，政府的监管方式应不断创新，更加透明。在最极端的情况下，如果我们可以设想一个机构像维基百科那样完全进行数字化运作，那么通过下载其所有的编辑历史就可以提供该“组织”的所有完整的交互记录，从而提供了一种迄今为止难以想象的机会去理解其治理安排。[20]随着政府组织越来越“成为”一种前台的网络存在和后台的信息处理系统，大数据也将更有力地促进上述整体性政府的最终形成。
（三）服务型政府
大数据可以促进政府公共服务水平的提升，有利于服务型政府的建立。M. R. Rajagopalan等[21]指出，在大数据时代，公众可以更好地参与到政府工作之中，与政府分享信息，形成政府和公众共同参与的政务决策机制。[22]社会公众可以通过社交媒体、公开出版物、博客等渠道分享他们的意见，大数据分析技术可以处理这些非结构化数据，并将更好的服务和方案传递给所需的客户群体。因此，在大数据背景下，任何政府都可以藉由政务大数据的采集、分析和利用，不断推动优化政府自身运作流程和服务效能。而且，政务大数据分析是政府理解公民行为、解释政策与公共服务优劣的良好手段，也是政府决策者理解公众需求与偏好的工具，以更好地理解人们对于公民参与的积极性，对立法变动的态度[8]，以及对政府公共服务的需求。美国国税局（IRS）曾经重新设计其纳税申报流程，并应用大数据技术手段来提高对纳税欺诈和纳税不遵从行为的自动监测。在美国，随着联邦政府各个机构对于大数据分析的应用，政府在处理自身事务时将花费越来越少的精力。此外，大数据还可有效改进政府绩效管理方法，促进公共服务的提升。Michael Milakovich指出，以往政府部门的绩效管理往往是滞后的，因为其主要依赖一些事后的指标来评估政府工作的效果。[16]未来，政府管理部门应当更多依靠实时性数据来提升政府管理效能。
四、政务大数据需避免的三大认识误区
（一）将大数据等同于开放数据
由于目前尚无对“大数据”的标准界定，政府部门对大数据的认识存在混乱，有将开放数据等同于大数据，有将任何“大”的政府数据集的发布都当作是大数据。但事实上，很多开放数据只是离散的“小数据”，并不具备大规模、未经处理和非结构化等大数据的基本特征，且很多通过开放数据机构发布的在线数据集仅仅是一个可用的样本集。同时，虽然开放数据对于促进政务大数据应用意义很大，但当开放数据仅仅是由于上级部门的指令要求，并对政府部门本身工作并没有任何回馈时，开放数据项目就会缺乏可持续性。考虑到开放数据并不是不需要成本（公务员需要花时间去收集这些数据，并发布出去），在政府看不到任何收益的情况下，将其维持下去会很困难。在加拿大和英国，已经有证据表明，政府开放数据项目的可持续性受到了威胁，有些官员将开放数据描述为仅是由一小群爱好者推动的“桌角项目”。以美国的https://www.doczj.com/doc/7a17736358.html,门户网站为例，其在2012年包含有378529个原始空间数据集、1264个政府APP和236个公民开发APP。然而，到2014年，该网站的数据集事实上已经下降到了108606个，且各种APP的数量也有所下降。这实际上也是因为网站数据集的可用性不佳造成的。[23,24]此外，为了便于开发者和分析者能够不受数据格式限制而处理数据，开放数据集都是以原始格式发布的，这将影响数据的获得和使用。由于编码缺乏一致性，这些数据在没有电脑归纳的情况下非常难以理解，从而难以得到真正有效应用。可见，在推动政务大数据应用中，不能简单地将大数据等同于开放数据。
（二）将大数据等同于共享数据
Gang-Hoon Kim等对美国、英国、荷兰、瑞士、新加坡、日本、韩国、澳大利亚等发达国家的24项政府大数据应用进行了统计分析，发现目前发达国家政府大数据应用与商业领域大数据应用相比，规模还有很大距离；且目前大部分政府大数据
应用的对象仍以结构化数据为主，较少采用实时、动态、半结构化甚至非结构化数据。[5]这在中国政务大数据应用中也较为常见。据调查，目前很多地方政府建设的大数据平台，仅仅是过去政府共享数据平台的“翻版”。政府推动大数据平台建设的首要目的不是推动大数据应用，而是统一政府信息基础设施，实现各部门数据的互联互通。然而，政府大数据不仅仅是政府自身的业务数据，在当今社会，有大量对政府治理有意义的大数据源，如金融、电商、医疗、社交媒体等，并不完全由政府自身掌握。在推动政务大数据应用中，应逐步整合政府外部数据资源，建设国家层面的全国性大数据中心，形成更加完善的治理决策支持体系，以在数据整合的基础上实现服务整合。以澳大利亚Centrelink国家数据中心的建设为例，全国各地的Centrelink与数据中心直接联网，联邦、州、当地的服务机构，如税务部门、金融机构、警局等，也与数据中心实现联网共享；Centrelink在多种服务渠道的后台，借助信息通信技术将业务流程、服务、网络和资源进行优化整合，便捷、高效地为公众提供一体化的服务。
（三）将大数据等同于海量数据
随着大数据在中国的不断发展，各个地方都开始兴建大数据中心，但对于大数据中心的建设，更多地还停留在“建机房、上设备、堆数据”的阶段，忽视了大数据强调的是对数据的分析和应用。对于政务大数据的推进或大数据中心的建设，首先应有周密、严谨、细致的数据目录体系顶层规划，建立统一的数据资源目录体系、数据标准体系、数据质量审计体系和业务系统数据共享交换体系等；其次要有可对比、可回溯、可审计的数据质量管理体系，保障数据采集获取的可持续性，避免“数据陷阱”；再者，要有精通数据挖掘和业务建模的数据科学家队伍，从政务应用需求出发，做好潜在数据价值的挖掘与应用。此外，当前不少学者还未真正认识到大数据价值，认为海量数据无法获得，且大数据只是一种暂时性趋势。殊不知，大数据虽指海量数据，但并不是“全数据”，而是数据资源总量不断增长的状态，且从“大数据”中挖掘出有价值信息才是大数据应用的关键。
五、政务大数据需警惕的三大潜在问题
（一）警惕数据权的恶意使用或过度滥用
随着大数据应用的不断推进，数据开始被视为重要的战略资源，“世界经济论坛”报告曾指出大数据为新财富，价值堪比石油。在政治领域，数据的所有权是一种新的权利源泉。围绕原始数据的占有权和发布权的斗争将成为一个持久性的政治议题。一个不可否认的政治事实是，意识形态的倾向性总是会影响对客观事实的调查，并且对决策过程产生导向作用。当前，数据权被滥用的案例普遍存在。如针对政府网站数据不准确问题，2001年美国政府颁布了《数据质量条例》（Data Quality Act），允许私人团体对联邦政府部门所发布信息的准确性提出质疑。很多反对美国环保政策的商业团队就经常利用这一条款来拖延环保监管工作的执行。这条法律变成了环境保护监管工作的一个巨大障碍，因为它经常被用来拖延那些必要的监管工作的正常开展。在推进政务大数据应用中，应警惕数据权的恶意使用或过度使用。
（二）警惕大数据带来的信息歧视
大数据技术为基于证据的未来趋势预测提供了一种可能，但同时有可能会带来公平和公正的问题。Michael Milakovich 指出，在政务大数据应用中，数据挖掘阶段最有可能引发对公民隐私权的侵害。[16]尽管作为一种提升公共服务传递的重要手段，数据挖掘本身的意图是好的，但由政府收集和分析个人数据，不可避免地会引发对公民自由问题的争论。很多民众正在失去对政府的信任，其中部分原因就是政府机构拥有太多对公民个人数据的获取手段，而相反对个人数据的保护手段却太少。另外一个政务大数据应用的障碍来自伦理上的挑战，数据“可被获取，并不代表使用它就是道德的”[25]。大数据技术为基于证据的未来趋势预测提供了一种可能，使得社会科学的研究可以做到像自然科学研究一样的精准、量化、客观。大数据可以用于预测未来，人们可以基于大数据构建政策制定的概率模型，分析未来可能会发生什么，但这些模型会带来公平和公正的问题。举例来说，通过应用大数据技术，我们可以识别一些犯罪的“热点”区域，政府就可以在犯罪发生之前更好预知其发生规律，而生活在这些区域的人将会因此而比其他地方的人面临更高的被逮捕率。[26]
（三）警惕互联网公司侵害国家数据主权
由于中国数据产权的立法滞后，且在国家层面缺乏采集相关数据资源的统一规划，使得当前与国家经济、政治密切关联的数据较少掌握在政府手中，而如阿里、百度、腾讯、小米等互联网公司所掌握的数据资源较为丰富，且与国家经济社会运行
关系密切。以阿里为例，已将数据化作为该公司三大战略之一，其所掌握的大数据资源与中国国家安全之间的关联，是建立在阿里的数据覆盖面和数据累积深度的基础之上的。目前，阿里旗下淘宝的注册用户就接近5亿，从而支撑起阿里的消费者数据、制造业数据和供应商数据。至2013年底，阿里旗下的支付宝实名用户已近3亿（其注册账户早在2012年底即已突破8亿），并成为全球最大的移动支付商；而截至2014年6月30日，创立仅一年的余额宝用户已超过一亿，差不多是股市开市20多年后中国股民的两倍，支付宝和余额宝共同支撑起阿里的金融数据。马云说其未来进军的领域是医疗和文化事业，届时又会形成阿里关于中国人的体质健康生理数据和心理意识数据。这些数据通过云计算进行挖掘之后，对国家安全的价值会远远超出国家保密局所保密的信息价值。[27]为此，推进政务大数据应用，必须要警惕互联网公司对国家数据主权的侵害。
六、结语
Gang-Hoon Kim等指出，国家主导是政务大数据发展的根本动力。[5]发达国家政府的大数据项目都有着相似的目标导向（如公共服务的平等性和可获取性、公众对公共事务的更好参与、透明性政府等等）。政务大数据应用发展的主要关注点集中在安全性、速度、互操作性、分析能力和竞争人才等方面。当然，每个国家的政府都有其优先主导的方向，以及基于自身特殊环境的机遇与挑战（如美国的恐怖主义和健康问题，日本的自然灾害，以及韩国的国防事业等等）。[28]
中国在推进政务大数据应用的过程中，应从中国实际出发，出台切实可行的政府大数据发展供给政策。
参考文献略。
基金项目：国家发展改革委重大问题软科学研究项目“大数据与重大政策评估研究”。
作者简介：
于施洋（1974—），男，博士，副研究员，国家信息中心信息化研究部副主任，国家发改委互联网大数据分析中心执行副主任，研究方向：信息化战略、电子政务规划。
王建冬（1982—），男，博士，副研究员，国家信息中心信息化研究部大数据分析处副处长，国家发改委互联网大数据分析中心主任助理，研究方向：网络用户行为与政府信息服务创新。
童楠楠（1989—），女，中国人民大学信息资源管理学院博士研究生，国家信息中心信息化研究部助理研究员，国家发改委互联网大数据分析中心合作交流部主任，研究方向：政府信息服务创新。
龙源期刊网 https://www.doczj.com/doc/7a17736358.html, 国内外大数据产业发展现状与趋势研究 作者：方申国谢楠 来源：《信息化建设》2017年第06期 大数据作为新财富，价值堪比石油。 进入21世纪以来，随着物联网、电子商务、社会化网络的快速发展，数据体量迎来了爆炸式的增长，大数据正在成为世界上最重要的土壤和基础。根据IDC（互联网数据中心）预测，2020年的数据增长量将是2010年的44倍，达到35ZB。世界经济论坛报告称，“大数据为新财富，价值堪比石油”。随着计算机及其存储设备、互联网、云计算等技术的发展，大数据应用领域随之不断丰富。大数据产业将依赖快速聚集的社会资源，在数据和应用驱动的创新下，不断丰富商业模式，构建出多层多样的市场格局，成为引领信息技术产业发展的核心引擎、推动社会进步的重要力量。 大数据产业发展现状 全球大数据产业发展概况 目前，大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。据IDC预测，全球大数据市场规模 年增长率达40%，在2017年将达到530亿美元。美国奥巴马政府于2012年3月宣布投资2亿美元启动“大数据研究和发展计划”，将“大数据研究”上升为国家意志；2015年发布“大数据研究和发展计划”，深入推动大数据技术研发，同时还鼓励产业、大学和研究机构、非盈利机构与政府一起努力，共享大数据提供的机遇。目前，美国大数据产业增长率已超过71%，大数据在美国健康医疗、公共管理、零售业、制造业等领域产生了巨大的经济效益。英国政府自2013年开始就注重对大数据技术的研发投入，2015年投入7300万英镑用于55个政府的大数据应用项目，投资兴办大数据研究中心，通过大数据技术在公开平台上发布了各层级数据资源，直接或间接为英国增加了近490亿至660亿英镑的收入，并预测到2017年，大数据技术可以为英国提供5.8万个新的工作岗位，或将带来2160亿英镑的经济增长。法国2011年推出了公开的数据平台 date.gouv.fr，以便于公民自由查询和下载公共数据；2013年相继发布《数字化路线图》、《法国政府大数据五项支持计划》等，通过为大数据设立原始扶持资金，推动交通、医疗卫生等纵向行业设立大数据旗舰项目，为大数据应用建立良好的生态环境，并积极建设大数据初创企业孵化器。日本在《日本再兴战略》中提出开放数据，将实施数据开放、大数据技术开发与运用作为2013-2020年的重要国家战略之一，积极推动日本政务大数据开放及产业大数据的发展，零售业、道路交通基建、互联网及电信业等行业的大数据应用取得显著效果。韩国政府高度重视大数据发展，科学、通信和未来规划部与国家信息社会局（NIA）共建大数据中心，大力推动全国大数据产业发展。根据《2015韩国数据行业白皮书》统计显示， 数据服务市场规模占韩国总行业市场规模的47%，位列第一；数据库构建服务以41.8%的占有
关于大数据国内外的发展状态 来源：金窝窝 大数据的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。 关键词：大数据，发展，分析，技术 互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据;因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂;信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头过河的试错阶段。 中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。
大数据应用的五个典型应用场景 来源：中国计算机报时间：2015-03-24 11:31:09 作者： 数据观在网上查找的大数据应用的几个典型场景，分享给大家！ "数据将成为一种战略性原料，每一个企业、科研团队和政府，都有责任有目的地搜集、处理、分析、索引数据。"电子科技大学互联网中心主任周涛号召企业投身大数据，对大数据怦然心动的企业也确实很多。但基于对全球95个国家、26个行业的1144名业务人员和IT专业人士的广泛调研，IBM发现，大多数企业都已经认识到'大数据'改善决策流程和业务成效的潜能，但他们却不知道该如何入手。 的确，在主动或被动迎接大数据时代之时，企业管理人员迫切需要在实干之前，明确很多问题的答案：3V之外大数据还具备何种属性什么是大数据解决之道的要素大数据实施是否有章可循...... 以《分析：大数据在现实世界中的应用》白皮书为引子，IBM的大数据战略努力令企业的诸多疑惑迎刃而解。在此基础上，以"智慧的分析洞察"为核心的IBM大数据价值体系中的五大典型业务需求和对应的落地实践，形象化地展现了大数据如何驱动企业商业价值的增长。 IBM全球副总裁兼大中华区软件集团总经理胡世忠 明确发力点 在大数据和分析领域，IBM公认已经具备了充分的技术优势。IBM全球副总裁兼大中华区软件集团总经理胡世忠表示："数据构成了智慧地球的三大元素：物联化(instrumented)、互连化(interconnected)和智能化(intelligent)，而这三大元素又改变了数据来源、传送方式和利用方式，带来'大数据'这场信息社会的变革。作为大数据领域的领导者，IBM正在利用领先方法论和全面大数据技术帮助企业重新思考已有的IT模式；助力企业进行基于这场信息革命的业务转型，获取竞争机遇和不可估量的商业价值。" 要实现这一愿景，有必要知晓企业对应用大数据的认知程度和接受程度。IBM商业价值研究院和牛津大学赛德商学院联手实施了一项调研，并共同撰写发布了《分析：大数据在现
浅谈大数据发展现状及未来展望 中国特色社会主义进入新时代，实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略，吹响了加快发展数字经济、建设数字中国的号角。国家领导人在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向！ 今天，我拟回顾大数据的发端、发展和现状，研判大数据的未来趋势，简述我国大数据发展的态势，并汇报我对信息化新阶段和数字经济的认识，以及对我国发展大数据的若干思考和建议。 一、大数据的发端与发展 从文明之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学的“数据建模”，数据一直伴随着人类社会的发展变迁，承载了人类基于数据和信息认识世界的努力和取得的巨大进步。然而，直到以电子计算机为代表的现代信息技术出现后，为数据处理提供了自动的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用（即信息化），推动数据（信息）成为继物质、能源之后的又一种重要战略资源。 “大数据”作为一种概念和思潮由计算领域发端，之后逐渐延伸到科学和商业领域。大多数学者认为，“大数据”这一概念最早公开出现于1998年，美国高性能计算公司SGI的首席科学家约翰·马西（John Mashey）在一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“Big Data（大数据）”来描述这一挑战，在计算领域引发思考。2007年，数据库领域的先驱人物吉姆·格
国内外政务大数据应用发展述评：方向与问题 来源：电子政务杂志时间：2016-01-04 14:23:30 作者：于施洋,王建冬,等 摘要：大数据正在成为国家的重要战略资源，已是社会各界关注的焦点。从大数据的概念入手，界定了大数据概念的内涵、外延，指出政务大数据应用应成为政府管理改革的全新阶段。基于国内外政务大数据发展现状，在评述国内外政府大数据应用发展的基础上，提出中国政务大数据发展需坚持整体性政府、透明化政府和服务型政府三个基本方向，需避免将将大数据等同于开放数据、共享数据和海量数据三大认识误区，需警惕数据权的恶意使用或过度滥用、大数据带来的信息歧视和互联网公司侵害国家数据主权三大潜在问题。 关键词：电子政务；政务大数据；大数据应用；信息资源；数据开放 近年来，大数据在全球范围内受到追捧。据国际数据资讯（IDC）公司监测，全球数据量大约每两年翻一番，预计到2020年，全球将拥有35ZB的数据量。据统计，平均每一秒即有200万用户在使用Google搜索，Facebook注册用户超过10亿，每天生成300TB以上的日志数据。同时，传感网、物联网、社交网络等技术迅猛发展，引发数据规模爆炸式增长，大数据时代已经到来。著名的管理和咨询公司麦肯锡（McKinsey）认为，“大数据已经渗透到工业和商业领域的各个方面，成为影响生产的一个重要因素”，大数据的应用涉及经济、文化、教育、医疗、公共管理等各行各业。正是由于大数据的广泛应用及其背后蕴藏的巨大潜力和价值，许多国家纷纷将“大数据”的建设和发展上升为国家战略，积极推动大数据应用的发展。 中国政府虽已发布《促进大数据发展行动纲要》，将数据定性为国家基础性战略资源，但各级政府在推动政务大数据应用方面，仍存在不少问题。所谓政务大数据，是指政府推动大数据应用发展的过程或大数据在公共服务领域的应用实践。本文在评述国内外政务大数据应用发展的基础上，界定了大数据的概念内涵和外延，指出中国政务大数据应用发展的方向及应避免的认识误区和需警惕的潜在问题。 一、大数据的概念内涵及其外延
当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。 其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6 个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017 年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000 万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200 万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3 亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin 和投资委员LouisGallois 在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150 万欧元用于支持7 个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013 年6 月，安倍内阁正式公布了新IT 战略——“创建
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.doczj.com/doc/7a17736358.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
大数据发展现状与未来发展趋势研究 朱孔村 （江苏省科学技术情报研究所，江苏南京210042） 【摘要】数据是信息化时代的“新石油”资源，如何利用好这种“新石油”资源需要大数据技术的支持。文章介绍了大数据技术及其发展历程，概括了当前国内外大数据的发展现状并展望了大数据技术和产业方面的未来发展趋势。 【关键词】大数据；现状；趋势 【中图分类号】TP391【文献标识码】A【文章编号】1008-1151(2019)01-0115-04 Research on the Current Situation and Future Development Trend of Big Data Abstract: Data is the “new petroleum” resource of the information age and how to make good use of this “new petroleum” resource needs the support of big data technology. This paper first introduces the big data technology and its development process and summarizes the current development of big data at home and abroad. Finally, the future development trend of big data technology and industry is prospected. Key words: big data; current situation; trend 1 大数据技术概述 1.1大数据技术 随着物联网、云计算、移动互联网等技术的成熟，以及智能移动终端的普及，全社会的数据量呈指数型增长，全球已经进入以数据为核心的大数据时代。大数据并不是一个新的概念，信息技术发展的每一个阶段都会遇到数据处理的问题，人类需要不停的面对来自数据的挑战。为满足商业结构化数据存储的需求而产生了关系型数据库，为满足互联网时代非结构化数据存储需求而产生了NoSQL技术，而大数据技术的产生是为了解决大型数据集分析的问题。 大数据技术目前还没有一个确切的定义，各行各业有着自己的见解，但总体而言，其关键在于从数量庞大、种类繁多的数据中提取出有用的信息。维基百科从数据处理的角度将大数据定义为一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。国际数据公司（IDC）给出的报告指出，大数据技术描述了一种新一代技术和构架，以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值[1]。 少量的数据看似杂乱无章，但是当数据累积到一定程度时，就会呈现出一种规律和秩序。大数据的价值就在于数据分析，利用大数据分析技术，从海量数据中总结经验、发现规律、预测趋势，最终为辅助决策服务。《大数据时代》的作者克托·迈尔-舍恩伯格认为：“大数据开启了一次重大的时代转型”，他指出大数据将带来巨大的变革，改变人们的生活、工作和思维方式，改变人们的商业模式，影响人们的经济、政治、科技和社会等各个层面。 1.2大数据发展历程 1.2.1萌芽阶段 20世纪90年代，“大数据”这个术语开始出现。1998年SGI首席科学家John Masey在USENIX大会上提出大数据的概念，他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵 1.2.2发展阶段 从20世纪末到21世纪初期是大数据的发展期，在这一阶段中大数据逐渐为学术界的研究者所关注，相关的定义、内涵、特性也得到了进一步的丰富。2003至2006年，Google 发布的GFS、MapReduce和BigTable三篇论文对大数据的发展起到重要作用。2006至2009年，大数据技术形成并行运算与分布式系统。2009年，Jeff Dean在BigTable基础上开发了Spanner数据库。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。 1.2.3成熟阶段 2011年至今，是大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为 总第21卷233期大众科技Vol.21 No.1 2019年1月Popular Science & Technology January 2019 【收稿日期】2018-11-06 【作者简介】朱孔村（1985－），男，山东临沂人，江苏省科学技术情报研究所实习研究员，从事电子政务相关工作。 - 115 -
大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。
大数据发展背景与研究现状 （一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分 MGI）发 “赢 技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，但很多数据却与世隔绝“深藏闺中”，成为极大的浪费。2015年，国务院印发《促进大数据发展行动纲要》，明确要求“2018年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系
统整合共享实施方案》，进一步推动政府数据向社会开放。1 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在 。2012年Gartner认为，不到两年时间大数据将成为新技术发展的热点，海量和多样化的信息资产使得大数据需要新的处理模式，才能为数据信息使用者提供有效的信息，使得企业洞察危险的能力增强，流程得以优化，决策更加准确。Victor 在其最新着作《大数据时代——生活、工作与思维的大变革》中指出，大数据 1人民网 26个好用大数据的秘诀
时代要想得到有价值的信息，要从总体而不是少量的数据样本分析与实务相关的所有数据。更加注重数据之间的相关关系，乐于加收纷繁复杂的数据，而不再探求难以捉摸的因果关系和追求数据的精确性。欧盟在其公布的《数字议程》中指出公共数据的市场价值约有320亿欧元，公共数据的开放和再利用可以产生新的商业和工作机会。开放行、公共数据，增加政府的开放和透明度可以给 年9 展的进程。2017年8月30日，国家旅游局、银联商务股份有限公司和中国电信集团联合成立“旅游消费但是数据联合实验室”，并发布了首份研究成果《2017年上半年中国旅游消费大数据报告》。三方在各自的领域有深耕多年的技术、大数据能力、市场资源和经验，通过签署站多合作，可以实现资源共享，优势互 3国家十三五规划纲要
大数据的典型应用场景及展望 2015年1月24号，2015 China Hadoop Summit技术峰会在北京如期举行。本次大会作为国内大数据行业最具影响力的IT大会，吸引了众多从事Hadoop研究与推广的权威技术专家、Hadoop技术爱好者和IT厂商前往参加。 现任星环信息科技(上海)有限公司联合创始人兼首席技术官，曾任英特尔数据中心软件部亚太区CTO的孙元浩老师在本次大会上带来了主题为《2014年大数据的典型应用场景及展望》的分享，本文主要针对目前Hadoop主流应用场景，实时流数据的处理以及大数据技术给未来生活的设想等内容进行了整理。 四年前的硅谷，风投埃里森拿出一亿美金来投资大数据公司，他认为Hadoop技术在未来的若干年中会从底层的数据平台，从传统的关系型数据库进行迁移。数据的分析层会被全新的数据分析工具所替代，可视化层和应用分析会有更多的新工具出现，并认为这个市场将达到几百亿美金的规模。 过去几年，Hadoop的发展非常迅猛。我们常讲大数据的四V特征，Hadoop在大数据处理上表现出的处理量、性能、挖掘能力的提升和碎片化处理能力，使其得到越来越广泛的应用。 一、Hadoop的主流应用场景：数据仓库的主要组成部分 传统的企业有若干个主机，用于销售、运营管理等等，产生的数据首先经过ODS层，将数据从多个业务系统中集中起来，进行清洗、转
换等集成操作，然后将过加工的数据进入企业IT架构的核心——数据仓库进行统计、挖掘和分析。最后用可视化工具进行展现。这是传统的企业数据仓库的架构，经常采用主流的甲骨文等数据库技术来实现。 Hadoop作为数据仓库组成部分的四个驱动力 互联网公司早年的时候，是把Hadoop做在数据仓库的核心，比如Facebook早期的时候是从服务器采集是通过实时的日志的采集工具，经过Hadoop把Hadoop作为数据分析工具，呈现把结果放在甲骨文中做展现。 互联网公司之所以这么做，是因为互联网数据量大到在传统的数据库不能处理。现在传统的企业也面临同样的问题，将Hadoop作为数据仓库主要组成部分有四个驱动力： 效率：传统的数据仓库技术已经面临非常繁重的数据分析任务，处理的延迟从一天到了一周。 成本：传统的数据架构成本动辄几千万。Hadoop可以实现成本若干倍的降低。 数据来源多样：视频、音频等企业非结构化数据来源增多。MapReduce 对于非结构化或半结构化数据的读取非常有效。 数据分析需求的演进：数据分析不再只满足于统计。使用Hadoop 的技术，能够对数据进行深度的挖掘和分析，实现对未来的预测。Hadoop改变企业数据仓库架构的线路图 第一步：数据仓库的补充
政务大数据分析与可视化 应用白皮书 DataHunter大数据事业部 2019年3月26日
目录 1“智能+”背景下的政务大数据 (3) 2 政务大数据的典型应用场景 (3) 2.1 推动公共服务的创新 (3) 2.2 强化社会预测 (4) 2.3 推动社会治理与监管 (4) 3 政务大数据系统的建设标准以及原则 (4) 3.1 构建统一的政务数据汇聚平台 (4) 3.2 优化政务数据共享与治理机制 (4) 3.3 搭载数据分析等敏捷的上层应用 (5) 4 政务大数据平台架构参考 (6) 5 基于政务大数据的数据分析平台建议 (7) 5.1 对数据分析与治理单独立项，建立统一的数据仓库 (7) 5.2 部署敏捷的数据分析应用 (7) 5.3 完善数据可视化展示体系 (8) 6政务大数据平台数据分析与可视化展望 (9) 6.1向基于人工智能的增强分析功能演进 (9) 6.2自然语言处理和对话分析将应用于政务服务领域 (9) 6.3 政务数据分析将向公众开放一部分服务 (9) 7 关于DataHunter (10)
1“智能+”背景下的政务大数据 从2016年起，政府工作报告连续提出互联网+、数字经济、智能+这三大理念。作为“互联网+”的升级迭代，2019年政府工作报告提出的“智能+”，要求各个行业要更加深入的利用大数据、人工智能等新兴技术，与传统产业深度融合，这体现了基于数字革命的人工智能技术对社会生产的全新赋能。 在电子政务领域，“智能+政务”要求政府机构要充分利用物联网、云计算、移动互联网、人工智能、数据挖掘、知识管理等技术，提高政府办公、监管、服务、决策的智能化水平，形成高效、敏捷、便民的新型政府，来推动智慧政务的实现，从而激发社会创新、更好地为群众服务。 在电子政务从“互联网+”到“智能+”的演进过程中，大数据将扮演着重要作用。通过推动政务大数据的全面应用，可以跨系统、跨平台、跨数据结构地进行协同合作，同时也促进政务资源的整合并解决的信息孤岛的问题，盘活数据资产，提升政府公共服务能力等政务能力的建设。 同时，通过政务大数据的利用，可以促进政府和公众互动，让政务的流程与机制更加透明，帮助政府进行社会管理和解决社会难题，建立公众与政府间的沟通渠道，推进政府信息资源进一步开放共享，开发利用效率倍增，提升为民服务能力，促进经济社会快速发展。 2 政务大数据的典型应用场景 从本质上来讲，政府大数据具有强烈的公共服务属性，其承载着人口、教育、交通、环境、公共资源、公共安全等重要的数据，而且随着信息化的发展，这些数据从广度与深度上都在不断增长。通过对于这些数据的利用，能够增强公共服务的针对性、提高公共治理的精准性。总体来说，政务大数据的典型应用场景包括以下几个： 2.1 推动公共服务的创新 在发展过程中，传统电子政务逐渐暴露出信息孤岛、数字鸿沟、网络安全威胁、互联网治理水平低以及行政效率不高等问题，难以支撑起公共服务的创新。而在彻底实现了数据的云化与统一之后，部门壁垒与数据割裂将被打破，数据最终得以互联互通，数据资产实现再利用。通过构建基本公共服务海量数据采集、汇集、分析体系，打造连接、弹性供给、高效配置的载体，有利于推动基于政务大数据的公共服务创新，实现城乡建设、人居环境、健康医疗、社会救助、养老服务、
. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到：“数据，已经渗透到当今每一个行业和业务职能领域， 成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界（于2012年，高德纳修改了对大数据的定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，海量数据量。大数据计量单位至少是PB级别；第二，数据 类型繁多。比如，网络日志、视频、图片、地理位置信息等等都是囊括进来。第三，商业价 值高。第四，处理速度快。 在大数据时代，三分技术，七分数据，得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值， 比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据， 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的 公用事业提供给用户。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一 种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。 业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识
佳乐国际城三期住宅工程 实测实量质量控制措施 四川省兴旺建设工程项目管理有限公司 华阳街道社区商业服务综合体项目监理部 二零一六年一月二十六日
目录 一．混凝土结构工程4 1.截面尺寸偏差（砼结构）4 2.表面平整度（砼结构）4 3.垂直度（砼结构）5 4.轴线位移（砼结构）5 5．层高（砼结构） (5) 6.楼板厚度偏差（砼结构）6 7.施工控制线设置（砼结构阶段）6 二．砌筑工程7 1.表面平整度（砌筑工程）7 2.垂直度（砌筑工程）7 3.轴线位移（砌筑工程）7 4.外门窗洞口尺寸偏差（砌筑工程）8 5.重要预制或现浇构件（砌筑工程）8 6. .......................................................... 砌筑工序（砌筑工程）10 7.灰缝厚度、宽度（砌筑工程）11 A.其他方法（砌筑工程）12 三．抹灰工程12 1.墙体表面平整度（抹灰工程）12
2.墙面垂直度（抹灰工程）13 3.室内净高偏差（抹灰工程）13 4.阴阳角方正（抹灰工程）14 5.房间开间/进深偏差（抹灰工程）14 6.地面表面平整度（抹灰工程）15 7.户内门洞尺寸偏差（抹灰工程）15 8.裂缝/空鼓（抹灰工程）16
实测实量质量控制措施 为确保工程施工质量，根据《建筑工程施工质量验收规范》中实测实量内容要求，特对主要检测内容在施工过程中进行重点控制，并对砼工程在现场设置上墙检查牌，主要控制措施如下： 一．混凝土结构工程 1.截面尺寸偏差（砼结构） 1)检查内容：检查每层剪力墙、柱砼施工尺寸与设计图 尺寸的偏差。 2)合格标准：截面尺寸偏差[－5，8]mm 3)质量控制措施： 本工程主体结构剪力墙模板采用大模，拼模前放射墙体定位线以及模板控制线，并在放射墙体定位线上钻孔打定位筋和在剪力墙里放成品预制定位块，确保墙体截面尺寸。 2.表面平整度（砼结构） 1)检查内容：检查每层范围内剪力墙、柱砼表面平整程度。 2)合格标准：[0，8]mm 3)质量控制措施：
专题讲座 新型无机框图推断题的解题策略 解题策略 无论推断题属于哪种形式，均遵循这样的推断思路：迅速浏览、整体扫描、产生印象、寻找“突破口”，突破点由点到面、随时检验，注意联系、大胆假设、全面分析(正推或逆推)，验证确认。解题的关键是仔细审题，依物质的特性或特征转化来确定“突破口”，顺藤摸瓜，进而完成全部未知物的推断。我们可以将推断题的解题方法及推理过程表示如下： 推断题――→审题? ?????????明显条件隐含条件――→抓关键(突破口)?????? ??? ?结构特征 反应特征现象特征其他特征――→推断 结论―→验证 一、“一图多变”型推断题 同一个转化关系图，可能体现多种类似物质的不同转化，因而在复习时对各种元素及其化合物性质及相互转化关系时，善于将相似性质的物质及转化关系应加强联系，并关注其中某些物质的特征差异，以便明确具体物质。 题组一 直线转化型 1．(2013·江苏，6)甲、乙、丙、丁四种物质中，甲、乙、丙均含有相同的某种元素，它们之间具有如下转化关系：甲――→丁 乙丁甲 丙。下列有关物质的推断不正确的是( ) A ．若甲为焦炭，则丁可能是O 2 B ．若甲为SO 2，则丁可能是氨水 C ．若甲为Fe ，则丁可能是盐酸 D ．若甲为NaOH 溶液，则丁可能是CO 2 答案 C 解析 若甲为焦炭，丁为O 2，转化关系为C ――→O 2 CO O 2C CO 2，A 正确；若甲为SO 2， 丁为氨水，转化关系为SO 2――→NH 3·H 2O NH 4HSO 3 NH 3·H 2O SO 2(NH 4)2SO 3，B 正确；若甲为Fe ，丁为盐 酸，则乙为FeCl 2，FeCl 2与盐酸不反应，C 错误；若甲为NaOH 溶液，丁为CO 2，转化关系为NaOH ――→CO 2 Na 2CO 3 CO 2NaOH NaHCO 3，D 正确。 2．A ～G 各物质间的关系如图，其中B 、D 为气态单质。 A ――→MnO 2 ①B ――→Fe 点燃E ――→C F 和 G 的混合溶液 C ――→MnO 2 ②△ D ――→Fe ，△ G
国内外大数据经典案例研究
大数据时代的来临使得产生的数据量呈爆炸式增长，各行各业均面临着海量数据的分析、处理问题。如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。点评收集研究了国内外大数据应用的经典案例，希望可以对读者有所启示。 1、塔吉特百货孕妇营销分析 最早关于大数据的故事发生在美国第二大超市塔吉特百货。孕妇对零售商来说是个含金量很高的顾客群体，但是她们一般会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围，那时候再行动就晚了，因此必须赶在孕妇怀孕前期就行动起来。 塔吉特的顾客数据分析部门发现，怀孕的妇女一般在怀孕第三个月的时候会购买很多无香乳液。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。 点评：这个案例说明大数据在企业营销上的成功，利用大数据技术分析客户消费习惯，判断其消费需求，从而进行精确营销。这种营销方式的关键在于其时机的把握上，要正好在客户有相关需求时才进行营销活动，这样才能保证较高的成功率。 2、沃尔玛“啤酒加尿布”经典案例 总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛拥有世界上最
大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析。沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘，可以很轻松地知道顾客经常一起购买的商品有哪些。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！” 这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析，经过大量实际调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。 点评：无论“啤酒加尿布”仅仅是一个传说，还是一个真的发生过，它都已经成为大数据技术应用的一个经典案例。这个故事的意义在于将看似不相关的商品数据放在一起进行分析，找到他们之间的相关性，从而进行交叉营销，促进商品的销量。这种思维方式才是成功的关键。 3、试衣间的大数据应用 传统奢侈品牌PRADA正在向大数据时代迈进。她在纽约及一些旗舰店里开始了大数据时代行动。在纽约旗舰店里，每件衣服上都有RFID码，每当顾客拿起衣服进试衣间时，这件衣服上的RFID会被自动识别，试衣间里的屏幕会自动