人文社科大数据研究现状综述
前言
数据的历史与人类的历史一样久长。步入现代社会以来，伴随信息载体、种类和数量的增多，数据种类越来越丰富，数字、文字、图像、音频、视频等也都是数据。通过数据来研究规律、发现规律，贯穿了人类社会发展的始终。不仅人类自然科学发展史上的不少进步都和数据采集分析直接相关，而且人文社会科学的发展也始终离不开数据。自20世纪后期以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发社会全面变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息总量的变化还导致了信息形态的变化——量变引起了质变。大数据正产生于这一大的历史背景下。
大数据就是囊括了包括各方面信息的一个庞大的数据总和，其最核心的价值在于对海量数据进行存储和分析，并实现预测某一事物发展的趋向。相比起现有的其他技术而言，大数据的廉价、迅速、优化这三方面的综合成本是最低的。大数据最重要的是如何使用，最大的挑战在于哪些领域能更好地使用数据及大数据的应用情况如何。人文社科包含人文科学和社会科学，是一个非常广泛的领域，大数据逐渐成为其研究热点，尤其是在农业、医疗、金融、社会管理等方面得到了很好的应用，为社会的发展提供了很大的帮助。
工业革命以后，以文字为载体的信息量大约每十年翻一番；1970 年以后，信息量大约每三年就翻一番。到如今，全球信息总量每两年就可以翻一番。著名管理咨询公司麦肯锡称:“数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于大数据的挖掘和运用,预示着新一波生产力增长和消费盈余浪潮的到来。”大数据无时无刻都在影响着我们的日常生活、国民经济、社会发展，受到社会各界的关注，如何利用这些海量数据去解决社会生活中的问题，已经成为当前研究的热点。人文社科领域重在研究并阐述各种社会现象及其发展规律，随着现实社会中数据量的剧增，比如社会化媒体，包括微信、微博、网站等，已经渗透到人们生活的各个领域，开放的群体通信和群体互动已经成社会生活的重要组成部分。人文社科领域原有的研究方法已经无法有效地处理这些数据。在过去，人文社科领域的研究常常采取抽样问卷调查、座谈、访谈等方法采集数据。然而，再好、再合理的抽样方法，反映的总是对局部和部分人群、阶层的研究结果，随机偶然性较大，准确性欠佳。如今，大数据处理技术为其提供了新的思想和方法。通过各个平台或网站的并联进行进一步分析，开展思想动态研究、行为方式分析、生活方式探索，发展趋势预测，乃至可以替代传统意义上的问卷调查而进行大规模的数据分析。通过大数据的这些相关技术挖掘社会化数据中隐藏的信息，揭示社会现象并为社会问题提供可靠的解决方案，解决了人文社科领域传统方法无法有效处理的问题。随着大数据研究的发展，大数据在人文社科领域已经有了很多较为典型的应用，特别是在农业、医疗、金融、社会管理等行业。
大数据是知识经济时代的战略高地，是国家和全球的新型战略资源。作为思维的革命性创新，大数据为科学研究带来了新的方法论。习近平总书记在谈到如何繁荣发展中国特色哲学社会科学时，要求我们善于“运用互联网和大数据技术，加强哲学社会科学图书文献、网络、数据库等基础设施和信息化建设”，这为信息化时代的人文社会科学研究的方式变革与理论创新指出了正确的方向。大数据正在成为当前中国社会快速信息化的最重要表征之一。我们应当深刻认识大数据及其对人文社会科学研究所
提供的机会与挑战，自觉促进人文社会科学研究的变革与创新。
一、大数据的特性及其热点研究
大数据的基本特征（沈浩、黄晓兰）
1.多带来不同，大数据具有的最显著特征之一就是多带来不同。
2.社交网络数据源，大数据真正的兴奋点来自于社交网络，特别是国外的Facebook 和Twitter，国内近年来兴起的微博，特别是新浪微博这个具有媒介属性的社会化媒体，每天每秒都在产生亿级的文本话语。
3.开放性公开易获得，大数据的开放性和公开易获得是大数据兴奋的另一重要特点，大数据的产生并非是为了分析去存储，而是商业过程自动化会产生并存储下来。
4.重预测爱，社会预测是大数据的重要特征。
5.重发现非实证，传统的实证研究，强调在理论的前提下建立假设，收集数据，证伪理论的适用性，采用随机抽样的定量调查问卷获取数据，验证假设，你不问的问题被访者也不会回答。
6.重关系非因果，大数据重关系而不关心因果，问什么而不问为什么是另一个重要特征。
7.重全体轻抽样，大数据是商业自动化存储的数据，在软硬件满足的条件下可以分析海量数据。8.非结构化数据，数据挖掘是要发现那些先前未知、实用、有效的信息和知识，往往更多来自非结构化数据，这是大数据时代的更为显著的特征。
大数据的特点（崔晓晖、王志波、杨威）
1.重发现非实证。
2.重关系非因果。
3.重预测而应用偏重于社会。
由于大数据所具有的特征，大数据研究并非易事，其难点主要体现在以下三个方面。首先，传统的存储结构需要升级为扩展性的存储架构，否则无法适应现有的大数据存储，同时，对于分布式的文件系统，需要进行实时的流处理，而“传统的数据分析更多的是结构化，数据量是有限的，集中式处理、批量处理，也无法满足需要”。其次，没有速度，再有价值的大数据也只能是一堆无法流通的钞票。凭藉传统的数据分析能力，无法处理这么大量的数据。最后，由于分析手段的限制，取样时的样本数不够大，不能充分利用所有的数据，无形中破坏了信息的完整性；由于受限于分析能力而无法获取复杂问题的答案；由于受限于时间而不得不采用某项简单的建模技术，同样，也是由于没有足够的时间来执行多次迭代，不得不对模型净度进行妥协。可见，大数据在人文社科领域的研究还在发展阶段，还需要继续研究新的处理方法和思想，为该学科的发展提供新的动力，并应用到现实以推动社会的发展。
人文社会科学大数据研究的基本特征（孙建军）
综合已有的研究，人文社会科学的大数据研究具有如下基本特征：
1.所涉及资料均大大超过一般的阅读、分析和理解所能处理的范畴，是以往“不可研究”或“难以研究”的，大数据分析方法的出现提供了人文社会科学研究新的研究空间，提供了新的研究可能。
2.一般引入计算分析方法，其结论并非观察、思索、领悟等传统方法获得，而是通过大量数据的汇集而“自动涌现”，其理论的获得不同于传统人文社会科学研究。
3.均构建了可持续完善和丰富的数据集和分析工具，其可用性、共享性、重用性、协作性大大增强，提供了人文社会科学学者大规模协作的可能。
4.均具有跨学科特征。数字人文研究需要汇集专业领域技能、数据管理技能、数据分析技能和项目协作技能，因而这类项目往往由跨度较大的不同学科的专业学者共同完成。
5.决定研究质量的主要是数据集的质量、数量和利用方式，而研究假设相对容易。在某种程度上，数据科学家将成为人文社会科学大数据研究中的主角。
大数据研究热点解析（赵蓉英、魏绪秋）
1.大数据时代图书馆资源与服务有待变革图书馆是知识的集中和发源地，而知识来源于数据。
2.大数据时代国家治理能力有待提高数。
3.大数据时代企业竞争情报工作急需加强。
4.大数据时代数据人才急需储备。
5．大数据时代现有数据技术有待发展。
6.大数据时代数据挖掘与处理变得尤为重要。
7.大数据时代信息服务有待完善。
8.大数据时代信息安全观念有待树立。
9.大数据与互联网息息相关。
大数据对于社会学的影响：网络时代的社会学（韩蒙、向伟）
社会学并不具有哲学那样高深的气质，也没有历史那样的气度，但是它位于社会科学之中，是社会科学这一领域的重要支柱。在这里我就不费篇幅去讲解社会科学的兴起历史，只强调一点，社会科学成为人类知识的一个领域之后，一直在以科学——主要是自然科学——作为其学科建设发展的目标。这一点野心，在社会科学要自称为科学就能看出来。我们以如今位列社会科学当中的经济学、政治学、社会学的各自对自己学科的期待就可见一斑。经济学，需要研究人类社会经济现象的运行规律；而政治学，则追求对于人类社会的政治运作规律进行解释；同样的，社会学通过经验来总结社会的规律，比如社会机制。尽管早期的社会学也主要是依赖于理论演绎的研究方式，但是在自身的发展过程当中，逐渐形成了一套以统计思想为技术基础的处理经验材料的研究方法。而随着统计思想的演进，这一套研究方法也经历了从归纳统计到推论统计的变化。由于统计方法的发展，社会学内部由于方法上的分野，也出现了基于方法即方法论的差异，出现的两种研究取向，即所谓的定性社会学与定量社会学的区分。基于假设检验、统计推断的社会学研究依赖定量方法；而难以被统计学检验的数据的社会学研究常常采用定性方法来进行研究，这样的研究注重从资料收集出发来建构理论，因此其研究逻辑类似于归纳的思想。
大数据条件下的人文社会科学教学方法创新（陈仲）
一是注重“以问题为中心”，“教师是主导，学生是主体”之诠释。二是注重传授“方法的知识”，“授之以鱼不如授之以渔”的追问。
大数据给大学尤其是人文社会科学的教学改革带来了极大挑战，同时也为教学方法的创新带来了机遇。大数据不仅仅是一种资源，而且是一种工具，更体现为洞察复杂事物的一种思维方式。这种思维方式强调数据的“代表性”而非“精准性”、强调“相关关系”而非“因果关系”、强调数据的“量”而非“杂”。这种思维方式主要是指“大时间”、“大空间”、“关联性”、“立体化”思维，“大时间”是指人们在看问题时，不能只局限于“当下”，而更应具有历史眼光和前瞻性视界；“大空间”是指人们在看问题时，不能只局限于某个狭小的“场域”，而更应该具有全球化视野；“关联性”是指人们在看问题时，不能孤立看待某个问题，而更应该树立联系发展的观点；“立体化”是指人们在看问题时，不能单向度地看待某个问题，而更应该具有多个维度。因此，大数据思维必须应用到人文社会科学的教学之中。如果说，教学是一门艺术，那么，这门艺术更多地体现在教学方法层面。教学方法是衡量教师教学水平高低的重要指标，优秀教师一定有一套让学生喜欢的教学方法。如果在大数据条件下，不转变教学观念，改进教学方法，教师难以优秀甚至难以生存。
二、大数据之于人文社科成果评价的价值
大数据时代人文社科成果评价变革的主要内容（蒋玲、杨红艳）
一是从随机样本到全样本，二是从精确性到混杂性，三是从因果关系到相关关系，并由此衍生出更多的新变化。大数据时代开展人文社科学术成果评价的变革，很有可能减轻甚至解决当前评价中的许多棘手问题，得出更为准确、可信、及时的评价结论，进而为人文社会科学带来前所未有的发展面貌。但是我们要认识到，仅针对个别评价要素开展的局部人文社会科成果评价变革很难奏效，因为大数据提供的变革思路是崭新的，必须从人文社科成果评价机制着手推进变革才有可能使变革落到实处。同时也不能盲目拥抱大数据时代，走向“用量化手段代替一切评价”的极端，辩证地认识大数据时代评价结论的相对性，警惕风险、扎实推进，是确保人文社科学术成果评价变革取得成功的关键。
大数据对人文社科成果评价的不足（蒋玲、施立红、苗林）
评价和了解研究人员的学术研究成果，可以为后续学术质量的提升及规划发展提供参考依据，并以此来激励研究人员进一步提高其学术研究的质量。长期以来，人们在此方面一直是以定性的方法为主，强调同行互评，并辅之以书目等成果计量方式的定量方法，目前定性与同行互评仍位居学术评价的主流地位。同行互评的缺陷在于无法排除评价者的主观影响，评价者本身的学术积累、知识领域和学术观点等都会对被评价者造成一定的影响。计量方式只是对其所发表的出版物进行计量，无法真正计算学术成果所带来的社会影响力。大数据的出现使得这些原本难以解决的难题迎刃而解。大数据主要的功能之一就是预测。人文社会科学科研成果的影响力可能是长时间的，在短时间内无法通过有限的数据真正反映其价值，大数据的预测使其成为可能，并大幅缩减评价时间和评价成本，将控制评价的主观随意性减到最低。当然，在人文社会科学科研成果中采用大数据评价方法也存在很多障碍。如牵头机构、数据整合、学者意识、推广宣传等，以及改变现有人文社科学术评价的固有理念，使之向大数据转移，也是一大难点。辩证地认识大数据时代评价结论的相对性，是确保评价变革成果的关键。大数据时代评价结论具有相对的正确性，但不能将大数据的评价结论等同于精确结论。因为数据可能是全面的，但人对大数据的掌控力度有限，不可能完全把握。大数据的评价结论也可能出错，因此不能将大数据时代的评价“神化”“万能化”。首先，我们并不能通过大数据预测出创新的成果一定会成为热点。如果过度依赖大数据的结果，科研成果反而会受到分析结果的压制；同时，分析和评价也需要同行专家的经验进行补充。其次，大数据因为信息的过于庞大而允许信息的不准确性，但却无法估算多少信息是不真实的，因而存在着大量的“脏数据”带来的隐患；最后，大数据存在着个人隐私安全的问题，庞大的信息记录着个人兴趣、经历、联系方式等信息，对个人隐私的安全带来威胁。
三、大数据之于人文社科研究的发展情况
人文社会科学研究应自觉融入大数据时代（欧阳康）
大数据时代已经来临。美国政府于1993 年启动信息高速公路建设，2012 年3 月又宣布投入2 万亿美元用于“大数据研究和发展计划”，着力于保持在大数据战略方面的世界优先地位。我国国务院在2015 年8 月发布了《促进大数据发展行动纲要》，将大数据纳入国家战略。目前的问题是，人文社会科学工作者如何自觉地进入大数据时代，推进人文社会科学研究的变革与创新。一要要自觉学习和有效运用复杂性思维。二要要自觉学习和运用大数据技术。三要要自觉更新和发展自我。
辩证认识大数据对于重构人文社科研究范式的作用（陈泓茹、赵宁、汪伟）
大数据既可以说是信息时代的新标识，也可以说是代表了一种新的战略、技术和方法。以2015 年9月5日国务院印发《促进大数据发展行动纲要》为标志，大数据在实践中已经上升为国家战略。但迄今为止的大数据应用范围更多的还是停留在经济社
会和政府治理等具体工作领域，人文社科研究实效性不高的顽疾能否通过主动对接这场数据革命、敏锐抓住机遇、实现数据转向而得到缓解甚至破解是一个值得讨论的重大课题。
第一，充分肯定大数据对于人文社科研究的积极意义是基础。第二，深刻认识人文社科研究方法论的特殊性是前提。第三，准确界定大数据的作用方式和领域是关键。第四，厘清大数据之于人文社科研究的作用边界是保障。
人文社会科学研究的数据挑战（孙建军）
其一，科研资料总量的快速增加给人文社会科学学者带来了巨大挑战。其二，资料的数字化改变了传统人文社会科学的资料类型，数字资源的采集、加工和处理对研究成果的获得作用日益显著。
人文社会科学大数据研究目前还面临 4 个方面的问题。（郭华东）
统计学的抽样调查是经典的社会学统计分析方法，但随着大数据时代的到来，人们获得全体数据已经不是不可能的了，因为先进的多核计算机可以在短时间内分析完成庞大而繁杂的数据[11]。所以，我们可以利用大数据分析以前所难以评价的结果。在人文社会学科研成果的评价方法当中，经验性和结果性评价仍为主流，大数据虽然为人文社科学术评价的变革提供了新的机遇，我们应好好把握，但也不能盲目地拥抱“大数据时代”，走向“用量化手段代替一切评价”的极端，应警惕这种评价变革可能带来的风险，扎实推进评价改革。
1.科研资料总量的快速增加和数据质量问题给人文社会科学研究带来了巨大挑战。当前人文社会科学研究者在各自研究领域都面临大量数据资料的处理问题[8]，研究范式的转变也使得人文社会科学研究越来越依赖高质量的数据，迫切需要构建人文社会科学数据的质量保障机制，以及研究新的计算机处理模式和分析方法以支持人文社会领域科学家对知识的获取、标注、比较、取样、阐释与表现。
2.资料数字化带来的挑战。资料数字化改变了传统人文社会科学的资料类型，数字资源的采集、加工和处理对高水平研究成果的获得作用日益显著[8]。以“大数据”为代表的数据资源在数据粒度、碎片化、结构多元化、信息质量等方面具有更高的复杂度，对资料的汇集、保存和综合利用更加依赖计算机的辅助，人文社会科学家进行数据处理分析也越来越需要依赖信息技术手段，迫切需要开发可用于人文社会科学大数据采集、清洗、分析处理和可视化的工具和方法。传统人文社会科学学者对信息处理分析工具与技巧的缺失将影响该领域高水平研究成果的产出。
3.数据出版和共享方面的挑战。缺乏能够应用于大数据研究实践成果和学术著作快速出版的开放工具和平台，也是一个重要挑战。目前亟需可用于不同学科、不同制度下的数据出版（有适当标准和授信）和数据共享的集成化平台，以及多数据集成化出版。
人文社会科学大数据研究的隐忧和新思维（孙建军）
虽然以微软、谷歌、IBM 为代表的主流数据服务商都极力推崇数字化人文社会科学研究的美好前景，但其也存在不足：
首先，非场景化的研究逻辑缺乏适用性与人文关怀。由于完全剥离了数据所处的具体环境，数据可能生涩，并且缺乏可理解性和适用性。比如商业分析中的数据挖掘，其可用性仅10%左右，并非“一挖就灵”。2012 年，加拿大作家史蒂芬·马尔什在其文章《文学不是数据：反对数字人文》中也表示，将文学当作数据会失去文学本身丰富的意蕴。其次，人文社会科学的大数据研究有可能“敏锐地”发现问题，却无法给问题合理的解释，也无法给出有针对性的对策，限制了其应用范围。比如舆情分析、政策计算、情感计算的应用。再次，数据分析的集群研究会消灭重要的个体特征，而个
体反而是众多人文社会科学研究关注的焦点。最后，人文社会科学大数据研究过分关注技术分析，可能忽视创新思维和思辨分析，不利于大师级人文社会科学学者的培养。
从当前数字人文和人文大数据研究情况看，人文及社会计算方法与人文社会科学研究的融合出现了三类新的研究思维：
其一，人文社会科学开放与全过程研究思维。其二，人文社会科学碎片化重组研究思维。其三，人文社会科学计算分析研究思维。
参考文献
[1]大数据对人文社科成果评价的价值研究，新世纪图书馆，期刊，蒋玲、施立红、苗林
[2]大数据融入人文社会科学的基本问题，学术论坛，期刊，陈泓茹、赵宁、汪伟
[3]大数据时代人文社会科学如何发展，光明日报，报纸，孙建军
[4]大数据时代人文社科成果评价变革探析，情报资料工作，期刊，蒋玲、杨红艳
[5]大数据时代中的人文社会科学挑战与机遇，内蒙古大学研究生学志，期刊，韩蒙、向伟
[6]大数据与人文社会科学教学方法革新，四川文理学院学报，期刊，陈仲
[7]大数据与人文社会科学研究的变革与创新，光明日报，报纸，欧阳康
[8]大数据在人文社科中的应用研究，社会科学报，报纸，崔晓晖、王志波、杨威
[9]大数据助力社会科学研究:挑战与创新，现代传播（中国传媒大学学报），期刊，沈浩、黄晓兰
[10]计量视角下的我国人文社会科学领域大数据研究热点挖掘与分析，情报杂志，期刊，赵蓉英、魏绪秋
[11]情报计量学视野下的当代人文社科发展背景描绘——一个人文社科领域数据密集
型科学发现的探索性案例，情报资料工作，期刊，汤建民
[12]自然科学与人文科学大数据，中国科学院院刊，期刊，郭华东等
大数据分析研究现状、问题与对策 随着大数据不断的持续发展，全世界越来越注重大数据的发展，大数据领域当中最为重视的问题在于如何进行对大数据科学有效的分析。经过研究发现，目前在进行大数据的研究当中还有一些问题没有得到解决，这些问题的存在会影响到大数据今后的发展。由此，下文主要对大数据的现状进行了阐述，针对其中存在的问题进行了深入的分析，并且提出了相应的解决对策，希望能够给予同行业工作人员相应的参考价值。 标签：大数据；分析；现状；问题；对策 前言：随着IT技术迅速的发展，各个领域的数据量都在持续的增加，只用人工的智能無法将大量的数据进行处理和分析。在2012年，美国的奥巴马政府在白宫网上将《大数据研究和发展倡议》公开发布，其目的是为了加强从大量复杂数据集合而获取的知识和见解的能力。这个倡议的发布，使得对大数据的研究在全球范围内产生了热议。由此，在大数据背景之下，我们要将大数据的采集、存储以及分析的问题进行探究。 1、大数据分析研究的现状 1.1研究大数据的方法 在进行大数据的分析时，要选择有效的分析方式进行大数据的分析，这也是其中最为重要的研究内容。大数据的分析方法会影响到大数据最终的分析结果，并且针对不同的分析方法要对不同类型的大数据进行分析。复杂数据的识别技术和传统文本识别技术以及关系数据识别技术都是不同的，这就导致在进行分析大数据时有很大的难度。通常复杂数据所使用的技术是大都是XML数据、图数据以及网络上的复杂实体识别技术等。从大数据系统的构架来看，在进行大数据的分析时，主要是应用了九层构架的方式来进行的分析，但还要对其应用进行深入的探究。 1.2大数据分析驱动科学萌芽 大数据技术会严重的影响到信息科学技术，大数据技术能够转变很多产业的发展方式，例如，在社会媒体中，大数据能够将传统媒体的受众分析和传播的方式进行更改。此外，在大数据的背景之下，也将客户的生命周期的理论进行了改变。并且大数据在进行实际的发展阶段，也给其他行业的发展带来了影响，由此，在这样的状态下，大数据在发展的同时要和各个行业共同发展，要将技术进行不断地更新，促使双方发展的更好。 2大数据面临的问题 2.1存储问题
龙源期刊网 https://www.doczj.com/doc/4c1361653.html, 国内外大数据产业发展现状与趋势研究 作者：方申国谢楠 来源：《信息化建设》2017年第06期 大数据作为新财富，价值堪比石油。 进入21世纪以来，随着物联网、电子商务、社会化网络的快速发展，数据体量迎来了爆炸式的增长，大数据正在成为世界上最重要的土壤和基础。根据IDC（互联网数据中心）预测，2020年的数据增长量将是2010年的44倍，达到35ZB。世界经济论坛报告称，“大数据为新财富，价值堪比石油”。随着计算机及其存储设备、互联网、云计算等技术的发展，大数据应用领域随之不断丰富。大数据产业将依赖快速聚集的社会资源，在数据和应用驱动的创新下，不断丰富商业模式，构建出多层多样的市场格局，成为引领信息技术产业发展的核心引擎、推动社会进步的重要力量。 大数据产业发展现状 全球大数据产业发展概况 目前，大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。据IDC预测，全球大数据市场规模 年增长率达40%，在2017年将达到530亿美元。美国奥巴马政府于2012年3月宣布投资2亿美元启动“大数据研究和发展计划”，将“大数据研究”上升为国家意志；2015年发布“大数据研究和发展计划”，深入推动大数据技术研发，同时还鼓励产业、大学和研究机构、非盈利机构与政府一起努力，共享大数据提供的机遇。目前，美国大数据产业增长率已超过71%，大数据在美国健康医疗、公共管理、零售业、制造业等领域产生了巨大的经济效益。英国政府自2013年开始就注重对大数据技术的研发投入，2015年投入7300万英镑用于55个政府的大数据应用项目，投资兴办大数据研究中心，通过大数据技术在公开平台上发布了各层级数据资源，直接或间接为英国增加了近490亿至660亿英镑的收入，并预测到2017年，大数据技术可以为英国提供5.8万个新的工作岗位，或将带来2160亿英镑的经济增长。法国2011年推出了公开的数据平台 date.gouv.fr，以便于公民自由查询和下载公共数据；2013年相继发布《数字化路线图》、《法国政府大数据五项支持计划》等，通过为大数据设立原始扶持资金，推动交通、医疗卫生等纵向行业设立大数据旗舰项目，为大数据应用建立良好的生态环境，并积极建设大数据初创企业孵化器。日本在《日本再兴战略》中提出开放数据，将实施数据开放、大数据技术开发与运用作为2013-2020年的重要国家战略之一，积极推动日本政务大数据开放及产业大数据的发展，零售业、道路交通基建、互联网及电信业等行业的大数据应用取得显著效果。韩国政府高度重视大数据发展，科学、通信和未来规划部与国家信息社会局（NIA）共建大数据中心，大力推动全国大数据产业发展。根据《2015韩国数据行业白皮书》统计显示， 数据服务市场规模占韩国总行业市场规模的47%，位列第一；数据库构建服务以41.8%的占有
信息资源管理文献综述 题目：大数据背景下的信息资源管理 系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月 大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。
关键词：大数据信息资源管理与利用 目录 大数据概念.......................................................... 大数据定义...................................................... 大数据来源...................................................... 传统数据库和大数据的比较........................................ 大数据技术.......................................................... 大数据的存储与管理.............................................. 大数据隐私与安全................................................ 大数据在信息管理层面的应用.......................................... 大数据在宏观信息管理层面的应用.................................. 大数据在中观信息管理层面的应用.................................. 大数据在微观信息管理层面的应用.................................. 大数据背景下我国信息资源管理现状分析................................ 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日
大数据研究综述 网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法. 文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望. 网络大数据的深挖掘、大规模利用是新兴产业界的立足点.即便针对大数据的研究目前还没有建立一套完整的理论体系,也缺少高效快速的处理、分析与挖掘的算法与范式,但大数据的应用前景毋庸置疑,因为大数据从根本上来说就是来源于应用的问题。网络大数据可为世界经济创造巨大价值,提高企业和公共部门的生产率和竞争力,并为消费者创造巨大的经济利益。 大数据近期发展: 1.网络空间感知与数据表示 2.网络大数据存储与管理体系 3.网络数据挖掘 4.社会计算以及网络数据平台系统与应用 以上四点见:网络大数据:现状与展望第3,4,5,6节作者:王元卓2013年
5.在大数据处理中,应用云计算技术,促进大数据处理系统的功能多样化。见: 讨论云计算技术下的大数据处理系统任量2014年
大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储 介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据 量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民 都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动 产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种 爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦 苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求 非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取 得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头 过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对 于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处 理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。 大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。
当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。 其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6 个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017 年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000 万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200 万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3 亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin 和投资委员LouisGallois 在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150 万欧元用于支持7 个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013 年6 月，安倍内阁正式公布了新IT 战略——“创建
信息资源管理文献综述题目：大数据背景下的信息资源管理系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015
任课教师： 2017年6月 大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。 关键词：大数据信息资源管理与利用
目录 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比 石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞 争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入
库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对 实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指 数级上升;传统技能和处理方法无法应对大数据挑战. 正文： 大数据概念 大数据定义 维基百科对大数据的定义则简单明了:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理 大数据来源 1)来自人类活动:人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据，包括微博、病人医疗记录、文字、图形、视频等 信息. 2)来自计算机:各类计算机信息系统产生的数据，以文件、数据库、多媒体等形式存在，也包括审计、日志等自动生成的信息. 3)来自物理世界:各类数字设备、科学实验与观察所采集的数据.如摄像头所不断产生的数字信号，医疗物联网不断产生的人的各项特征值，气象业 务系统采集设备所收集的海量数据等 传统数据库和大数据的比较 现有数据处理技术大多采用数据库管理技术，从数据库到大数据，看似一个简单的技术升级，但仔细考察不难发现两者存在一些本质上区别。传统数据库时
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.doczj.com/doc/4c1361653.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
大数据发展背景与研究现状 （一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析的时代：在大数据的世界竞争》是____年12月xx全球研究院（MGI）发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务、xx零售业、制造业、欧盟公共部门及xx健康医疗领域有很大的增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其他途径的数据形成了一项资产，产生了巨大的商业价值。苹果、亚马逊、Facebook、xx、通用微软以及阿里巴巴集团利用大数据分析及自己的优势改变了竞争的基础，建立了全新的商业模式。稀缺数据的所有者利用数字化网络平台在一些市场近乎垄断，只需用独特方式将数据整合分析，提供有价值的数据分析，几乎可以“赢家通吃”。____年全球的数据储量就达到1.8ZB，与____年相比____年大数据增长了近4倍，未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力和创新商业模式的新途径。大数据在企业中得到了充分的应用并实现了巨大的商业价值。xx百货的SAS系统可以根据7300种货品的需求和库存实现实时定价。零售业寡头摩尔xx通过最新的搜索引擎Polaris，利用语义数据技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，但很多数据却与世隔绝“xx闺中”，成为极大的浪费。____年，国务院印发《促进大数据发展行动纲要》，明确要求“____年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放。 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域的应用。大数据与xx计算、物联网一起使得很多事情成为可能，将会是新的经济增长点。大数据随着以数据科学为核心的计算机技术的迅猛发展，推动了社会科学与自然科学等跨科学研究的发展。因此对xx乃至全国的大数据研究具有深刻而广泛的意义。
大数据文献综述英文版 Prepared on 24 November 2020
The development and tendency of Big Data Tang Xia (Guilin University of electronic technology, electronic engineeringandautomation, Guilin) Abstract: "Big Data"is the most popular IT word after the "Internet of things"and "Cloud computing". From the source, development, status quo and tendency of big data, we can understand every aspect of it. Big data is one of the most important technologies around the world and every country has their own way to develop the technology. Key words: big data; IT; technology 1 The source of big data Despite the famous futurist Toffler propose the conception of “Big Data” in 1980, for a long time, because the primary stage is still in the development of IT industry and uses of information sources, “Big Data” is not get enough attention by the people in that age[1]. 2 The development of big data Until the financial crisis in 2008 force the IBM ( multi-national corporation of IT industry) proposing conception of “Smart City” and vigorously promote Internet of Things and Cloud computing so that information data has been in a massive growth meanwhile the need for the technology is very urgent. Under this condition, some American data processing companies have focused on developing large-scale concurrent processing system, then the “Big Data” technology become available sooner and Hadoop mass data concurrent processing system has received wide attention. Since 2010, IT giants have proposed their products in big data area. Big companies such as EMC、HP、IBM、Microsoft all purchase other manufacturer relating to big data in order to achieve technical integration[1]. Based on this, we can learn how important the big data strategy is. Development of big data thanks to some big IT companies such as Google、Amazon、China mobile、Alibaba and so on, because they need a optimization way to store and analysis data. Besides, there are also demands of health systems、geographic space remote sensing and digital media[2]. 3 The status quo of big data Nowadays America is in the lead of big data technology and market application. USA federal government announced a “Big Data’s research and development” plan in March,2012, which involved six federal government department the National Science Foundation, Health Research Institute, Department of Energy, Department of Defense, AdvancedResearchProjectsAgency and
. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到：“数据，已经渗透到当今每一个行业和业务职能领域， 成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界（于2012年，高德纳修改了对大数据的定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，海量数据量。大数据计量单位至少是PB级别；第二，数据 类型繁多。比如，网络日志、视频、图片、地理位置信息等等都是囊括进来。第三，商业价 值高。第四，处理速度快。 在大数据时代，三分技术，七分数据，得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值， 比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据， 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的 公用事业提供给用户。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一 种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。 业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识
大数据研究综述
————————————————————————————————作者：————————————————————————————————日期： ?
大数据研究综述 摘要：从大数据基本理论，大数据存储与分析处理技术和大数据应用研究三个角度说明当前研究热点，重点比较当前大数据处理工具的优缺点,并深入归纳总结了基于数据存储大数据处理技术,对未来研究进行展望。 关键词：大数据,综述，数据处理,数据挖掘 引言 现代社会提到大数据大家都知道这是近几年才形成的对于数据相关的新名词，在1９80年，，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。在２0 世纪 8０年代我国已经有一些专家学者谈到了海量数据的加工和管理，但是由于计算机技术和网络技术的限制大数据未能引起足够的重视，它蕴藏的巨大信息资源也暂时隐藏了起来。随着云计算技术的发展，互联网的应用越来越广泛,以微博和博客为代表的新型社交网络的出现和快速发展，以及以智能手机、平板电脑为代表的新型移动设备的出现，计算机应用产生的数据量呈现了爆炸性增长的趋势。２01２年末出版的《大数据时代》的作者英国牛津大学网络学院互联网研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的引言中说,大数据正在改变人们的生活以及理解世界的方式, 而更多的改变正蓄势待发。美国总统奥巴马的成功竞选及连任的背后都有大数据挖掘的支撑,美国政府认为，大数据是“未来的新石油”,并将对大数据的研究上升为国家意志，这对未来的科技与经济发展必将带来深远影响［1］。如今，大数据已成为一项业务上优先考虑的工作任务，因为它能够对全球整合经济时代的商务产生深远的影响。大数据的应用范围如此广泛，与大数据相关的很多问题都引起了专家和学者的重视。大数据最基本的问题－大数据的定义目前还没有一个统一的定论,但大数据作为一种基础性资源需要被处理才能显现其潜在的价值，那么如何更好地处理大数据这种基础性资源就显得特别重要，因为这些问题都关系到大数据核心价值的体现。为此,本文从大数据若干个版本的概念出发,调查分析了大数据的研究和应用现状，重点分析了当前主流的大数据处理工具和技术,最后预测了大数据未来
国内外大数据经典案例研究
大数据时代的来临使得产生的数据量呈爆炸式增长，各行各业均面临着海量数据的分析、处理问题。如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。点评收集研究了国内外大数据应用的经典案例，希望可以对读者有所启示。 1、塔吉特百货孕妇营销分析 最早关于大数据的故事发生在美国第二大超市塔吉特百货。孕妇对零售商来说是个含金量很高的顾客群体，但是她们一般会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围，那时候再行动就晚了，因此必须赶在孕妇怀孕前期就行动起来。 塔吉特的顾客数据分析部门发现，怀孕的妇女一般在怀孕第三个月的时候会购买很多无香乳液。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。 点评：这个案例说明大数据在企业营销上的成功，利用大数据技术分析客户消费习惯，判断其消费需求，从而进行精确营销。这种营销方式的关键在于其时机的把握上，要正好在客户有相关需求时才进行营销活动，这样才能保证较高的成功率。 2、沃尔玛“啤酒加尿布”经典案例 总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛拥有世界上最
大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析。沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘，可以很轻松地知道顾客经常一起购买的商品有哪些。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！” 这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析，经过大量实际调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。 点评：无论“啤酒加尿布”仅仅是一个传说，还是一个真的发生过，它都已经成为大数据技术应用的一个经典案例。这个故事的意义在于将看似不相关的商品数据放在一起进行分析，找到他们之间的相关性，从而进行交叉营销，促进商品的销量。这种思维方式才是成功的关键。 3、试衣间的大数据应用 传统奢侈品牌PRADA正在向大数据时代迈进。她在纽约及一些旗舰店里开始了大数据时代行动。在纽约旗舰店里，每件衣服上都有RFID码，每当顾客拿起衣服进试衣间时，这件衣服上的RFID会被自动识别，试衣间里的屏幕会自动
大数据的国内外研究现状及发展动态分析1 产生地背景与意义 上世纪年代到年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等.尽管当时人们称其为大数据，但以今日地数据量来看，这些数据无疑是非常有限地.随着地出现和应用增多，企业内部出现了很多以公文档为主要形式地数据，包括、文档，以及后来出现地图片、图像、影像和音频等.此时企业内部生产数据地已不仅是企业地财务人员，还包括大量地办公人员，这极大地促进了数据量地增长.互联网地兴起则促成了数据量地第三次大规模增长，在互联网地时代，几乎全民都在制造数据.而与此同时，数据地形式也极其丰富，既有社交网络、多媒体等应用所主动产生地数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集地数据.时至今日，随着移动互联网、物联网、云计算应用地进一步丰富，数据已呈指数级地增长，企业所处理地数据已经达到级，而全球每年所产生地数据量更是到了惊人地级.在数据地这种爆炸式增长地背景下，“大数据”地概念逐渐在科技界、学术界、产业界引起热议.在大数据时代，我们分析地数据因为“大”，摆脱了传统对随机采样地依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据地精确度，而是坦然面对信息地混杂；信息之“大”之“杂”，让我们分析地“据”也由传统地因果关系变为相关关系.文档收集自网络，仅用于个人学习 大数据热潮地掀起让中国期待“弯道超越”地机会，创造中国企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追地战略
机遇.传统行业对于底层设备、基础技术地要求非常高，企业在起点落后地情况下始终疲于追赶.每当企业在耗费大量人力、物力、财力取得技术突破时，革命早已将核心设备或元件推进至下一阶段.这种一步落后、处处受制于人地状态在大数据时代有望得到改变.大数据对于硬件基础设施地要求相对较低，不会受困于基础设备核心元件地相对落后.与在传统数据库操作层面地技术差距相比，大数据分析应用地中外技术差距要小得多.而且，美国等传统强国地大数据战略也都处于摸着石头过河地试错阶段.中国市场地规模之大也为这一产业发展提供了大空间、大平台.大数据对于中国企业不仅仅是信息技术地更新，更是企业发展战略地变革.随着对大数据地获取、处理、管理等各个角度研究地开展，企业逐渐认识数据已经逐渐演变成“数据资产”.任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累.数据是企业地核心资产，可以是也应该是独立于软硬件系统及应用需求而存在地.大数据是信息技术演化地最新产物，确立了数据这一信息技术元素地独立地位.正因为数据不再是软硬件及应用地附属产物，才有了今天爆炸式地数据增长，从而奠定了大数据地基础.为了充分利用数据资产，大数据产业也呼之欲出.大数据时代来临，使商业智能、信息安全和云计算具有更大潜力.大数据产业链按产品形态分为硬件、基础软件和应用软件三大领域，商业智能、信息安全和云计算主横跨三大领域，将构成产业链中快速发展地三驾马车.就国内而言，商业智能市场已步入成长期，预计未来年复合年均增长率( ) 为，“十二五”期间潜在产值将超亿元; 信息安全预计未来年有望保持～地快速增长，“十二五”期间潜在产值将超亿元; 云计算刚进入成长期，预计未来年将超，年产业规模预计将
- 31 - 第14期 2018年7月No.14July，2018 随着物联网时代的发展和需要，数据成为人类新一代能源物资，成了变革人类生产、生活以及教育方式的科学决策力量。云南省作为边疆少数民族地区，如何通过把握数据时代发展契机来努力实现经济社会跨越式发展以及成为面向南亚东南亚辐射中心[1]，是当前云南省大数据建设的一个重要任务。 1 政府高度重视重点行业和领域大数据的开放开发工作 为贯彻落实国务院印发的《促进大数据发展行动纲要》[2] ，结合云南省实际，于2017年6月制定了《关于重点行业和领域大数据开放开发工作的指导意见》（以下简称《意 见》）[3] 。通过率先开放开发12个重点行业和8个重点领域的大数据，积极探索符合云南地区特色的大数据发展模式。 该《意见》以2018年和2020年为时间节点，分别指出大数据开放发展的双重目标，这将为云南省建设发展大数据指明前进方向。另外，《意见》所述内容也已经明确提出了重点领域和行业大数据开放发展的主要任务，且在文末也附了云南省重点行业和领域大数据开放开发工作重点任务分工表，各重点行业和领域应该各司其职，与新时代的发展握手，加快对数据的开放和共享，增强数据的活力，努力实现云南省经济的跨越式发展。 2 大数据建设的基础环境不断优化2.1 云南省信息产业发展良好2.1.1 产业规模不断壮大 根据统计（见图1），截至2015年12月，云南省电子信息产业各类企业将近400户，其中，规模以上企业有124户，占比31%。规模以上企业分为电子信息制造企业以及软件和信息技术服务企业，分别占比15%和85%。可以看出，云南省所有电子信息产业各类企业，特别是规模及以上企业的发展壮大为大数据的建设发展提供强有力的技术支撑。2.1.2 软件和信息技术服务业增速领先西部省区 据工业和信息化部反馈，西部地区软件业务的收入占全国的11.5%，且增速最快的前5名分别是：云南、安徽、海南、贵州以及陕西（见图2），其软件业务收入分别增长40.2%， 33.3%，31.7%，21.9%和21.9%。云南省近几年在政府的带领 下，紧抓信息产业的发展，这为大数据的建设发展、数据资源的共享融通等方面奠定了良好的基础。 图1 2015年云南省电子信息产业发展情况 图2 2017年上半年，软件和信息技术服务业方面 收入增长率前5名对比 2.1.3 制订了清晰明确的信息产业收入目标根据行业统计（见图3），2015年云南省的通信服务业、电子信息制造业、软件和信息技术服务业的收入分别是311 张国丽，黄永仙，舒 茜*，马映梅 （云南师范大学，云南 昆明 650500） 摘 要：开发与挖掘各重点行业和领域的数据，提升大数据的应用价值，是当前大数据建设的重要任务，对促进云南省经济增 长和转型升级具有重要意义。文章从政府视角、大数据建设基础环境以及已有的大数据研究院着手分析云南省大数据建设现状，以期为云南省大数据的建设发展提供相应的理论支撑。关键词：云南省；大数据建设；现状无线互联科技 Wireless Internet Technology 云南省大数据建设现状研究 作者简介：张国丽（1994— ），女，四川广元人，硕士研究生；研究方向：民族教育信息化。*通信作者：舒茜（1994— ），女，云南昭通人，硕士研究生；研究方向：数字化学习环境与技术。