大数据分析平台建设与应用综述
王强1李俊杰1陈小军1黄哲学1陈国良2
【摘要】大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验，结合大型企业实施行业应用项目的切身感受，从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构，然后介绍了大数据分析平台的关键技术，重点介绍了Spark 技术的体系架构及核心组件，最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。
【期刊名称】集成技术
【年(卷),期】2016(005)002
【总页数】17
【关键词】大数据平台；大数据分析；大数据应用；内存计算
1 引言
当前，人类社会信息化进程正在迈向网络化信息技术普及阶段。整个社会的信息采集渠道日益丰富，信息应用广度不断拓展，信息总量呈指数级增长，以信息为核心的创新驱动力持续增强，从而带来全社会信息在类型多样性、关系复杂性、应用时效性等方面呈现出崭新的趋势和特征。这种由社会信息环境的变革而引发的社会数据环境的变革，给信息科学及相关产业发展带来了巨大的挑战和机遇。
大数据就是为有效应对“网络时代海量复杂数据带来的管理与应用难题”而产生的一种新的思维方式、技术体系和创新能力，其特有的战略意义和核心价值