大数据下的交通管理策略解析
近年来，各大城市的监控设备随着经济发展得到大规模建设，也推动了警务信息化进程，各类视频监控终端和信息采集系统遍布整座城市，每天这些新型设备都为交通管理者采集了大量的数据。这就衍生出一个新问题，那就是如何有效的从这些数据中找寻解决当下交通问题的好方法？这就要求交通管理者的数据处理能力非常强，但同时也给道路交通管理水平的提升提供了难得的机会。大数据是交通信息化管理的使用方法之一。新时代的道路交通管理工作面临新挑战、高要求，利用大数据的信息技术解决各类交通问题刻不容缓。江西省南昌市交管局进一步打造新时代的交通警务管理，在大数据技术基础之上，充分结合实际情况，全面提升道路交通管理的水平。
一、建设互联信息平台
为加快建设南昌的交通信息服务平台、交通综合管理平台，必须充分利用南昌市智能交通发展规划，从动态、静态两个方面入手。在动态的交通管理方面，要充分利用大数据技术对南昌市现有的智能交通指挥体系进行改造，完善集成管控平台、事故警情三合一系统、交通流量监测和指挥中心大屏显示支持等应用功能，增强对大量交通信息的分析和应用，让动态交通信息的采集更加完善、处理更加迅速。此外，通过建立互联网、手机APP、微信公众号、官方微博等互联网交通信息服务平台，为百姓提供实时出行路况信息、交通警情信息、道路施工绕行提示等交通服务信息，优化交通出行，改善百姓道路出行体验。
在静态的交通管理方面，南昌市交管局可建立内部的物联网停车管理系统，将各小区车辆停车出入信息、公共停车场、营业机构停车场等信息接入共享，以实现对静态停车管理的审批，让大家共享停车资源。同时积极采集实时动态泊位信息，完善停车管理，优化停车管理的策略，用以保障市政部门对车辆行驶物联网大数据的应用。还可以构建开放的静态停车公共服务系统，面向社会公众、停车运营机构使用，提供各种车辆停车信息等管理服务功能。完成资源最优化利用和动静态交通管理的完美衔接，优化城市静态停车分析、规划和建设，提升停车经营企业的服务和运营水平。
二、深挖现有系统数据
南昌市交管局现有的平台功能相对完善，数据流量大，但是日常对于数据搜集数量较少，应加大对智慧交通体系的技术开发，深入研究数据对交通警情的预测和研判作用，通过对海量数据的分析研究，找出事故、拥堵等各类影响交通的警情发生的规律，为道路交通管理策略的研究提供理论依据。同时还可以根据行驶条件、天气状况、行驶流量、车速、通过该路段大约行驶时间等因素，分析研判上下班高峰期以及平峰时期的交通流量路段、交通事故易发路段、道路易拥堵路段以及交通违法行为集中的路段，在电子大屏幕中标注显示，一眼明了。
三、整合各领域数据资源
在科技信息的浪潮下，大数据下的交通管理信息已远远超过以往的范畴，不再局限于人、车、路。南昌市交管局应加强与其他道路相关部门的沟通联系，例如城市建设管理、交通运输、运营车辆管理等部门
以及其他的社交工具运营商，充分获取大量交通管理数据信息。一是共享交通管理、运营车辆管理部门的各类车辆数据信息，例如驾驶人、车辆所有人、车辆行驶路线和时间、载客载货量等信息。二是共享城市建设部门的各类道路交通信息，例如出入辖区主干道路、支路、乡村公路的里程、路面宽度、路面性质、坡道的海拔变化、弯道、交通标志的分布、时段分类机动车流量等。三是共享经营性场所合作的各类停车管理信息，例如协调各类商场酒店、医院等公共场所的位置以及人员、车辆的容量等信息。四是与微信、微博、QQ等社交软件开发商沟通共享各类与道路交通有关的数据信息，通过部门、单位间的密切配合，进一步拓展交通数据信息采集方式，切实搭建南昌交通大数据平台。
四、加大交通管理智能设施设备投入
一是发展智能交通信号灯。根据路口、路段不同时段交通流量的不同，科学调整交通信号配时，实现信号灯的“绿波”通行，充分提高路口通过率和道路使用率。二是发展停车智能诱导系统。通过智能系统监控政府机关单位、医院、学校、商场以及社会公用停车场等地停车位的实时数据，通过指挥中心连接到停车管理系统数据库，实时将各停车场总容量以及剩余停车数量等数据向驾驶人反馈。如此，既能保证市交警指挥中心全面掌握全市停车场的停车数据，从而做好宏观调控及紧急调度工作，也能使广大驾驶人方便查询，减少在道路上停车的时间进而缓解道路交通压力,提高公共资源的利用率，达到便民、惠民的目的。三是鼓励汽车生产厂家发展自主车辆联网技术。通过在销
售的车辆上安装软件，掌握到该车的动、静态信息，然后将这些数据集成到中央数据库进行统一管理，中央数据库实现与交管部门联网，两网间实行数据共享，从而真正实现车辆、驾驶人、道路的有机结合。
五、完善智慧交通管理体系功能
（一）电子警察抓拍识别功能。随着机动车的日益增多，城市中早晚高峰频频出现堵点、乱点。通过工作实践中发现，一些发展到最后的“大堵车”现象往往都是由于早期一些不起眼的交通违法处理不及时而引起的。电子警察自动识别抓拍就实现了对恶意的交通违法行为进行电子抓拍录入，普通的违法行为也可以通过电子警察的日常视频巡逻发现，从而及时纠处，把问题解决在萌芽状态。（二）道路交通信号灯的智能控制。交通信号灯对于城市的交通管理起着举足轻重的作用，但是随着车辆保有量越来越多，在城市道路上“平峰”和“高峰”的车辆通行量逐渐增大，那么设定好的交通信号灯通行时间就显得“死板”。在智慧交通管理体系中，我们实现了把城市各大道路细分成段，通过对路段上车流量的实时监测合理有效地分配红绿灯的通行时间，使得我们能够在通行总时长不变的情况下，通过调整分配交通信号灯的各个方向通行时间实现了道路更加顺畅，也使得我们对城市道路的交通管理更加合理。（三）智能化的城市监控设备体系。视频监控在城市的交通管理工作中起着举足轻重的作用，它使得城市的道路通行情况鸟览图实时掌握在交通管理者眼中。而随着交通管理工作日益复杂、严峻，老旧的视频监控系统也越来越显得“力不从心”，智慧交通管理体系通过对监控视频系统进行升级，实现了通过车辆细
节特征的识别连接数据库达到窥一斑而知全豹的目的，迅速对目标车辆进行识别跟踪。
大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
大数据分析平台的需求报告 提供统一的数据导入工具，数据可视化工具、数据校验工具、数据导出工具和公共的数据查询接口服务管理工具是建立大数据分析平台的方向。 一、项目范围的界定 没有明确项目边界的项目是一个不可控的项目。基于大数据分析平台的需求，需要考虑的问题主要包括下面几个方面： （1）业务边界：有哪些业务系统的数据需要接入到大数据分析平台。 （2）数据边界：有哪些业务数据需要接入大数据分析平台，具体的包括哪些表，表结构如何，表间关系如何（区别于传统模式）。 （3）功能边界：提供哪些功能，不提供哪些功能，必须明确界定，该部分详见需求分析； 二、关键业务流程分析 业务流程主要考虑包括系统间数据交互的流程、传输模式和针对大数据平台本身涉及相关数据处理的流程两大部分。系统间的数据交互流程和模式，决定了大数据平台的架构和设计，因此必须进行专项分析。大数据平台本身需要考虑的问题包括以下几个方面： 2.1 历史数据导入流程 2.2 增量数据导入流程 2.3 数据完整性校验流程
2.4 数据批量导出流程 2.5 数据批量查询流程 三、功能性需求分析 3.1.历史数据导入3.1.1 XX系统数据3.1.1.1 数据清单 (3) 3.1.1.2 关联规则 (3) 3.1.1.3 界面 (3) 3.1.1.4 输入输出 (3) 3.1.1.5 处理逻辑 (3) 3.1.1.6 异常处理 (3) 3.2 增量数据导入3.3 数据校验 3.4 数据导出 3.5 数据查询 四、非功能性需求 4.1 性能
4.2 安全性 4.3 可用性 … 五、接口需求 5.1 数据查询接口 5.2 批量任务管理接口 5.3 数据导出接口 六、集群需求 大数据平台的技术特点，决定项目的实施必须考虑单独的开发环境和生产环境，否则在后续的项目实施过程中，必将面临测试不充分和性能无法测试的窘境，因此前期需求分析阶段，必须根据数据规模和性能需求，构建单独的开发环境和生产环境。 6.1开发环境 6.1.1 查询服务器 6.1.2 命名服务器 6.1.3 数据服务器 6.2 生产环境 6.2.1 查询服务器
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
工程大数据分析平台 随着大数据时代来临、无人驾驶和车联网的快速发展，汽车研发部门需要处理的数据量激增、数据类型不断扩展。相关数据涵盖车内高频CAN 数据和车外ADAS 视频非结构化数据、位置地理空间数据、车辆运营数据、用户CRM 数据、WEB 数据、APP 数据、和MES 数据等。 在此背景下，整车厂研发部门关心的是：如何将企业内部的研发、实验、测试、生产数据，社会用户的用车数据，互联网第三方数据等结合起来，将异构数据和同构数据整合到一起，并在此基础上，实现业务系统、分析系统和服务系统的一体化；怎样利用深度的驾驶员行为感知、智能的车辆预防性维护、与实时的环境状态交互，通过大数据与机器学习技术，建立面向业务服务与产品持续优化的车联网智能分析；最终利用数据来为产品研发、生产、销售、售后提供精准的智能决策支撑。这些都是整车厂在大数据时代下亟待解决的问题。 针对这一需求，恒润科技探索出以EXCEEDDATA 大数据分析平台为核心的汽车工程大数据整体解决方案。借助EXCEEDDATA 大数据分析平台，企业可以集成、处理、分析、以及可视化海量级别的数据，可实现对原始数据的高效利用，并将原始数据转化成产品所需的智能，从而改进业务流程、实现智慧决策的产业升级。 产品介绍: ●先进的技术架构 EXCEEDDATA 采用分布式架构、包含集成处理（ETL）与分析挖掘两大产品功能体系，共支持超过20 多个企业常见传统数据库和大数据源系统，超过50 多个分析处理算法、以及超过丰富的可视化智能展现库。用户可以自主的、灵活的将各种来源的原始数据与分析处
理串联应用，建立科学的数据模型，得出预测结果并配以互动的可视化智能，快速高效的将大数据智能实现至业务应用中。 平台包括分布式大数据分析引擎、智能终端展示、以及API。大数据分析引擎为MPP 架构，建立在开源的Apache Hadoop 与Apache Spark 之上，可简易的scale-out 扩展。在分析引擎的基础上包含数据源库、数据转换匹配器、数据处理操作库、机器学习算法库、可视化图形库等子模块。智能终端展示为行业通用的B/S 架构，用户通过支持跨操作系统和浏览器的HTML5/JS 界面与API 来与平台互动。
大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
交通管控大数据分析研判系统 设 计 方 案
目录 1 系统概述 (5) 1.1 系统背景 (5) 1.2 系统意义 (5) 1.3 研发原则 (6) 1.4 系统内容 (7) 2 需求分析 (8) 2.1 业务需求 (8) 2.1.1 面向交通管理的大数据业务需求 (8) 2.1.2 面向交通安全的大数据业务需求 (8) 2.2 功能需求 (9) 2.2.1 基于大数据的在线统计和离线分析需求 (9) 2.2.2 基于大数据的车辆特征分析需求 (9) 2.2.3 基于大数据的违法事故分析需求 (9) 2.2.4 基于大数据的勤务快速处置需求 (10) 2.2.5 基于大数据平台的车辆特征二次识别需求 (10) 2.2.6 基于大数据平台的技战法需求 (10) 2.3 性能需求 (10) 2.3.1 高并发实时数据采集需求 (10) 2.3.2 海量数据存储需求 (10) 2.3.3 分布式流处理需求 (11) 2.3.4 车辆二次识别需求 (11) 3 架构设计 (11) 3.1 总体应用架构 (11) 3.2 软件框架结构 (12)
3.3 网络部署架构 (12) 3.4 数据流结构 (13) 3.5 关键技术路线 (13) 3.5.1 Hadoop技术 (14) 3.5.2 Spark技术 (14) 3.5.3 车辆特征二次识别技术 (16) 4 功能设计 (16) 4.1 功能结构图 (16) 4.2 功能模块 (16) 4.2.1 首页 (16) 4.2.2 实时预警 (20) 4.2.3 信息查询 (21) 4.2.4 统计分析 (27) 4.2.5 技战法 (31) 4.2.6 车辆布控 (34) 4.2.7 系统设置 (35) 4.2.8 运维管理 (36) 5 数据库设计 (37) 5.1 数据库ER模型 (37) 5.2 数据库表 (37) 6 接口设计 (37) 6.1 接口分布图（接口关联图） (37) 6.2 接口详细说明 (37) 7 系统特色 (37) 7.1 优化交通大数据集中存储能力 (37)
智能交通大数据综合服务平台 1. 概述 随着经济发展、城市化进程的加快以及城市规模不断扩大，机动车拥有量及道路交通流急剧增加，城市紧缺的土地资源和高密度的土地利用模式，使得交通供给与交通需求之间的矛盾日益突出，交通拥堵、停车困难、环境恶化等交通问题不断加剧，影响了城市的可持续发展及人民生活水平的提高，阻碍了经济的发展。大城市也面临同样的问题，近年来机动车保有量持续快速增长，高峰交通拥堵日益加剧，交通发展面临严峻形势和新的挑战。很多城市在市区主要范围内实施“错峰限行”等交通管理措施。采取调控交通需求削减交通需求总量其原因之一是城市道路已经难以通过基础设施规划建设来改善交通。另一方面,如何利用智能交通系统(ITS)来缓解交通、提升交通效率也是可以着力的一个方向。 目前各交通管理部门建立了功能相对完善的交通指挥控制中心，包括交通信号控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统等，初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交通诱导等基础功能。ITS的各种信息采集技术（如微波采集技术、视频采集技术、环形线圈感应式采集技术等）被广泛地运用于交通数据采集，公安交管部门不仅具备了交通基础信息，还拥有了各类动态数据，如车辆实时营运信息、道路交通状况等，采集的数据类型包括属性数据、空间数据、影像数据等。对交通三要素（人流、车辆、道路）连续不断采集的多源交通数据流产生了巨量的交通数据，具有典型的“3V”特性：大容量、多样性、高速度，也具有价值、复杂性的特点，属于名符其实的交通“大数据”。仅以国内某城市内道路卡口数据为例，每天达到约15GB的数据量，要实现对城市道路交通的整体运营水平和人们出行规律的深度挖掘，就要以日、月甚至年为时间粒度对大数据进行计算和分析。 数据是智能交通的核心，数据为王的大数据时代已经到来[。如何高效地从海量数据中分析、挖掘所需的信息和规律，结合已有经验和数学模型等生成更高层次的决策支持信息，获得各类分析、评价数据，为交通诱导、交通控制、交通需求管理、紧急事件管理等提供决策支持，为交通管理者、运营者和个体出行者提供交通信息，成为当务之急。交通数据分析的发展趋势正如TDWI大数据分析报告指出的，由常规分析转向深度分析，如图1所示。
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
大数据处理综合处理服务平台的设计与实现 （广州城市职业学院广东广州510405） 摘要：在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。大数据综合处理服务平台支持灵活构建面向数据仓库、实现批量作业的原子化、参数化、操作简单化、流程可控化，并提供灵活、可自定义的程序接口，具有良好的可扩展性。该服务平台以SOA为基础，采用云计算的体系架构，整合多种ETL技术和不同的ETL工具，具有统一、高效、可拓展性。该系统整合金融机构的客户、合约、交易、财务、产品等主要业务数据，提供客户视图、客户关系管理、营销管理、财务分析、质量监控、风险预警、业务流程等功能模块。该研究与设计打破跨国厂商在金融软件方面的垄断地位，促进传统优势企业走新型信息化道路，充分实现了“资源共享、低投入、低消耗、低排放和高效率”，值得大力发展和推广。 关键词：面向金融，大数据，综合处理服务平台。 一、研究的意义 目前，全球IT行业讨论最多的两个议题，一个是大数据分析“Big Data”，一个是云计算“Cloud Computing”。中
国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。据IDC（国际数据公司）预测，用于云计算服务上的支出在接下来的5 年间可能会出现3 倍的增长，占据IT支出增长总量中25%的份额。目前企业的各种业务系统中数据从GB、TB到PB量级呈海量急速增长，相应的存储方式也从单机存储转变为网络存储。传统的信息处理技术和手段，如数据库技术往往只能单纯实现数据的录入、查询、统计等较低层次的功能，无法充分利用和及时更新海量数据，更难以进行综合研究，中国的金融行业也不例外。中国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。通过对不同来源，不同历史阶段的数据进行分析，银行可以甄别有价值潜力的客户群和发现未来金融市场的发展趋势，针对目标客户群的特点和金融市场的需求来研发有竞争力的理财产品。所以，银行对海量数据分析的需求是尤为迫切的。再有，在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。随着国内银行业竞争的加剧，五大国有商业银行不断深化以客户为中心，以优质业务为核心的经营理念，这对银行自身系统的不断完善提出了更高的要求。而“云计算”技术的推出，将成为银行增强数据的安全性和加快信息共享的速度，提高服务质量、降低成本和赢得竞争优势的一大选择。
一、数据分析平台层次解析 大数据分析处理架构图 数据源：除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性； 计算层：内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理的数据加载其中，省掉很多I/O开销和硬盘拖累，从而加快计算。而Impala思想来源于Google Dremel，充分利用分布式的集群和高效存储方式来加快大数据集上的查询速度，这也就是我上面说到的近似实时查询；底层的文件系统当然是HDFS独大，也就是Hadoop的底层存储，现在大数据的技术除了微软系的意外，基本都是HDFS作为底层的存储技术。上层的YARN就是MapReduce的第二版，和在一起就是Hadoop最新版本。基于之上的应用有Hive，Pig Latin，这两个是利用了SQL的思想来查询Hadoop上的数据。 关键：利用大数据做决策支持。R可以帮你在大数据上做统计分析，利用R语言和框架可以实现很专业的统计分析功能，并且能利用图形的方式展现；而Mahout就是一个集数据挖掘、决策支持等算法于一身的工具，其中包含的都是
基于Hadoop来实现的经典算法，拿这个作为数据分析的核心算法集来参考还是很好的。 如此一个决策支持系统要怎么展现呢？其实这个和数据挖掘过程中的展现一样，无非就是通过表格和图标图形来进行展示，其实一份分类详细、颜色艳丽、数据权威的数据图标报告就是呈现给客户的最好方式！至于用什么工具来实现，有两个是最好的数据展现工具，Tableau和Pentaho，利用他们最为数据展现层绝对是最好的选择。 二、规划的数据平台产品AE(Accelerate Engine) 支持下一代企业计算关键技术的大数据处理平台：包括计算引擎、开发工具、管理工具及数据服务。计算引擎是AE的核心部分，提供支持从多数据源的异构数据进行实时数据集成、提供分布式环境下的消息总线、通过Service Gateway能够与第三方系统进行服务整合访问；设计了一个分布式计算框架，可以处理结构化和非结构化数据，并提供内存计算、规划计算、数据挖掘、流计算等各种企业计算服务。Data Studio包括了数据建模、开发、测试等集成开发环境。管理工具包括了实施、客户化及系统管理类工具。AE平台还可以通过UAP开发者社区提供丰富的数据服务。 AE架构图
大数据分析：智能交通发展的引擎
大数据分析：智能交通发展的引擎 0前言 近年来，各国都在关注“大数据”，力图通过扩大其在国内的应用范围，进一步释放数据所蕴含的潜在价值。2012年3月29日，奥巴马政府公布“大数据研发计划”，旨在改进现有人们从海量和复杂的数据中获取知识的能力，从而加速美国在科学与工程领域发明的步伐，增强国家安全，转变现有的教学和学习方式。我国亦于2012年7月22日在北京大学举行“首届中国大数据应用论坛”，主要议题包括大数据的发展趋势、不同场景的大数据应用、云计算与大数据、大数据与商业智能等，旨在共同讨论大数据的应用价值。在2013年4月举行的首届中国国际云计算技术和应用展览会上，工信部软件服务业司司长陈伟表示“大数据，我认为它有四个维度：量大，种类 多，发展速度快，最后就是价值复杂，可以说处处是黄金，到处是沙子” [1] 。 随着城市的迅速发展，交通拥堵、交通污染日益严重，交通事故频繁发生，这些都是各大城市亟待解决的问题。智能交通成为改善城市交通的关键所在。为此，及时、准确获取交通数据并构 建交通数据处理模型是建设智能交通的前提，而这一难题可以通过大数据技术得到解决[2] 。 1大数据概念 Big Data“大数据”是继云计算、物联网之后IT产业又一次颠覆性的技术变革，对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。在信息技术中，大数据是一个数据集的集合，这个集合是如此大而复杂，以至于它很难通过现有数据库管理工具 来进行处理 [3] 从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。大数据特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。包括视频、图片、地理位置信息、传感器数据等等。第三，价值密度低，应用价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。在交通领域，海量的数据主要包括4个类型的数据：传感器数据（位置、温度、压力、图像、速度、RFID等信息）；系统数据（日志、设备记录、MIBs等）；服务数据（收费信息、上网服务及其他信息）；应用数据（生成厂家、能源、交通、性能、兼容 性等信息）。交通数据的类型繁多，而且体积巨大[4] 。 2 大数据技术与智能交通 2.1大数据：改变传统交通管理的路径 社会经济的快速发展促使城市机动车辆的数量大幅增加。城镇化的加速打破了城市道路系统的均衡状态，传统的交通系统难以满足当前复杂的交通需求，交通堵塞成为棘手问题。用大数据技术可促进交通管理模式的变革。大数据技术的主要特点及其对传统交通的改变集中在以下方面：第一，大数据的虚拟性可以解决跨越行政区域的限制。行政区域的划分是国家为了有效统治和管理，而将一个国家划分不同行政区域。这个划分在促进各个行政区域自治的同时，也导致各个地方政府追求各自辖区利益的最大化，而对地方政府之间边界区的交通基础设施建设、过境交通线路等漠不关心。交通大数据的虚拟性，有利于其信息跨越区域管理，只要多方共同遵照相关的 信息共享原则，就能在已有的行政区域下解决跨域管理问题[2] 。 第二，大数据具有信息集成优势和组合效率。我国大部分城市的各类交通运输管理主体分散在不同主管部门，呈现出条块分割的现象。涉及交通的“有关部门”超过10个，每个部门都有自己的信息化系统，但这些数据信息只存在于垂直业务和单一应用中，与邻近业务系统缺乏共通联动。
国外交通事故大数据挖掘分析 摘要：近年来，随着车速的提高及交通量的增长，道路交通事故每年呈上升趋势。通过对交通事故大数据挖掘分析，k-means聚类分析和Apriori关联规则分析交通事故的趋势和模式，找出事故频发的路段和引发事故的原因以及事故频发的高峰期，以数据分析结果为依据，改善交通状况，减少交通事故，提高交通系统的效率。 关键词：交通系统、k-means聚类、Apriori算法
Abstract:recent years,as the improvement of speed of vehicle and growth of traffic volume,road traffic accidents is on the rise every year.based on data mining and analysis of traffic accidents big data,K-means cluster analysis and Apriori association rules analysis traffic accident tendency and pattern.find out frequent accident sections and the cause of accident and peak hours,base on data analysis result,improve the traffic situation,reduce tarffic accident,improve the efficiency of traffic system. Key words：transportation system、k-means cluster、Apriori algorithm
龙源期刊网 https://www.doczj.com/doc/0e5795001.html, 大数据分析平台 作者：郑纬民陈文光 来源：《中兴通讯技术》2016年第02期 摘要：认为现有以MapReduce/Spark等为代表的大数据处理平台在解决大数据问题的挑战问题方面过多考虑了容错性，忽视了性能。大数据分析系统的一个重要的发展方向就是兼顾性能和容错性，而图计算系统在数据模型上较好地考虑了性能和容错能力的平衡，是未来的重要发展方向。 关键词：大数据；分布与并行处理；并行编程；容错；可扩展性 Abstract：Existing big data analytic platforms， such as MapReduce and Spark， focus on scalability and fault tolerance at the expense of performance. We discuss the connections between performance and fault tolerance and show they are not mutually exclusive. Distributed graph processing systems are promising because they make a better tradeoff between performance and fault tolerance with mutable data models. Key words：big data； distributed and parallel processing； parallel programming； fault tolerance； scalability 随着信息化技术的发展，人类可以产生、收集、存储越来越多的数据，并利用这些数据进行决策，从而出现了大数据的概念。大数据的定义很多，比较流行的定义是Gartner公司提出的简称为3V的属性，即数据量大（Volume），到达速度快（Velocity）和数据种类多（Variety）。大数据分析利用数据驱动的方法，在科学发现、产品设计、生产与营销、社会发展等领域具有应用前景。 由于大数据的3V属性，需要在多台机器上进行分布与并行处理才能满足性能要求，因此传统的关系型数据库和数据挖掘软件很难直接应用在大数据的处理分析中。传统的超级计算技术，虽然具有很强的数据访问和计算能力，但其使用的MPI编程模型编程较为困难，对容错 和自动负载平衡的支持也有缺陷，主要运行在高成本的高性能计算机系统上，对于主要在数据中心运行的大数据分析不是非常适合。 为了解决大数据的分析处理所面临的编程困难，负载不平衡和容错困难的问题，业界发展出了一系列技术，包括分布式文件系统、数据并行编程语言和框架以及领域编程模式来应对这些挑战。以MapReduce[1]和Spark[2]为代表的大数据分析平台，是目前较为流行的大数据处理生态环境，得到了产业界的广泛使用。 但是在文章中，我们通过分析认为：MapReduce和Spark系统将容错能力作为设计的优先原则，而在系统的处理性能上做了过多的让步，使得所需的处理资源过多，处理时间很长，这样反而增加了系统出现故障的几率。通过进一步分析性能与容错能力的关系，我们提出了一种
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态，为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和ETL等功能。 2、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。 3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力，支撑不断增长的
数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联，即：通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求：通过对海量的政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决策功能，促进民生的发展。
现在，公众安全的配置，网络系统的安全、信息中心，信息安全系统持续不断的发展和改革的扩展，迫切需要各种信息应用系统，灵活，高效的资源和云计算平台，以有效整合公共安全的各种信息资源，提高公安系统的稳定性、可扩展的，安全性。本文为大家介绍一下大数据智能分析系统平台。 现在，公众安全的配置，网络系统的安全、信息中心，信息安全系统持续不断的发展和改革的扩展，迫切需要各种信息应用系统，灵活，高效的资源和云计算平台，以有效整合公共安全的各种信息资源，提高公安系统的稳定性、可扩展的，安全性。 目前，互联网正在经历新一轮的信息技术变革，如物联网、移动互联网、云计算等。新技术往往是信息技术安全性的方法和推动变革的重要引擎，已成为公安信息资源战役的重要组成部分，也带给了整个社会管理创新显著变化。 “警务大数据分析系统”是一项非常具有创新性的公安管理建设，“警务”的改变在推动变为由“管制型”往“服务型公安”。这是经过近几年的发展，它变得越来越明显的特点是数字信息网络，提高了人、警、事的一个互动力，警务功能相互作用的能力随着智能化程度的提高和工作负荷传递的智能化程度的提高，“公安大数据分析系统”的建设已成为现代信息技术革命的时代潮流。
公安部正在推动的“扁平化指挥模式”是尽量降低指挥水平。现有的智能信息管理的优化，减少了中间环节，提高了快速反应能力，提高教学和减少战斗中，响应时间缩小一线部门和时空机制之间的距离。 并基于电信运营商、交管部门、数据中心融合空间采集、公安部门、社会公众的移动位置等数据形成大数据环境，建立大数据分析平台，支持警情处理、宏观决策、情报分析等大数据专题应用。 大数据系统项目的信息分析的主要目标：建立密集的信息技术支持系统；建立专业的警察命令和战斗团队；建立扁平、快速的指挥调度体系等。
在大数据时代，个人、企业和机构都会面临大数据的问题。建设面向服务的大数据平台，可以为众多的中小企业和个人用户提供大数据处理和分析的能力。面向服务的大数据分析平台以区域性智能数据中心及高速互联网为基础设施，以互联网服务体系为架构，以大数据存储、处理、挖掘和交互式可视化分析等关键技术为支撑，通过多样化移动智能终端及移动互联网为用户提供数据存储、管理及分析服务。 一、平台架构 大数据分析平台的拓扑架构如下图所示： 其中部署在多个地方的智能数据中心提供大数据存储及计算平台，通过平台服务器提供系统调用功能。门户服务中心将整合所有的智能数据中心存储和计算资源，并通过 web应用服务器和 Open API 服务器以 web 调用和Open API 调用的方式提供大数据存储、管理及挖掘服务。终端用户利用移动智能终端通过互联网访问门户服务中心，使用其提供的大数据存储、管理及挖掘服务。 大数据分析平台的系统架构如下图所示：
系统包含 3 个层次：平台层为整个大数据分析平台提供基础平台支持;功能层提供基本的大数据存储和挖掘功能;服务层为用户提供基于互联网的大数据服务。具体包括： (1)平台层：为大数据存储和挖掘提供大数据存储和计算平台，为多区域智能中心的分析架构提供多数据中心调度引擎; (2)功能层：为大数据存储和挖掘提供大数据集成、存储、管理和挖掘功能; (3)服务层：基于 Web 和 Open API 技术提供大数据服务。 二、关键技术 建设面向服务的大数据分析平台，需要研究和开发一系列关键技术，主要包括： 1. 平台层 (1)大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术，当前需要构建至少 PB 级存储能力的大数据平台才能满足一般的科研和应用需求。
智能交通大数据及云应用平台解决方案 随着日益增长的交通“大数据” ，给交通管理创新带来的新挑战，以及对交通管 理工作提出的新要求，交通信息化建设必然步入云计算智慧应用阶段，利用云计算破解当前诸多交通瓶颈问题。精品文档，超值下载 什么是交通大数据 交通概念很大，所涉及的范围很广，如城市道路交通指数、地铁运行数据、 一卡通乘客刷卡数据、港口集装箱数据、机场航班数据、轨道交通运营数据、远 洋及内河航道船舶数据、物流车辆及货物数据、公交车实时数据、出租车行车数据、空气质量状况、气象数据、道路事故数据、高架匝道运行数据、以及衍生的 相关拥堵、事故、违法信息等都属于交通数据。我们通常所提的城市公安交通管 理大数据是指在城市智能交通建设和运营的过程中，从视频监控、卡口电警、路况信息、管控信息、营运信息、 GPS定位信息、 RFID 识别信息等每天产生的大量数据，并借助信息化手段将这些相互关联的数据整合到一起（比如车辆信息、地 图信息、人员信息、违规违章记录信息等等），形成一个有价值数据链，从而知 道城市交通信息化建设，为公安交通实战应用服务，为市民出行服务。 什么是云分析 云分析系统具备超高的计算性能，单机设备每天处理的信息量最大高达 2000 万张图片。云分析具备对卡口、电警以及部分监控设备拍摄的车辆图像信息的结构化智能分析功能，主要包括识别图像中车辆的品牌、型号、年款、车身颜色、 类别、异常特征（如遮挡面部、遮挡号牌）、唯一性局部特征（如年检标志、车 内饰物）等关键信息。 可对提交的图像中的车辆车牌颜色及车牌号进行二次识别，通过大数据进 行，时间、地理、轨迹等的对比识别，以得出分析结果。 过去几年，智能交通系统建设取得了长足的进步与发展，针对道路交通违法、交通安全等，不断在不同的时间，不同的阶段建立了交通卡口、违法检测、道路 智慧监控、交通事件监测等信息化系统，但这些信息化系统所采用的设备、平台均来自于不同的厂家，采用的标准，上下级不能很好的实现级联，与公安系统融合度不高，无法进行集中管理，资源共享，发挥统一的实战作用。
2019.03 1概述 当前，大数据已成为一种新的国家战略资源，引起 了学术界、产业界、政府及行业用户的高度关注。国外方面，美国、日本以及欧盟等都相继制定了促进大数据产业发展的政策，积极构建大数据生态，实施大数据国家战略。国内方面，国务院已于2015年8月印发了国发〔2015〕50号《促进大数据发展行动纲要》，系统的部署了关于大数据的发展工作。中国工业和信息化部于 2017年1月发布了《大数据产业发展规划（2016-2020年）》，对于国家实施大数据战略和推动大数据健康发展起到了很好的作用。2018年中国国际大数据产业博览会在贵州省贵阳市召开，汇集了全球的大数据领域专家和业界的精英，具体探讨了关于大数据行业发展现状和趋势。 大数据已成为当前D T 时代研究热点，随之而来的大数据采集、大数据存储与管理、大数据分析和数据处理、大数据可视化、大数据安全与隐私保护技术等体现大数据价值的研究不断涌现。大数据分析可直观洞悉大数据背后隐藏的数据特征，经过处理后可获得有用的价值信息。随着数据科学与大数据技术的发展，通过大数据技术分析与处理的手段和解决各类实际问题越来越受到人们所重视。大数据处理平台是集数据分析、数据采集、数据存储与管理、数据计算与数据可视化以及数据安全与隐私保护等功能于一体，为人们通过大数据分析处理手段和解决问题提供技术和平台支撑。 2大数据分析与处理 数据分析是从海量数据中提取信息的过程，以机器 学习算法为基础，通过模拟人的类的学习行为，获取新的知识或技能，不断改善分析的过程[1]。大数据分析是实现大数据价值的重要途径，通过分析可以总结大数据中出现的规律，从而更好地理解现实，预测未来，实现基于数据的决策[2]。大数据分析主要是指对海量的数据进行分析。在大数据时代，数据在社会中扮演者越来越为重要的角色，然而数据通常并不能直接被人们利用，要想从大量的看似杂乱无章的数据中揭示其中隐含的内在规律，挖掘出有用信息以指导进行科学的精准推断与决策，需要对海量的数据进行分析。在大数据分析中，对于获取到的数据首先想到的是从一个相对宏观的角度来观察一下该数据有什么特点，即是分析一下该数据的特征。对于有限的数据，可以通过频率分布直方图来观察数据的分布，将数据取值范围划分成若干个区间，统计数据落入每一个区间的频率[3]。当数据量足够多的时候，如果把数组不断加大，让组距小到趋近于 0，把纵坐标的频率除以组距，可以得到概率密度函数基金项目：黔东南州科技计划项目资助：基于大数据的电商数据信息智能推荐服务及应用研究（项目编号：黔东南科合J 字[2017]001）；贵州省教育厅普通本科高校自然科学研究项目：基于拟态计算的高效能大数据应用平台构建研究（项目号：黔教合K Y 字 [2018]356）。 作者简介：龙虎（1979-），男，副教授，研究方向：大数据分析与可视化、智慧教育、数字媒体技术。 收稿日期：2018-12-20 大数据分析处理与平台架构技术研究 龙虎，李娜 （ 凯里学院，贵州凯里556011）摘 要：大数据分析可直观洞悉大数据背后隐藏的数据特征，经过处理后可获得有用的价值信息。大 数据处理平台是集数据分析和数据采集、数据存储与管理、数据计算与数据可视化，以及数据安全与隐私保护等功能于一体，具有精准的数据统计分析与数据挖掘等功能，为人们通过大数据分析处理的手段和解决问题提供了技术和平台支撑，满足大数据分析与处理的需求。通过运用文献研究法和系统法，对大数据分析与处理的相关概念进行了梳理，提出了大数据处理平台架构，希望该研究能为大数据分析处理以及大数据处理平台的研究者提供参考和借鉴。关键词：大数据分析处理；平台；架构 88 DOI:10.16184/https://www.doczj.com/doc/0e5795001.html,prg.2019.03.027