保护隐私的智慧社区大数据分析挖掘技术
发表时间：2017-10-23T16:39:53.810Z 来源：《防护工程》2017年第16期作者：赵培
[导读] 智慧城市建设飞速发展，作为建设的核心内容的智慧社区建设。
上海遥薇（集团）有限公司上海 201802
摘要：针对智慧社区中的大数据信息安全和对隐私的保护，阐述了再智慧社区领域大数据发展及应用现状，绘制了智慧社区中大数据应用的技术框架，梳理了当前智慧社区大数据信息安全与隐私保护领域核心技术，按照隐私保护的智慧社区大数据分析挖掘方法理论，为智慧社区服务平台提出了与之相关的建设性意见，保护隐私的智慧社区大数据分析挖掘技术使得社区服务平台在不泄露用户隐私信息的前提下，提供更优质的服务质量。
关键词：智慧社区；保护隐私；大数据；云计算；大数据挖掘
Privacy-preserving big data analysis and mining technology in smart community
Abstract：According to the smart community in the big data security and privacy protection，and then expounds the development status and application of big data smart community，drawing the technical framework of big data applications in the smart community，combing the domain of core technologies in the current smart community big data security and privacy protection，privacy protection in accordance with the big data smart community analysis method of mining theory，puts forward the related suggestions for the smart community service platform，protect the privacy of the smart community to analyze large data mining technology makes the community service platform without disclosure of user privacy information，to provide better quality of service.
Key Words：Smart Community；Privacy-preserving；Big data；Cloud computing；Big data mining
引言
智慧城市建设飞速发展，作为建设的核心内容的智慧社区建设。当下我国在智慧社区建设工作逐步推进和发展的环境下，智慧社区安全的运行稳定的重要前提基础是信息的绝对安全，尤其是在大数据到来的21世纪，智慧社区中的大数据信息安全和保护隐私问题日益严重。若能有效地解决现有的信息安全问题并对其中隐蔽的信息安全加以防范，势必会促进到我国智慧社区的发展进程。据此，本文通过对保护隐私的智慧社区大数据分析挖掘技术进行深入讨论和研究，提出与保护隐私的智慧社区的建设性意见，在保障用户隐秘信息的前提要求下，利用社区智能业务的大数据开展分析挖掘，必将提升高附加值的服务。
1智慧社区大数据研究现状
1.1智慧社区中的大数据及特征
智慧社区智能数据一般可分为社区服务平台数据，设备监测运行数据和管理数据。大数据产生于整个智慧社区中的各个层次，包括用户层、运维层和设备层。海量的用户行为数据被收集，便构成了在智慧社区中的用户层对大数据。数据类型繁多（variety），处理速度极快（velocity），数据体量巨大（volume）和价值密度较低（value）是智慧社区中的大数据特征中的“4V”特征。这些智慧城市组成元素智慧社区中涌现并积聚而成的海量大数据，给目前智慧社区的建设和发展带来新挑战和新机遇。
1.2智慧社区中的大数据处理技术
在近几年，大数据的处理技术早已成为所有领域关心和热衷的重要技术。数据的采集与预处理、数据的分析、数据的解释说明、数据传输、虚拟集群等技术是大数据处理的重要技术点，大数据技术架构图如图1所示。其中涉及的云计算技术更是智慧社区中存储大数据和分析挖掘的核心部分，云计算的重要点是对于海量信息数据的存储和信息数据并行处理，其核心技术理论包括分布式文件系统 DFS 与MapReduce 技术。
2.智慧社区隐私保护关键技术
大数据给我们带来价值的同时，还会引发很多的安全风险。一般的数据信息的安全问题都会在大数据中体现出来，面临的数据安全问题和个人隐私保护问题包括三类：①大数据中保护用户个人隐私；②如何提升大数据可信度；③控制大数据的访问。为了解决这些问题，
智慧社区大数据平台建设方案
目录 1.智慧城市介绍 (8) 1.1智慧城市建设背景 (8) 1.2建设目标 (8) 1.3参考资料 (9) 2.项目需求分析 (11) 第2章 (11) 2.1智慧城市服务信息化业务需求分析 (11) 2.2智慧城市建设要求分析 (13) 2.2.1功能需求分析 (14) 2.2.2性能需求分析 (20) 2.2.3项目建设难点和对策分析 (21) 3.项目总体架构设计 (22) 第3章 (22) 3.1总体设计思路 (22) 3.1.1开放平台及应用整合 (22) 3.1.2安全与隐私 (23) 3.1.3可控的技术体系 (23) 3.1.4整合资源提供便民服务 (23) 3.1.5面向运营的推广思路 (24) 3.2建设原则 (24) 3.3总体架构 (26) 3.3.1软硬件基础设施 (26) 3.3.2数据资源 (27) 3.3.3应用支撑 (27) 3.3.4社区业务开发运行平台 (28) 3.3.5业务应用 (29) 3.3.6系统门户（访问渠道） (30) 3.3.7支撑体系（信息安全与标准规范体系） (30) 3.4技术架构 (30) 3.4.1基础服务 (31) 3.4.2平台服务 (31) 3.4.3数据服务 (32) 3.4.4访问服务 (32) 3.4.5应用开发框架 (32) 3.4.6安全体系 (33) 3.5信息资源架构 (35) 3.5.1建设原则 (35) 3.5.2架构体系 (35) 3.6集成架构 (64) 3.6.1应用集成平台 (65) 3.6.2系统集成整合 (69) 3.7网络拓扑结构 (73) 3.8运维体系 (73) 4.社区人房关系验证和接口系统 (75) 第4章 (75) 4.1系统概述 (75) 4.2系统架构 (75)
大数据、物联网、智慧城市三者之间的关系 来源：来源：CIO时代网互联网 大数据、物联网、智慧城市三者之间的关系简单来说就是：大数据的发展源于物联网技术的应用，并用于支撑智慧城市的发展。物联网技术作为互联网应用的拓展，正处于大发展阶段。物联网是智慧城市的基础，但智慧城市的范畴相比物联网而言更为广泛；智慧城市的衡量指标由大数据来体现，大数据促进智慧城市的发展；物联网是大数据产生的催化剂，大数据源于于物联网应用。 中国已步入大数据时代 有人说大数据来了，但只是在美国而不是中国。专做政府数据管理的同方对此的看法是：中国对大数据的理解普遍还不那么深入或者与美国的理解有所不同，但不能否认的是，中国已经步入大数据时代。现在中国的很多部委都已经在研究大数据、运用大数据。美国将大数据提升为国家战略，中国还没有明确提出，但已经把大数据上升为与国防一样的高度，多部委还联合发布了鼓励措施。我国政府对大数据的敏感度快速提高，并正在采取措施。所以说，中国已经步入大数据时代，这种重视是由政府层面自上而下进行普及的，可能还未普及到普通百姓层面，但各级政府已经有了高度重视。邬贺铨院士也曾表示：“我国将产生全球最大量的数据，要重视大数据的开发利用和管理。” 大数据的关键在于分享。我国智慧城市发展的一个瓶颈在于信息孤岛效应，各政府部门间不愿公开、分项数据，这就造成数据之间的割裂，无法产生数据的深度价值。关于这一问题，一些政府部门也有清醒的认识，开始寻求解决方案，这是受自身的需求驱动的。比如，一些政府部门原来不愿分享自己的数据，但现在开始寻求数据交换伙伴，因为他们逐渐意识到单一的数据是没法发挥最大效能的，部门之间相互交换数据已经成为一种发展趋势。同时，随着各方面的发展及政策的推进，很多以前不公开的数据也逐渐公开了，这对大数据的发展
数据挖掘在社交网络中的隐私保护 唐伟晨(学号:111220114) (南京大学计算机科学与技术系, 南京210093) Privacy-Preserving Data Mining in Online Communities Weichen Tang (Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China) Abstract: Online communities are the most dense area of individual privacy. With the rapid development of online communities, the number of privacy-disclosure problems has been increasing. This article shows the privacy-preserving data mining technology, including how to preserve privacy, the challenges we face and the benefits of privacy-preserving data mining in online communities. Key words: data mining; social networks; privacy protection 摘要: 在线社区是网络中个人隐私最为密集的区域。在线社区的飞速发展的同时，隐私泄露的问题也日益增多。本文介绍隐私保护数据挖掘技术，包括隐私保护的方法、面临的挑战以及实现在社交网络中隐私保护的数据挖掘的优势。 关键词: 数据挖掘；社交网络；隐私保护 中图法分类号: TP301文献标识码: A 1 引言 近年来在线社区发展迅速，规模越来越大。截至2013年底我国微博用户为2.81亿，人人网注册用户2.8亿，还有许多大型论坛、企业社区、地方社区等等。可见在线社区用户规模庞大，可想而知在线社区中的数据规模也是十分庞大的。庞大的数据，又有各种应用数据挖掘技术的工具对这些数据进行着分析，就会很自然地引发关于隐私方面的争论。由于对数据挖掘技术的不了解，很多人都在批判将数据挖掘应用于在线社区等隐私集中的区域。本文将介绍数据挖掘是如何在发挥自身长处的同时保护用户隐私的。 2 背景介绍 1. 在线社区简介 在线社区是建立在网络上的虚拟社区。用户通过注册来使用在线社区的扩展功能。在线社区既可以是互不相识的人们之前的交友平台，也可以是早已认识的两人的联络途径。在线社区的主要分类有两种，一种是所有人都可以在其中发布信息的，例如微博、BBS等，另一种则是拥有一定权限的人才可以在其中发布信息，例如博客，人人网个人主页等。 2. 数据挖掘的隐私和安全 随着数据挖掘的广泛应用，人们越来越多担心如此大规模的应用数据挖掘，可能会对自己的隐私造成侵
数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
隐私保护数据挖掘系统的设计与实现摘要：随着网络安全问题受到越来越多的关注,隐私保护数据挖掘问题已经成为数据挖掘领域中的研究热点。该文设计与实现了一个隐私保护数据挖掘系统,系统的算法可以帮助用户完成一些简单的隐私保护数据挖掘工作。在实际系统应用中,用户可以根据实际需要加入新的算法来完成隐私保护数据挖掘工作。 关键词：隐私保护;数据挖掘;数据变换Privacy Data Mining System Design and Implementation ZHONG Yi, CHEN Zhi-bin (Guangzhou Municipal Education Information Center, Guangzhou 510030, China) Abstract: With the network security issues are more and more attention, privacy preserving data mining data mining has become a hot area of research. In this paper the design and implementation of a privacy preserving data mining system, the system's algorithms can help users to complete simple privacy preserving data mining work. In actual system applications, the actual needs of the user can add new algorithms to complete the work of privacy preserving data mining. Key words: privacy protection; data mining; data transformation 在信息时代,各种信息狂轰滥炸,人们在面临更多信息的同时,在浩瀚无垠的信息海洋面前,面临艰难的选择。互联网中快速增长的信息与数据背后隐藏着众多人们所不知的知识,因此,人们都希望通过对这些数据进行深入的分析,找出这些信息内部存在的关系和规则,将数据变为对自己有用的信息,成为真正的财富。数据挖掘技术的出现使得这些变成可能。数据挖掘技术是对大量的数据进行处理,从中提取和挖掘有趣知识的有效手段。数据挖掘可以使用户准确、及时地得到所需要的信息。但凡事都有两面性,数据挖掘能够产生财富的同时,信息安全与个人隐私问题成为一个严峻的问题。 1 系统需求分析 隐私保护数据挖掘系统是一个应用于集中式数据的隐私保护数据挖掘的工具软件。系统整体包括两个独立运行的子系统:隐私保护与数据挖掘子系统。系统主要分两步完成隐私保护数据挖掘工作,如图1所示。 关系数据库中的数据表是系统的处理对象。其中,隐私保护子系统对需要保护隐私的数据表进行隐私保护,得到隐私保护输出表,并保存到数据库。输出表包含多个配套的辅助信息表和一个经隐私保护后得到的改造后的新数据表。数据挖掘子系统根据辅助信息表对新数据表进行数据挖掘,得到数据挖掘结果。 1.1 隐私保护子系统需求分析 隐私保护子系统的需求分析如下: 1)执行算法 系统执行用户预先设定好的隐私保护算法,并将隐私保护输出表保存到数据库中。 2)指定需要保护隐私的数据表(以下简称原表)输入数据库 用户根据系统界面提示,指定原表输入数据库并建立连接。 3)选择原表 系统中显示原数据库中的数据表,用户从数据表中选出原表。如果找不到原表,用户可以返回,重新指定输入数据库。 4)设定算法
智慧社区健康大数据分析简述 目录 1.概述 (2) 2.智慧社区健康管理蓝图 (4) 3.人口健康信息化总体框架 (5) 4.颠覆传统的云计算和大数据 (6) 5.云计算大数据在医疗行业中应用的思考 (6) 6.中医临床信息学? 云梦想 (7) 7.IBM 云计算大数据科技助力医疗行业应用 (7) 8.智慧社区健康行业应用大数据分析技术 (7)
1.概述 智慧城区（社区）是指充分借助互联网、物联网，涉及到智能楼宇、智能家居、路网监控、智能医院、城市生命线管理、食品药品管理、票证管理、家庭护理、个人健康与数字生活等诸多领域，把握新一轮科技创新革命和信息产业浪潮的重大机遇，充分发挥信息通信（ICT）产业发达、RFID 相关技术领先、电信业务及信息化基础设施优良等优势，通过建设 ICT 基础设施、认证、安全等平台和示范工程，加快产业关键技术攻关，构建城区（社区）发展的智慧环境，形成基于海量信息和智能过滤处理的新的生活、产业发展、社会管理等模式，面向未来构建全新的城区（社区）形态。[ 智慧社区作为智慧城市的重要组成部分,既是政务大数据的来源,也是政务大数据的应用主体。政务大数据为智慧社区建设带来更广阔的空间。 有人说，2013年是大数据元年，未来五年会有一大批基于大数据商业模式的公司催生出来。在味库身上，的确看到了这种趋势。 资深互联网评论人士谢文认为，大数据时代将首先对健康和医疗领域带来深刻变革，因为该领域已经过了思想革命的概念阶段，逐步迈入商业模式创新时期。这或许恰好解释了为何移动健康行业在今年成为风险投资的热土。 如果把大数据时代分为前台、中台和后台三个主战场，前台就是数据终端，负责数据获取和传输，如手机、电脑、智能眼镜、汽车以及各种传感器等，将物质世界和人类社会的一切数据化。在谢文看来，前台是目前争夺的主要战场，出现的创新数不胜数——这正是近两年智能手表、智能手环、电子秤等智能可穿戴设备大热的背景。 与此同时，各种健康数据收集平台也在今年陆续登台亮相：先是三星公司5月底发布一款健康追踪腕带Simband和智能健康追踪平台SIMI，接着苹果公司在6月WWDC大会上发布移动应用平台HealthKit，数天之后，谷歌紧追不舍在其年度开发者大会上推出名为Google Fit的健康平台。近日，微信以公众号为接口，与咕咚、华为、乐心和iHealth四款运动手环展开合作的消息又博到不少
大数据隐私保护技术之脱敏技术 数据安全是信息安全的重要一环。当前，对数据安全的防护手段包括对称/非对称加密、数据脱敏、同态加密、访问控制、安全审计和备份恢复等。他们对数据的保护各自有各自的特点和作用，今天我主要说数据脱敏这一防护手段。 作者：佚名来源：FreeBuf|2016-11-22 09:40 收藏 分享 前言 这几天学校开始选毕业设计，选到了数据脱敏系统设计的题目，在阅读了该方面的相关论文之后，感觉对大数据安全有了不少新的理解。 介绍 随着大数据时代的到来，大数据中蕴藏的巨大价值得以挖掘，同时也带来了隐私信息保护方面的难题，即如何在实现大数据高效共享的同时，保护敏感信息不被泄露。 数据安全是信息安全的重要一环。当前，对数据安全的防护手段包括对称/非对称加密、数据脱敏、同态加密、访问控制、安全审计和备份恢复等。他们对数据的保护各自有各自的特点和作用，今天我主要说数据脱敏这一防护手段。
许多组织在他们例行拷贝敏感数据或者常规生产数据到非生产环境中时会不经意的泄露信息。例如: 1.大部分公司将生产数据拷贝到测试和开发环境中来允许系统管理员来测试升级，更新和修复。 2.在商业上保持竞争力需要新的和改进后的功能。结果是应用程序的开发者需要一个环境仿真来测试新功能从而确保已经存在的功能没有被破坏。 3.零售商将各个销售点的销售数据与市场调查员分享，从而分析顾客们的购物模式。 4.药物或者医疗组织向调查员分享病人的数据来评估诊断效果和药物疗效。 结果他们拷贝到非生产环境中的数据就变成了黑客们的目标，非常容易被窃取或者泄露，从而造成难以挽回的损失。 数据脱敏就是对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。 数据脱敏系统设计的难点 许多公司页考虑到了这种威胁并且马上着手来处理。简单的将敏感信息从非生产环境中移除看起来很容易，但是在很多方面还是很有挑战的。 首先遇到的问题就是如何识别敏感数据，敏感数据的定义是什么?有哪些依赖?应用程序是十分复杂并且完整的。知道敏感信息在哪并且知道哪些数据参考了这些敏感数据是非常困难的。 敏感信息字段的名称、敏感级别、字段类型、字段长度、赋值规范等内容在这一过程中明确，用于下面脱敏策略制定的依据。
数据挖掘的10大经典算法 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在 构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm
浅谈大数据时代的客户数据安全与隐私保护如何运用好“大数据”这把双刃剑 数据如同一把双刃剑，在带来便利的同时也带来了很多安全隐患。数据对于互联网服务提供者而言具备了更多的商业价值，但数据的分析与应用将愈加复杂，也更难以管理，个人隐私无处遁形。回顾2014年，全球各地用户信息安全事件频出: 2014年3月22日“携程网”出现安全支付日志漏洞，导致大规模用户信息如姓名、身份证号、银行卡类别、银行卡卡号、银行卡CVV等信息泄露。 2014年5月13日，小米论坛用户数据库泄露，涉及约800万使用小米手机、MIUI系统等小米产品的用户，泄露的数据中带有大量用户资料，可被用来访问“小米云服务”并获取更多的私密信息，甚至可通过同步获得通信录、短信、照片、定位、锁定手机及删除信息等。 2014年12月2日乌云漏洞平台公开了一个导致“智联招聘网”86万用户简历信息泄露的漏洞。黑客可通过该漏洞获取包含用户姓名、婚姻状况、出生日期、出生日期、户籍地址、身份证号、手机号等各种详细的信息。 2014年12月25日，12306网站用户数据信息发生大规模泄露。 2014年8月苹果“iCloud服务”被黑客攻破，造成数百家喻户晓的名人私密照片被盗。 …… 这些信息安全事件让人们开始感受到“数据”原来与我们的生活接触如此紧密，数据泄露可以对个人的生活质量造成极大的威胁。大数据时代，如何构建信
息安全体系，保护用户隐私，是企业未来发展过程中必须面对的问题。安全技术水平的提高、法律法规的完善、以及企业和个人用户正视数据的运用的意识缺一不可。 数据安全技术是保护数据安全的主要措施 在大数据的存储，传输环节对数据进行各种加密技术的处理，是解决信息泄露的主要措施。对关键数据进行加密后，即使数据被泄漏，数据的盗取者也无法从中获得任何有价值的信息。尽管对于大数据的加密动作可能会牺牲一部分系统性能，但是与不加密所面临的风险相比，运算性能的损失是值得的。这实际上是企业管理和风险管理间的协调，重要的是企业要有将信息安全放在第一位的理念。 目前数据加密保护技术主要包括：数据发布匿名保护、社交网络匿名保护、数据水印等几种。此外，除了对数据进行加密处理以外，也有许多可以运用在数据的使用过程，以及发生数据泄露之后的相关保护技术。这些技术可以有效地降低数据安全事故带来的损失。 1、数据发布匿名保护技术 数据发布匿名保护技术是对大数据中结构化数据实现隐私保护的核心关键与基本技术手段。能够很好地解决静态、一次发布的数据隐私保护问题。 2、社交网络匿名保护技术 社交网络匿名保护技术包括两部分：一是用户标识与属性的匿名，在数据发布时隐藏用户的标志与属性信息;二是用户间关系的匿名，在数据发布时隐藏用户之间的关系。 3、数据水印技术
大数据在智慧城市建设中的实际应用 大数据在智慧城市建设中的实际应用 2015-09-26 07:38:00 来源：数据观 手机看新闻扫描到手机楼盘消息早知道扫一扫，用手机看本文更加方便的分享给朋友评论 当前，全球范围内城市化进程不断推进。随着互联网和信息化的发展，在云平台、大数据和物联网等技术的支持下，率先在美国“智慧星球”概念下诞生的“智慧城市”，逐渐成为当今世界各国城市建设的发展趋势和选择。 一国外案例 自21世纪初期，美国、英国、德国、荷兰、日本、新加坡、韩国等先一步开展了智慧城市的实践，诞生了许多经典案例。 1. 迪比克 美国第一个智慧城市，也是世界第一个智慧城市，它的特点是重视智能化建设。为了保持迪比克市宜居的优势，并且在商业上有更大发展，市政府与IBM合作，计划利用物联网技术将城市的所有资源数字化并连接起来，含水、电、油、气、交通、公共服务等，进而通过监测、分析和整合各种数据智能化地响应市民的需求，并降低城市的能耗和成本。该市率先完成了水电资源的数据建设，给全市住户和商铺安装数控水电计量器，不仅记录资源使用量，还利用低流量传感器技术预防资源泄漏。仪器记录的数据会及时反映在综合监测平台上，以便进行分析、整合和公开展示。 2. 纽约 通过数据挖掘，有效预防了火灾。据统计，纽约大约有100万栋建筑物，平均每年约有3000栋会发生严重的火灾。纽约消防部门将可能导致房屋起火的因素细分为60个，诸如是否是贫穷、低收入家庭的住房，房屋建筑年代是否久远，建筑物是否有电梯等。除去危害性较小的小型独栋别墅或联排别墅，分析人员通过特定算法，对城市中33万栋需要检验的建筑物单独进行打分，计算火灾危险指数，划分出重点监测和检查对象。目前数据监测项目扩大到2400余项，诸如学校、图书馆等人口密集度高的场所也涵盖了。尽管公众对数据分析和防范措施的有效性之间的关系心存疑虑，但是火灾数量确实下降了。 3. 芝加哥 通过“路灯杆装上传感器”，进行城市数据挖掘。在人们的生活里，无处不在的传感器被应用在了芝加哥市的街边灯柱上。通过“灯柱传感器”，可以收集城市路面信息，检测环境数据，如空气质量、光照强度、噪音水平、温度、风速。芝加哥城市信息技术委员会提供的资料表明，“灯柱传感器”不会侵犯个人隐私，它只侦测信号，不记录移动设备的MAC和蓝牙地址。在今后几年“灯柱传感器”将分批安装，全面占领芝加哥市的大小街区，每台传感器设备初次采购和安装调试成本在215～425美元之间，运行后的年平均用电成本约为15美元。该项目得到了思科、英特尔、高通、斑马技术（Zebra Technologies）、摩托罗拉以及施耐德等公司的技术和资金支持。 4. 西雅图 利用数据节省电力能源。该市与微软和埃森哲（Accenture）合作了一个试验项目，以减少该地区的能源使用。该项目收集并分析从市区建筑物管理系统中得来的众多数据集，通过预测分析，找出哪里可以减少能源使用，或者根本不需要使用能源。项目的目标是将该地区的电力消耗减少25%。 5. 伦敦 利用数据管理交通。在2012年奥运会期间，负责运行伦敦公共交通网络的公共机构“伦敦运输（Transport for London）”，在使用者增加25%的情况下，使用收集自闭路电视
大数据常用的算法（分类、回归分析、聚类、关联规则） 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。(4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信
物联网隐私保护问题
1、物联网的体系结构 目前人们对于物联网体系结构有一些不同的描述，但内涵基本相同。一般来说，可以把物联网的体系结构分为感知层、传输层、处理层和应用层四个部分，如表1所示 a）感知层的任务是全面感知外界信息，通过各种传感器节点获取各类数据，利用传感器网络或射频阅读器等网络和设备实现数据在感知层的汇聚和传输；b）传输层把感知层收集到的信息安全可靠地传输到信息处理层，传输层的功能主要通过网络基础设施实现，如移动通信网、卫星网、互联网等； c）处理层的任务是对传输层传输的信息进行相应的计算与处理，需要研究智能计算、并行计算、云计算和数据挖掘（da-ta mining）等多种关键技术； d）应用层是对智能处理后的信息的利用，是根据用户的需求建立相应的业务模型，运行相应的应用系统； 表1物联网体系结构 2、物联网隐私威胁 物联网的隐私威胁可以简单地分为两大类 a）基于数据的隐私威胁 数据隐私问题主要是指物联网中数据采集传输和处理等过程中的秘密信息泄露，从物联网体系结构来看，数据隐私问题主要集中在感知层和处理层，如感知层数据聚合、数据查询和RFID数据传输过程中的数据隐私泄露问题，处理层中进行各种数据计算时面临的隐私泄露问题数据隐私往往与数据安全密不
可分，因此一些数据隐私威胁可以通过数据安全的方法解决，只要保证了数据的机密性就能解决隐私泄露问题，但有些数据隐私问题则只能通过隐私保护的方法解决。 b）基于位置的隐私威胁 位置隐私是物联网隐私保护的重要内容，主要指物联网中各节点的位置隐私以及物联网在提供各种位置服务时面临的位置隐私泄露问题，具体包括RFID 阅读器位置隐私RFID用户位置隐私、传感器节点位置隐私以及基于位置服务中的位置隐私问题。 3、物联网隐私威胁分析 从前面的分析可以看出，物联网的隐私保护问题主要集中在感知层和处理层，下面将分别分析这两层所面临的隐私安全威胁。 （1）物联网感知层隐私安全分析 感知层的数据一般要经过信息感知、获取、汇聚、融合等处理流程，不仅要考虑信息采集过程中的隐私保护问题，还要考虑信息传送汇聚时的隐私安全。感知网络一般由传感器网络RFID技术、条码和二维码等设备组成，目前研究最多的是传感器网络和RFID系统。 a）RFID系统的隐私安全问题 RFID 技术的应用日益广泛，在制造、零售和物流等领域均显示出了强大的实用价值，但随之而来的是各种RFID的安全与隐私问题，主要表现在以下两个方面： 1）用户信息隐私安全 RFID 阅读器与 RFID 标签进行通信时，其通信内容包含了标签用户的个人隐私信息，当受到安全攻击时会造成用户隐私信息的泄
栏目编辑：梁丽雯 E-mail:liven_01@https://www.doczj.com/doc/974815341.html, 2018年·第10期 54 虽然大数据时代的到来为人们的生活、工作带来了便利，但随之而来的一个更大的问题—— 隐私泄露越来越受各方的关注。隐私泄露在大数据环境下变得防不胜防，电商平台可以通过分析用户的采购信息、浏览记录、收货信息等轻易获得用户敏感信息；搜索引擎可以通过分析用户搜索信息获得相应的隐私信息；社交软件、手机App更可以轻而易举地获得用户位置、通讯录等各种信息；运营商也可以通过基站定位获得用户位置信息。对于一个生活在大数据时代的人而言，隐私正变的越来越透明。 隐私泄露后人们的生活带来了巨大的困扰，各种电信诈骗、银行卡盗刷、推销广告、骚扰电话等问题比比皆是。要使大数据行业快速健康发展，必须从多层次、多角度去保护个人隐私。 一、大数据下隐私保护存在的问题 移动互联网、网购、移动支付的飞速发展，积累了大量的金融大数据，也使得大数据在金融领域的应用有了数据基础。然而金融大数据所涉及的个人信息更加具体、敏感，一旦泄露将有可能对个人财产、生活造成极大损失及困扰。近年来，银行卡盗刷现象严重、电信诈骗猖獗，个人征信信息泄露时有发生，这些均与隐私泄露有关。金融大数据下对隐私保护刻不容缓，特别是隐私保护技术发展相对缓慢、隐私收集滥用问题严重、隐私保护相关法律不完善、大数据应用与隐私保护难以平衡等问题亟须解决。 （一）隐私保护技术发展相对缓慢 大数据不同于传统的数据，其包含了很多的外源性数据，这些大量的外源性数据通过整合和分析之 大数据下隐私保护问题探析 ■ 中国人民银行周口市中心支行 赵战勇 黄北北 摘要： 近年来，随着互联网的逐步普及和移动互联网的迅猛发展，人们的生活得到了极大的改善。在获得便利生活体验的同时，人们衣食住行等各种活动的痕迹都可能会被记录、存储、分析并加以应用。这就是近年来常被提到的大数据技术的一种应用。该技术可以为人们提供更精准便利的服务，但若使用不当也会暴露个人隐私，给个人生活带来极大的困扰。本文着重对大数据隐私保护问题进行详细阐述，并针对我国当前大数据下的隐私保护提出建议。 关键词： 大数据；隐私保护；法律完善作者简介： 赵战勇（1982-），男，河南周口人，工程师，供职于中国人民银行周口市中心支行，副科长，研究方向：信息安全； 黄北北（1988-），男，河南周口人，工学硕士，助理工程师，供职于中国人民银行周口市中心支行，研究方向：网络工程。收稿日期：2018-09-17
R i c h D a t a智慧城市行业大数据智能分析解决 方案副本 文档编制序号：[KKIDT-LLE0828-LLETD298-POI08]
RichData智慧城市行业大数据智能分析解决方案 方案概述 智慧城市是新一代信息技术支撑、知识社会创新环境下的城市形态，智慧城市通过物联网、云计算等新一代信息技术以及微博、社交网络、Fab Lab、Living Lab、综合集成法等工具和方法的应用，实现全面透彻的感知、宽带泛在的互联、智能融合的应用以及以用户创新、开放创新、大众创新、协同创新为特征的可持续创新。伴随网络帝国的崛起、移动技术的融合发展以及创新的民主化进程，知识社会环境下的智慧城市是继数字城市之后信息化城市发展的高级形态。 “数据驱动世界、软件定义世界，自动化正在接管世界，建设智慧城市将是下一波浪潮和拉动IT世界的重要载体。”《大数据》一书作者涂子沛这样描述。大数据遍布智慧城市的各个方面，从政府决策与服务，到人们衣食住行的生活方式，再到城市的产业布局和规划等，都将实现智慧化、智能化，大数据为智慧城市提供智慧引擎。 近年来，相关业界的领先者们也多次预言，大数据将引发新的“智慧革命”：从海量、复杂、实时的大数据中可以发现知识、提升智能、创造价值。“智慧来自大数据”——城市管理利用大数据，才能获得突破性改善，诸多产业利用大数据，才能发现创新升级的机会点，进而获得先发优势。 大数据驱动下的智慧城市，关乎每个人的生活。结合智慧城市对信息的需求，大数据在智慧城市中的落脚点集中在为其各个领域提供强大的决策支持。智慧交通、智慧安防、智慧医疗……未来智慧城市的美好图景已经被勾勒出来。 方案架构 智慧城市大数据总体系统框架分为五层, 分别是数据层，存储层，计算层，模型层, 应用层。模型层是整个大数据的核心部分，为上层应用提供数据支撑。 智慧城市的本质是对数据的智慧处理，事实上，在任何一个行业中，都不会遇到智慧城市产业中这样跨部门、跨区域和跨类型的数据复杂度。而围绕智慧城市跨部门、跨产业数据整合和分析的大数据业务，引入彩讯大数据平台架构，实现对海量的交通数据、地理位置检测数据、环境数据、医疗数据、政务数据、教育数据、公安数据的实时、全面、系统的数据采集，存储、分析、挖掘，使我们生活的环境变得越来越具备“智慧”特征，我们也将能更“智慧”地利用信息，对世界和他人作出更加“智慧”的判断与回应。
智慧城市大数据的特征及业务管理 随着经济的发展和技术的进步，城市建设呈信息化、智慧化的发展趋势。2013年1月29日，住房和城乡建设部公布了首批90个国家智慧城市试点名单，同时颁布了《国家智慧城市试点暂行管理办法》和《国家智慧城市（区、镇）试点指标体系》，这标志着我国智慧城市发展进入规模推广的阶段。 智慧城市是新一代信息技术支撑下的城市形态。智慧城市基于物联网、云计算、移动互联网等新一代信息技术，令城市生活更加智能、资源利用更加节约、城市管理更加高效，改进服务交付和生活质量，减少对环境的影响，推动城市向低碳化、可持续发展的生态文明城市转型。
智慧城市与大数据的关系 智慧城市的建设架构分为“感、传、知、用”四个组成部分，如图1所示。在感知层，采用视频监控摄像机、射频识别其多种不同设备进行信息采集；在传输层，构建视频专网，实现信息的可靠传输；在认知层，搭建应用支撑平台，提供公共信息接入、信息整合、信息交换等云服务；在应用层，提供动态监控、预测预警、智能分析等功能。感知层由无处不在的末端设备和设施组成，包括具备“内在智能”的传感器、移动终端、视频监控系统、家庭智能设施等和“外在智能”，贴上RFID的各种资产，携带智能终端的个人与车辆等智能化物件，通过各种无限的或有限的长距离或短距离通信网络均可实现互连互通、应用集成，在内网、专网或者互联网环境下，采用适当的信息安全保障机制，提供安全可控乃至个性化的实时在线检测、定位追溯、应急联动、调动智慧、预案管理、远程控制、安全防范、远程维保、决策支持等管理与服务功能，实现“万物”的高效、节能、安全、环保的“管、控、营”一体化。 不同种类、数量众多的末端设备和设施的接入，必然会产生大量的数据。智慧城市的建设和应用离不开大数据做支撑，智慧城市的应用过程实际上就是对数据采集、分析、存储和利用过程。如何从纷繁复杂、不同类型的结构化、非结构化数据中准确无误的提取出有价值的信息，需要IT服务提供商打破行业堡垒，深度挖掘行业应用，使大数据在政府决策、工业经济发展、公共安全、城市应急防控、社会公共服务等方面发挥更大的作用。 智慧城市大数据的特征 智慧城市大数据的特征通常用4个V来概括，即：V olume Variety Value Velocity
数据挖掘十大经典算法 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 5. 最大期望(EM)算法 在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。 6. PageRank PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里?佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个
龙源期刊网 https://www.doczj.com/doc/974815341.html, 大数据技术下的智慧社区建设与运行 作者：舒慧欣刘仕琴胡翰肖丽萍张慧戴琴 来源：《电子技术与软件工程》2018年第23期 摘要 依托云计算与大数据技术建设的智慧社区可以让社区管理更加科学有效，让服务更加便利智能，可以打通传统信息系统的交流壁垒，让社区数据和政府各部门数据有效交融。通过智慧治理，能够在社区、政府、社会之间建立起高效的联动机制，通过对社区大数据的深度分析和发掘，能够及时发现、预警并且协作处理城市管理中方方面面的问题。 【关键词】云计算大数据智慧服务智慧社区 1 智慧社区建设的意义 随着社会经济高速发展，社会分工逐渐细化，城市管理趋于社区化，大量社会事务回归社区。同时，人们对社区服务、社区安防、物业管理、居住环境、医疗卫生等方面提出多样化、多层次的要求，传统的社区服务模式已难以满足人们的新需求。 近年来，各地政府认识到了社区建设的重要性，以改善民生、提高居民生活质量为导向积极推动社区信息化建设。但传统的信息化系统往往是独立的、局部的、无法交融的，这不利于社区的整体科学管理，同时也是信息资源的一种浪费。依托云计算与大数据建设的智慧社区可以打通传统信息系统的交流壁垒，使社区各平台数据和政府各部门数据有效交融，在社区、政府、社会之间建立起高效的联动机制，通过大数据分析与挖掘，及时发现和处理问题。 2 大数据下智慧社区的框架构建 各城市规划设计不同，各地域人文风情不同，智慧社区建设的侧重点会存在差异，但大数据下智慧社区构建的框架与技术基本一致。通过互联网信息技术将多个传统的社区应用服务系统统一接入一个平台，每一个传统服务对应于平台的一个独立模块，采用统一的数据标准与协议，以数据共享的方式增强平台的服务能力。以吉安市崇文社区为例，智慧社区建设侧重点是居民、基建、安全三方面，智慧社区服务平台框架也主要从这三方面搭建。 2.1 在居民方面 利用移动互联技术资源，完成社区居民人口的动态收集更新，智慧社区供给了多种人口数据收集方法，社区居委会干部、物业作业人员、楼门长都能够随时经过APP或许PC录入人口信息;还和小区智能门禁体系、小区常住人口库、二维码扫码信息库、运营商活动人口等体系进行了对接，实时接入这些数据，形成社区居民人口信息库，还可以对具体小区进行人口信息画像。还可以向居民的移动互联终端提供统一的信息发布通道，实现信息的点对点传送。