工学硕士学位论文
基于网格技术的企业异构数据集成研究
段瑞珍
哈尔滨理工大学
2008年3月
国内图书分类号：TP393
工学硕士学位论文
基于网格技术的企业异构数据集成研究
硕士研究生：段瑞珍
导师：高中文
申请学位级别：工学硕士
学科、专业：控制理论与控制工程
所在单位：自动化学院
答辩日期：2008年3月
授予学位单位：哈尔滨理工大学
Classified Index：TP393
Dissertation for the Master Degree in Engineering
Enterprise Isomerism Data Integration
Research Based on Grid
Candidate：Duan Ruizhen
Supervisor：Gao Zhongwen
Academic Degree Applied for：Master of Engineering Specialty：Control Theory and Control
Engineering
Date of Oral Examination：March，2008
University：Harbin University of Science
and Technology
哈尔滨理工大学硕士学位论文原创性声明
本人郑重声明：此处所提交的硕士学位论文《基于网格技术的企业异构数据集成研究》，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。
作者签字：日期：年月日
哈尔滨理工大学硕士学位论文使用授权书
《基于网格技术的企业异构数据集成研究》系本人在哈尔滨理工大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。
本学位论文属于
保密□，在年解密后适用本授权书。
不保密□。
(请在以上相应方框内打√)
作者签名：日期：年月日
导师签名：日期：年月日
哈尔滨理工大学工学硕士学位论文
基于网格技术的企业异构数据集成研究
摘要
随着竞争的全球化，信息化水平已经成为制约企业发展的一个重要因素。为了增强竞争力，企业纷纷引入ERP、SCM等多种信息系统以提高自身的信息化水平。但各信息系统中的数据形式不同，各自形成信息孤岛，系统间的数据互操作很难，严重影响了企业的信息化进程。网格技术的出现为解决这一问题提供了一种崭新的模式。网格的开放性、共享性、协同性以及平台、语言无关性，将更便于基于网格服务的异构数据动态集成和交互，对企业信息化的推进具有较强的理论和现实意义。
本文研究了在Linux基础平台上，构建企业异构数据集成网格服务的问题。主要从以下几个方面展开：
首先，在分析企业现行异构数据集成方法不足的基础上，提出了基于OGSA/WSRF的异构数据集成模式，并基本完成了该模式整体框架及核心模块的设计，详细描述了各模块的功能和工作原理。
其次，在该模式下用GT4开发出异构数据集成的网格服务。针对企业数据多样化的特点，重点介绍了消除数据模式异构性的XML方法，以及消除组件异构性的SOAP和WSDL方法。
再次，用UDDI和WSIL注册网格服务，用GSD算法发现网格服务后，使用简单客户端程序实现网格服务的调用。
最后，对该设计进行了单点软件测试，并进行了相关性能指标的分析评价。
与以往服务绑定式的异构数据集成方法相比，该平台具有按需动态集成的优势。该方案实现了传统Web服务集成解决方案与网格技术的融合，具有较高的商业价值。
关键词企业信息化；网格技术；异构数据集成
- I -
哈尔滨理工大学工学硕士学位论文
Enterprise Isomerism Data Integration Research Based
on Grid
Abstract
With globalization of the competition，the information-based level has already become an important factor of restricting enterprise's development．In order to strengthen the competitiveness，enterprises introduce many kinds of information systems such as ERP，SCM one after another to improve their information-based level．But the problem of “detached island of information”，which is caused by the different constructing data resources existing in different information systems，makes data co-operation much difficult，and then influences the information-based process of enterprises seriously．Appearance of grid technology provides a new mode for solving this problem．The grid has characteristics of opening，sharing，coordination，and be not relative to flatform and language．These characteristics are convenient for the dynamically integrating and exchanging of the isomerism data based on grid service，and these make the grid technology significant in promoting the enterprise's informationization both theorically and realistically．
In this paper，the realization of integrating and applying of enterprise's isomerism data as grid service on Linux basic platform is studied and constructed．It mainly further discusses the following aspects：
This paper begins with analyzation of the insufficient of present enterprise isomerism data integration solution．Based on this，the paper proposes the OGSA RF isomerism data integration mode，and basically completes the design of whole frame and key module of this mode. Moreover，the paper also describes the function of every module and operation principle in detail．Secondly，the paper develops the grid service of isomerism data integration under this mode with GT4．Considering the business data’s cha racteristic of diversification，the paper introduces a method to eliminate data pattern
- II -
哈尔滨理工大学工学硕士学位论文
isomerism with XML，as well as a method to eliminate module isomerism using SOAP and WSDL．
Then，the paper registers the net service with UDDI and WSIL，uses GSD algorithm to discover the grid service，and uses the simple client program to access the service．
Finally，the single point software test is performed to the design，and the analysis and appraise are also carried to relevant performance indexes．Comparing with the former service binding，the advantage of this platform is obvious：it can integrate data resource dynamically according to enterprise’ need．This scheme realizes the integration of traditional Web service solution and grid technology，and it is much valuable commercially．
Keywords enterprise informationization，grid technology，isomerism data integration
- III -
哈尔滨理工大学工学硕士学位论文
目录
摘要............................................................................................................................... I Abstract ....................................................................................................................... II
第1章绪论 (1)
1.1 研究目的及意义 (1)
1.2 企业异构数据集成研究现状 (2)
1.3 本文主要工作 (6)
第2章网格技术 (8)
2.1 网格概念 (8)
2.2 网格的结构 (9)
2.2.1 五层沙漏结构 (10)
2.2.2 OGSA结构 (11)
2.2.3 WSRF结构 (15)
2.3 Globus支撑平台及开发环境 (17)
2.4 本章小结 (18)
第3章核心开发技术和平台 (20)
3.1 Java/J2EE技术 (20)
3.1.1 Java对企业异构数据集成的支持 (20)
3.1.2 J2EE对企业异构数据集成的支持 (21)
3.2 Web Service技术 (24)
3.2.1 Web Service的基本概念 (24)
3.2.2 Web Service的特征 (26)
3.2.3 Web Service相关技术 (27)
3.3 Fedora Core 6 Linux平台 (30)
3.4 本章小结 (31)
第4章企业异构数据集成方案设计 (32)
4.1 企业异构数据集成平台开发 (32)
4.1.1 基于OGSA/WSRF的异构数据集成模式 (32)
4.1.2 基于OGSA/WSRF的企业异构数据集成目标 (33)
4.1.3 基于OGSA/WSRF的异构数据集成方案设计 (33)
- IV -
哈尔滨理工大学工学硕士学位论文
4.1.4 基于OGSA/WSRF集成的核心层网格服务设计 (35)
4.1.5 网格运行环境的创建 (36)
4.2 利用GT4实现网格服务 (38)
4.3 采用Web Service消除数据异构性 (41)
4.3.1 消除数据模式异构性 (42)
4.3.2 基于SOAP和WSDL的组件间异构性的消除 (44)
4.4 本章小结 (49)
第5章企业异构数据集成方案实施 (50)
5.1 网格服务的注册 (50)
5.2 网格服务的发现 (52)
5.3 网格服务的调用 (54)
5.4 方案评价体系 (54)
5.4.1 性能测试 (54)
5.4.2 评价指标 (58)
5.5 本章小结 (58)
结论 (60)
参考文献 (61)
攻读硕士学位期间发表的学术论文 (65)
致谢 (66)
- V -
哈尔滨理工大学工学硕士学位论文
第1章绪论
1.1研究目的及意义
从上世纪七、八十年代开始，随着计算机在企业内的广泛应用，企业建立了各种各样的信息系统。这些系统可能是在不同的时间由不同的公司开发，且开发过程是基于不同的系统平台或编程环境的，它们都有自己的用户系统、资源库、权限管理，致使彼此之间数据异构而互不相通，形成相对孤立的信息孤岛[1]。企业虽然可以在一定程度上共享这些数据资源，但是这种共享相对来说是静态的、局限于某个系统中，这就给企业的综合分析、决策支持等带来很大困难。此外由于这样的企业信息共享结构可扩展性差，升级换代困难，开发成本高，进而不利于推进企业信息化进程。
近年来随着互联网的迅速普及和企业信息化建设的进一步发展，企业的信息化数据资源越来越需要同时在多个应用系统之间实现共享，以提高企业的运作效率，提升自己的竞争优势。然而由于市场竞争和技术方面的原因，企业异构数据形成的信息孤岛，严重制约了企业的高效运作。同时由于新的商业应用的不断引入，包括企业资源计划(ERP)、供应链管理(SCM)、客户关系管理(CRM)等多种应用系统，在企业各部门规划、占有和使用资源中发挥了重要作用，但由于数据资源存在异构问题，使得这些系统有很多重复的功能却因为不能互访和互操作，而造成信息的重复录入，进而增加了企业投入，这一问题日渐成为许多企业信息化建设中的最大瓶颈。另一方面企业与企业之间的交流与合作日益增加，协同商务和虚拟企业也迫切需要企业有一个高度集成和开放的信息平台，实现企业间的异构数据整合[2]。不同应用的数据差异，使得企业不能高效地运转，造成企业信息化的程度难以满足当今日益激烈的市场竞争[3]。如何将这些数据资源低代价、方便地连接在一起，实现大范围跨企业实体的异构数据互访与互操作，这是摆在开发人员面前的一大问题。
为了解决上述异构数据间孤立的问题，一种办法是推倒现有各个系统，重新开发一个覆盖到企业各个部门的统一的新系统来替换原有各个孤立的应用系统。但是考虑到成本、实施周期和实施难度等因素，这种办法不是一种切实可行的解决方案。另一种办法是根据实际需要从整体来考虑企业的信息系统，对各个应用系统进行总体规划，选择一个合适的集成平台，把企业的
- 1 -
哈尔滨理工大学工学硕士学位论文
各个“信息孤岛”有机地集成起来。这种解决方案不管是从实施难度，还是从实施成本、周期和技术上考虑都是切实可行的，这也是构成企业信息化迅速发展的源动力。因此找到一种企业异构数据集成的新模式就成了当今企业信息化发展的迫切需求。
企业应用集成EAI(Enterprise Application Integration)是指在企业中的任何应用间可以无限制地共享数据和资源，目前它是国内外研究的一个非常热门的领域。
网格技术是一种全新的技术，它提出的灵感源于电力网，人们希望使用网格上的各种资源能像使用电力一样，打开开关就能实现照明，而不用去考虑它是由哪里提供、怎么提供。网格技术采用面向服务的体系结构SOA(Service Oriented Architecture)提供企业间的服务和应用，为企业信息化模式的创新提供了巨大的发展空间。
本文借助于网格的协同、共享特性，提出了消除企业现存数据异构性而导致的信息孤岛问题的一套解决方案。与传统方案相比，该方案具有诸多优越性：基于Web服务开发架构，具有良好的扩展性，Web服务更便于设计、开发、使用和维护；发布和使用服务的应用程序间松散耦合；基于开放标准UDDI、SOAP、HTTP和XML，具有开放性等等。该方案主要解决了信息化应用中异构数据的共享、互连和互操作问题。其将信息需求者屏蔽于异构性之外，为企业的内、外部数据提供更好的互访，促进管理者更快、更好的制定商务决策，进而提高企业的效率和经济效益[4]。
1.2企业异构数据集成研究现状
传统的企业应用集成通常包括企业内部的EAI和企业间的B2Bi(Business to Business integration)。EAI主要是基于企业内部业务，如CRM、ERP、SCM以及OA等企业内部子系统的集成。它是将企业内部多个不同数据源和相互分离的应用进行协同自动化处理的解决方案，其功能主要是协调企业现有的和将来的应用程序、数据及员工与合作伙伴之间的互动，以便实现对关键业务流程实时的可视化及有效管理。B2Bi则侧重企业之间的业务应用集成，即跨越防火墙的集成，企业将业务延伸到合作伙伴，如分销商、零售商、供货商、物流运输商等的业务流程中[5]。
关于企业异构数据集成方面的研究已经进行了很长时间，产生了很多实用技术，大致发展过程如下[6，7]：
首先是中间件技术[8]。它是在软件架构的层次上提出来的，位于操作系
- 2 -
哈尔滨理工大学工学硕士学位论文
统或数据库等系统软件和应用软件之间。它屏蔽系统软件的差异，为上层应用软件提供统一的接口或协议。数据的分布性、异构性是集成过程中的最大障碍，中间件技术通过在数据库系统和应用系统之间构建中间层，屏蔽了异构数据的这些特性，将数据集成的工作交由中间层上的组件来实现，这样对应用系统来说，多数据源就同一个数据源没有什么区别，使得应用系统的开发更加简单，对数据库的操作都通过中间层来进行，为应用层提供完全一致的接口[9]。传统的中间件技术有：基于CORBA的企业应用集成、基于MOM的企业应用集成和基于J2EE/JCA的企业应用集成架构[10]。在实际应用中，往往是多种方式共同使用，目前企业集成最主要的模式是消息中间件模式，如IBM MQ series、微软的MSMQ等。该模式通过一个中间件产品实现各种系统间的交互，然而，由于不同的IT厂商所提供的不同产品互不兼容，因此，在进行企业应用系统集成时，需要进行定制化的开发，系统实现的效率低、开发工作量大、周期长。而且，采用中间件技术进行异构数据的无缝集成是十分困难的，仅仅是设法使各种技术一起工作，就要花费40％的IT预算，使得近半数的投资花费在不直接产生商业价值的事情上[11]。
其次是面向服务的企业数据集成[12]。基于XML技术的Web服务为面向服务的企业应用集成带来了新的契机，Web服务的使用改变了目前的开发模式和应用部署的费用规模[13-15]。企业信息化过程中的异构数据集成目的是培养企业对市场的快速反应能力，从而提高企业经济效益和企业竞争力的过程。随着Web技术的不断发展，分布式系统的日益完善，尤其是近年来Web服务技术的日益成熟，企业数据资源集成也随之得到了极大的发展。为使企业实现业务合作、更好地实现跨平台的互操作、提高分布系统的集成度，采用Web Service技术为异构数据的交互提供了有力的手段。Web服务技术可以实现企业应用集成，但它没有构成一个完整的解决方案，如：Web 服务可能没提供组织所需级别的安全性、可靠性、性能和正常工作时间。这就要求在各个应用系统中构建的服务，能以一种统一和通用的方式进行交互，并同时拥有可扩展的特性。因此需要一种能够装配构件和服务的集成框架，该框架能够快速地开发、集成和重用应用程序，快速、动态地交付应用程序。这就需要一种新的面向服务的体系结构去实现[16]。
网格技术发源于美国，随着它在世界各个国家和地区的政府及业界大公司中的推广和研究，以及网格基础设施建设的发展，网格技术的全面资源共享和协同特性，越来越吸引企业的眼球。在针对“应用网格企业最想在哪些
- 3 -
哈尔滨理工大学工学硕士学位论文
方面获得收益”的问卷调查中，22%是共享异构数据；20%是要节省企业整体投入成本；16%为更好地利用IT资源；改善业务流程占8%；更好地实现运营管理占5%；提高技术优势达4%；以上均有考虑的占25%。为此网格义不容辞的担负起了开创异构数据集成新模式的重任。目前，网格技术仍然处于研究开发阶段，网格技术尚不成熟，系列规范正在不断地开发、发展和修订中，同时也有很多新的规范出现，这是挑战也是机遇。从发展的角度看，在异构数据集成中采用网格技术是大势所趋，作为IT业内的技术人员在项目设计的过程中应该顺应这一趋势，即采用先进的、低成本的解决方案，积极的尝试应用网格技术。同时，在实际的系统设计过程中，应该把它和一些成熟的技术（如J2EE，Web Service等）结合起来，使用开放的网格体系结构来支撑而不是替代现存的底层结构。从长远来看，网格技术必将对企业信息化发展产生巨大而深远的影响。目前网格技术在共享和集成应用中的研究也取得了一定成果。下面是国内外现状的对比：
1．国外研究概况NPACI(National Partnerships for Advanced Computati- onal Infrastructure) Grid是由美国自然科学基金会(NSF)资助的网格研究项目。其目的是建立一个能够满足NPACI 科学计算需求的先进计算机体系。NPACI Grid 由一系列分布于各个资源站点的硬件资源、软件资源、网络资源及数据资源构成。这些站点主要包括圣地亚哥超级计算中心(San Diego Supercomputer Center)，德克萨斯先进计算中心(Texas Advanced Computing Center)及密歇根大学(University of Michigan)。
IPG(Information Power Grid)是由美国宇航管理局NASA支持的网格研究项目。它是一个高性能的计算网格，网格用户可以通过IPG中间件从任何地点访问广泛分布的异构的各种资源，NASA内部的科学家和工程师都可以成为IPG的用户。
GIG全球信息网格(Global Information Grid)是目前美国军方正规划实施的一个宏大网格计划。它是美军2010网络中心战(Net Centric Warfare)计划的基础性研究项目，旨在建立一个以成熟的商业技术为基础的真正分布式的运行与传送系统。
欧洲国家在2001年正式启动了网格研究的一系列项目。英国政府投资2亿英镑左右支持网格研究项目，并确定了用网格计算技术构建e-Science。EDG欧洲数据网格(European DataGrid)于2000年12月由欧盟提供一千万欧元资金启动。它主要针对CERN的高能物理应用，解决海量数据的分解存贮和处理问题，提供一种突破地理局限、允许分布在世界各地的工作者交
- 4 -
哈尔滨理工大学工学硕士学位论文
互、共享数据和设备，共同开展科学研究的合作环境。
类似的还有：法国启动的国家网格计划，前3年计划的经费投入是1000万美元。荷兰国家网格计算计划将使5个大学的研究人员能够更有效地在生物信息到粒子物理等科研项目方面进行合作。这一网格计算计划包含5台Linux群集系统，通过荷兰大学的高性能网络SURFNet连接在一起。韩国的网格计划N*Grid，2002-2006年的五年计划将投资3500万美元，但不包括网络和高性能计算机的投入，后者每年投入为1500万美元。日本的Data Farm网格项目，主要用于Petabyte数据量的高能物理实验数据的分析和处理，与欧洲数据网格相连。中国台湾也启动了“知识创新网格”的三年科研计划(2003-2005)，总投资为3000万美元。
2．国内研究概况国外网格的研究正在如火如荼地进行着，国内也毫不落伍，网格基础设施建设和网格技术研究工作也在紧张进行。2002年4月5日至6日，科技部召开了“网格战略研讨会”，确认将网格的研究和应用列为“863计划”的一个专项，随即成立了专项专家组。目前为止，我国己经完成的网格研究项目主要有清华大学的先进计算基础设施ACI(Advnaced Computational Infrastructure)和以中科院计算所为主的国家高性能计算环境NHPCE(National High Performance Computing Environment) [17]。
此外，中国国家网格由国家863计划重大专项支持，是聚合了高性能计算和事务处理能力的新一代信息基础设施的试验床。通过资源共享、协同工作，以技术创新推动国家信息化建设及相关产业的发展；2002年中科院提出的织女星信息网格旨在有效便捷的解决广域、异构数据的共享、互连和互操作的问题。织女星信息网格的使用模式是让用户在任何时间、地点以及任何设备上使用网格，以达到高生产率服务；上海网格是上海市科学技术委员会2003年度重大科技攻关项目，目标是研究符合国际标准的信息网格体系结构和关键技术，开发具有自主知识产权和推广价值的信息网格系统软件、应用开发环境和虚拟研究平台，通过对虚拟组织中的计算、数据、软件等各种信息的共享和协同，建立具有上海特色的信息网格；华中科技大学的空间信息网格SIG(Spatial Information Grid)是一种汇集和共享地理上分布的海量空间信息资源，对其进行一体化组织与处理，从而具有按需服务能力的、强大的空间数据管理和信息处理能力的信息基础设施。空间信息网格是一个创新性的体系框架，它为空间信息用户对空间数据进行获取、共享、访问、分析和处理等各种需求提供了实用可行的解决思路和实施方案。网格技术为空间数据获取与处理提供了新的技术途径，具有非常广阔的应用前景。
- 5 -
哈尔滨理工大学工学硕士学位论文
网格技术领域的OGSA-DAI(Open Grid Serviees Architecture-Data Access and Integration)，是一种比较常用的中间件，其设计目标是提供一种简便的方法，在网格环境中实现数据的访问集成[18]。OGSA-DAI为OGSA规范提供扩展，允许数据源，如数据库，在一个OGSA框架中被访问。通过OGSA-DAI接口所能达到的最终目标是：分散的、异构的数据源能像单一逻辑的数据源一样被访问和控制[19]。但OGSA-DAI仍然存在一定的缺陷：1．缺少数据库自动注册服务。OGSA-DAI中间件每次要增加新的数据库连接信息时必须手工改写数据库的相关配置文件，而且改写过程比较复杂，容易出错，很不利于注册新的数据库。
2．数据库连接性能差。由于OGSA-DAI中间件每次调用一个数据服务连接数据库的时候是采用直接连接的方法，使用完毕后就直接断开数据库的连接。这种直接连接数据库的方法系统响应时间长、效率低，给服务器和系统网格的性能带来很大的影响。
3．异构数据库的数据集成性差。OGSA-DAI提供了访问关系数据库、XML数据库和文件目录的接口，但没有真正实现对异构数据源的数据集成。
随着企业信息化的推进，企业内部存在着大量的异构数据库资源，如何动态、有机地整合这些资源以满足不同应用、不同用户一站式、个性化的需求已成为制约企业信息化的技术性问题[20]。传统的应用集成技术已无法适应Internet环境下松耦合的集成需求，本文将提出的基于OGSA/WSRF的企业异构数据集成框架，它是一种面向服务的体系结构，作为松散耦合的、可复用的软件模块，它支持Internet上跨操作系统、硬件平台和编程语言的应用集成。以往的“服务”通常是指标准的Web服务以及OGSA组织的网格服务两种实现方式，目前OGSA组织会同业界推出的WSRF，借助成熟的Web服务开发工具与技术，基于标准Web服务实现网格服务的功能，这使得基于OGSA/WSRF的企业应用集成成为可能[21]。
本文通过OGSA中的开放式网格服务基础结构OGSI的核心接口及Web服务资源框架WSRF，借助标准Web服务，结合XML技术可解决上述Web服务解决方案中存在的问题，真正实现企业异构数据动态集成的目标。
1.3本文主要工作
本文通过分析企业信息化中存在的数据异构性问题，结合现有的各种消
- 6 -
哈尔滨理工大学工学硕士学位论文
除数据异构性解决方案中存在的不足，借助XML、SOAP等标准的Web Service技术，融入网格技术的全面资源共享和协同技术，实现了企业异构数据的无缝共享和交换信息，实现了对企业原有各种异构数据的集成和管理，进而满足了商务智能、协同办公、业务流程自动化等高端企业信息化需求。本文的主要工作如下：
1．通过分析企业信息化中异构数据集成问题的研究现状，以及网格技术在该领域的国内外研究概况，阐明了传统异构数据集成取得的成果和存在的不足。
2．详细阐述了网格技术发展状况、目前的几种标准网格结构。以及本课题所用到的Java/J2EE、Web Service等核心技术和GT4、Fedora Core Linux等开发平台。
3．结合传统企业异构数据集成方案的不足，以及目前企业异构数据集成的发展趋势、集成需求和目标，提出了基于OGSA/WSRF的企业异构数据集成的设计方案。深入分析了该方案在实现企业内部、企业之间异构数据按需动态集成目的方面的技术可行性。
4．针对企业各信息化系统互访和互操作频繁等行业特点，给出了基于OGSA/WSRF的企业异构数据动态集成方案的具体实施过程，详细阐述了网格服务注册、发现和调用过程。
5．提出了一种针对该方案的测试方法，进行了网格节点的单点性能测试和分析。
- 7 -
哈尔滨理工大学工学硕士学位论文
第2章网格技术
2.1网格概念
网格是建立在互联网之上的新一代基础设施，是一个无缝集成的协同计算与资源环境。网格能够充分吸纳各种资源，并将它们转化成一种随处可得的、可靠的、标准的，同时还是经济的计算能力[22]。阿岗国家实验室的资深科学家、网格概念的提出者、美国网格项目的领导人伊安·福斯特(Ian Foster)，曾在1998年主编过的《网格：21世纪信息技术基础设施的蓝图》中这样描述网格：网格是构筑在因特网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和交互性。2000年在《网格的剖析》中他讲到：潜藏在网格概念之中确切而特殊的问题就在于，实现对等的资源共享和解决动态的、分布式的虚拟组织所遇到的问题。我们所关心的共享不仅仅是简单的文件交换，更强调直接对计算机、软件、数据以及其它资源的直接访问，这种需求在工业，科学以及工程界等许多领域都会遇到。
从广义的角度，网格就是一个集成的计算与资源环境，或者是一个计算资源池。它能够充分吸收各种计算资源，并将它们转化为一种随处可得的、可靠的、标准的、经济的计算能力。这里的计算资源包括各种类型的计算机、网络通信能力、数据资料、仪器设备、甚至是人等各种相关的资源。
从狭义的角度，网格一般被称为计算网格，即主要用于解决科学与计算问题的网格。网格计算就是将分布的计算机组织起来协同解决复杂的科学与工程计算问题，网格资源主要是指分布的计算机资源。根据网格体系结构及目标，网格可以分为计算网格、数据网格及服务网格。计算网格是狭义上的网格，包括分布式超级计算、高性能计算；数据网格是以数据密集型处理为核心，其目标是开发出新一代速度更快、承受能力更大的数据网格，解决互联网上提供的大量异构数据的共享；服务网格的目标是满足任意时空“按需索取”的服务，协同运算及媒体服务。此外根据应用的种类及网格计算求解问题的特点，又提出多种网格，如以解决科学问题为核心的科学网格，以解决全球环境问题为核心的地球系统网格等，以及地震、军事网格等[23]。
网格具有以下特点：
- 8 -
哈尔滨理工大学工学硕士学位论文
1．分布性和共享性。分布性是网格的一个最主要的特点。通常网格上的各类资源类型复杂、规模较大、跨越地理范围较广，在分布式计算环境下，需要解决资源与任务的分配和调度问题、安全传输与通信问题、实时性保障问题、人与系统以及人与人之间的交互问题等。网格的根本特征是资源共享，透明而且高效率地提供各种服务。
2．自相似性。网格具有自相似性特征。网格的局部和整体之间存在着一定的相似性，局部往往在许多地方具有全局的某些特征，而全局的特征在局部也有一定的体现。网格的自相似性在网格的建造和研究过程中有重要的意义。
3．动态性和多样性。随着时间的推移，网格拥有的资源或功能可以增加或减少。网格可以从最初包含少量的资源发展到具有成千上万资源的大网格，因此它应从性能、功能、管理软件、兼容性等方面适应规模的变化，能解决不同结构、不同类别资源之间的通信和互操作问题。
4．异构性。网格可以包含多种异构资源，包括跨越地理分布的多个管理域。如构成网格系统的超级计算机有多种类型，不同类型的超级计算机在体系结构、操作系统及应用软件等多个层次上可能具有不同结构。
5．多级管理域。由于构成网格计算系统的超级计算机资源通常属于不同的机构或组织，并且使用不同的安全机制，因此既需要各个机构或组织对其拥有的资源有自主的管理能力，又需要他们共同参与解决多级管理域的问题，以实现资源共享和互操作。
本课题旨在借助网格技术的分布性和共享性特征，结合其它相关技术实现企业异构数据的无缝动态按需集成。
2.2网格的结构
网格体系结构是网格的骨架和灵魂，是网格技术中最核心的部分。网格体系结构是关于如何构建网格的技术，它包括两个层次的内涵：一是要标识出网格系统由哪些部分组成，清晰地描述出各个部分的功能、目的和特点；二是要描述网格各个组成部分之间的关系，如何将各个部分有机地结合在一起，形成完整的网格系统，从而保证网格有效地运转，也就是将各个部分进行集成的方式或方法。网格体系结构是网格的核心技术，只有建立合理的网格体系结构，才能更好地设计和建造网格并使网格有效地发挥作用[24]。网格技术的权威伊安·福斯特将网格体系结构定义为“划分系统基本组件、指
- 9 -
哈尔滨理工大学工学硕士学位论文
- 10 -
定系统组件的目的与功能、说明组件之间如何相互作用的技术”。
网格技术目前流行的三个网格体系结构：五层沙漏结构、开放网格服务体系结构OGSA 、Web 服务资源框架WSRF 。网格的架构决定于网格体系结构的设计，但不管采用何种体系结构，网格都必须具备资源管理、信息管理、数据管理、服务质量保证、安全等基本的功能模块。
2.2.1 五层沙漏结构
五层沙漏结构是由伊安·福斯特等提出的一种具有代表性的网格体系结构，其影响十分广泛，它的特点就是简单，主要侧重于定性的描述而不是具体的协议定义，容易从整体上进行理解。在五层沙漏体系结构中，最基本的思想就是：以协议为中心，强调服务与API 和SDK 的重要性。五层沙漏结构的设计原则就是要保持参与的开销最小，即作为基础的核心协议较少，类似于OS 内核，以方便移植。另外，沙漏结构管辖多种资源，允许局部控制，可用来构建高层的、特定领域的应用服务，支持广泛的适应性。五层沙漏结构根据该结构中各组成部分与共享资源的距离，将对共享资源进行操作、管理和使用的功能分散在五个不同的层次，如图2-1所示。
图2-1 沙漏形状的五层结构
Fig. 2-1 Five-Level sandglass architecture
在五层结构中，资源层和连接层组成了瓶颈部分，使得该结构呈沙漏形状。其内在的含义就是各部分协议的数量是不同的，对于其最核心的部分，要能够实现上层各种协议向核心协议的映射，同时实现核心协议向下层各种
协议的映射，核心协议在所有支持网格的地点都应该得到支持，因此核心协
哈尔滨理工大学工学硕士学位论文
议的数量不应该太多，这样核心协议就形成了协议层次结构中的一个瓶颈。
五层的功能特点描述如下：
构造层的基本功能就是控制局部的资源，包括查询机制、控制服务质量的资源管理能力等，并向上提供访问这些资源的接口。构造层资源是非常广泛的，可以是计算资源、存储系统、目录、网络资源以及传感器等等。构造层资源提供的功能越丰富，它可以支持的高级共享操作就越多，例如，如果资源层支持提前预约功能，则很容易在高层实现资源的协同调度服务，否则在高层实现这样的服务就会有较大的额外开销。
连接层的基本功能就是实现相互的通信。它定义了核心的通信和认证协议，用于网格的网络事务处理。通信协议允许在构造层资源之间交换数据，要求包括传输、路由、命名等功能。在实际中这些协议大部分是从TCP/IP 协议栈中抽取出的。认证协议建立在通信服务之上，提供的功能包括：单一登录、代理、与局部安全方法的集成、基于用户的信任机制。
资源层的主要功能就是实现对单个资源的共享。资源层定义的协议包括安全初始化、监视、控制单个资源的共享操作、审计以及付费等。它忽略了全局状态和跨越分布资源集合的原子操作。
汇聚层的主要功能是协调多种资源的共享。汇聚层协议和服务描述的是资源的共性，包括目录服务、协同分配和调度以及代理服务、监控和诊断服务、数据复制服务、网格支持下的编程系统、负载管理系统与协同分配工作框架、软件发现服务、协作服务等。它们说明了不同资源集合之间是如何相互作用的，但不涉及到资源的具体特征。
应用层是在虚拟组织环境中存在的。应用可以根据任一层次上定义的服务来构造。每一层都定义了协议，以提供对相关服务的访问，这些服务包括资源管理、数据存取、资源发现等。在每一层可以将API定义为与执行特定活动的服务交换协议信息的具体实现。
2.2.2OGSA结构
开放网格服务结构OGSA(Open Grid Services Architecture)，把Globus 标准与面向商业应用的万维网服务结合起来，把网格计算从科学与计算工程应用，扩展到更广泛的以分布式系统服务集成为主要特征的商业应用领域，建立网格服务的基本概念[25]。OGSA采用了万维网服务的WSDL和SOAP
- 11 -
信息物理融合系统（CPS）中的数据管理关键技术1 信息产业发展的新趋势－CPS 自二十世纪六十年代以来，电子技术，计算技术和网络技术等取得了飞速发展，特别是网络技术的革新成为了这场方兴未艾的伟大IT革命的重要动力源泉。网络的规模及其新应用领域正日益得到扩展，其最引人举目的是新网络技术和物理设备系统的结合。随着传感器、嵌入式计算设备或终端、高性能通信设备、各种消费类和工程类电子设备等物理设施的大量接入，新型计算机化和网络化的物理设备系统网络的规模得以急剧膨胀。同时，随着国家大型电力网络、航空航天交通控制网络、高速公路交通控制网络、卫生防疫应急响应网络、远程医疗与社区医保网络、海洋搜寻与救援网络等大型或者特大型网络物理设备系统的蓬勃发展，以及网络家电、汽车引擎智能网络控制系统、心房脉冲产生器、纳米级制造控制系统等小型或者微型网络物理设备系统的出现，突破了传统物理领域中的网络应用形式，使得用联网计算方式来整合物理系统和计算系统以实现物理设备的功能扩展成为物理系统发展的新趋势，并由此导致出现了新一代的并由此导致出现了新一代的工程系统：信息物理融合系统（Cyber—physical Systems，CPS）。CPS网络在工业生产与国民经济生活中的基础性、全局性作用正日益增强。 2 什么是CPS CPS，从广义上来理解，就是一个在环境感知的基础上，深度融合了计算、通信和控制能力的可控可信可扩展的网络化物理设备系统，它通过计算进程和物理进程相互影响的反馈循环实现深度融合和实时交互来增加或扩展新的功能，以安全、可靠、高效和实时的方式监测或者控制物理实体。CPS的终极目标是实现信息世界和物理世界的完全融合，构建一个可控、可信、可扩展并且安全高效的CPS网络，并最终从根本上改变人类构建工程物理系统的方式[1]。 新的信息世界观认为现代世界是由物理世界、信息世界和人类社会所组成的三元世界。人－机－物三元世界[2]（如下图1所示）是一个多人、多机、多物组成的动态开发的网络世界。从交互的角度来看，融合了信息世界和物理世界的CPS改变了我们人和物理世界交互的方式，正如Internet改变了我们彼此之间的交互方式一样。CPS这种新方式所完成的是物理设备系统的“三化”：信息化、网络化和智能控制化。因此，从本质上来理解，CPS实际上是一个“3C”（Computation, Communication and Control）融合系统，体现了信息科学，物理科学，控制科学和系统科学的交叉与融合，它以信息处理任务为核心，计算部件完成计算功能，并通过高性能通信网络完成数据通信，通过开放的大规模循环控制实现对物理实体的监测与控制，其体现的“3C”概念模型如图2所示。从结构上来看，CPS系统需要包括这样几个部分：（1）传感器，用于感知物理世界的信息；（2）控制器/执行器，用于实施对物理实体的操作；（3）计算部件，可能是集中式的也可能式分布式的，能根据物理信息做出恰当的处理与分析，并做出控制/执行策略；（4）通信网络，用于连接以上各个单元以及相关的信息、对象、事件和人物，网络的规模式是大规模甚至于全球级的互联。从
基于XML的异构数据集成方案 一、设计任务 设计出基于XML的异构数据集成方案，具体要求： i.数据源包括：结构化数据、非结构化数据和半结构化数据 ii.实现功能包括：能够用统一的方式实现查询等处理 iii.应用的技术为XML技术，实现异构数据集成 二、设计应用的具体集成方法 2.1异构数据集成方法简介： 异构数据集成方法包括：模式集成和数据复制方法。 1、模式集成方法中的数据仍保存在各数据源上，由集成系统提供一个虚拟的集成视图(即全局模式)以及全局模式查询的处理机制。用户直接在全局模式的基础上提交请求，由数据集成系统处理这些请求，转换成各个数据源在本地数据视图基础上能够执行的请求。 2、数据复制方法将各个数据源的数据复制到与其相关的其它数据源上，并维护数据源整体上的数据一致性、提高信息共享利用的效率。 3、模式集成包括：联邦数据库和中间件集成方法是现有的两种典型的模式集成方法。 4、数据复制方法：数据仓库方法。 2.2异构数据集成方案分析 1.联邦数据库数据集成 联邦数据库是数据库集成的最简单结构，将所有组件数据库进行一对一的连接为了实现各个数据库和其它数据库数据之间的互操作，需要解决各个数据库之间的格式冲突问题，就要为每一个数据库向其它数据库的数据类型转换提供转换规则。这就是说这样的异构数据库系统需要建立N X（N一1）/2个转换规则，或者说要编写N X (N一1)/2段代码来支持两两之间的查询访问。 在联邦数据库数据集成方式中，如果要向系统中加入新的节点，就需要再建立很多转换规则，并且为系统之间只有通过编写软件来实现互相的信息正确地传递，这样做既费时又费工。如果各个子系统需要修改，那么会带来更多的问题，大大影响了系统的可扩展性、移植性和稳定性。其模型示意图如下图所示：
异构数据集成平台详细描述 一、综述 异构数据集成平台是通过技术手段，将医疗机构内相关系统的数据通过清洗、转换后汇集到临床数据中心，并对采集上来的数据进行质量控制，实现系统之间数据互连互通，降低系统间的耦合程度。支持通过可视化工具自动生成标准的数据共享服务接口向第三方提供数据服务。平台应由前置统一网关、通讯中间件、工作流引擎组成，并提供数据元规范、主索引服务、数据校验服务和公共管理服务等。包括如下功能： 二、数据采集引擎 通过数据采集引擎库或采用符合国家标准、本地标准目标数据源进行管理，定义平台质量监控的对象等，要求对数据源的定义通过界面化的操作即可完成，系统可以从数据库表、视图或SQL 方式创建检查数据源，支持建立多个数据源。 1）采集HIS、LIS、EMR数据，并进行清洗、转换、标准化，上传到临床数据中心； 2）采集超声报告，超声、病理、内镜影像数据（DICOM或JPG），并进行清洗、转换、标准化，上传到临床数据中心； 3）采集PACS检查报告、原始DICOM影像数据，并进行清洗、转换、标准化，上传到临床数据中心。 数据采集主要是由采集服务器，通过HTTP 协议和Restful 技术把数据上传并缓存在WEB 及消息服务器上，WEB 及消息服务器可以缓存一周的数据
上传量，数据上传后，再由消息处理服务进程（MPS）进程完成数据的最终清洗及格式，并最终入库存储。台标等非结构化数据存储在分布式文件系统（S2DFS）中，log 或者行为等结构化数据存储在分布式数据库（MongonDB）中。参见如下数据采集/ 存储流程图： DMQ 是一个分布式的消息服务平台，提供的功能包括：配置维护、名字服务、分布式同步、组服务等，能提供一种高性能、可靠的、可扩展的、分布式的、可配置关键特性。 三、数据交换引擎 在基层医疗机构信息系统、家庭医生签约服务平台和其他系统之间建立数据通信的互连通路的渠道，用于处理各类消息的发送接收、数据校验、内容过滤和版本检查等需求，对可用连接、数据源等系统资源根据预设规则进行动态分配管理。 数据转换就是将整理后的数据，依照对照表的要求进行转换，并写入到新系统。这个过程可以通过交换系统实现。
异构数据库集成技术在高校学生信息管理系统中的应用引言 随着校园的信息化建设的飞速发展,异构数据库集成技术起着越来越重要的作用。由于部门业务和功能归属不同，各应用系统开发时采用了不同的软硬件环境．数据的这种按部门或功能进行组织和管理，把很多信息都分开化啦!正好，异构数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。不同的数据库所存储的形式也各不相同，比如，教学管理数据库主要就是用于储存管理应用处理层所需的数据资料。不同教育机构建立的各自的应用控制系统中也建设了各自的数据库,但由于缺乏统一协调,各数据库系统在建立时都是从各自的需求出发,没有统一的数据库,这就使得各数据库之间无法互连!互通,信息资源无法融合共享论文对异构数据库集成展开研究,建立教学管理综合数据库系统,以适应不同平台!不同部门数据库之间的数据共享。要怎么才能实现网络环境下的信息共享？就要求必须联合各个异构数据库即集成多个数据库系统，实现不同数据库之间的数据信息资源合并和共享，显然，每个数据库系统在加入异构数据库集成系统之前本身就已存在，拥有自己的DBMS。异构数据库系统是指异构的多数据库系统，即组成它的成员数据库具有的硬件、系统软件(例如操作系统)或通信支持不同，或者成员数据库具有不同的DBMS或具有不同的数据语义DBMS的不同表现在表达(结构和限制)和语
义两方面。网络上存在着大量异构的数据库,它们的异构性表现在多个方面,如数据的类型不同,数据的表示不同,管理数据的软件不同,以及系统运行的环境不同。随着企业合作和政务电子化的发展,许多信息系统需要访问这些异构数据库中的数据。因此,需要一种新的系统框架来解决多个异构数据库的信息集成,其前提是必须对用户透明,并保持本地数据库的自治性。 1 异构数据库集成技术 1.1 联邦数据库技术 联邦数据库系统(FederatedDatabases)"祸合较松一些"没有单一的全局策略,每个局部数据库维护一个本地输入输出策略,输出策略指明了本地系统提供的全局共享数据,输入策略指明了允许输入本地系统的来自远程节点的数据"局部输入输出策略构成了全局策略的一部分"这种系统只集成局部系统中的部分数据,因而使得局部系统有较好的自治性"联邦数据库是最简单的一种异构数据库集成方式：各个数据源是相互独立的．但通过数据源之间的数据交换格式进行一一映射．这种映射可以让数据源DB1使用数据源DB2理解的术语来访问DB2数据源也就是说．不同的数据源之间使用数据转换接口网关或调用接口来实现数据互访．这样一个数据源就可以访问任何其他数据源的信息。同时，如果有l1个异构数据源需要互连，那么我们就要去构造n (n—l1个映射程序来支持这n个异构数据源之间的互相访问。
异构系统集成案例深圳数帝异构数据的集成技术 随着信息技术的不断发展，企业在信息化方面做了巨大的投资，建立了各种信息系统以帮助企业业务的处理和管理工作。然而，众多的信息系统形成了一个个彼此独立的信息孤岛，无法实现资源共享。深圳市数帝网络科技有限公司创建的DataBridge数据集成平台解决了企业数据难统一的痛点，帮助企业连接一切。下面，就以瑞丰德永集团为例，看看数帝网络如何实现金蝶K3系统和自主研发CRM系统的数据集成，实现企业大数据对接与交换。 系统数据集成案例 1，客户简介： 瑞丰德永集团于2008年成立，位于香港中环力宝中心，历经近十年的拼搏发展，目前设有香港、华南、华东、华北四大区，在中国12个重要发达城市及沿海地区设立了公司。瑞丰德永茁壮成长为一个拥有会计、税务、财务、金融、商业秘书等专业知识的超过200多人的高级资深顾问团队。八年过去了，公司的宗旨一直未变，依旧是帮助更多中国的企业走出去，创造出前所未有的机遇，开拓出崭新的市场。如今，瑞丰德永集团已为近四万家中国内地企业在香港、新加坡、美国等30多个国家成立公司，提供会计报税、企业秘书、投资移民等领域一站式专业顾问服务。
2，业务痛点: 随着公司业务的发展,于2014年购买了金蝶K3系统来管理合同,收付款,业务执行情况。但各分公司的账各自独立,每个分公司财务需在金蝶系统中手动录入合同信息等。再者，公司为实现客户管理专业化，自主研发了CRM。CRM和金蝶系统相互独立,加大了业务人员的重复工作，工作效率不高。 3，对接系统： 金蝶K3 ,自主研发CRM 4，集成业务: （业务集成场景图） 1）异构系统主数据一体化： ?约定主数据（客户、供应商、物料、部门）统一由自研CRM系统进行新增或者修改，EDS平台自动抓取CRM变动的主数据，按照平台设置的数据交换规则将符合目标系统（金蝶K3）的主数据推
控制与制导 本文2009-03-27收到,作者分别系空军工程大学导弹学院硕士、硕士、博士生导师 多传感器目标数据融合及关键技术 黄 赫 李宝泽 曹泽阳 摘 要 介绍了多传感器数据 融合的研究现状和发展趋势,并介绍了一些先进的目标信息数据关联和目标跟踪技术,在定位和跟踪巡航导弹方面具有一定的意义。最后针对存在的难点和问题,提出了分坐标目标信息处理的方法。 关键词 巡航导弹 数据融 合 分坐标 滤波 引 言 在未来军事作战准备中,巡航导弹与反巡航导弹之间的斗争必将更加激烈复杂,传感器易受各种干扰或者隐身目标的影响,三维测量传感器信息可能变成二维信息,二维测量传感器信息可能变成一维信息,一维测量传感器信息可能丧失,这些信息很难被充分利用去跟踪和定位巡航导弹。若采用先进的数据关联和跟踪技术,进行数据融合,充分利用多传感器的信息,将对巡航导弹目标进行精确定位和跟踪有很大的好处,对提高打赢能力具有重要的价值。 1 目标数据融合的研究现状及发展趋势 近20年来,随着科学技术 的发展,种类更多、性能更优的各类传感器不断产生,各种面向复杂应用背景的多传感器系统也大量涌现。 自20世纪70年代开始,多传感器数据融合(M u l t i -S e n s o r D a t a F u s i o n ,M S D F )技术逐渐受到各国尤其是各国军方的重视。以美国为代表,在军方、大公司和院校相继成立了专门的实验室,研究和测试数据融合理论和算法、数据融合系统建立及融合算法评估。1986年美国国防部成立数据融合工作组联合指导实验室(T h e J o i n t D i r e c t o r s o f L a b o r a -t o r i e s D a t a F u s i o n W o r k i n g G r o u p ),其最终研究成果为J D L 模型的建立,该模型得到了广泛的认同[1] 。1988年,美国国防部将数据融合列为20世纪90年代重点研发的20项关键技术之一。在海湾战争结束后,美国国防部从实际战争中体会到了数据融合 技术的巨大潜力,更加重视信息自动综合处理技术的研究,并将通信局改为信息局,在C 3 I 中增加计算机,建立以数据融合中心 为核心的C 4 I 系统。1995—1998财年美国国防部启动的46项先期概念技术演示验证项目之一(战场了解和数据分发系统,B A D D ),通过对来自一组类型各异的传感器数据的融合处理,旨在增强指挥官对战场态势感知的能力。此外,在1998年美国国防部公布的《2010年联合作战设想》中,对作战能力要素“有效使用兵力”和“任务规划”的阐述中,都明确要求:“借助一体化辅助决策提供实时融合的作战空间态势,为快速搜索和捕获目标、作战协同和目标选择、目标移交和交战的信息处理提供支持”、“协同态势评估”、“作战空间的统一理解和表达” [2] 。以美 国为代表的西方各国看到了数据融合技术在军事上的重要效用和非凡前景,投入巨资开展研究。资料显示,美国每年用于数据融 ·50·飞航导弹 2009年第10期 DOI :10.16338/j .issn .1009-1319.2009.10.015
龙源期刊网 https://www.doczj.com/doc/62784816.html, 基于异构数据资源整合的方法和系统实现 作者：陈倬 来源：《科技创新导报》2017年第12期 摘要：随着信息化领域的不断深入及发展，电力企业已经积累了大量的异构数据源处 理，而Web技术的成熟在一定程度上推动了异构数据整合可能性。因此，该文在对数据库系统开发技术进行分析的基础上，提出数据资源整合方法，从而有效地解决了资源整合问题。 关键词：异构数据资源整合系统方法 中图分类号：TP311.13 文献标识码：A 文章编号：1674-098X（2017）04（c）-0142-02 异构系统数据的整合也就是说利用现有的网络以及计算机技术，对多个业务系统进行优化及调整，从而使业务与业务之间存在关联，最终便能够在无人干预的条件下，实时共享及自动同步不同业务系统之间的数据资源。而随着我国信息化的进一步推进，相关单位及部门均要求将异构数据作为撰写报告以及分析数据的基础。但由于远程没有相同的数据库系统及大量错误的存储方式，并且还没有统一的数据描述标准，从而导致对数字化进程以及主题信息化造成了一定阻碍。目前所采用的数据整合方式主要是基于C/S结构，在实际应用的过程中用户需要在机器上安装客户端，因而对用户机器具有较高的要求。加上在维护客户端软件的过程中具有较大的难度，没有相关的工作流程作为支持，从而便导致数据使用以及整合在不同的系统中，在一定程度上阻碍了资料的检索及共享。 1 系统架构 在整个电力系统中，系统框架作为其最为核心的部分，在系统架构层中主要的工作内容是负责与数据库之间的交互，同时还需要对多个运行协调以及指挥处理平台业务支撑层进行处理。在实际应用的过程中，为了能够对电力企业现有网络硬件环境进行充分地利用，就需要采用基于B/S模式以及J2EE标准规范。网络数据库管理系统是整个数据库的核心，且客户端之间的沟通交流平台主要为IE浏览器与微软平台。根据此可以建立一个基于异构数据的整合技术，从而便能够实现综合系统，其中包括对异构资源的统一管理，结构化与非结构化数据的统一搜索等工作内容。 2 异构数据源整合 2.1 异构数据源 数据源异构主要指的是数据源具有多种不同的类型，并且在存储方式上数据源包括不同模式及数据语义差异。在不同的存储模式中，使用对象模式以及关系模式均具备较好的兼容性，但并不适用于每个系统。在某些特殊的系统中，尽管采用同一种类型的存储模式，差异性的模
无线传感器网络数据融合关键技术研究 摘要：路由协议与数据融合技术已成为无线传感器网络（WSN）的一个重要研究方面。本文按照面向应用和面向层次两个分类进行了介绍，并通过联系以数据为中心的路由协议以及相关的数据融合算法，简要分析了其在节省功耗，优化网络性能方面所采取的有效措施。通过仿真实验，推断出以数据为中心的路由协议对网络内数据融合的帮助意义。 关键词：无线传感器网络；路由协议；数据融合；NS2 1 引言 无线传感器网络（wireless sensor network，WSN）就是由部署在监测区域内大量的廉价微型传感器节点组成，通过无线通信方式形成的一个多跳的自组织的网络系统，其目的是协作的感知、采集和处理网络覆盖区域中感知对象的信息，并发送给观察者[1]。 路由协议和数据融合已成为无线传感器网络的关键技术。本文首先对现有的几种路由协议和数据融合算法进行介绍，然后通过仿真来验证以数据为中心的路由协议在性能上的优势，以及对数据融合的促进意义。 2 无线传感器网络路由协议 路由协议负责将数据分组从源节点通过网络转发到目的节点，它主要包括两个方面的功能：寻找源节点和目的节点间的优化路径，将数据分组沿着优化路径正确转发。 2.2面向应用的路由协议 面向应用的路由协议是众多路由协议中较为常见的一种。所谓面向应用，即是与应用模式紧密相连的路由协议。从具体应用角度出发，根据不同应用对传感器网络各种特性的敏感性不同，将路由协议分为四种类型[2]：1）能量感知路由协议；
2）基于查询的路由协议； 3）地理位置路由协议； 4）可靠的路由协议。 能量路由是最早提出的传感器网络路由机制之一，它根据节点的可用能量（power available，PA）或传输路径上的能量需求，选择数据的转发路径。节点可用能量就是节点当前的剩余能量。 基于查询的路由协议包括定向扩散路由和谣传路由。定向扩散是专门为传感器网络设计的路由策略，是以数据为中心的典型路由协议代表，与己有的路由算法有着截然不同的实现机制。谣传路由引入了查询消息的单波随机转发的机制，克服了使用洪泛方式建立转发路径带来的开销过大的问题。 地理位置路由包括GEAR路由和GEM路由。GEAR（geographical and energy aware routing）路由假设已知事件区域的位置信息，每个节点知道自己的位置信息和剩余能量信息，并且通过一个简单的Hello消息交换机制了解所有邻居节点的位置信息和剩余能量信息。GEM（graph embedding）路由是一种适合于数据中心存储方式的地理路由。其基本思想是建立一个虚拟极坐标系统（virtual polar coordinate system ，VPCS），用来表示实际的网络拓扑结构。网络中的节点形成一个以汇聚节点为根的带环树（ringed tree），每个节点用到树根的跳数距离和角度范围来表示，节点间的数据路由通过这个带环树实现。 2.3面向层次的路由协议 针对无线传感器网络中节点所处的地位，以及网络的拓扑结构，还可以将无线传感器网络的路由协议分为平面结构和分层结构。 平面路由协议包括定向扩散路由协议、谣传路由协议、SPIN路由协议（基于能量感知的路由协议）、HREEMR路由协议（基于多路径的路由协议）、SPEED 路由协议、GEM路由协议、边界定位路由协议、有序分配路由协议等。前面介绍的四类面向应用的路由协议大都属于平面的路由协议。 分层路由协议包括：LEACH路由协议、TEEN路由协议、GAF路由协议、GEAR 路由协议、SPAN路由协议、SOP路由协议、MECN协议、EARSN路由协议等。这里，我们重点介绍两个相似的路由协议：LEACH和TEEN协议。
第38卷第6A 期2016年6月舰船科学技术 SHIP SCIENCE AND TECHNOLOGY Vol．38，No．6A Jun．，2016 船联网信息融合关键技术研究 郭 曼，魏 峰 （新乡职业技术学院，河南新乡453006） 摘 要： 由于电子设备类型不同，基于物联网结构的数据传输与处理存在大量异构数据，船舶各电子设备之 间﹑船与船之间的数据交互需要通过中间件进行数据融合及接口统一。基于船联网的信息融合需要提供一个完整的策略方法及框架来处理船联网中的异构系统数据。本文研究现有基于物联网结构的信息融合技术，针对船舶电子系统特征，提出一种高效特征信息融合算法，有效提高异构数据融合效率。 关键词：船联网；信息融合；并行计算 中图分类号： TP202．4 文献标识码： A 文章编号： 1672－7649（2016）6A －0103－03 doi ：10.3404/j.issn.1672－7649.2016.6A.035 Ｒesearch on key technologies of information fusion based on the marine network GUO Man ，WEI Feng （Xinxiang Vocational and Technical College ，Xinxiang 453006，China ） Abstract ： There are a lot of heterogeneous type data need to be transmitted between different types of electronic equipment．So the data fusion and unified interface need to be designed before the data transmission between different types of electronic equipment．Information fusion needs to provide a complete strategic approach and framework to deal with the processing of heterogeneous data in the network of ships．This paper research the existing information fusion technology ，according to the characteristics of ship electronic system ，proposed an efficient feature information fusion algorithm ，effectively improve the efficiency of heterogeneous data fusion． Key words ： the marine network ；information fusion ；parallel computing 收稿日期：2016－04－25作者简介：郭曼（1975－），女，硕士， 讲师，主要从事计算机应用、网络及云计算研究。0引言 海洋开发的深入及海上运输业的飞速发展使得 船用电子设备的应用类型越来越多，如海下红外探测系﹑船舶避碰系统﹑跟踪与监测系统﹑海上气象监测系统及信息中心，这些电子信息系统及船与船之间的数据交互越来越频繁，数据量也越来越大。同时，互联网技术将这些系统整合为一个整体，由于这些系统由不同的厂家设计，其数据存在异构性，所以对基于物联网结构的船舶数据通信及处理需要通过信息融合技术对异构数据进行处理，并且统一各设备之间的数据传输接口。 信息融合技术通过有效的算法及模型对各类数 据进行综合处理，其核心是基于物联网结构的数据融合架构及各类船舶电子信息的异构数据融合算法，对各类异构数据特性进行分析，从而给出时效性能高的数据融合算法 ［1］ 。 本文在分析船联网各类异构数据特性的基础上，提出一种高效特征信息融合算法，并给出仿真结果。 1基于船联网的信息融合原理 物联网架构是基于ＲFID 射频技术﹑传感器技术及无线传感网络的一种全新互联互通技术。从信息传输处理角度来看，利用传感器采集物体的认知数据，通过ＲFID 及无线传感网络对数据进行传输。
流程流转过程中异构系统交互（Action）
一、开发步骤简述 ●编写接口(action)实现代码 ●配置接口文件(action.xml) ●流程管理员把action.xml中定义的接口设置为流程节点附加操作后，就可以实现 流程到达该节点前(或离开该节点后)执行接口实现代码 ●在流程设置中应用该功能 二、开发说明 1、编写接口（action）实现代码 自己开发接口类，该类必须实现接口weaver.interfaces.workflow.action方法public String execute(RequestInfo request)。如下图所示： package weaver.interfaces.workflow.action; import https://www.doczj.com/doc/62784816.html,mons.logging.Log; import https://www.doczj.com/doc/62784816.html,mons.logging.LogFactory; import weaver.general.Util; import weaver.soa.workflow.request.Cell; import weaver.soa.workflow.request.DetailTable; import weaver.soa.workflow.request.Property; import weaver.soa.workflow.request.RequestInfo; import weaver.soa.workflow.request.Row; public class BaseAction implements Action { public String execute(RequestInfo request) { //取主表数据 Property[] properties = request.getMainTableInfo().getProperty();// 获取表单主字段信息 for (int i = 0; i < properties.length; i++) { String name = properties[i].getName();// 主字段名称 String value = Util.null2String(properties[i].getValue());// 主字段对应的值 System.out.println(name + " " + value);
异构系统集成方案 权限集成 单点登录 需要被集成进来的系统必须提供单点登录的接口，这个接口最好要统一化（比如：使用超链 接方式）。 用户以及权限同步 方案1 在各大系统中手动同步用户以及权限 由于将要集成的各大系统权限设计存在差异，控制的颗粒大小程度不一致，各系统用户信 息不对称，所以建议在各系统提供单点登录接口，并用手动的方式实现用户的同步，在各大 系统中详细控制用户具体操作的权限。这样对用户需求可以很好的把控，并契合实际去实施。管理员需要对各个系统熟悉，并能快速分配用户权限。这样各个系统做的修改比较少。 方案2 独立的权限架构系统 独立权限架构系统是指一套独立的权限系统，该系统开放多种接口，方便各个系统调用。 管理员只要维护这一套权限系统即可。这样需要每个系统都要做支持该权限系统的功能。 我们可以定义一套标准，比如使用最为广泛的RBAC的权限设计模型来搭建。详见： https://www.doczj.com/doc/62784816.html,/u1/57965/showart_469429.html 这样其他系统都以该权限系统为标准，对各个用户权限进行操作。 消息集成 消息集成需要统一展示风格。 2.1如果是外挂式集成(也就是超链接的方式集成) 那么我们就要定义弹出窗口的种类以及弹出方式的接口供被集成方掉用，以此达到展示风 格统一化。 由于各大子系统都是web版，因此我们定义两方面的接口供其调用： 2.1.1、网页js接口 由于整个协同办公平台的最外层框架是由我们开发，可以定义一套或几套消息 展现的界面标准，将js接口方法都定义在外层的框架上。其他子系统是作为链接内嵌到协 同办公平台上的，所以子系统可以直接调用最外层框架的js方法，将相关的参数传递进去 达到统一展示的效果。 2.1.2、后台服务层消息队列 由于有的系统已经有自己消息框架，可以直接对该系统开发协同办公平台的底
企业异构系统集成 摘要：随着企业业务的不断发展，各种信息系统逐渐增加，同时也带来了信息系统越来越分散、系统之间业务过程集成困难、各种信息耦合程度越来越高等问题。本文针对企业经常遇到的异构信息系统集成过程中的相关问题，结合XML、WebService、单点登录、数据库和工作流等信息技术，提出了一个比较完整的解决方案，为企业异构信息系统集成提供参考。 关键词：异构信息系统集成 1、前言 很多企业由于事先缺乏总体规划和设计而盲目上线各种信息系统，虽然给业务上带来了便利，信息化水平也有所提高，但是信息系统不成体系，系统之间无法共享诸如用户、组织机构等公共数据，跨系统的数据流转也不能顺利进行，给信息系统管理和业务集成带来了很大的困难。针对上述问题，本文借助成熟的信息技术，提出了“一揽子”的异构系统集成方法，用于解决信息系统之间的数据集成及共享问题。 2、方案 图1 异构系统集成架构图 如图1所示，本文提出了一体化的异构系统集成方案，整体上分为数据层、集成层和展现层。在数据层，应用底层数据库技术进行集成，这种数据方式集成方式简单、直接、效率高；在信息系统集成层，建立统一的企业异构数据交换平台和统一工作流平台，异构数据交换平台用于交换公共基础信息，统一工作流平台用于各个信息系统业务流程相互衔接和流转，异构数据交换平台在效率上不如数据库集成技术，但是应用范围更广，兼容性强；在展现层，构建集成单点登录机制的门户信息系统，实现用户统一登录。 2.1 单点登录信息门户 企业异构信息系统集成的最原始需求便是门户层单点登录集成，单点登录不仅能够提高信息系统的安全性，更便于用户访问，无须记住多个系统的登录密码，终端用户通过单点登录系统登录到企业信息门户，通过企业信息门户访问所有信息系统。目前主流的单点登录实现方法有很多，如基于Cookie的单点登录技术和基于网关的登录技术等等，在此不一一介绍。 2.2 异构数据交换平台
异构数据交换综述 摘要 本文介绍了异构数据交换的基本概念和研究现状，阐述了异构数据的特点，阐明了异构数据交换的方式与相关技术，并对异构数据交换的前景做出了展望。 关键词：异构数据，数据交换，数据集成，XML A Review of Heterogeneous Data Exchange Abstract This paper introduces the basic concepts of heterogeneous data exchange and research status, describes the characteristics of heterogeneous data, illustrates the way the exchange of heterogeneous data and related technologies, and prospects for the exchange of heterogeneous data . Key Words:Heterogeneous data,Data exchange,Data Integration,XML
目录 1 引言 (1) 2 研究现状 (1) 3 异构数据分析 (2) 3.1 异构数据 (3) 3.2 冲突分类 (3) 4 异构数据交换方式 (6) 4.1 异构数据的发布 (7) 4.2 异构数据的集成 (7) 4.3 交易自动化 (8) 5 异构数据交换的方法与技术 (8) 5.1 基于XML的异构数据交换技术 (9) 5.2 本体技术 (11) 5.3 Web Service技术 (12) 6 展望 (12) 参考文献 (14)
中国计算机报/2015年/5月/18日/第025版 新闻背后 大数据融合是关键 本报记者程彦博 提出建设智慧城市目标的城市不一而足。然而，究竟怎么做才能达到智慧城市的标准?如何利用跨部门的大数据，融合成为政府决策部门的“智脑”，辅助把脉城市经济运行? 最近，“互联网+”成为一个热词。在城市信息化领域，“互联网+”同样给智慧城市建设插上了翅膀，利用移动互联网等新兴技术，城市可以为企业和市民提供更好的服务。 其实，无论是“互联网+”还是智慧城市，从城市管理和服务者的角度，都希望通过大数据、移动互联网等新兴技术增强政府和民众的互动，打通城市管理中的信息孤岛，实现移动应用与大数据的大联动，最终实现建设一个智慧的公共城市环境。 然而，城市管理和服务的信息化建设一直没有停止。经过多年的建设，各个城市也建设了大量的信息系统，然而这些系统由于受到条块分割等因素的制约，形成了一个个的信息孤岛和信息烟囱。时至今日，当建设智慧城市的呼声越来越高，迎面而来的问题就是——如何建设“智慧的”城市，什么样的城市才是智慧城市? 近日，东方通连续荣获由中国电子信息产业发展研究院颁发的智慧城市两大奖项，在大数据的融合应用服务领域持续发力。那么，是什么让东方通获此殊荣，东方通是否找到建设智慧城市的关键所在? 东方通副总裁、数据融合服务中心总经理李晓钢一语中的：智慧城市建设的关键在于政务大数据融合。 跨部门大数据融合模型创新 人们喜欢把大数据比喻成金矿，认为其中蕴含了巨大的价值。然而，这些数据真的要产生价值，一定不能是割裂的、无法共享和互通的。 近年来，政府和各个行业信息化的飞速发展，不同行业、不同区域的各类数据不能互通、信息资源不能整合的问题越来越严重，破解各类业务、各种应用的信息和数据资源整合的问题，已经箭在弦上。 随着智慧城市建设的兴起，以及政府基础信息共享的模式正在推行，各个行业围绕行业特征建立了行业基础信息系列标准，针对人口、法人、道路基础设施、车辆等要素，基本形成了以人、物为主管理对象的唯一标识编码体系。 东方通也与相关领域的专家、合作伙伴一同，通过在信息整合领域不断总结和实践，创新提出了符合信息化建设国情的一套“数据融合模型”。该模型以管理对象为核心，以多业务应用数据为管理对象，用以建立跨业务、跨组织的数据融合解决方案。简单地说，它可以为多种类、复杂的业务数据融合和共享提供统一的解决方案，成为城市管理者的“智脑”。 目前，该模型得到了有关方面的认可，在东方通所规划实施的项目中应用已经取得了良好的效果，同时也为政府、企业将来的大数据应用奠定了良好的基础。 早在2004年，国家以人口、法人、宏观经济和空间地理四大基础信息库为重点，整体推进电子政务信息共享交换体系。过去十多年中，东方通配合国家、省、市多级跨部门，主持、参与多达数百个信息共享交换平台项目，它们包括纵向参与的多个国家部委的信息交换体系建设，横向覆盖的十多个省、市，金融、电信、运输等大型企业集团的数据交换平台及数据中心建设。从咨询规划、项目实施到最终产品支持，东方通能够提供一整套“智慧城市数据融合”的“智脑”解决方案。