浅谈数据仓库中的元数据管理技术
孙力君仇道霞方峻峰宋楠
山东省烟草公司信息中心
摘要：数据仓库是数据库的发展方向之一，对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念，重点阐述了元数据的概念、作用、CWM标准、来源，并就元数据具体应用进行了初步的研究和探讨。
关键词：数据仓库；元数据；
1. 引言
随着市场竞争的越来越激烈，烟草行业的信息化建设不断的深入发展，全行业形成了“以信息化带动烟草行业现代化建设”的基本共识，明确了“统一标准、统一平台、统一数据库、统一网络”，逐步实现系统集成、资源整合、信息共享的信息化建设总体要求，走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程，初步形成了“数字烟草”的行业信息化建设格局，既对行业数据中心的建设提出了迫切的要求，也为行业数据中心建设奠定了坚实的基础。
随着数据库技术尤其是数据仓库技术的发展，人类能更容易获得自己需要的数据和信息，由于元数据是数据仓库中非常重要的组成部分，因此讨论和研究元数据在数据仓库中的作用和应用，具有非常重要的意义。
元数据管理是山东烟草数据中心建设的重要组成部分，元数据管理平台为用户提供高质量、准确、易于管理的数据，它贯穿数据中心构建、运行和维护的整
个生命周期。同时，在数据中心构建的整个过程中，数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节，均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。
通过元数据管理，形成整个系统信息数据资的准确视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施，通过精确把握经营数据来精确把握瞬息万变的市场竞争形式，使山东烟草在市场竞争中保持优势。
总的来说，元数据管理平台集成相关的元数据，形成企业的全局数据视图，提供企业级共享元数据的平台，是烟草业务系统的基础设施，对业务系统的发展、应用和数据质量的提升有着深远影响。
2.数据仓库概述
目前有关数据仓库的概念有多种，其中最经典的，引用最为广泛的定义是W.H.Inmon在《Building the Data Warehouse》一书中给出的，他指出：“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理层的决策过程”。[1] 之所以要引入数据仓库，是因为随着信息时代的到来，如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策，许多企业都选择了数据仓库，利用数据仓库可以对各种源数据进行抽取、清理、加工
和转换，再利用联机分析系统(OLAP) 和数据挖掘系统(MM) 提供各种决策信息。对于数据仓库的概念我们可以从两个层次予以，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。
在数据仓库系统的众多组成部分中，元数据扮演着十分重要的角色，如何在数据仓库系统中构建元数据库并进行高效的管理，是构建数据仓库系统首先要考虑的问题。
3.元数据概念
按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员和最终用户非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。
(1)技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：
1)数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；
2)业务系统、数据仓库和数据集市的体系结构和模式
3)汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；
4)由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、
数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。
(2)业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：
1)企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。以这个企业模型为基础，不懂数据库技术和SQL语句的业务人员对数据仓库中的数据也能做到心中有数。
2)多维数据模型：这是企业概念模型的重要组成部分，它告诉业务分析人员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则。这里的数据立方体表示某主题领域业务事实表和维表的多维组织形式。
3)业务概念模型和物理数据之间的依赖：以上提到的业务元数据只是表示出了数据的业务视图，这些业务视图与实际的数据仓库或数据库、多维数据库中的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现。
4.元数据的作用
与其说数据仓库是软件开发项目，还不如说是系统集成项目[1]，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。如图1所示，它的典型结构由操作环境层、数据仓库层和业务层等组成。
其中，第一层（操作环境层）是指整个企业内有关业务的OLTP系统和一些外部数据源；第二层是通过把第一层的相关数据抽取到一个中心区而组成的数据仓库层；第三层是为了完成对业务数据的分析而由各种工具组成的业务层。图中左边的部分是元数据管理，它起到了承上启下的作用，具体体现在以下几个方面：
(1) 企业智能化信息建设的DNA
在企业中，数据是无所不在的，是企业信息化建设的血脉。而元数据则是企业血脉中的DNA，是保持企业信息化良性发展的重要组成部分。优质的DNA，才能造就出优质的企业高智能信息化系统。
(2) 企业元数据标准，助力企业数据和系统的集成
1) 有利于企业数据、信息共享。
2) 有利于减少数据冗余性
3) 有利于应用开发过程更有效，准确及时的元数据，为开发过程提供了指导作用及参照的重要作用
4) 有利于节约企业成本：元数据提供的信息，极大的保证了开发过程、企业IT运营维护的时效性，并避免重复投资
5) 避免异构结构定义、提高不同工具之间定义的重复利用率
6) 使得技术人员和业务人员可以统一的对各业务系统、分析型项目、数据仓库、BI系统等，进行统一的元数据管理和监督。
7) 统一掌握企业关键业务指标的数据来源及计算规则
(3) 状态元数据有利于增强企业运营效率、规避错误及风险
1) 系统、数据库、存储等组成部分的状态即可以看作是数据，也可以视为相对实体的元数据，有利于企业增强维护、合理按排执行任务等动作。
2) 数据集成的执行状态，也是相对执行作业的元数据，通过作业状态元数据的分析，可以监控服务器运行效率，规避作业执行错误而导致的不良后果。
(4) 元数据是进行数据集成所必需的
数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上，还体现在实施数据仓库项目的过程当中。一方面，从各个数据源中抽取的数据要按照一定的模式存入数据仓库中，这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中；另一方面，在数据仓库项目实施过程中，直接建立数据仓库往往费时、费力，因此在实践当中，人们可能会按照统一的数据模型，首先建设数据集市，然后在各个数据集市的基础上再建设数据仓库。不过，当数据集市数量增多时很容易形成“蜘蛛网”现象，而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中，注意了元数据管理，在集成到数据仓库中时就会比较顺利；相反，如果在建设数据集市的过程中忽视了元数据管理，那么最后的集成过程就会很困难，甚至不可能实现。
(5) 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据
最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术，因
此迫切需要有一个“翻译”，能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射，因而可以把数据以用户需要的方式“翻译”出来，从而帮助最终用户理解和使用数据。
(6) 元数据是保证数据质量的关键
数据仓库或数据集市建立好以后，使用者在使用的时候，常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的，使用者很自然地对结果产生怀疑。而借助元数据管理系统，最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到，这样他们自然会对数据具有信心；当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维，从更高的角度上来解决这一问题。
(7) 元数据可以支持需求变化
随着信息技术的发展和企业职能的变化，企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统，是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化，但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来，使得系统不依赖特定的开发人员，从而提高系统的可扩展性。
5. 元数据业界标准
没有规矩不成方圆。元数据管理之所以困难，一个很重要的原因就是缺乏统一的标准。在这种情况下，各公司的元数据管理解决方案各不相同。近几年，随着元数据联盟MDC（Meta Data Coalition）的开放信息模型OIM（Open Information Model）和OMG组织的公共仓库模型CWM（Common Warehouse Model，如图2所示）标准的逐渐完善，以及MDC和OMG组织的合并，为数
据仓库厂商提供了统一的标准，从而为元数据管理铺平了道路。
CWM为数据仓库和商业智能（BI）工具之间共享元数据，制定了一整套关于语法和语义的规范。它主要包含以下四个方面的规范：
(1) CWM元模型（Metamodel）：描述数据仓库系统的模型；
(2) CWM XML：CWM元模型的XML表示；
(3) CWM DTD：DW/BI共享元数据的交换格式
(4) CWM IDL：DW/BI共享元数据的应用程序访问接口（API）
CWM通过以下几方面提供很强的对象模型：
UML：以通常方式定义元数据结构及语义的标准语言；
XML：作为互换机制的标准，用于共享元模型及在UML中以XML定义模型；
MOF：（Meta Object Facility）定义协同元模型的公用接口及语义。包括MOF-to-IDL（接口定义语言）映射，定义了一个接口规范标准用于通过API访问、发现、管理模型。
(1) 元模型（BASE）包
构造和描述其它CWM包中的元模型类的基础。它是UML的一个子集，由以下四个子包组成：
1) 核心（Core）包：它的类和关联是该模型的核心，其它所有的包都以它为基础。
2) 行为（Behavioral）包：包括描述CWM对象行为的类与关联，并且它为描述所定义的行为提供了基础。
3) 关系（Relationships）包：包括描述CWM对象之间关系的类与关联。
4) 实例（Instance）包：包括表示CWM分类器（Classfier）的类与关联。
(2) 基础包（Foundation）
它包括表示CWM概念和结构的模型元素，这些模型元素又可被其他CWM 包所共享，它由以下六个子包组成：
1) 业务信息（Business Information）包：包括表示模型元素业务信息的类与关联。
2) 数据类型（Data Types）包：包括表示建模者可以用来创建所需数据类型的结构的类与关联。
3) 表达式（Expressions）包：包括表示表达式树的类与关联。
4) 关键字和索引（Keys and Indexes）包：包括表示键和索引的类与关联。
5) 软件发布（Software Deployment）包：包括软件如何在数据仓库中发布的类与关联。
6) 类型映射（Type Mapping）包：包括表示不同系统之间数据类型映射的类与关联。
(3) 资源包（Resource）
用于描述数据资源的包，包含用于定义数据源（数据仓库行为的源或目标）及逻辑模型的元模型。它包括以下四个子包：
1) 关系（Relational）包：包括表示关系型数据资源的元数据的类与关联。
2) 记录（Record）包：包括表示记录型数据资源的元数据的类与关联。
3) 多维（Multidimensional）包：包括表示多维数据资源的元数据的类与关联。
4) XML包：包括表示XML数据资源的元数据的类与关联。
(4) 分析（Analysis）包
提供数据仓库经常用到的信息分析模型。数据移动、转换、分析模型（立方体、维、属性、层次或级），用于构造数据挖掘的元数据，信息可视化及发布的核心元模型。它由以下五个子包组成：
1) 转换（Transformation）包：包括表示数据抽取和转换工具的元数据的类与关联。
2) OLAP包：包括表示OLAP工具的元数据的类与关联。
3) 数据挖掘（Data Mining）包：包括表示数据挖掘工具的元数据的类与关联。
4) 信息可视化（Information Visualization）包：包括表示信息可视化工具的元数据的类与关联。
5) 业务术语（Business Nomenclature）包：包括表示分类业务的元数据的类与关联。
(5) 管理（Management）包
用于描述数据仓库管理的包，提供表现数据仓库处理及操作的元模型。事件安排模型（例如，日常抽取及装载）跟踪活动状态及完成情况，改变数据仓库元素的日志。它包括以下两个子包：
1) 仓库过程（Warehouse Process）包：包括表示仓库过程的元数据的类与关联。
2) 仓库操作（Warehouse Operation）包：包括表示仓库操作结果的元数据的类与关联。
6. 元数据来源
企业系统一般有众多的业务系统，多种工具集成，元数据分布在各种工具中，依据不同的来源，根据元数据涉及的环节可分为接口元数据、ETL元数据、数据仓库元数据、OLAP元数据、报表元数据等。
(1) 接口元数据
接口数据方件格式包括接口数据文件的命名、传输周期、格式等说明信息，主要来源于外部系统和为数据中心的接口规范，主要包括以下内容：
1) 接口ID，接口名称
2) 接口周期：日，周，月
3) 接口传输时间窗：规定开始时间、规定结束时间
4) 接口规模：大型、中型、小型
5) 接口数据格式：字段列表，分隔符，引号符
6) 接口位置：文件目录，文件名，接口表名
7) 接口传输日志：实际接口到达时间
(2) ETL元数据
在数据仓库项目中，如果ETL采用第三方工具(如DataStage，Informatica 等)，这些工具一般均有比较强的元数据管理能力，因此ETL的元数据在数据仓库中不进行独立考虑。ETL元数据来源于ETL工具和ETL处理过程，包括：
1) ETL映射规则
2) ETL单元：ETL 作业名称、存储过程名称、输入数据集、输出数据集
3) ETL流程：开始ETL单元、下一单元、下单元
4) ETL装载记录：ETL流程开始时间、ETL单元开始时间、流程结束时间，单元结束时间
(3) 数据仓库元数据
ODS元数据和DW元数据均属于数据仓库元数据，是数据仓库系统的核心元数据。数据仓库系统RDBMS进行数据的存储和管理，设计模型采用星型模式、雪花模式等，遵循数据仓库的设计准则，实现主题、维、度量等多维模仿概念模型。
1) 数据仓库逻辑模型：实体名称、属性名称和类型、关系
2) 数据仓库物理模型：数据库名称、模式名称、表、字段、主键、外键、索引、分区
(4) OLAP元数据
1) 维度：维名称、维元素、钻取路径、级别
2) 度量：度量名称、格式、计算公式
3) Cube：维度、度量、数据量
4) 星型模式：事实表、维表、汇总表
(5) 报表元数据
报表元数据包括对报表和报表中具体指标的描述信息，报表数据的生成、录入和展现有可能并不依赖于第三方工具。
1) 报表ID、报表名称、上报部门
2) 指标ID、指标名称、指标规则
3) 语义层：指标与表的映射规则、过滤条件
(6) 质量元数据
1) 数据集度量：数据集名称、度量名称、度量周期
2) 质量指标：指标名、计算公式
3) 稽核记录：稽核日期、稽核类型
(7) 界面元数据
1) 菜单：菜单项、行为
2) 界面元素（窗体、按钮、文本框等）：位置、大小、行为
(8) 系统管理元数据
1) 系统模块：模块名称、位置、子模块
2) 访问日志：访问日期、访问模块、访问用户、停留时间
7. 元数据管理
元数据管理是数据中心信息资源标准管理，尤其是数据元标准管理的主要子系统。通过该系统来规范管理全省数据资源的规范定义、命名、分类等，同时元数据管理系统也将帮助我们从技术的角度梳理所有的信息系统，了解所有数据资源的生产、存储、转换和同步等所有相关活动，从而建立数据元的血统关系，帮助我们理解每一个数据的来龙去脉。
元数据管理功能包含元模型管理、元数据的维护及查询、元数据批量加载、元数据自动获取、元数据的分析及应用、元数据版本管理以及元数据的同步检查等。
(1) 元模型管理
元模型管理涉及对元模型包、元模型类、元模型属性、数据类型、关系的操
作。元模型支持CWM规范，可完全扩展。
提供元模型管理功能，授权用户可浏览、新增、修改、删除元模型。
用户可定制适合自己需求的元模型，随着业务的不断发展扩展元模型，如建立新的类、增加属性、定义新的关系等。
元数据模型建议采用公共仓库元模型CWM（Common Warehouse Metamodel）。CWM的主要目的是在异构环境下，帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。
(2) 元数据的维护
系统根据山东烟草数据中心元数据管理规范对元数据进行定义，支持山东烟草元数据的分类管理。系统提供包括获取层元数据维护、存储层元数据维护、访问层元数据维护、交换层元数据维护以及元数据的检索、浏览、打印等功能。下面以获取层元数据的维护为例说明元数据维护，获取层数据数据包括ETL程序元数据维护、接口数据表元数据维护、元数据关系维护、OLAP与表元数据关系维护、表与ETL元数据关系维护、ETL与接口文件元数据关系维护、ETL与ETL 元数据关系维护、ETL程序字段映射关系维护等。
ETL程序元数据维护
ETL是山东烟草数据中心的核心组成部分，此处ETL程序是广义的，包括TCL、SH、Datastage Job等各种形式的程序。
提供对ETL程序元数据的增加、删除、修改及浏览功能。可以按树型方式逐步展开元数据进行浏览，点击某个ETL元数据节点后，可显示该元数据的详细信息，可以对该元数据的内容进行编辑。
用户选择增加ETL元数据，系统提示输入ETL元数据相关属性值，点击确
定按钮后，ETL程序元数据存入存储库。
用户选择了某个ETL程序元数据之后，可以对该元数据进行修改。系统列出原来各个属性的值，提示用户输入新的值。点击确定按钮后，新的ETL程序元数据存入存储库。用户选择了某个ETL程序元数据之后，可以对该元数据进行删除。系统提示用户确认。
接口数据表元数据维护
提供对接口数据表元数据的增加、删除、修改及浏览功能。可以按树型方式逐步展开元数据进行浏览，点击某个接口文件元数据节点后，可显示该元数据的详细信息，可以对该元数据的内容进行编辑。
用户选择增加接口数据表元数据，系统提示输入接口数据表元数据相关属性值，点击确定按钮后，接口数据表数据存入存储库。
用户选择了某个接口数据表元数据之后，可以对该元数据进行修改。系统列出原来各个属性的值，提示用户输入新的值。点击确定按钮后，新的接口数据表元数据存入存储库。用户选择了某个接口数据表元数据之后，可以对该元数据进行删除。系统提示用户确认。
元数据关系维护
元数据关联和影响分析用于描述数据仓库对象和对象之间的依赖关系。用户可以对数据仓库中的一个对象和其它对象之间的联系进行分析，用户可能需要了解一个报表的数据是如何生成的，计算公式是什么，下图3是元数据关系维护图。
OLAP与表元数据关系维护
以图形化方式维护OLAP与数据库表元数据之间的关系，或删除关系。要求关系的建立完全按照元模型的定义。
ETL与ETL元数据关系维护
这种关系以图形化方式维护ETL程序之间（包括DataStage作业、TCL程序、汇总程序等）的关系，以及增加、修改、删除等关系。
ETL程序字段映射关系维护
维护ETL程序所用到的数据表、字段的映射关系，包括关系建立、修改、删除、浏览。
用户选择了某个ETL程序元数据之后，可以对该元数据的字段映射关系进行浏览。选择映射关系维护时，系统根据该ETL程序与DB2(或Oracle)表元数据的关系，列出相关的输入、输出表及其包含的字段，用户则可以在此基础上增加、修改、删除字段之间的映射关系。
(3) 元数据批量加载
系统提供元数据批量加载的功能，作为对手工维护元数据的增强，可加载按
一定格式组织到XLS文件的元数据、XML格式存储的元数据。系统可自动产生XLS模板并且可将元数据批量导出为XLS文件。
XLS格式元数据批量导入
系统提供XLS格式元数据的批量加载，把不能自动获取的元数据以业务人员能理解的格式进行组织，并批量加载到元数据存储库，导入过程提供导入错误日志，系统对导入操作进行日志记录。
XML格式元数据批量导入
与XLS格式的元数据批量导入一样，系统提供XML格式的元数据的批量导入功能。
元数据整理模板生成
XLS格式元数据批量加载时，XLS文件中的元模型属性要与元数据系统的定义一致，定义不一致将导致导入失败。用户每次导入前，需检查所用模板是否最新版本，如不一致则要手工修改模板。
元数据管理提供自动生成模板的功能，以减少人工维护导入模板的工作量。根据系统最新的元模型自动生成XLS导入模板，导入模板在客户手工整理元数据时使用。产生的模板为XLS文件，每个元模型对应一个工作表。
元数据批量导出为XLS
将所有或指定范围的元数据导出系统，保存为XLS文件。本功能为与其他系统的整合提供数据的接口，也是元数据备份的一种方法，主要由管理员级别的用户使用。
用户进入元数据批量导出界面，选择要导出的元数据（可选择全部），按确定，选择导出文件的保存路径和文件名，系统将指定范围的元数据和关系数据导
出为指定名称的XLS文件，保存在所选路径。
元数据批量导出为XML
山东烟草数据中心的元数据与国家烟草专卖局元数据系统的交换方法之一是以XML格式作为元数据上传、下传的接口规范。系统提供将所有或指定范围的元数据导出系统的功能，保存为XML文件，用于与其他元数据系统交换元数据，如下图4所示：
(4) 元数据自动获取
山东烟草数据中心采用的软件工具元数据提供自动加载的功能，自动加载符合XML标准，包括Power Designer、数据仓库、OLAP、一号工程等接口元数据的自动获取。
(5) 元数据的分析及应用
元数据分析的内容包括：血统分析、影响分析、映射分析、拓扑图分析、表外键关系分析、ER图形展现、表重要程度分析、表无关程度分析、元数据差异分析等，应用主要包括对外部系统提供元数据应用服务。下面举例说明血统分析、
影响分析等的应用。
血统分析
对元数据进行数据回溯的血统分析，显示组成其数据来源的相关元数据，以及数据来源关系，分析结果用图形化展现。
在元数据管理维护界面，用户选择某个元数据，点击‘血统分析’链接，系统弹出该元数据的血统分析窗口，并以所选的元数据为起点，逐层展开，以网状图的方式展现其数据来源的关系图（如图5所示），元数据之间的关系以带箭头的连线表示，从数据源元数据指向目标元数据。
影响分析
对指定元数据进行影响分析，显示指定元数据对全局的影响，影响关系以图形方式直观展现。
在元数据管理维护界面，用户选择某个元数据，点击‘影响分析’链接，系统弹出该元数据的图形影响分析窗口，并以所选的元数据为起点，逐层展开，以网状图的方式展现关系图(如图6所示)，元数据之间的关系以带箭头的连线表示。
(6) 元数据版本管理
本功能是元数据管理工具的基本功能。系统记录元数据的变更历史，在此基础上提供版本查询、版本恢复功能。
(7) 元数据的同步检查
同步检查主要是指定期从分析系统中抽取元数据，并与元数据库的对应信息进行比较，及时发现分析系统的应用变更，保证元数据的及时同步更新。
同步检查包括两种方法自动同步检查和人工同步检查。
元数据同步检查主要包含以下几个方面：
及时率：指定类型的元数据在某一抽取检查周期内按一定时间要求抽取的元数据项和应抽取项的比率；
完整率：指定类型的元数据在某一抽取检查周期内抽取的元数据项和应抽取项的比率；
正确率：指定类型的元数据在某一抽取检查周期内抽取比对无误的元数据项和应抽取项的比率；
同步检查过程：
在同步检查发现差异时，原则上不能直接修改元数据存储，而是给出各类元
数据库与数据仓库的区别是什么 简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。 单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。 显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的。这一点，类似于传统农贸市场与超市的区别—市场里面，白菜、萝卜、香菜会在一个摊位上，如果它们是一个小贩卖的;而超市里，白菜、萝卜、香菜则各自一块。也就是说，市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的，超市里面则是按照菜的类型(同主题)归堆的。 “与时间相关”:数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于决策者意义是不同的。 “不可修改”:数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支
持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构
元数据解决方案 随着报价系统每年收集和使用的数据飞速增长，数据体量日趋增长，数据形态多样化且不统一，多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心，是有效管理这些数据的基础和前提，在信息化建设中发挥着重要的作用。如何理解、管理并发挥出元数据的价值，成为迫切的任务。 一、什么是元数据 元数据（Metadata）是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 1. 技术元数据 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息： 1) 数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据 的定义，以及数据集市的位置和内容。 2) 业务系统、数据仓库和数据集市的体系结构和模式。 3) 汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、 汇总、预定义的查询与报告。 4) 由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分 割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存 取控制）。 2. 业务元数据 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：
1) 使用者的业务术语所表达的数据模型、对象名和属性名。 2) 访问数据的原则和数据的来源。 3) 系统所提供的分析方法以及公式和报表的信息。 4) 企业概念模型、多维数据模型，业务概念模型与物理数据的依赖， 二、元数据的作用 元数据可以实现业务模型与数据模型的映射，帮助用户理解数据仓库中的数据；元数据清晰的描述了数据的来龙去脉，描述了数据抽取转换规则，是保证数据质量的关键；元数据管理系统可以把整个业务的工作流、数据流和信息流有效的管理，可以支持需求变化，从而提高系统的可扩展性；打通数据孤岛，统一数据定义，形成企业级知识传承平台，元数据管理使得数据变的更有价值。三、元数据管理 在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。 1. 元数据采集 技术元数据的采集，根据现有元数据设计出元模型，然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的，ETL等产生的元数据，对于元数据管理工具支持的格式可直接进行导入，对于一些自定义的规则，需要进行格式转换并导入。
浅析数据库(DB)、操作数据存储(ODS)和数据仓库(D W)的区别与联系 文章背景： 相信大部分刚接触上面三个概念的同学，都多多少少会有些迷惑，现在我就给大家简单分析下这三者的关系，希望大家对这三者的概念理解有所帮助吧。 本文主要从下面两类关系来叙述上面三者的关系： 1. 数据库（DB）和数据仓库（DW）的区别与联系 2. 操作数据存储（ODS）和数据仓库（DW）的区别与联系 数据库与数据仓库的区别与联系 数据库与数据仓库基础概念： 数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Proces sing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLTP和OLAP概念补充： 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction proc essing）、联机分析处理OLAP（On-Line Analytical Processing）。 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作； OLAP 系统则强调数据分析，强调SQL执行市场，强调磁盘I/O，强调分区等。 举一个具体的例子：（转自知乎作者：陈诚），个人觉得例子描述的很清晰 举个最常见的例子，拿电商行业来说好了。 基本每家电商公司都会经历，从只需要业务数据库到要数据仓库的阶段。 第一阶段，电商早期启动非常容易，入行门槛低。找个外包团队，做了一个可以下单的网页前端+ 几台服务器+ 一个MySQL，就能开门迎客了。这好比手工作坊时期。 第二阶段，流量来了，客户和订单都多起来了，普通查询已经有压力了，这个时候就需要升级架构变成多台服务器和多个业务数据库（量大+分库分表），这个阶段的业务数字和指标还可以勉强从业务数据库里查询。初步进入工业化。 第三阶段，一般需要3-5 年左右的时间，随着业务指数级的增长，数据量的会陡增，公司角色也开始多了起来，开始有了CEO、CMO、CIO，大家需要面临的问题越来越复杂，越来越深入。高管们关心的问题，从最初非常粗放的：“昨天的收入是多少”、“上个月的PV、UV 是多少”，逐渐演化到非常精细化和具体的用户的集群分析，特定用户在某种使用场景中，例如“20~30岁女性用户在过去五年的第一季度化妆品类商品的购买行为与公司进行的促销活动方案之间的关系”。 这类非常具体，且能够对公司决策起到关键性作用的问题，基本很难从业务数据库从调取出来。原因在于： 1. 业务数据库中的数据结构是为了完成交易而设计的，不是为了而查询和分析的便利设 计的。 2. 业务数据库大多是读写优化的，即又要读（查看商品信息），也要写（产生订单，完 成支付）。因此对于大量数据的读（查询指标，一般是复杂的只读类型查询）是支持不足的。
浅谈数据仓库中的元数据管理技术 孙力君仇道霞方峻峰宋楠 山东省烟草公司信息中心 摘要：数据仓库是数据库的发展方向之一，对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念，重点阐述了元数据的概念、作用、CWM标准、来源，并就元数据具体应用进行了初步的研究和探讨。 关键词：数据仓库；元数据； 1. 引言 随着市场竞争的越来越激烈，烟草行业的信息化建设不断的深入发展，全行业形成了“以信息化带动烟草行业现代化建设”的基本共识，明确了“统一标准、统一平台、统一数据库、统一网络”，逐步实现系统集成、资源整合、信息共享的信息化建设总体要求，走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程，初步形成了“数字烟草”的行业信息化建设格局，既对行业数据中心的建设提出了迫切的要求，也为行业数据中心建设奠定了坚实的基础。 随着数据库技术尤其是数据仓库技术的发展，人类能更容易获得自己需要的数据和信息，由于元数据是数据仓库中非常重要的组成部分，因此讨论和研究元数据在数据仓库中的作用和应用，具有非常重要的意义。 元数据管理是山东烟草数据中心建设的重要组成部分，元数据管理平台为用户提供高质量、准确、易于管理的数据，它贯穿数据中心构建、运行和维护的整
个生命周期。同时，在数据中心构建的整个过程中，数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节，均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。 通过元数据管理，形成整个系统信息数据资的准确视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施，通过精确把握经营数据来精确把握瞬息万变的市场竞争形式，使山东烟草在市场竞争中保持优势。 总的来说，元数据管理平台集成相关的元数据，形成企业的全局数据视图，提供企业级共享元数据的平台，是烟草业务系统的基础设施，对业务系统的发展、应用和数据质量的提升有着深远影响。 2.数据仓库概述 目前有关数据仓库的概念有多种，其中最经典的，引用最为广泛的定义是W.H.Inmon在《Building the Data Warehouse》一书中给出的，他指出：“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理层的决策过程”。[1] 之所以要引入数据仓库，是因为随着信息时代的到来，如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策，许多企业都选择了数据仓库，利用数据仓库可以对各种源数据进行抽取、清理、加工
数据仓库在证券业的应用 随着数据仓库技术的发展，在线分析、数据挖掘已渐渐获得了券商的青睐，但数据仓库在证券业中却鲜有成功的案例，大部分券商对数据仓库也都持观望的态度，对数据仓库的应用仅限于研究阶段。那么究竟数据仓库的“行”在何处：它可以为我们带来什么？为什么“不行”：它的应用为什么不能达到其预期的效果？怎样才能使数据仓库从“不行”的模式转到到“行”的模式？本文试对此进行探讨，并认为数据的集中统一是数据仓库应用的基础；确立合理的数据模型是数据仓库应用的核心；高效的应用系统是数据仓库应用的动力；良好的外部环境是数据仓库成功应用的外部保障。 数据仓库的“行” 这里所说的数据仓库的“行”主要是指数据仓库可以做什么，它的使用能为证券业带来哪些好处，为什么对券商来说是一个行之有效的工具。 数据仓库（Data Warehouse）是在数据库基础上发展而来的，是一个面向主题的、集成的、稳定的、不同时期的数据集合，用以支持企业经
营管理中的决策过程。它通常由三个部分构成：数据仓库、联机分析处理及数据挖掘，它们之间具有极强的互补关系。数据仓库用来对大量的数据按一定的结构进行组织存储；联机分析处理则可进行灵活丰富的多维分析与查询，可以从不同的角度去分析企业的运作情况，并对未来进行预测；数据挖掘则是对现有数据进行深层次的研究分析，从中找出对经营管理有用的结论。 由上述对数据仓库的叙述，不难看出特别是对券商这种数据密集型的企业而言，数据仓库技术的应用在以下三个方面有其得天独厚之处和现实的意义： 提升客户服务虽然大部分券商已积累了大量的客户信息和交易数据，但现在还没有办法对客户的贡献度、盈亏情况、持仓情况及操作习惯等进行统计和分析，为客户提供针对其个人习惯的投资组合建议。而通过建立数据仓库，为客户资料的统计分析提供基本的信息源和辅助工具，已成为券商提高市场竞争能力和客户服务水平的关键。 提高资产质量数据仓库中强大的分析和预测功能为此提供了有力的支持，可根据股市行情走势、上市公司的资料以及宏观微观经济数据等对
数据仓库与数据挖掘期 末综合复习
数据仓库与数据挖掘期末综合复习 第一章 1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。 2、元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。 3、数据处理通常分成两大类：联机事务处理和联机分析处理。 4、多维分析是指以“维”形式组织起来的数据（多维数据集）采取切片、切块、钻取和旋转等各种分析动作，以求剖析数据，使拥护能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。 5、ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。 OLAP技术的有关概念： OLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP 6、数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。 7、数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库。8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。 9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则。 10、从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主。 11、什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库通常是指一个数据库环境，而不是支一件产品，它是提供用户用于决策支持的当前和历史数据，这些数据在传统的数据库中通常不方便得到。数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。 数据仓库的特点包含以下几个方面： （1）面向主题。操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离；而数据仓库中的数据是按照一定的主题域进行组织。 （2）集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。 （3）相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用，对所涉及的数据操作主要是数据查询和加载，一旦某个数据加载到数据仓库以后，一般情况下将作为数据档案长期保存，几乎不再做修改和删除操作，也就是说针对数据仓库，通常有大量的查询操作及少量定期的加载（或刷新）操作。 （4）反映历史变化。操作型数据库（OLTP）主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含较久远的历史数据，因此总是包括一个时间维，以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息，通过这些信息，可以对单位的发展历程和未来趋势做出定量分析和预测。 12、数据挖掘的概念 数据挖掘，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现。数据挖掘的方法：直接数据挖掘、间接数据挖掘。
数据仓库和数据库有什么区别？ 通常情况下基于业务数据库数据分析人员也能完成数据分析需求，但是为什么要建数据仓库？ 没有数据仓库时，我们需要直接从业务数据库中取数据来做分析。 业务数据库主要是为业务操作服务的，虽然可以用于分析，但需要很多额度的调整。 一，业务数据库中存在的问题 基于业务数据库来做分析，主要有以下几个问题： 结构复杂，数据脏乱，难以理解，历史缺失，数据量大时查询缓慢。 结构复杂 业务数据库通常是根据业务操作的需要进行设计的，遵循3NF范式，尽可能减少数据冗余。这就造成表与表之间关系错综复杂。在分析业务状况时，储存业务数据的表，与储存想要分析的角度表，很可能不会直接关联，而是需要通过多层关联来达到，这为分析增加了很大的复杂度。 数据脏乱 因为业务数据库会接受大量用户的输入，如果业务系统没有做好足够的数据校验，就会产生一些错误数据，比如不合法的身份证号，或者不应存在的Null值，空字符串等。 理解困难 业务数据库中存在大量语义不明的操作代码，比如各种状态的代码，地理位置的代码等等，在不同业务中的同一名词可能还有不同的叫法。 这些情况都是为了方便业务操作和开发而出现的，但却给我们分析数据造成了很大负担。各种操作代码必须要查阅文档，如果操作代码较多，还需要了解储存它的表。同义异名的数据更是需要翻阅多份文档。 缺少历史 出于节约空间的考虑，业务数据库通常不会记录状态流变历史，这就使得某些基于流变历史的分析无法进行。比如想要分析从用户申请到最终放款整个过程中，各个环节的速度和转化率，没有流变历史就很难完成。 大规模查询缓慢 当业务数据量较大时，查询就会变得缓慢。 二，数据仓库解决方案 上面的问题，都可以通过一个建设良好的数据仓库来解决。 业务数据库是面向操作的，主要服务于业务产品和开发。 而数据仓库则是面向分析的，主要服务于我们分析人员。评价数据仓库做的好不好，就看我们分析师用得爽不爽。因此，数据仓库从产品设计开始，就一直是站在分析师的立场上考虑的，致力于解决使用业务数据进行分析带来的种种弊端。 数据仓库解决的问题 结构清晰，简单 数据仓库不需要遵循数据库设计范式，因此在数据模型的设计上有很大自由。 数据模型一般采用星型模型，表分为事实表和维度表两类。 其中事实表位于星星的中心，存储能描述业务状况的各种度量数据。
数据仓库中元数据的管理M etadata M anagem en t i n a Data W arehouse 同济大学计算机科学与工程系(上海200092) 史金红 吴永明 【摘要】 介绍了数据仓库中四种基本类型的元数据,说明了不同类型元数据的收集和维护方法,并着重对分布式元数据的集成和管理进行了详细的阐述。 关键词:数据仓库,数据商场,决策支持,元数据 【Abstract】 T h is p ap er in troduces fou r typ es of m etadata and the m ethods of co llecting and m ain tain ing them.It focu ses on the m etadata m anagem en t and in tegrity. Key words: da ta warehouse,da ta mart, dec ision support,m etada ta 1 引言 随着社会的发展和计算机技术的进步,人们已不满足于用计算机只作简单的数据处理和事务处理。进一步用现有的数据进行分析和推理,从而为决策提供依据的需求导致了决策支持系统(D SS)的出现。90年代以来计算机技术、网络技术和数据库技术的迅速发展为D SS提供了必要的技术环境, OL T P和办公自动化普遍应用积累的大量数据为D SS提供了必要的数据基础,日趋激烈的市场竞争促进了各级管理和决策人员对D SS的实际需求,因此自从1991年W.H.Inm on提出数据仓库的概念和1993年E.F.Codd提出OLA P概念以来,已有许多商品化的数据仓库管理系统和联机分析处理工具软件面市。以上诸因素的共同作用促成许多公司、机构纷纷为提高自己的竞争能力建立数据仓库系统以进行决策支持。 元数据是成功的数据仓库的重要组成部分,它可以帮助数据仓库项目小组明确而全面地理解潜在数据源的物理布局以及所有数据元的业务定义,帮助数据仓库用户有效地使用仓库中的信息,帮助数据库管理员了解某些表的变化将对数据仓库产生怎样的影响以及不同商业过程对应的应用等等。项目小组在开发过程中应当识别元数据并将它收入到元数据商店中,实施适当的过程捕作企业数据结构和应用的变化,从而修改相应的元数据,并向用户提供适当的工具访问元数据。 2 元数据的基本类型 元数据按照其用户可以分为技术元数据和商业元数据。技术元数据提供给数据仓库的技术人员,数据仓库技术人员在仓库的开发和维护中使用这类元数据。商业元数据是商业用户在仓库中寻找他们所需商业信息的一个辅助。但是,技术人员可能也需要访问几种类型的商业元数据,如和商业用户讨论信息需求和建立企业的数据模型。同样,商业用户也需要尝试高水平的技术元数据。 元数据按其内容可以分为四个基本类型: 1)关于数据仓库潜在数据来源的信息,包括现有的业务系统、可得到的外部数据和目前手工维护的信息。例如,一个组织可以从中识别数据来源的潜在仓库数据源有:几个现有的应用程序,由财务部门保存的基于PC机的电子报表,从某一卖主处购买的销售数据,目前由顾客服务部门在纸上保存的顾客联系记录。 2)关于数据模型的信息,包括业务实体、关系、企业规则和企业数据模型。 3)关于业务数据与仓库数据结构间的映射信息。只要那些来源中的一个数据元与仓库建立了映射关系,就应该记录下这些数据元间的逻辑联系以及发生的任何变换或变动。 4)关于数据仓库中信息的使用情况。了解这类信息对更好地调整仓库性能、更多地利用现有查询以及理解仓库中的信息怎样用于解决企业问题是很重要的。 3 元数据的收集和维护 在适当的时间收集适当的元数据是成功实施元数据驱动的数据仓库的基础。为保证较高的准确
数据仓库与数据库的区别 数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。 数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余，数据仓库在设计是有意引入冗余。 数据库是为捕获数据而设计，数据仓库是为分析数据而设计。 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策 面向主题：而数据仓库中的数据是按照一定的主题域进行组织。 集成：对原有分散的数据库数据经过系统加工,整理得到的消除源数据中的不一致性 相对稳定：一旦某个数据进入数据仓库以后只需要定期的加载、刷新 反映历史变化通过这些信息，对企业的发展历程和未来趋势做出定量分析预测数据仓库建设是一个工程，是一个过程，而不是一种可以购买的产品 企业数据处理方式: 以联机事务处理形式信息，以联机分析处理形式处理信息，并利用信息进行决策；在信息应用过程中管理信息。 OLAP基本概念 从动态的多维角度分析数据，对数据进行钻取，以获得更为精确的信息 数据库设计是信息系统开发和建设中的核心技术。 信息技术基础设施的定义 ? ?可以从技术和服务两个角度来 定义信息技术基础设施 从技术角度来看，信息技术基础设 施---运营整个企业所必需的硬件 设施和软件系统的集合。
?从服务角度定义信息技术基 础设施更为恰当，信息技术基 础设施是整个企业范围内由管 理层所决定的包括人和技术能 力的服务的组合。 信息技术的普及性已经达到相当成熟的阶段 ?信息技术本身对企业来说不 可或缺；尽管能为整个行业带 来彻底的变化，但它已经不能 为单个企业提供战略性的竞争 优势；因为资源的稀缺性。?另一方面，不同企业应用信息技术 的能力差异很大 ?企业在利用信息技术改进业 务流程、创新业务、管理技巧
1.1.1 第一章元数据概论 企业的计算机系统每年会产生很多数据，很多企业面临着这样的困境，难以有效的管理大量的、繁杂的、不一致的数据，并方便地访问、利用这些数据进行辅助决策。 建立数据仓库提供一个方法，把数据转化为有用的、可信赖的信息，支持商业决策。建立数据仓库一个重要的工作是元数据管理。元数据（Metadata）就是数据的数据，用于建立、管理、维护和使用数据仓库。。元数据管理是企业级数据仓库中的关键组件，贯穿于建立数据仓库的整个过程。 元数据使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。 通常把元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）。技术元数据是描述关于数据仓库技术细节的数据，这些元数据应用于开发、管理和维护数据仓库；业务元数据从商业和业务的角度描述数据仓库的数据，提供了良好的语义层定义，业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。 元数据贯彻于建立数据仓库的整个过程，不只是ETL过程需要元数据的支持。 图1 元数据的应用 在使用元数据的同时，随着数据仓库市场的发展，业界出现许多数据仓库管理和分析的工具，各种工具使用不同的元数据标准来表示和处理，不同系统之间的迁移、数据交换变得困难。于是，我们希望用一种单一的元数据标准，使得各种组织的元数据具有单一的元模型（MetaModel），因此，需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。 1.1.2 第二章元数据标准 1.1. 2.1 一、元数据标准CWM OMG于2001年颁布元数据标准CWM 1.0（Common Warehouse Metamodel Version 1.0）。CWM定义一个描述数据源、数据目的、转换、分析的元数据框架，以及定义建立和管理数据仓库的过程和操作，提供使用信息的继承。 目前宣布支持CWM的厂商包括：IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。 CWM基于3个工业标准： UML - Unified Modeling Language，OMG建模标准； MOF - Meta Object Facility，OMG建立元模型和模型库的标准，提供在异构环境下的数据交换的接口； XMI - XML Metadata Interchange，OMG元数据交换标准。 UML在CWM中得到充分的应用，担任3个不同的角色： 1），UML用来做为与MOF对应的meta-metamodel。UML相当于MOF Model,，UML Notation和OCL(Object Constraint Language)，被用来做为建模语言、图形符号、约束语言，
数据仓库建设步骤 1.系统分析，确定主题 确定一下几个因素： 操作出现的频率，即业务部门每隔多长时间做一次查询分析。 在系统中需要保存多久的数据，是一年、两年还是五年、十年 用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 用户所能接受的响应时间是多长、是几秒钟，还是几小时。 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： 厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 数据库对大数据量（TB级）的支持能力。 数据库是否支持并行操作。 能否提供数据仓库的建模工具，是否支持对元数据的管理。 能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： 1)确定建立数据仓库逻辑模型的基本方法。 2)基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 3)识别主题之间的关系。 4)分解多对多的关系。 5)用范式理论检验逻辑数据模型。 6)由用户审核逻辑数据模型。 4.逻辑数据模型转化为数据仓库数据模型 具体步骤如下： 1)删除非战略性数据：数据仓库模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作 处理的数据项要删除。 2)增加时间主键：数据仓库中的数据一定是时间的快照，因此必须增加时间主键。 3)增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。
4)加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。 粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的 查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。 5.数据仓库数据模型优化 数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。 优化数据仓库设计的主要方法是： 合并不同的数据表。 通过增加汇总表避免数据的动态汇总。 通过冗余字段减少表连接的数量，不要超过3~5个。 用ID代码而不是描述信息作为键值。 对数据表做分区。 6.数据清洗转换和传输 由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。 在设计数据仓库的数据加载方案时，必须考虑以下几项要求： 加载方案必须能够支持访问不同的数据库和文件系统。 数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。 支持各种转换方法，各种转换方法可以构成一个工作流。 支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。 7.开发数据仓库的分析应用 建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。 信息部门所选择的开发工具必须能够： 满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预 测和趋势分析。 提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。 使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。 事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。 8.数据仓库的管理
1.前言 数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换规则等，而且整个数据仓库系统的运行都是基于元数据的，是元数据把数据仓库系统中的各个松散的组件联系起来，组成了一个有机的整体。2.元数据 2.1 元数据的概念 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息。 2.2 元数据的作用 在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：（１）描述哪些数据在数据仓库中；（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（４）记录并检测系统数据一致性的要求和执行情况；（５）衡量数据质量。 与其说数据仓库是软件开发项目，还不如说是系统集成项目[1]，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。 3.数据仓库元数据管理现状 元数据管理的主要任务有两个方面：一是负责存储和维护元数据库中的元数据；二是负责数据仓库建模工具、数据获取工具、前端工具等之间的消息传递，协调各模
第1章数据仓库的概念与体系结构 1.数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。 2.元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据元数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。 3.数据处理通常分成两大类：联机事务处理OLTP和联机分析处理OLAP。 4.多维分析是指对以“维”形式组织起来的数据（多维数据集）采取切片（Slice）、切块（dice）、钻取（Drill-down 和Roll-up 等）和旋转（pivot）等各种分析动作，以求剖析数据，使用户能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。 5. ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。 6.数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。 7.数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集市、依赖型数据集市和操作型数据存储、逻辑型数据集市和实时数据仓库。 8.操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。 9.“实时数据仓库”意味着源数据系统、决策支持服务和数据仓库之间以一个接近实时的速度交换数据和业务规则。 10.从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以营运导向为主、以实时数据仓库和自动决策为主。 11.什么是数据仓库？数据仓库的特点主要有哪些？ 答：数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。 数据仓库的特点包含以下几个方面：（1）面向主题。操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离；而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点领域，一个主题通常与多个操作型业务系统或外部档案数据相关。（2）集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据作抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企事业单位一致的全局信息。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。（3）相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用，对所涉及的数据操作主要是数据查询和加载，一旦某个数据加载到数据仓库以后，一般情况下将作为数据档案长期保存，几乎不再做修改和删除操作，也就是说针对数据仓库，通常有大量的查询操作及少量定期的加载（或刷新）操作。（4）反映历史变化。操作型数据库（OLTP）主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含较久远的历史数据，因此总是包括一个时间维，以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息，通过这些信息，可以对单位的发展历程和未来趋势做出定量分析和预测。 12. 简述数据仓库4种体系结构的异同点及其适用性。 答：（1）两层架构（Generic Two-Level Architecture）。 （2）独立型数据集市（Independent Data Mart）。 （3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。 （4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse）。 13. 答：数据仓库技术的发展包括数据抽取、存储管理、数据表现和方法论等方面。在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与数据库服务器并驾齐驱。在这一方面，
元数据管理方案 1.1元数据抽取 为了简化元数据生成工作，系统提供自动生成元数据的功能，即元数据抽取。通过元数据自动抽取，用户可以方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针对的对象有以下几种： 已有目录：已建业务应用系统中现有的目录资源。 数据库：各种数据库资源，包括关系型数据库、XML数据库等。 格式化电子文件：电子文件，例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤，分别为： 数据源信息获取：解决要从哪个数据源获得元数据的问题。 内容/结构分析：解决要从数据源中获得哪些元数据的问题。 元数据提取：解决如何从数据源中获取元数据的问题。 存储入库：解决元数据存储的问题。 1.1.3电子文档的元数据抽取 对于电子文档，首先各部门的文档格式不尽相同，另外它们的安全级别也各不相同，同时由于信息化建设水平的不一致，有的部门文档分散在各处，有的部门文档是集中存放的，甚至已经建立了完善的电子系统进行管理。 针对以上状况，对于电子文档的元数据抽取需要进行以下的抽取流程： 整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理)，必须由专人进行统
一整理，根据公开共享的前提进行集中，这种集中可以是物理上集中的，也可以是逻辑上集中的。但要满足以下原则，第一根据安全级别，便于外界访问；第二便于文档的增量发布；第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下，进行自动化采集才是切实可行的。在整理归档的时候，各部门根据各自情况进行归档，没有必要千篇一律，也没有必要制定繁琐和呆板的规则，只要能够满足以上的原则即可。 ●根据安全级别，建立相应的访问机制 由于受到安全级别的限制，所以对于需要共享的数据要进行安全方面的限制，限制的手段可以有：用户名/密码、数字证书、物理隔断等等，根据实际情况建立安全访问机制，做到重要信息不泄露，不丢失。 ●编目处理 现阶段，主流格式的电子文档，主要包含：word、excel、ppt、pdf等。对主流格式的电子文档，要提供自动采集工具进行编目处理。采集的范围主要是文档的标题和内容，对于其它的元数据内容，要提供手工配置的方式进行辅助。另外，在工具的采集效率上，要提高增量文档发布后的采集效率。 对于格式特殊、内容有加密算法的文档，是很难通过抓取工具进行采集的，这些文档主要通过手工编目的方式来处理。 对于存在管理库的文档，就需要对数据库来进行编目采集，详见数据库元数据抽取部分。 ●保存元数据 采集后的数据要放到数据库或者保存到硬盘上，另外要根据目录体系标准，把数据分解为元数据，然后进行存储 1.1.4数据库元数据抽取 数据中心需要抽取的数据库类型主要为Sql server，首先利用ETL工具从源数据库中将所需数据抽取至中心数据库基础业务库中，在利用元数据著录工具对抽取出来的数据进行元数据著录。