专利名称：一种历史数据管理的增量定义、处理方法
技术领域：
本发明涉及一种计算机应用技术，具体地说是一种历史数据管理的增量定义、处
理方法。
背景技术：
数据仓库，英文名称为Data Warehouse,可简写为DW。数据仓库是决策支持系统 和联机分析应用数据源的结构化数据环境。是一个面向主题的、集成的、相对稳定的、反映 历史变化(Time Variant)的数据集合。 数据仓库需要包含历史数据和当前数据，记录从过去某一时点到目前各个阶段的 数据。通常在企业数据仓库建设中，历史数据管理一般都是采取简单的时间戳管理。历史 数据随着时间积累，数据量呈几何级放大，所需要的存储空间增长较快；同时，系统性能随 着数据量级的增加也会急剧下降。因此，必须进行数据的增量管理，并且可以根据数据的重 要程度选择增量内容。 手工编写历史数据管理，由于数据仓库中业务对象较多和数据仓库类型版本之间 的差异等等，这无疑是一项繁琐、耗时的工作，重复程度高，同时工作质量也难以保证。因此 需要一种通用高效的增量数据定义、处理方法对历史数据进行管理。
发明内容
本发明的技术任务是提供一种不改变原有业务数据模型的基础上，通过简单的继
承扩充，就可实现历史数据的增量存储管理，节省了存储空间，提高了系统性能的一种历史
数据管理的增量定义、处理方法。 本发明的技术任务是按以下方式实现的， 其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图 形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码；实现了历史数 据管理的通用高效； (1)、通过历史数据模型设计器实现增量历史数据模型 根据数据生命周期管理理念，历史数据模型继承业务数据模型，即在业务数据模 型的基础上，增加开始时间、结束时间两个字段，开始时间为历史数据模型的主键；
(2)、通过增量数据定义器实现增量数据定义 根据数据的重要程度，将源表ST的数据列划分为关键项目、非关键项目两组。关 键项目是增量判断的标准，当关键项目组内的数据发生变化时，则表示当前数据记录生命 周期已结束，需要标识结束时间戳，同时生成一条新的数据记录；非关键项目不参与到增量 判断中，当非关键项目组成的数据发生变化时，其对当前数据记录生命周期没有影响；
(3)、基于数据库通用的集合运算算法的历史数据生成 采用数据库通用的集合运算，判断已到达生命周期的数据和开始生命周期的数 据，计算效率高；
3
历史数据生成采用数据库通用的集合运算算法，具体步骤如下 (a)、指定参与到集合运算的业务字段，即关键项目及业务主键字段； (b)、运用集合运算exc印t :历史表HT exc印t源表ST，判断已到达生命周期的数
据，存入临时表TT1中； (c)、对于已到达生命周期的数据，根据其业务主键，更新历史表HT中对应数据的 结束日字段； (d)、运用集合运算exc印t :源表ST exc印t历史表HT，判断新增的数据，存储临时 表TT2中； (e)、对于新增数据，直接插入到历史表HT中。 为了增量数据定义的方便，在增量数据定义中提供了专门的人机界面；在界面中， 可以直接通过选择操作，选择哪些数据列归属关键项目组，哪些数据列归属非关键项目组； 指定业务主键列。 在增量数据定义界面中，完成增量数据定义后，可实时浏览生成的历史数据管理 代码。 本发明的一种历史数据管理的增量定义、处理方法具有以下优点 1、系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成
历史数据管理代码，实现了历史数据管理的通用高效； 2、历史数据模型在不改变原有业务数据模型的基础上，通过简单的继承扩充，就 可实现历史数据的增量存储管理，节省了存储空间，提高了系统性能； 3、通过本发明提供的增量数据定义器，可以定制业务数据模型哪些字段需要存 储，哪些字段是业务主键，方便了业务需求的变更； 4、软件系统能够快速适应用户的个性化需求，满足用户不断发展和完善信息系统 的长期目标； 5、设计合理、使用方便，因而，具有很好的推广使用价值。
下面结合附图对本发明进一步说明。 附图1为一种历史数据管理的增量定义、处理方法的历史数据模型示意图；
附图2为一种历史数据管理的增量定义、处理方法的历史数据生成流程图。
具体实施例方式
参照说明书附图和具体实施例对本发明的一种历史数据管理的增量定义、处理方
法作以下详细地说明。
实施例 本发明的一种历史数据管理的增量定义、处理方法， 其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图 形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码；实现了历史数 据管理的通用高效； (1)、通过历史数据模型设计器实现增量历史数据模型
根据数据生命周期管理理念，历史数据模型继承业务数据模型，即在业务数据模 型的基础上，增加开始时间、结束时间两个字段，开始时间为历史数据模型的主键；
引入数据生命周期的概念，基于增量的历史数据模型历史表HT只存储变化的数 据；历史表HT相对其源表ST，增加开始时间，结束时间两个字段，开始时间字段为历史表的 主键，其它字段直接继承自源表ST ;如图1所示； 数据存储模式为源表ST数据为T日的数据，历史表HT数据为T-1日的数据，且
历史表HT数据是变化的增量数据。 (2)、通过增量数据定义器实现增量数据定义 根据数据的重要程度，将源表ST的数据列划分为关键项目、非关键项目两组。关 键项目是增量判断的标准，当关键项目组内的数据发生变化时，则表示当前数据记录生命 周期已结束，需要标识结束时间戳，同时生成一条新的数据记录；非关键项目不参与到增量 判断中，当非关键项目组成的数据发生变化时，其对当前数据记录生命周期没有影响；
(3)、基于数据库通用的集合运算算法的历史数据生成 采用数据库通用的集合运算，判断已到达生命周期的数据和开始生命周期的数 据，计算效率高； 如图2所示，历史数据生成采用数据库通用的集合运算算法，具体步骤如下
(a)、指定参与到集合运算的业务字段，即关键项目及业务主键字段；
(b)、运用集合运算exc印t :历史表HT exc印t源表ST，判断已到达生命周期的数 据，存入临时表TT1中； (c)、对于已到达生命周期的数据，根据其业务主键，更新历史表HT中对应数据的 结束日字段； (d)、运用集合运算exc印t :源表ST exc印t历史表HT，判断新增的数据，存储临时 表TT2中； (e)、对于新增数据，直接插入到历史表HT中。 为了增量数据定义的方便，在增量数据定义中提供了专门的人机界面；在界面中， 可以直接通过选择操作，选择哪些数据列归属关键项目组，哪些数据列归属非关键项目组； 指定业务主键列。 在增量数据定义界面中，完成增量数据定义后，可实时浏览生成的历史数据管理 代码。 实施可按下列方式展开 (1)、根据已有的业务源表ST，增加开始日、结束日两个字段，建立历史表HT ;
(2)、针对业务源表ST，指定其业务主键字段及集合运算字段(即关键项目)；
(3)、根据集合运算字段及表ST、HT，生成已到达生命周期的数据和新增的数据，并 更新历史表HT ;完成历史数据的存储。 经过实际使用证明，本发明的历史数据模型在不改变原有业务数据模型的基础 上，通过简单的继承扩充，就可实现历史数据的增量存储管理，节省了存储空间，提高了系 统性能。通过本发明提供的增量数据定义器，可以定制业务数据模型那些字段需要存储，那 些字段是业务主键，方便了业务需求的变更。使软件系统能够快速适应用户的个性化需求， 满足用户不断发展和完善信息系统的长期目标。
5
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
权利要求
一种历史数据管理的增量定义、处理方法，其特征在于其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码；(1)、通过历史数据模型设计器实现增量历史数据模型在业务数据模型的基础上，增加开始时间、结束时间两个字段，开始时间为历史数据模型的主键；(2)、通过增量数据定义器实现增量数据定义根据数据的重要程度，将源表ST的数据列划分为关键项目、非关键项目两组；关键项目是增量判断的标准，当关键项目组内的数据发生变化时，则表示当前数据记录生命周期已结束，需要标识结束时间戳，同时生成一条新的数据记录；非关键项目不参与到增量判断中，当非关键项目组成的数据发生变化时，其对当前数据记录生命周期没有影响；(3)、基于数据库通用的集合运算算法的历史数据生成采用数据库通用的集合运算算法，判断已到达生命周期的数据和开始生命周期的数据；历史数据生成采用数据库通用的集合运算算法，具体步骤如下(a)、指定参与到集合运算的业务字段，即关键项目及业务主键字段；(b)、运用集合运算except历史表HT except源表ST，判断已到达生命周期的数据，存入临时表TT1中；(c)、对于已到达生命周期的数据，根据其业务主键，更新历史表HT中对应数据的结束日字段；(d)、运用集合运算except源表ST except历史表HT，判断新增的数据，存储临时表TT2中；(e)、对于新增数据，直接插入到历史表HT中。
2. 根据权利要求1所述的一种历史数据管理的增量定义、处理方法，其特征在于在增量数据定义中提供了专门的人机界面；在界面中，可以直接通过选择操作，选择哪些数据列归属关键项目组，哪些数据列归属非关键项目组；指定业务主键列。
3. 根据权利要求1或2所述的一种历史数据管理的增量定义、处理方法，其特征在于在增量数据定义界面中，完成增量数据定义后，可实时浏览生成的历史数据管理代码。
全文摘要
本发明公开了一种历史数据管理的增量定义、处理方法，属于计算机应用技术，其核心是增量历史数据模型、增量数据定义、历史数据生成；系统实施人员通过图形化的历史数据模型设计器、增量数据定义器，直接生成历史数据管理代码。本发明的一种历史数据管理的增量定义、处理方法和现有技术相比，不改变原有业务数据模型的基础上，通过简单的继承扩充，就可实现历史数据的增量存储管理，节省了存储空间，提高了系统性能。
文档编号G06F17/30GK101794299SQ201010101548
公开日2010年8月4日 申请日期2010年1月27日 优先权日2010年1月27日
发明者孙成通, 张家重, 王红娟, 祝鹏, 范友前 申请人:浪潮(山东)电子信息有限公司