一种数据模型的创建方法及装置与流程

文档序号:15386249发布日期:2018-09-08 00:36阅读:169来源:国知局

本发明涉及数据处理技术领域,更具体的,涉及一种数据模型的创建方法及装置。



背景技术:

在以往的数据仓库bi项目中,数据模型的方法论、概念通常围绕如何设计和建设数据仓库,而应用系统(oltp系统)模型设计却缺乏方法论的指导,加之各应用系统通常都是由不同厂商在不同时期自行设计开发,彼此之间缺乏沟通,导致数据分散重复、口径不一致和数据兼容性差。由于数据仓库在企业整体信息化规划中属于下游系统,只能被动接收由各应用系统产生的数据,数据入仓之后,由于口径不一致、兼容性差,给数据整合带来极大困难。企业在投入大量的人力、物力和资金推进信息化建设,仍然出现大量的“信息孤岛”现象。



技术实现要素:

有鉴于此,本发明提供了一种数据模型的创建方法及装置,解决现有数据模型的碎片化问题,避免信息化建设过程中出现的“信息孤岛”现象。

为了实现上述发明目的,本发明提供的具体技术方案如下:

一种数据模型的创建方法,包括:

分别获取每个预设领域中每个数据项信息;

分别建立每个预设领域中每个数据项与预设标准模型中实体类的映射关系,根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型;

分别确定每个预设领域中每个数据项是否为跨域数据项,并根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型。

优选的,所述数据项信息包括基本信息、主数据信息、业务信息和交互信息;

所述分别获取每个预设领域中每个数据项信息,包括:

分别根据每个预设领域的数据字典,提取每个预设领域中的多个数据项,并获取每个数据项的基本信息和主数据信息;

分别获取每个预设领域的业务流程信息,根据每个预设领域的业务流程信息分别建立相应预设领域中业务流程、业务环节和数据项之间的映射关系,从而获取每个数据项的业务信息;

分别确定每个预设领域中的每个数据项是否为本领域产生的数据项,并确定每个数据项的数据来源,从而获取每个数据项的交互信息。

优选的,所述获取每个数据项的基本信息和主数据信息,包括:

分别对每个预设领域中每个数据项进行去重处理,得到具有唯一性的数据项;

分别根据每个预设领域的数据字典提取每个具有唯一性的数据项的基本信息,所述基本信息包括表名称、表描述、字段名、字段描述、字段类型、主键信息和外键信息;

根据主数据的特征,判断每个具有唯一性的数据项是否为主数据,从而得到每个具有唯一性的数据项的主数据信息。

优选的,所述根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型,包括:

判断是否存在不能建立映射关系的数据项;

若是,将不能建立映射关系的数据项确定为模型扩展需求点;

根据所述模型扩展需求点所属的主体域,将所述模型扩展需求点作为新增实体类添加到预设标准模型中;

根据每个预设领域中的所述映射关系和每个数据项信息得到每个预设领域的数据子模型;

若否,直接根据每个预设领域中的所述映射关系和每个数据项信息得到每个预设领域的数据子模型。

优选的,所述根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型,包括:

分别将每个跨域数据项所在的预设领域通过跨域数据项进行连接;

对连接后得到的数据模型进行数据项去重处理,得到目标数据模型;

对所述目标数据模型进行图形化处理,得到包括多个数据项以及每个数据项之间关联的目标数据模型图。

一种数据模型的创建装置,包括:

数据项信息获取单元,用于分别获取每个预设领域中每个数据项信息;

映射关系建立单元,用于分别建立每个预设领域中每个数据项与预设标准模型中实体类的映射关系,根据每个预设领域中的所述映射关系和每个数据项信息得到每个预设领域的数据子模型;

子模型整合单元,用于分别确定每个预设领域中每个数据项是否为跨域数据项,并根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型。

优选的,所述数据项信息包括基本信息、主数据信息、业务信息和交互信息;

所述数据项信息获取单元包括:

第一获取子单元,用于分别根据每个预设领域的数据字典,提取每个预设领域中的多个数据项,并获取每个数据项的基本信息和主数据信息;

第二获取子单元,用于分别获取每个预设领域的业务流程信息,根据每个预设领域的业务流程信息分别建立相应预设领域中业务流程、业务环节和数据项之间的映射关系,从而获取每个数据项的业务信息;

第三获取子单元,用于分别确定每个预设领域中的每个数据项是否为本领域产生的数据项,并确定每个数据项的数据来源,从而获取每个数据项的交互信息。

优选的,所述第一获取子单元包括:

第一去重处理子单元,用于分别对每个预设领域中每个数据项进行去重处理,得到具有唯一性的数据项;

提取子单元,用于分别根据每个预设领域的数据字典提取每个具有唯一性的数据项的基本信息,所述基本信息包括表名称、表描述、字段名、字段描述、字段类型、主键信息和外键信息;

第一判断子单元,用于根据主数据的特征,判断每个具有唯一性的数据项是否为主数据,从而得到每个具有唯一性的数据项的主数据信息。

优选的,所述映射关系建立单元包括:

第二判断子单元,用于判断是否存在不能建立映射关系的数据项;若是,触发确定子单元,若否,触发创建子单元;

所述确定子单元,用于将不能建立映射关系的数据项确定为模型扩展需求点;

添加子单元,用于根据所述模型扩展需求点所属的主体域,将所述模型扩展需求点作为新增实体类添加到预设标准模型中;

所述创建子单元,用于根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型。

优选的,所述子模型整合单元包括:

连接子单元,用于分别将每个跨域数据项所在的预设领域通过跨域数据项进行连接;

第二去重处理子单元,用于对连接后得到的数据模型进行数据项去重处理,得到目标数据模型;

图形化处理子单元,用于对所述目标数据模型进行图形化处理,得到包括多个数据项以及每个数据项之间关联的目标数据模型图。

相对于现有技术,本发明的有益效果如下:

本发明公开的一种数据模型的创建方法及装置,分别获取每个预设领域中每个数据项信息后,分别建立每个预设领域中每个数据项与预设标准模型中实体类的映射关系,使每个数据项都符合预设标准模型,提高了数据规范化和兼容性。同时,根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型;分别确定每个预设领域中每个数据项是否为跨域数据项,并根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型。使跨域数据整合在一起,形成各业务领域相互融合的整体数据模型,解决现有数据模型的碎片化问题,避免信息化建设过程中出现的“信息孤岛”现象。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本发明公开的一种数据模型的创建方法流程图;

图2为本发明公开的另一种数据模型的创建方法流程图;

图3为本发明公开的数据项信息示意图;

图4为本发明公开的一种数据模型的创建装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参阅图1,本实施例公开了一种数据模型的创建方法,具体包括以下步骤:

s101:分别获取每个预设领域中每个数据项信息;

具体的,预设领域为根据数据来源预先划分的业务领域,如,人员组织、财务、物资、项目、电网、资产和客户。

具体的,所述数据项信息包括基本信息、主数据信息、业务信息和交互信息;在此基础上,请参阅图2,s101的具体执行过程如下:

s201:分别根据每个预设领域的数据字典,提取每个预设领域中的多个数据项,并获取每个数据项的基本信息和主数据信息;

分别对每个预设领域中每个数据项进行去重处理,得到具有唯一性的数据项;

分别根据每个预设领域的数据字典提取每个具有唯一性的数据项的基本信息,所述基本信息包括表名称、表描述、字段名、字段描述、字段类型、主键信息和外键信息;具体请参阅图3中数据项基本信息部分;

根据主数据的特征,判断每个具有唯一性的数据项是否为主数据,从而得到每个具有唯一性的数据项的主数据信息。具体请参阅图3中主数据信息部分。

主数据(mdmasterdata)是在计算机系统之间分享的数据。

s202:分别获取每个预设领域的业务流程信息,根据每个预设领域的业务流程信息分别建立相应预设领域中业务流程、业务环节和数据项之间的映射关系,从而获取每个数据项的业务信息;具体请参阅图3中业务信息部分。

数据项的业务信息包括数据项所属的业务流程和业务环节。

s203:分别确定每个预设领域中的每个数据项是否为本领域产生的数据项,并确定每个数据项的数据来源,从而获取每个数据项的交互信息。请参阅图3中交互信息部分。

其中,数据来源为数据项产生的业务系统。

s102:分别建立每个预设领域中每个数据项与预设标准模型中实体类的映射关系,根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型;

所述预设标准模型为企业信息模型(sg-cim2.0)和iec最近标准(iec61968v12/61970v17)。

当数据项不能与预设标准模型中的任何一个实体类相对应时,则存在不能建立映射关系的数据项。

具体的,判断是否存在不能建立映射关系的数据项;

若是,将不能建立映射关系的数据项确定为模型扩展需求点;

根据所述模型扩展需求点所属的主体域,将所述模型扩展需求点作为新增实体类添加到预设标准模型中;

根据每个预设领域中的所述映射关系和每个数据项信息得到每个预设领域的数据子模型;

若否,直接根据每个预设领域中的所述映射关系和每个数据项信息得到每个预设领域的数据子模型。

将所述模型扩展需求点作为新增实体类添加到预设标准模型中需要遵循如下几条原则:

1、iec或者sg-cim2.0中已覆盖,直接引用iec或者sg-cim2.0标准模型;

2、iec或者sg-cim2.0不完全覆盖的,按照模型设计规范,扩充完善模型属性;

3、针对iec或者sg-cim2.0未覆盖的,按照sg-cim的设计思想,新增模型实体;

4、直接引用:不对cim模型中的命名和结构进行任何改变,直接引用cim中的类、属性及关系。

5、继承:从cim中的业务类派生,形成新的类,并在新的类中定义属性和关系。例如,“euqtrsiline(输电线路)”类为sg-cim扩展的类,它继承于sg-cim自cim中引用的“line(线路)”类。

6、弱相关扩展:由于cim中无适用的类可以支撑,而从cim的identifiedobject和document等与技术机制相关的类进行继承。例如,“hrorganisationinfo(管控基础组织)”类是继承于sg-cim自cim中引用的“document(文档)”类。

s103:分别确定每个预设领域中每个数据项是否为跨域数据项,并根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型。

分别将每个跨域数据项所在的预设领域通过跨域数据项进行连接;

对连接后得到的数据模型进行数据项去重处理,得到目标数据模型;

对所述目标数据模型进行图形化处理,得到包括多个数据项以及每个数据项之间关联的目标数据模型图。

本实施例公开的一种数据模型的创建方法,分别获取每个预设领域中每个数据项信息后,分别建立每个预设领域中每个数据项与预设标准模型中实体类的映射关系,使每个数据项都符合预设标准模型,提高了数据规范化和兼容性。同时,根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型;分别确定每个预设领域中每个数据项是否为跨域数据项,并根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型。使跨域数据整合在一起,形成各业务领域相互融合的整体数据模型,解决现有数据模型的碎片化问题,避免信息化建设过程中出现的“信息孤岛”现象。

基于上述实施例公开的一种数据模型的创建方法,请参阅图4,本实施例公开了一种数据模型的创建装置,包括:

数据项信息获取单元401,用于分别获取每个预设领域中每个数据项信息;

映射关系建立单元402,用于分别建立每个预设领域中每个数据项与预设标准模型中实体类的映射关系,根据每个预设领域中的所述映射关系和每个数据项信息得到每个预设领域的数据子模型;

子模型整合单元403,用于分别确定每个预设领域中每个数据项是否为跨域数据项,并根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型。

优选的,所述数据项信息包括基本信息、主数据信息、业务信息和交互信息;

所述数据项信息获取单元包括:

第一获取子单元,用于分别根据每个预设领域的数据字典,提取每个预设领域中的多个数据项,并获取每个数据项的基本信息和主数据信息;

第二获取子单元,用于分别获取每个预设领域的业务流程信息,根据每个预设领域的业务流程信息分别建立相应预设领域中业务流程、业务环节和数据项之间的映射关系,从而获取每个数据项的业务信息;

第三获取子单元,用于分别确定每个预设领域中的每个数据项是否为本领域产生的数据项,并确定每个数据项的数据来源,从而获取每个数据项的交互信息。

优选的,所述第一获取子单元包括:

第一去重处理子单元,用于分别对每个预设领域中每个数据项进行去重处理,得到具有唯一性的数据项;

提取子单元,用于分别根据每个预设领域的数据字典提取每个具有唯一性的数据项的基本信息,所述基本信息包括表名称、表描述、字段名、字段描述、字段类型、主键信息和外键信息;

第一判断子单元,用于根据主数据的特征,判断每个具有唯一性的数据项是否为主数据,从而得到每个具有唯一性的数据项的主数据信息。

优选的,所述映射关系建立单元包括:

第二判断子单元,用于判断是否存在不能建立映射关系的数据项;若是,触发确定子单元,若否,触发创建子单元;

所述确定子单元,用于将不能建立映射关系的数据项确定为模型扩展需求点;

添加子单元,用于根据所述模型扩展需求点所属的主体域,将所述模型扩展需求点作为新增实体类添加到预设标准模型中;

所述创建子单元,用于根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型。

优选的,所述子模型整合单元包括:

连接子单元,用于分别将每个跨域数据项所在的预设领域通过跨域数据项进行连接;

第二去重处理子单元,用于对连接后得到的数据模型进行数据项去重处理,得到目标数据模型;

图形化处理子单元,用于对所述目标数据模型进行图形化处理,得到包括多个数据项以及每个数据项之间关联的目标数据模型图。

本实施例公开的一种数据模型的创建装置,分别获取每个预设领域中每个数据项信息后,分别建立每个预设领域中每个数据项与预设标准模型中实体类的映射关系,使每个数据项都符合预设标准模型,提高了数据规范化和兼容性。同时,根据每个预设领域中的所述映射关系和每个数据项信息创建每个预设领域的数据子模型;分别确定每个预设领域中每个数据项是否为跨域数据项,并根据跨域数据项将每个预设领域的数据子模型进行整合,得到目标数据模型。使跨域数据整合在一起,形成各业务领域相互融合的整体数据模型,解决现有数据模型的碎片化问题,避免信息化建设过程中出现的“信息孤岛”现象。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1