一种基于副本机制的主数据治理系统和方法与流程

本发明属于企业信息化的主数据管理技术领域,尤其涉及一种基于副本机制的主数据治理系统和方法。

背景技术：

主数据是企业内能够跨业务重复使用的高价值的核心实体数据，是企业的“黄金”数据，例如：人员、产品、客户、供应商、物料等。主数据管理帮助企业创建并维护整个企业内主数据的单一视图，保证整个企业IT系统协调和重用准确的、一致的、完整性的主数据。

主数据管理的客户一般是大中型集团企业,集团企业实施主数据管理，它希望其子集团或分子公司能够切实地遵循主数据标准规范、管理制度并执行。但有时一些集团企业的子集团或分子公司很强势，信息化程度也很高，不大“服从”集团，在这种情况下，集团很难强制推行主数据标准规范与管理制度，即使集团的主数据管理下发了标准的主数据信息，也无从得知子集团或分子公司是否执行了数据同步，只能通过线下人工以行政手段方式进行检查，这使得企业主数据管理的工作效率低下，主数据业务价值降低。另外，强势的子集团或分子公司有时不愿意修改或改造已有系统的接口方式，喜欢采用简单的数据库或文件接口，公开相关数据库表或文件让主数据管理进行采集，采集过来的数据存在着大量的数据转换的工作，这也加重了主数据管理人员的工作负担。

从以上我们可以看到：在中国特色的企业国情下，集团弱管控是国内主数据治理的一项重要内容,对于集团而言，它只想宏观把控或了解集团主数据管理规范的落实情况，不想干预子集团或分子公司的业务，希望能“柔性”地帮助子集团或分子公司提升它们业务系统的基本档案的数据质量。

对于主数据的集团弱管控，目前在主数据管理实施中，一般只能作到：1）给业务系统下发主数据信息，并且保证信息到达；2）建立主数据与业务系统的主数据的映射关系，提供查询；3）使用数据集成产品来解决大量的数据转换问题。这些显然很难达到管控的目的，存在的问题主要有：1）给业务系统下发主数据信息，但不知道业务系统是否进行了相关的业务处理；2）不了解主数据与业务系统的基础数据的映射关系，不能检查业务系统的真正的主数据规范落实情况。3）数据集成产品一般都比较“重”，二次开发比较困难，反而增加额外的工作量。

因此，需要一种新的数据治理办法来避免上述缺陷的产生。

技术实现要素：

针对现有技术的不足，本发明提供一种基于副本机制的主数据治理系统和方法，综合了ETL、Web服务等技术优点，提供了基于副本机制的主数据治理的架构与核心业务流程和采集接口，导入接口、通知接口、稽核等的规范约束。

一种基于副本机制的主数据治理系统，所述主数据治理系统包括业务系统主数据管理的副本监管子系统和主数据管理的生命周期管理子系统，所述副本监管子系统从业务系统对副本进行建模，通过采集接口采集副本，然后进行副本的查询、转换、导入，之后通过导入接口发送给生命周期管理子系统进行主数据副本处理，之后通过通知接口发送通知或主数据分发，期间对主数据及其副本进行稽核。

优选地，所述副本的模型是依据基本档案的数据模型，从主数据域的视角建立的，具有以下属性：

主数据编码：导入成功后，由主数据管理下发回填，未导入或导入不成功为空；

业务系统编码：说明副本来源于那个业务系统；

业务ID：业务系统的基本档案的唯一标识。

优选地，所述采集接口依据业务系统的副本模型进行数据采集，把业务系统的某个基本档案表导入到副本表具有以下属性：

采集方式：副本监管子系统以“拉”方式，自动地从相应的业务系统的基本档案表获取数据；

采集策略：以计划任务的形式，按照一定的任务周期进行数据采集，例如：每天凌晨1点；

采集需要支持源与目标源的数据模型转换。

优选地，所述副本的转换通过副本监管子系统提供副本转换，实现副本与目标主数据的数据模型的转换。

优选地，所述导入接口对副本数据转换后的数据进行组合属性唯一性判断，如果存在重复的主数据，则异步进行主数据副本合并处理，如果不存在，则异步进行新增主数据并且增加主数据与副本的映射关系，副本监管子系统收到返回值后，修改该副本的导入状态。

优选地，所述通知接口在主数据管理完成主数据副本处理后，调用该接口通知该副本的处理结果，副本监管子系统收到通知后，修改相关副本状态以及“回填”副本对应的主数据编码。

优选地，所述稽核包括：

查看主数据及其副本的映射关系，提供数据一致性报告，了解主数据聚合的来源情况以及主数据合并的情况；

检查副本是否满足稽核规则，满足的话，给业务系统的负责人发邮件通知。

优选地，所述稽核规则为：

1）依据副本模型，指定需要稽查的属性字段集合，检查副本与其对应的主数据在稽查的属性字段的内容是否相等；

2）设置满足1）的总次数阀值，如果达到阀值，则满足稽核策略。

一种基于上述主数据治理系统的治理方法，所述方法包括以下步骤：

S1，主数据建模；

S2，副本建模；

S3，设置主数据的组合属性唯一性条件；

S4，设置主数据的稽核规则；

S5，设置主数据副本采集策略；

S6，依据采集策略与副本模型从业务系统进行采集数据；

S7，副本转换；

S8，副本监管子系统调用副本导入接口；

S9，主数据副本处理，以异步方式进行稽核；

S10，生命周期子系统调用通知接口；

S11，生命周期子系统下发主数据以及映射关系到业务系统。

本发明的技术方案具有以下有益效果：

本发明提供的一种基于副本机制的主数据治理系统和方法，有效地解决了目前主数据管理在集团弱管控的问题，帮助集团企业宏观上了解主数据标准规范与管理制度的落实情况，对其下子集团或分子公司实现弱管控，推动企业信息化的建设，该方法已在多个主数据管理项目进行了实施，取得了良好的效果；具有很好的普适性、灵活性、扩展性。提供核心的业务逻辑，制定采集接口，导入接口、通知接口的规范约束，适合于不同的技术选型。

附图说明

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明一种基于副本机制的主数据治理系统和方法的主数据来源的基本档案图；

图2为本发明一种基于副本机制的主数据治理系统和方法的系统结构图；

图3为本发明一种基于副本机制的主数据治理系统和方法的副本模型的定义页面图；

图4为本发明一种基于副本机制的主数据治理系统和方法的供应商的副本与目标主数据属性的映射关系图；

图5为本发明一种基于副本机制的主数据治理系统和方法的供应商的副本与目标主数据属性简单的映射关系配置的页面图；

图6为本发明一种基于副本机制的主数据治理系统和方法的供应商主数据与业务系统A、B的三条副本的映射关系图；

图7为本发明一种基于副本机制的主数据治理系统和方法的主数据及副本的映射关系的查询页面图；

图8为本发明一种基于副本机制的主数据治理系统和方法的方法流程图。

具体实施方式

为了清楚了解本发明的技术方案，将在下面的描述中提出其详细的结构。显然，本发明实施例的具体施行并不足限于本领域的技术人员所熟习的特殊细节。本发明的优选实施例详细描述如下，除详细描述的这些实施例外，还可以具有其他实施方式。

下面结合附图和实施例对本发明做进一步详细说明。

结合图1，本实施例中基于副本机制的主数据治理的“副本”是从主数据视角给予的称呼，它来源于业务系统的基础数据或基本档案（以下简称基本档案），主数据聚合的主要来源是从各业务系统采集的副本。下图中供应商主数据M001来源于业务系统A、B的供应商基本档案。

基于副本机制的主数据治理涉及到业务系统、主数据管理的副本监管子系统，主数据管理的生命周期管理子系统，三者关系如图2，从图中可看出，所述副本监管子系统对副本进行建模，从业务系统通过采集接口采集副本，然后进行副本的查询、转换、导入，之后通过导入接口发送给生命周期管理子系统进行主数据副本处理，之后通过通知接口发送通知或主数据分发，期间对主数据及其副本进行稽核；从功能实现角度来看，主数据管理需要增加副本监管子系统，生命周期管理子系统的主数据副本处理模块，采集、导入、通知等接口。

副本建模：副本的数据模型是依据基本档案的数据模型，从主数据域的视角来建立的。副本模型除了能灵活定义各业务系统的基本档案的属性，必须得有如下属性：

主数据编码（mdm_code）：导入成功后，由主数据管理下发回填，未导入或导入不成功为空；

业务系统编码（sysregistercode）：说明副本来源于那个业务系统；

业务ID（busi_id）：业务系统的基本档案的唯一标识。

副本模型的定义页面如图3所示，其中注意事项：各业务系统的副本模型定义可能是不相同的，需要分别定义；副本模型定义后，需要生成相关的副本表。

采集接口：需要依据业务系统的副本模型进行数据采集，把业务系统的某个基本档案表导入到副本表；采集方式：副本监管子系统以“拉”方式，自动地从相应的业务系统的基本档案表获取数据；采集策略：以计划任务的形式，按照一定的任务周期进行数据采集，例如：每天凌晨1点；

采集需要支持源与目标源的数据模型转换，从软件技术实现来看，可以采用数据集成工具或使用数据库、计划任务等技术自主实现，建议开源的数据集成工具Kettle。

副本转换：副本监管子系统提供副本转换，实现副本与目标主数据的数据模型的转换。例如下图4：供应商的副本与目标主数据属性的映射关系；对于比较复杂的数据转换，可以通过动态注入接口实现来完成。

导入接口：生命周期管理子系统提供导入接口。只要满足接口的定义规范，采用WebService或者Restful API均可；接口名称：fbInsert；接口功能：对副本数据转换后的数据进行组合属性唯一性判断，如果存在重复的主数据，则异步进行主数据副本合并处理，如果不存在，则异步进行新增主数据并且增加主数据与副本的映射关系。副本监管子系统收到返回值后，修改该副本的导入状态。

请求数据见表1：

表1

返回数据见表2：

表2

主数据副本处理：主数据副本处理模块负责建立主数据及其各业务系统的主数据副本的映射关系。例如图6中供应商主数据与业务系统A、B的三条副本存在映射关系；注意事项：

1)主数据副本的数据模型是副本转换后的数据模型；

2)生命周期管理子系统的主数据建模提供组合属性唯一性检查的条件设置，例如上图设置 VENDOR为唯一性检查的属性字段。

主数据副本处理的核心业务逻辑如下：

WHILE 不是最后一条 DO

IF导入接口的副本内容符合组合属性唯一性检查的条件 THEN

添加到相应的主数据及其副本的映射关系；

ELSE

依据副本内容，新增一条主数据；

新建一条主数据及其副本的映射关系；

END IF

END WHILE

对符合组合属性唯一性检查的条件的副本与相应主数据进行内容合并。

通知接口：副本监管子系统提供通知接口。只要满足接口的定义规范，采用WebService或者Restful API均可；接口名称：notice；接口功能：主数据管理完成主数据副本处理后，调用该接口通知该副本的处理结果，副本监管子系统收到通知后，修改相关副本状态以及“回填”副本对应的主数据编码。

请求数据见表1，返回数据见表2；

表1

稽核包括：1）查看主数据及其副本的映射关系，提供数据一致性报告，了解主数据聚合的来源情况以及主数据合并的情况。2）检查副本是否满足稽核规则，满足的话，给业务系统的负责人发邮件通知。

主数据及副本的映射关系的查询页面如图7所示。

稽核规则定义如下：

1)依据副本模型，指定需要稽查的属性字段集合，检查副本与其对应的主数据在稽查的属性字段的内容是否相等；

2)设置满足1）的总次数阀值，如果达到阀值，则满足稽核策略。

稽核过程可以在导入接口完成后进行触发，异步执行。

稽核的邮件通知是异步的。通知业务系统的基本档案以没有遵循主数据标准规范，有些属性字段的内容没有同步修改。

结合图8，基于副本机制的主数据治理的核心流程即一种基于上述主数据治理系统的治理方法，所述方法包括以下步骤：S1，主数据建模；S2，副本建模；S3，设置主数据的组合属性唯一性条件；S4，设置主数据的稽核规则；S5，设置主数据副本采集策略；S6，依据采集策略与副本模型从业务系统进行采集数据；S7，副本转换；S8，副本监管子系统调用副本导入接口；S9，主数据副本处理，以异步方式进行稽核；S10，生命周期子系统调用通知接口；S11，生命周期子系统下发主数据以及映射关系到业务系统。

本方法是基于副本机制的主数据治理，它有效地解决了目前主数据管理在集团弱管控的问题，帮助集团企业宏观上了解主数据标准规范与管理制度的落实情况，对其下子集团或分子公司实现弱管控，推动企业信息化的建设，该方法已在多个主数据管理项目进行了实施，取得了良好的效果具有很好的普适性、灵活性、扩展性。提供核心的业务逻辑，制定采集接口，导入接口、通知接口的规范约束，适合于不同的技术选型。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的权利要求保护范围之内。