数据质量管理控制方法及装置的制造方法_2

文档序号:9750959阅读:来源:国知局
系统标识和数据表名称,数据质量管理控制系统分别判断目标数据表的名称与该多个数据表名称中每个数据表名称是否相同,若所述目标数据表的名称与所述多个数据表名称均不相同,则数据质量管理控制系统指示所述业务子系统将所述目标数据表存储到数据中心;若所述目标数据表的名称与所述多个数据表名称中的任意一个数据表名称相同,则向所述业务子系统发送告警信息,告知用户该目标数据表的名称重复,避免数据中心中的数据表产生重复。
[0033]步骤S105、若所述数据表操作信息为更新数据表,则依据所述目标数据表的名称查询多个历史记录信息获得与所述目标数据表的名称相同的数据表名称,并指示所述数据中心将所述数据表名称对应的数据表内容替换为所述目标数据表的内容;
[0034]其中,所述历史记录信息至少包括业务子系统标识和数据表名称。
[0035]若该目标数据表是一个更新后的数据表,即该目标数据表在数据中心存储过,数据中心中存储有一个与该目标数据表的名称一样的数据表,且数据质量管理控制系统预先存储的历史记录信息中也包括该数据表名称,则数据质量管理控制系统依据目标数据表的名称查询多个历史记录信息获得与所述目标数据表的名称相同的数据表名称,并指示所述数据中心将所述数据表名称对应的数据表内容替换为所述目标数据表的内容,避免数据中心中存储的数据表发生不一致的现象。
[0036]本发明实施例通过数据质量管理控制系统存储的历史记录信息中的数据表名称即可查找到目标数据表;通过查询多个历史记录信息获得与业务子系统标识对应的多个数据表名称,并判断目标数据表的名称与多个数据表名称是否相同,只有目标数据表的名称与多个数据表名称均不相同时,指示业务子系统将目标数据表存储到数据中心,降低了数据表的冗余度;通过将查询多个历史记录信息获得与目标数据表的名称相同的数据表名称,并将数据表名称对应的数据表内容替换为目标数据表的内容,提高了数据表的一致性;通过解析数据表操作触发信息获得数据表流向信息,保证了数据表的流向清晰;实现了对数据质量的管理和控制。
[0037]在上述实施例的基础上,所述指示所述业务子系统将所述目标数据表存储到数据中心之后,还包括:接收所述数据中心发送的存储所述目标数据表的表空间的名称,以及所述业务子系统与所述数据中心的接口方式;生成当前记录信息,所述当前记录信息包括所述业务子系统标识、所述表空间的名称、所述目标数据表的名称、所述用户信息、所述数据表流向信息、所述目标数据表的操作权限信息和所述接口方式。
[0038]数据质量管理控制系统指示所述业务子系统将所述目标数据表存储到数据中心之后,业务子系统将所述目标数据表通过所述业务子系统与所述数据中心的接口方式发送到数据中心,该接口方式具体包括数据仓库技术(Extract Transform Load,简称ETL)、OGG、DBl ink、WebService中的任意一种。数据中心可以为若干个业务子系统开辟一个表空间,优选的,数据中心为每个业务子系统开辟一个表空间,数据中心将业务子系统通过该接口方式发送的目标数据表存储到表空间,并将表空间的名称以及所述业务子系统与所述数据中心的接口方式发送给数据质量管理控制系统。
[0039]数据质量管理控制系统根据上述实施例中的申请信息、业务子系统发送的用户信息和目标数据表、数据中心发送的表空间的名称和接口方式生成当前记录信息,所述当前记录信息包括所述业务子系统标识、所述表空间的名称、所述目标数据表的名称、所述用户信息、所述数据表流向信息、所述目标数据表的操作权限信息和所述接口方式,其中,所述目标数据表的操作权限信息是数据质量管理控制系统为该用户设定的操作该目标数据表的权限。当数据质量管理控制系统接收到另一个业务子系统发送的申请信息时,该当前记录信息即成为历史记录信息。
[0040]所述接收所述业务子系统发送的用户信息和目标数据表之后,还包括:判断所述目标数据表中的数据是否符合预先设定的数据规则;若所述目标数据表中的数据不符合预先设定的数据规则,则向所述业务子系统发送警示信息,以使用户修改所述目标数据表中的数据格式。
[0041]数据质量管理控制系统中预先存储有数据规则,每个业务子系统发送的目标数据表中的数据均要符合数据规则,即通过数据规则对每个业务子系统发送的目标数据表中的数据进行统一化规范,使得每个业务子系统发送的目标数据表均可以被其他的业务子系统识别,具体的,数据质量管理控制系统在接收所述业务子系统发送的用户信息和目标数据表之后,判断所述目标数据表中的数据是否符合预先设定的数据规则;若所述目标数据表中的数据不符合预先设定的数据规则,则向所述业务子系统发送警示信息,以使用户修改所述目标数据表中的数据格式。
[0042]本发明实施例通过数据质量管理控制系统中预先存储有数据规则对每个业务子系统发送的目标数据表中的数据进行统一化规范,保证了每个业务子系统发送的目标数据表均可以被其他的业务子系统识别。
[0043]在上述实施例的基础上,所述生成当前记录信息之后,还包括:依据所述当前记录信息和所述多个历史记录信息分析各个数据表的重要程度,所述数据表名称对应的数据表流向信息的个数越多,所述数据表的重要程度越大。
[0044]数据质量管理控制系统每生成一个当前记录信息就将该当前记录信息放入记录信息库中,通过对记录信息库中所有的记录信息进行分析可获得各个数据表的重要程度,每个数据表的重要程度可通过统计出的数据表名称对应的数据表流向信息的个数衡量,例如该目标数据表的名称出现在多条记录信息中,从该多条记录信息中分析获知该目标数据表被多个业务子系统查看、调用或存储,则说明该目标数据表的重要程度较大,且数据表名称对应的数据表流向信息的个数与数据表的重要程度成正比。
[0045]数据质量管理控制方法还包括:设置数据表采集规则,并依据所述数据表采集规则从所述数据中心采集多个数据表;判断所述多个数据表中任意两个数据表的名称是否相同,若所述两个数据表的名称相同,则判断所述两个数据表的内容是否相同;若所述两个数据表的内容相同,则向所述数据中心发送第一删除指令,以使所述数据中心删除所述两个数据表的任意一个;若所述两个数据表的内容不同,则从所述数据中心获取所述两个数据表的时间戳,并向所述数据中心发送第二删除指令,以使所述数据中心删除所述两个数据表中时间戳较小的数据表。
[0046]数据质量管理控制系统还可设置数据表采集规则,数据表采集规则包括周期性采集、事件触发采集、依据数据表特征采集、预设时间点采集等。数据质量管理控制系统依据数据表采集规则从所述数据中心采集多个数据表,并判断所述多个数据表中任意两个数据表的名称是否相同,若所述两个数据表的名称相同,则判断所述两个数据表的内容是否相同;若所述两个数据表的内容相同,则向所述数据中心发送第一删除指令,以使所述数据中心删除所述两个数据表的任意一个,进一步降低数据中心中数据表的冗余度;若所述两个数据表的内容不同,则从所述数据中心获取所述两个数据表的时间戳,并向所述数据中心发送第二删除指令,以使所述数据中心删除所述两个数据表中时间戳较小的数据表,进一步提高数据中心中数据表的一致性。
[0047]本发明实施例通过数据质量管理控制系统采集数据中心中的多个数据表,并对多个数据表中任意两个数据表的名称以及内容进行判断,通过删除名称一样、内容一样的两个数据表中的任一个数据表,进一步降低了数据中心中数据表的冗余度;同时通过删除名称一样、内容不同的两个数据表中时间戳较
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1