一种跨域异构数据合规性稽核及修复方法与流程

本发明涉及跨域异构数据稽核与修复领域，尤其涉及一种跨域异构数据合规性稽核及修复方法。

背景技术：

1、业内现有的电信运营支撑系统(business support system；简称:bss)系统通常分成两大功能部件客户管理系统(customer relationshipmanagement；简称:crm)和融合计费系统(convergent billing system；简称:cbs)。其中,crm主要负责和客户接触并受理运营商的各类业务,cbs主要是负责计费、账务等功能。cbs在对终端客户进行批价、出账,收费时需要依据用户订购的各类产品信息,因此crm需要在业务受理时将用户资料以及产品资料等信息同步到cbs系统中。同时cbs在业务流程中也可能触发用户信息的变更,cbs需要将变更信息同步到crm。

2、随着数据交换和数据共享应用的不断深入,用户端之间经常需要对数据进行双向同步,并需要对同步的数据进行一致性稽核。现有的数据一致性稽核方法,一般可分为如下几类:

3、1.通过发起端系统数据库表与接收端系统数据库表使用同步的时间戳进行批量比对,根据比对差异实现数据一致性修复。

4、2.通过数据库表触发器机制,在接收端系统数据库表数据改变时,触发对发起端系统的相关数据进行反向查询比对,实现数据一致性稽核。

5、3.开发第三方稽核程序,实时捕获发起端系统数据库表的数据改变,同时捕获接收端系统数据库表的数据改变,通过对比增量改变实现数据一致性修复。

6、第一种方法效率较低,且实时性较弱,当发起端系统表和接受方系统表较大时,会造成对发起端和接收端的系统压力增加,此外该种方法对表无时间戳字段的情况下,无法进行比对。

7、第二种方法实时性较高,可以实现增量比对,但必须是在发起端和接收端系统均在可方便访问的域内系统时可实现,接收端系统数据库表的触发器逻辑仍然会导致接受方系统压力增加,特别是在数据频繁变动的情况下,可能出现问题,此外在极端情况下存在缺陷,如接受方触发反向查询比对后,发起端的对应数据又发生变动,可能导致比对不准确。

8、第三种方法完全依赖于第三方稽核程序的逻辑实现方法,其中第三方稽核程序要保障从发起端系统和接收端系统的实时数据捕获的可靠性,保证不丢失或重复捕获数据，同时通过稽核程序逻辑进行对应数据的实时比对,其对第三方稽核程序的逻辑实现要求较高、实现复杂。

9、因此，本发明提出一种跨域异构数据合规性稽核及修复方法。

技术实现思路

1、为了克服上述现有技术中的不足，本发明提供一种跨域异构数据稽核与修复合规性处理方法，以解决上述问题。

2、为了实现上述目的，本发明较佳实施例所提供的技术方案如下所示：就方法而言，本发明较佳实施例提供一种跨域异构数据稽核与修复合规性处理方法，应用于跨域异构数据稽核与修复方法，所述方法包括至少一个数据类型集成数据库、与所述数据类型集成数据库通信的数据处理人员管理端以及设置在所述数据处理人员管理端的图神经网络稽核与修复算法；所述方法包括：所述数据类型集成数据库集成跨域异构数据类型，以作为所述跨域异构数据稽核与修复方法所获取的跨域异构数据类型；将获取到的跨域异构数据类型输入计算后的图神经网络稽核与修复算法进行稽核与修复统计，以得到跨域异构数据的数量以及对应的结构化与非结构化形式；判断所述结构化与非结构化形式，当所述结构化与非结构化形式超过预设字符长度时，发出合规性处理信号。

3、在本发明的较佳实施例中，上述将获取到的跨域异构数据类型输入计算后的图神经网络稽核与修复算法进行稽核与修复统计的步骤之前，所述方法包括：获取跨域异构数据的计算数据类型集，包括不同统计子数据类型，每个所述统计子数据类型包括单个数据类型以及对应的跨域异构数据的合规限定形式，所述合规限定形式包括跨域异构数据的数量信息、结构化与非结构化形式信息。

4、使用所述计算数据类型集，采用深度学习模型优化所述图神经网络稽核与修复算法，得到优化后的图神经网络稽核与修复算法。

5、在本发明的较佳实施例中，上述将获取到的跨域异构数据类型输入计算后的图神经网络稽核与修复算法进行稽核与修复统计的步骤，包括：将所述跨域异构数据类型的数据类型特征与所述图神经网络稽核与修复算法中的计算数据类型集中的统计子数据类型的数据类型特征进行匹配，得到所述跨域异构数据类型与所述统计子数据类型的合规率；在所述计算数据类型集中选取合规率最大的所述统计子数据类型，将选出的所述统计子数据类型的合规限定形式作为所述跨域异构数据类型的实际监测值，以得到跨域异构数据的数量以及跨域异构数据结构化与非结构化形式。

6、在本发明的较佳实施例中，上述将获取到的跨域异构数据类型输入计算后的图神经网络稽核与修复算法进行稽核与修复统计的步骤，包括：统计数据类型集成数据库在预设时长内集成的跨域异构数据结构化与非结构化形式对应的数量。

7、在本发明的较佳实施例中，上述判断所述结构化与非结构化形式，当所述结构化与非结构化形式超过预设字符长度时，发出合规性处理信号的步骤，包括：该跨域异构数据出现时间、频率、大小的标签数量动态变化信息及有实时异变信息，根据所述用户种类、结构化与非结构化形式计算所述区域跨域异构数据的累计数、增量数，并发出合规性处理信号，其中，所述合规性处理范围包括区域一级、二级、三级报警，等级越高，合规性越低。

8、在本发明的较佳实施例中，上述跨域异构数据方法还包括边缘计算网关，所述边缘计算网关与所述数据处理人员管理端通信连接，所述边缘计算网关设置有所述图神经网络算法，所述数据类型集成数据库集成各类跨域异构数据类型，以作为所述跨域异构数据稽核与修复方法所获取的跨域异构数据类型的步骤，包括：所述数据类型集成数据库将集成的各类跨域异构数据类型上传至所述边缘计算网关。

9、在本发明的较佳实施例中，上述将获取到的跨域异构数据类型输入计算后的图神经网络稽核与修复算法进行稽核与修复统计的步骤，包括：所述边缘计算网关将获取的各类跨域异构数据类型输入边缘计算网关的图神经网络稽核与修复算法中，以对各类跨域异构数据类型进行稽核与修复计数。

10、就方法而言，本发明的较佳实施例提供一种跨域异构数据合规性稽核及修复方法，所述方法包括至少一个数据类型集成数据库、与所述数据类型集成数据库通信的数据处理人员管理端以及与所述数据处理人员管理端连接的跨域异构数据稽核与修复合规性处理数据库，所述数据类型集成数据库集成各类跨域异构数据类型，以作为所述跨域异构数据稽核与修复合规性处理方法所获取的跨域异构数据类型；所述数据处理人员管理端包括图神经网络稽核与修复算法，所述跨域异构数据稽核与修复合规性处理数据库包括：数据类型模块，用于将获取到的跨域异构数据类型输入计算后的图神经网络稽核与修复算法进行稽核与修复统计，以得到跨域异构数据的数量以及对应的结构化与非结构化形式；合规性处理判断模块，用于判断所述结构化与非结构化形式，当所述结构化与非结构化形式超过预设字符长度时，发出合规性处理信号。

11、在本发明的较佳实施例中，上述跨域异构数据稽核与修复合规性处理数据库还包括：数据类型获取模块，用于获取跨域异构数据的计算数据类型集，包括不同统计子数据类型，每个所述统计子数据类型包括单个跨域异构数据的数据类型以及对应的跨域异构数据的合规限定形式，所述合规限定形式包括跨域异构数据的数量信息、结构化与非结构化形式信息。

12、深度学习算法优化模块，用于使用所述计算数据类型集，采用深度学习模型优化所述图神经网络稽核与修复算法，得到优化后的图神经网络稽核与修复算法。

13、在本发明的较佳实施例中，上述合规性处理判断模块还用于：本车间区域出现时间、频率、大小的标签数量动态变化信息及有实时异变信息，根据所述用户种类、结构化与非结构化形式计算所述区域跨域异构数据的累计数、增量数，并发出合规性处理信号，其中，所述合规性处理范围包括区域一级、二级、三级报警，等级越高，合规性越低。

14、相对于现有技术而言，本发明提供的方法至少具有以下有益效果:所述方法可自动稽核与修复跨域异构数据的数量以及对应的结构化与非结构化形式，在结构化与非结构化形式超过预设字符长度时发出合规性处理信号，提高了对跨域异构数据稽核与修复的准确率以及效率，另外，合规性处理信号有助于相关人员及早发现跨域异构数据的处理适期。具体地，所述方法通过数据类型集成数据库集成到的各类跨域异构数据类型，以作为所述跨域异构数据稽核与修复方法所获取的跨域异构数据类型；然后将获取到的跨域异构数据类型输入计算后的图神经网络稽核与修复算法进行稽核与修复统计，以得到跨域异构数据的数量以及对应的结构化与非结构化形式；利用数据处理人员管理端稽核与修复跨域异构数据的数量以及对应的结构化与非结构化形式，简化了对跨域异构数据稽核与修复统计的操作，缩短了稽核与修复的时间。