数据协同治理方法、装置、终端设备及存储介质与流程

本发明涉及数据治理领域，尤其涉及一种数据协同治理方法、装置、终端设备及存储介质。

背景技术：

1、目前在拥有大数据的组织中，存在生产数据的业务系统、采集数据的数据平台系统、分析数据的主题数据系统、运用数据的应用系统等多层数据系统架构。大量数据在这些不同的系统间流动，当数据发生变更时，数据的变更信息难以随着数据流在各系统得到准确的识别和处理，导致数据在流动链路上存在不一致性，而数据不一致可能导致业务逻辑错误和系统故障，容易引发生产事故。

2、因此，有必要提出一种提高数据在流动链路上的一致性的解决方案。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种数据协同治理方法、装置、终端设备以及存储介质，旨在提高数据在流动链路上的一致性，以减少生产事故的发生。

2、为实现上述目的，本发明提供一种数据协同治理方法，所述数据协同治理方法包括：

3、响应于识别到第一变更数据，对所述第一变更数据进行处理，得到第一数据变更信息；

4、基于所述第一变更数据对应的数据血缘关系，将所述第一数据变更信息发送至对应的数据使用方，以供所述数据使用方根据所述第一数据变更信息进行变更响应处理，生成变更响应信息并发送至所述数据生产方；

5、验收所述变更响应信息，并基于验收通过的变更响应信息协同所述数据使用方上线所述第一变更数据。

6、可选地，所述响应于识别到第一变更数据，对所述第一变更数据进行处理，得到第一数据变更信息的步骤之前还包括：

7、获取系统数据；

8、识别所述系统数据中与所述数据使用方关联的重点数据；

9、对所述系统数据中的重点数据进行打标处理，得到标识数据；

10、识别所述标识数据中是否存在所述第一变更数据。

11、可选地，所述对所述第一变更数据进行处理，得到第一数据变更信息的步骤包括：

12、根据所述第一变更数据，生成数据变更待办任务；

13、基于所述数据变更待办任务，设计数据变更框架；

14、对所述第一变更数据进行版本比对，得到差异数据；

15、根据所述差异数据对所述数据变更框架进行填充，得到所述第一数据变更信息，其中，所述第一数据变更信息包括数据变更任务及所述数据使用方完成所述数据变更任务的截止时间。

16、可选地，所述验收所述变更响应信息的步骤包括：

17、判断所述变更响应信息是否为所述第一数据变更信息对应的第一变更响应信息：

18、若所述变更响应信息为所述第一数据变更信息对应的第一变更响应信息，则判定验收通过，并将所述第一变更响应信息用于协同所述数据使用方上线第一变更数据；

19、若所述变更响应信息不是所述第一数据变更信息对应的第一变更响应信息，则判定验收不通过，在当前业务系统中记录对应的变更未完成信息。

20、本发明还提供一种数据协同治理方法，所述数据协同治理方法应用于数据使用方，所述数据协同治理方法包括以下步骤：

21、接收数据生产方发送的第一数据变更信息；

22、根据所述第一数据变更信息进行变更响应处理，生成变更响应信息；

23、将所述变更响应信息发送至所述数据生产方，以供所述数据生产方验收所述变更响应信息，并基于验收通过的变更响应信息协同所述数据使用方上线第一变更数据。

24、可选地，所述第一数据变更信息包括数据变更任务及所述数据使用方完成所述数据变更任务的截止时间，所述变更响应信息包括第一变更响应信息或第二变更响应信息，所述根据所述第一数据变更信息进行变更响应处理，生成变更响应信息的步骤包括：

25、识别所述第一数据变更信息中的数据变更任务的影响范围；

26、判断所述影响范围是否包括当前业务系统；

27、若所述影响范围包括当前业务系统，则在所述截止时间内执行所述数据变更任务，得到第二变更数据，并生成所述第一变更响应信息；

28、若所述影响范围不包括当前业务系统，和/或未在所述截止时间内执行所述数据变更任务，则生成所述第二变更响应信息。

29、可选地，所述执行所述数据变更任务，得到第二变更数据的步骤之后还包括：

30、根据所述第二变更数据，生成第二数据变更信息；

31、基于所述第二变更数据对应的数据血缘关系，向下游数据使用方发送所述第二数据变更信息，以供所述下游数据使用方根据所述第二数据变更信息进行变更响应处理，生成并返回对应的变更响应信息。

32、此外，为实现上述目的，本发明还提供一种数据协同治理装置，所述数据协同治理装置包括：

33、响应模块，用于响应于识别到第一变更数据，对所述第一变更数据进行处理，得到第一数据变更信息；

34、发送模块，用于基于所述第一变更数据对应的数据血缘关系，将所述第一数据变更信息发送至对应的数据使用方，以供所述数据使用方根据所述第一数据变更信息进行变更响应处理，生成变更响应信息并发送至所述数据生产方；

35、验收模块，用于验收所述变更响应信息，并基于验收通过的变更响应信息协同所述数据使用方上线所述第一变更数据。

36、此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据协同治理程序，所述数据协同治理程序被所述处理器执行时实现如上所述的数据协同治理方法的步骤。

37、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据协同治理程序，所述数据协同治理程序被处理器执行时实现如上所述的数据协同治理方法的步骤。

38、本发明实施例提出的一种数据协同治理方法、装置、终端设备及存储介质，所述数据协同治理方法应用于数据生产方，通过响应于识别到第一变更数据，对所述第一变更数据进行处理，得到第一数据变更信息；基于所述第一变更数据对应的数据血缘关系，将所述第一数据变更信息发送至对应的数据使用方，以供所述数据使用方根据所述第一数据变更信息进行变更响应处理，生成变更响应信息并发送至所述数据生产方；验收所述变更响应信息，并基于验收通过的变更响应信息协同所述数据使用方上线第一变更数据，数据生产方识别到第一变更数据后对第一变更数据进行处理，得到第一数据变更信息并发送至数据使用方，使数据使用方收到数据变更信息并进行变更响应处理，进而返回变更响应信息至数据生产方，使数据生产方基于验收通过的变更响应信息协同数据使用方上线第一变更数据，确保了数据生产方与数据使用方数据变更的一致性，即提高了数据在流动链路上的一致性，减少数据不一致导致的业务逻辑错误和系统故障，从而减少生产事故的发生。

技术特征：

1.一种数据协同治理方法，其特征在于，所述数据协同治理方法应用于数据生产方，所述数据协同治理方法包括以下步骤：

2.如权利要求1所述的数据协同治理方法，其特征在于，所述响应于识别到第一变更数据，对所述第一变更数据进行处理，得到第一数据变更信息的步骤之前还包括：

3.如权利要求1所述的数据协同治理方法，其特征在于，所述对所述第一变更数据进行处理，得到第一数据变更信息的步骤包括：

4.如权利要求1所述的数据协同治理方法，其特征在于，所述验收所述变更响应信息的步骤包括：

5.一种数据协同治理方法，其特征在于，所述数据协同治理方法应用于数据使用方，所述数据协同治理方法包括以下步骤：

6.如权利要求5所述的数据协同治理方法，其特征在于，所述第一数据变更信息包括数据变更任务及所述数据使用方完成所述数据变更任务的截止时间，所述变更响应信息包括第一变更响应信息或第二变更响应信息，所述根据所述第一数据变更信息进行变更响应处理，生成变更响应信息的步骤包括：

7.如权利要求6所述的数据协同治理方法，其特征在于，所述执行所述数据变更任务，得到第二变更数据的步骤之后还包括：

8.一种数据协同治理装置，其特征在于，所述数据协同治理装置应用于数据生产方，所述数据协同治理装置包括：

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据协同治理程序，所述数据协同治理程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据协同治理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有数据协同治理程序，所述数据协同治理程序被处理器执行时实现如权利要求1至7任一项所述的数据协同治理方法的步骤。

技术总结
本发明公开了一种数据协同治理方法、装置、终端设备以及存储介质，通过响应于识别到第一变更数据，对所述第一变更数据进行处理，得到第一数据变更信息；基于所述第一变更数据对应的数据血缘关系，将所述第一数据变更信息发送至对应的数据使用方，以供所述数据使用方根据所述第一数据变更信息进行变更响应处理，生成变更响应信息并发送至所述数据生产方；验收所述变更响应信息，并基于验收通过的变更响应信息协同所述数据使用方上线所述第一变更数据，确保了数据生产方与数据使用方数据变更的一致性，即提高了数据在流动链路上的一致性，减少数据不一致导致的业务逻辑错误和系统故障，从而减少生产事故的发生。

技术研发人员：李太萍,马宇婷,潘冬梅,陈琼帅
受保护的技术使用者：招商银行股份有限公司
技术研发日：
技术公布日：2024/1/15