反馈式数据治理方法、装置、设备及计算机可读存储介质与流程

本发明涉及高校数据治理，尤其涉及一种反馈式数据治理方法、装置、设备及计算机可读存储介质。

背景技术：

1、传统的高校数据治理、质量分析、质量提升工作由信息中心(或网络信息中心)等相关部门依据业务规范、要求对数据质量进行检核、发现的质量问题反馈至业务部门，由业务部分负责核实、数据纠错等工作。最后进入下一个质量优化周期，如此迭代优化数据质量。

2、但是传统的数据治理流程存在以下问题：

3、1)、数据异常不易发现：在符合数据规范要求、业务要求的情况下的数据质量问题系统无法发现，导致数据不准，从而影响上层决策；

4、2)、过程繁杂、处理效率低下：引发数据质量问题的原因有多种，传统的处理方式基于数据处理流程逐步反推，排查成本，沟通成本较高，效率低下。

5、3)、多方协同处理、沟通成本较高：涉及多厂商建设的业务系统之间数据流转出现问题，需要拉通各厂商一同协助定位问题、纠正异常数据，厂商之间的联调沟通成本较高，处理故障效率低下。

6、因此，亟需提供一种数据治理方法，以解决传统数据治理流程存在的上述问题。

技术实现思路

1、本申请实施例通过提供一种反馈式数据治理方法，旨在解决传统数据治理流程存在的上述问题。

2、为实现上述目的，本申请实施例提供了一种反馈式数据治理方法，包括：

3、在收到用户反馈的异常数据时，确认所述异常数据的数据来源；

4、若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；

5、数据中台收到所述异常数据后确认数据偏差点；

6、数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；

7、异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。

8、在一实施例中，数据中台收到所述异常数据后确认数据偏差点，包括：

9、数据中台根据所述异常数据的血缘情况，获取所述异常数据的数据链路；

10、根据所述数据链路中的数据变化情况，确定所述数据偏差点。

11、在一实施例中，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，包括：

12、若根据所述处理偏差点判定为数据处理过程异常，则分析所述数据处理过程的异常原因；

13、根据所述异常原因纠正所述数据相应的数据处理机制；

14、基于纠正后的数据处理机制更正所述异常数据。

15、在一实施例中，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，还包括：

16、若根据所述处理偏差点判定为源数据异常，则分析所述异常数据的数据版本，以查询出现异常数据的目标数据版本；

17、根据所述目标数据版本确认数据处理的责任人；

18、向所述责任人发送异常数据的分析结果及修改建议；

19、根据所述责任人基于所述分析结果及修改建议反馈的信息更正所述异常数据。

20、在一实施例中，由数据治理平台进行数据再采集及数据更新，包括：

21、数据治理平台重新采集更正后的数据，并检测更正后的数据是否符合设定的数据规范；

22、若是，则数据治理平台进行历史数据备份，并基于更正后的数据对数据中心的数据进行更新。

23、在一实施例中，所述方法还包括：

24、若所述异常数据来源于用户终端本地，则在用户终端更正所述异常数据。

25、在一实施例中，所述方法还包括：

26、向用户反馈异常数据处理结果。

27、为实现上述目的，本申请实施例还提出一种反馈式数据治理装置，包括：

28、用户终端，用于在收到用户反馈的异常数据时，确认所述异常数据的数据来源，及在所述异常数据来源于数据中心时，向数据中台反馈所述异常数据；

29、数据中台，用于在收到所述异常数据后确认数据偏差点，及，所述数据偏差点采取对应的处理措施更正所述异常数据；

30、数据治理平台，用于在异常数据更正完成后，进行数据再采集及数据更新。

31、为实现上述目的，本申请实施例还提出一种反馈式数据治理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的反馈式数据治理程序，所述处理器执行所述反馈式数据治理程序时实现如上述任一项所述的反馈式数据治理方法。

32、为实现上述目的，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有反馈式数据治理程序，所述反馈式数据治理程序被处理器执行时实现如上述任一项所述的反馈式数据治理方法。

33、本申请的反馈式数据治理方法，相较于传统的数据治理流程具有以下优势：

34、(1)、可以由数据所有者本人发现数据问题，进而可以解决通过数据质量检核规则和业务规范无法检测的异常数据，从而可以增加异常数据发现的全面性。

35、(2)、结合数据治理平台半自动化分析异常原因，可压缩数据处理流程、降低人工成本，缩短数据处理时间，提升处理效率。

36、(3)、系统(数据中台)与系统(数据治理平台)之间、用户与系统之间全链路拉通，数据处理过程全程记录可追踪，降低多方协同处理问题的沟通成本、解决权责不清的问题。

37、(4)、处理过程可追溯，可审计，提升了数据安全性、数据处理效率。

技术特征：

1.一种反馈式数据治理方法，其特征在于，包括：

2.如权利要求1所述的反馈式数据治理方法，其特征在于，数据中台收到所述异常数据后确认数据偏差点，包括：

3.如权利要求1所述的反馈式数据治理方法，其特征在于，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，包括：

4.如权利要求3所述的反馈式数据治理方法，其特征在于，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，还包括：

5.如权利要求4所述的反馈式数据治理方法，其特征在于，由数据治理平台进行数据再采集及数据更新，包括：

6.如权利要求1所述的反馈式数据治理方法，其特征在于，所述方法还包括：

7.如权利要求1至6中任一项所述的反馈式数据治理方法，其特征在于，所述方法还包括：

8.一种反馈式数据治理装置，其特征在于，包括：

9.一种反馈式数据治理设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的反馈式数据治理程序，所述处理器执行所述反馈式数据治理程序时实现如权利要求1-7中任一项所述的反馈式数据治理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有反馈式数据治理程序，所述反馈式数据治理程序被处理器执行时实现如权利要求1-7中任一项所述的反馈式数据治理方法。

技术总结
本发明公开了一种反馈式数据治理方法、装置、设备及计算机可读存储介质，该反馈式数据治理方法包括：在收到用户反馈的异常数据时，确认所述异常数据的数据来源；若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；数据中台收到所述异常数据后确认数据偏差点；数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。本方法具有问题发现更全面、成本低、处理效率高、权责明确等优点。

技术研发人员：罗龙,刘栋梁,张健博,谈卫华
受保护的技术使用者：广东数源信息科技有限公司
技术研发日：
技术公布日：2024/1/12