一种数据处理方法、装置、设备及存储介质与流程

本发明实施例涉及计算机处理，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术：

1、近年来，为了减少因系统故障所带来的损失，通常会将信息系统进行双活部署，分别同等部署两个系统，以同步处理数据。

2、目前，双活部署的方式通常是基于异地存储设备的底层复制技术，复制出两个具有同样资源的系统，一个系统作为主系统，一个系统作为从系统，使得两个系统同步处理任务，在主系统发生故障时切换为从系统处理任务。

3、但是，这种基于底层复制技术将数据进行复制的方式，使得无法查看主从系统处理数据时的数据差异，难以满足在系统故障时业务处理连续性的需求。同时在需要对系统中的处理单元进行调度时，需要人工分析和操作系统中哪些处理单元需要被调度，影响业务处理连续性的同时，导致业务处理效率低和准确性低的问题。

技术实现思路

1、本发明实施例提供一种数据处理方法、装置、设备及存储介质，用以解决问题，实现在保障任务处理连续性的同时，达到提高任务处理效率和准确性的技术效果。

2、第一方面，本发明实施例提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统包括主系统和从系统，所述主系统中包括节点维护列表以及所述节点维护列表中的全量节点数据，所述从系统用于存储所述节点维护列表中变化节点以及与所述变化节点相关联的关联节点，该方法包括：

3、在检测到目标处理节点发生变化时，确定所述从系统中与所述变化相关联的待更新处理节点；其中，所述目标处理节点包括所述变化节点和/或所述关联节点，所述待更新处理节点中包括待启动节点和/或待停用节点；

4、从所述主系统中确定与所述待启动节点相关联的第一处理数据，和/或在所述从系统中确定与所述待停用节点相关联的第二处理数据；

5、基于所述第一处理数据和/或第二处理数据更新所述从系统，以使在接收到待处理任务时，基于所述主系统和更新后的从系统处理所述待处理任务。

6、第二方面，本发明实施例还提供了一种数据处理装置，配置于数据处理系统，所述数据处理系统包括主系统和从系统，所述主系统中包括节点维护列表以及所述节点维护列表中的全量节点数据，所述从系统用于存储所述节点维护列表中变化节点以及与所述变化节点相关联的关联节点，该装置包括：

7、待更新处理节点确定模块，用于在检测到目标处理节点发生变化时，确定所述从系统中与所述变化相关联的待更新处理节点；其中，所述目标处理节点包括所述变化节点和/或所述关联节点，所述待更新处理节点中包括待启动节点和/或待停用节点；

8、处理数据确定模块，用于从所述主系统中确定与所述待启动节点相关联的第一处理数据，和/或在所述从系统中确定与所述待停用节点相关联的第二处理数据；

9、系统更新模块，用于基于所述第一处理数据和/或第二处理数据更新所述从系统，以使在接收到待处理任务时，基于所述主系统和更新后的从系统处理所述待处理任务。

10、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据处理方法。

11、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。

12、第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的数据处理方法。

13、本发明实施例中，通过在检测到变化节点和/或关联节点发生变化时，确定从系统中与变化相关联的待启动节点和/或待停用节点；从主系统中确定与待启动节点相关联的第一处理数据，和/或在从系统中确定与待停用节点相关联的第二处理数据；基于第一处理数据和/或第二处理数据更新从系统，以使在接收到待处理任务时，基于主系统和更新后的从系统处理待处理任务，解决了现有技术中基于底层复制技术将数据进行复制，导致影响业务处理连续性，业务处理效率低和准确性低的问题，实现了根据高优业务需要配置变化节点，自动分析和调度全链路上的变化节点和关联节点，并监控变化节点以及相关联的关联节点的变化情况，避免了人工分析和手工操作，减少成本消耗。自动查找出从主系统中与变化相关联的待启动节点和/或待停用节点，进一步的，可以从主系统中确定与待启动节点相关联的第一处理数据，和/或在从系统中确定与待停用节点相关联的第二处理数据，进而基于第一处理数据和/或第二处理数据更新从系统，使得保障从系统任务处理的连续性，以及提高主系统和从系统处理待处理任务的一致性，达到提高任务处理效率和准确性的技术效果。

技术特征：

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括主系统和从系统，所述主系统中包括节点维护列表以及所述节点维护列表中的全量节点数据，所述从系统用于存储所述节点维护列表中变化节点以及与所述变化节点相关联的关联节点，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，检测所述目标处理节点发生变化，包括：

3.根据权利要求1所述的方法，其特征在于，所述在检测到目标处理节点发生变化时，确定所述从系统中与所述变化相关联的待更新处理节点，包括：

4.根据权利要求1所述的方法，其特征在于，所述从所述主系统中确定与所述待启动节点相关联的第一处理数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述第二处理数据更新所述从系统，包括：

6.根据权利要求1所述的方法，其特征在于，所述待处理任务包括与全量节点数据相对应的至少一个待处理子任务，所述基于所述主系统和更新后的从系统处理所述待处理任务，包括：

7.根据权利要求6所述的方法，其特征在于，所述第一核检规则，包括：

8.根据权利要求1所述的方法，其特征在于，在基于所述主系统和更新后的从系统处理所述待处理任务之后，包括：

9.根据权利要求8所述的方法，其特征在于，所述第二核检规则，包括：

10.根据权利要求6或8所述的方法，其特征在于，还包括：

11.根据权利要求6或8所述的方法，其特征在于，还包括：

12.一种数据处理装置，其特征在于，配置于数据处理系统，所述数据处理系统包括主系统和从系统，所述主系统中包括节点维护列表以及所述节点维护列表中的全量节点数据，所述从系统用于存储所述节点维护列表中变化节点以及与所述变化节点相关联的关联节点，包括：

13.一种电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11中任一项所述的数据处理方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的数据处理方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-11中任一项所述的数据处理方法。

技术总结
本发明公开了一种数据处理方法、装置、设备及存储介质。本发明涉及大数据技术领域。该方法包括：在检测到变化节点和/或关联节点发生变化时，确定从系统中与变化相关联的待启动节点和/或待停用节点；从主系统中确定与待启动节点相关联的第一处理数据，和/或在从系统中确定与待停用节点相关联的第二处理数据；基于第一处理数据和/或第二处理数据更新从系统，以使在接收到待处理任务时，基于主系统和更新后的从系统处理待处理任务。本发明的技术方案，能够实现在保障任务处理连续性的同时，达到提高任务处理效率和准确性的技术效果。

技术研发人员：杨辰凯
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/12