一种用于计算机设备的数据异常恢复方法、装置与流程

本发明涉及数字数据处理，具体涉及一种用于计算机设备的数据异常恢复方法、装置。

背景技术：

1、集群部署可以提高数据处理系统的可用性、吞吐量。大型或超大型任务的处理往往采用多机部署的应用场景，由于任务规模较大，通常需要每个处理机从任务中切分一小块任务进行处理，使得切分后的任务可以在相对较短的时间内完成，待切分的小块任务处理完成后，再去申请任务。但被切分的任务在被分配到处理机执行处理的过程中，如因遇到停电、断网等不可抗力原因导致任务无法继续进行时，将会导致数据异常的发生。

2、在相关技术中，为解决数据异常的发生，通常将发生数据异常后缓存中的信息认定为异常缓存信息，并通过将异常缓存信息进行清除，进入正常处理数据模式，即在系统重新启动后，重新切分任务，对任务进行再次分配。然而在该种方式中，若任务被切分后部分处理机已经完成了响应的任务处理，那么在重新切分任务，对任务进行再分配后，已经完成的任务会被其他处理机重复执行，从而导致数据冲突，如在金融交易场景中，任务被重复执行可能将导致交易重复，造成损失，从而降低了数据异常恢复的适用性，且现有的数据异常恢复无法保证任务在出现数据异常后被正确执行，进而也就无法满足部分应用场景。

技术实现思路

1、有鉴于此，本发明提供了一种用于计算机设备的数据异常恢复方法、装置，以解决数据异常恢复的适用性低的技术问题。

2、第一方面，本发明提供了一种用于计算机设备的数据异常恢复方法，包括：获取第一数据处理任务；切分第一数据处理任务，得到至少一个第一子任务；标记每个第一子任务，形成与第一子任务相对应的任务存储信息，任务存储信息包括：主机标识、线程标识、处理数据上下文；发送任务存储信息至存储设备；由与主机标识对应的处理机，处理第一子任务；在子任务的处理过程中发生数据异常时，从存储设备获取任务存储信息；基于任务存储信息，通过主机标识、线程标识、处理数据上下文，恢复对第一子任务的处理。

3、结合第一方面，在第一方面的一个可能的实现方式中，基于任务存储信息，通过主机标识、线程标识、处理数据上下文，恢复对第一子任务的处理，包括：基于主机标识，确定与主机标识对应的第一任务存储信息；基于线程标识与第一任务存储信息，确定与线程标识对应的第二任务存储信息；基于处理数据上下文与第二任务存储信息，对异常数据进行恢复。

4、结合第一方面，在第一方面的一个可能的实现方式中，基于处理数据上下文与第二任务存储信息，对异常数据进行恢复，包括：基于处理数据上下文与第二任务存储信息，将异常数据恢复为第二子任务；标记第二子任务，形成与第二子任务相对应的第二任务存储信息；发送第二任务存储信息至存储设备；由与第二任务存储信息对应的处理机，处理第二子任务。

5、结合第一方面，在第一方面的一个可能的实现方式中，基于处理数据上下文与第二任务存储信息，对异常数据进行恢复，包括：基于处理数据上下文与第二任务存储信息，将异常数据恢复为第二子任务；基于处理数据上下文与第二字子任务，将第二子任务恢复为第二数据处理任务；获取至少一台处理机的处理状态；基于处理状态，切分第二数据处理任务，得到至少一个第三子任务；标记至少一个第三子任务，形成与第三子任务相对应的第三任务存储信息；发送第三任务存储信息至存储设备；由与第三任务存储信息对应的处理机，处理第三子任务。

6、结合第一方面，在第一方面的一个可能的实现方式中，基于任务存储信息，通过主机标识、线程标识、处理数据上下文，恢复对第一子任务的处理，包括：基于主机标识、线程标识、处理数据上下文，通过预设的异步恢复程序，使第一子任务继续执行。

7、结合第一方面，在第一方面的一个可能的实现方式中，获取第一数据处理任务之后，还包括：基于第一数据处理任务，确定至少一个分组任务；标记每个分组任务，确定与分组任务相对应的分组标识；发送分组标识至存储设备。

8、结合第一方面，在第一方面的一个可能的实现方式中，切分第一数据处理任务，得到至少一个第一子任务，包括：切分每个分组任务，得到至少一个第一子任务。

9、第二方面，本发明提供了一种用于计算机设备的数据异常恢复装置，包括：任务获取模块，用于获取第一数据处理任务；切分模块，用于切分第一数据处理任务，得到至少一个第一子任务；标记模块，用于标记每个第一子任务，形成与第一子任务相对应的任务存储信息，任务存储信息包括：主机标识、线程标识、处理数据上下文；发送模块，用于发送任务存储信息至存储设备；任务处理模块，用于由与主机标识对应的处理机，处理第一子任务；信息获取模块，用于在子任务的处理过程中发生数据异常时，从存储设备获取任务存储信息；恢复模块，用于基于任务存储信息，通过主机标识、线程标识、处理数据上下文，恢复对第一子任务的处理。

10、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的用于计算机的数据异常恢复方法。

11、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的用于计算机的数据异常恢复方法。

12、本发明技术方案，具有如下优点：

13、本发明提供的一种用于计算机的数据异常恢复方法、装置，该方法通过对切分后的任务进行标记，形成与子任务对应的任务存储信息，并将任务存储信息存储在与处理机外部连接的存储设备中，以使在发生数据异常时，从存储设备获得任务存储信息，从而通过任务存储信息中储存的主机标识明确子任务是由哪台处理机执行的，通过线程标识明确是由处理机的哪些线程处理的，以及通过处理数据上下文明确子任务的内容，即保证恢复后的数据与切分后的子任务相符，进而保证在任务出现数据异常后，数据被正确恢复，满足不同应用场景的需求，提供了数据异常恢复的适用性。

技术特征：

1.一种用于计算机设备的数据异常恢复方法，其特征在于，所述计算机与至少一台处理机相连，至少一台所述处理机与存储设备相连，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述任务存储信息，通过所述主机标识、所述线程标识、所述处理数据上下文，恢复对所述第一子任务的处理，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述处理数据上下文与所述第二任务存储信息，对异常数据进行恢复，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述处理数据上下文与所述第二任务存储信息，对异常数据进行恢复，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述任务存储信息，通过所述主机标识、所述线程标识、所述处理数据上下文，恢复对所述第一子任务的处理，包括：基于所述主机标识、所述线程标识、所述处理数据上下文，通过预设的异步恢复程序，使所述第一子任务继续执行。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取第一数据处理任务之后，还包括：

7.根据权利要求6所述的方法，其特征在于，所述切分所述第一数据处理任务，得到至少一个第一子任务，包括：切分每个所述分组任务，得到至少一个第一子任务。

8.一种用于计算机设备的数据异常恢复装置，其特征在于，计算机与至少一台处理机相连，所述处理机与存储设备相连，所述装置包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的用于计算机设备的数据异常恢复。

技术总结
本发明涉及数字数据处理技术领域，公开了一种用于计算机设备的数据异常恢复方法、装置，该方法通过对切分后的任务进行标记，形成与子任务对应的任务存储信息，并将任务存储信息存储在与处理机外部连接的存储设备中，以使在发生数据异常时，从存储设备获得任务存储信息，从而通过任务存储信息中储存的主机标识明确子任务是由哪台处理机执行的，通过线程标识明确是由处理机的哪些线程处理的，以及通过处理数据上下文明确子任务的内容，进而保证在任务出现数据异常后，数据被正确恢复，以此满足不同应用场景的需求，提供了数据异常恢复的适用性。

技术研发人员：步显文,秦涛,周娜
受保护的技术使用者：浪潮通用软件有限公司
技术研发日：
技术公布日：2024/1/15