数据处理方法、数据处理装置、存储介质及服务器与流程

本公开涉及数据处理，尤其涉及一种数据处理方法、数据处理装置、存储介质及服务器。

背景技术：

1、dag(directed acyclic graph，有向无环图，分布式账本技术)，其独特的拓扑结构所带来的优异特性，经常被用于处理动态规划、导航中寻求最短路径、数据压缩等多种算法场景。自动驾驶数据处理流程涉及到很多处理步骤，比如图像去畸变、点云拼接、运动补偿等，各步骤可能随着算法训练需要动态调整，因此需借助dag技术将复杂流程管理起来。在使用dag技术时，目前只能进行固定路由，无法让用户根据运行时数据动态路由。

技术实现思路

1、有鉴于此，本公开实施例期望提供一种数据处理方法、数据处理装置、存储介质及服务器。

2、本公开的技术方案是这样实现的：

3、第一方面，本公开提供一种数据处理方法。

4、本公开实施例提供的数据处理方法，

5、应用于dag应用场景，包括：

6、基于所述dag应用场景中的数据处理任务，构建执行所述数据处理任务的拓扑结构；其中，所述拓扑结构中包含有多个上游任务节点和多个下游任务节点；每个上游任务节点和每个下游任务节点均设置有任务变量；所述任务变量用于指示每个任务节点执行所述数据处理任务时的当前任务状态；

7、基于所述各所述上游任务节点的任务变量，进行所述数据处理任务执行时的节点状态判断，得到所述上游任务节点的节点状态判断结果；

8、基于所述上游任务节点的节点状态判断结果，确定执行所述数据处理任务时所述下游任务节点的数据处理过程，以实现任务节点间动态路由。

9、在一些实施例中，所述基于所述各所述上游任务节点的任务变量，进行所述数据处理任务执行时的节点状态判断，得到所述上游任务节点的节点状态判断结果，包括：

10、确定路由所述下游任务节点中目标任务节点的判断条件；

11、基于所述各所述上游任务节点的任务变量，判断所述各所述上游任务节点的当前任务状态是否满足路由所述下游任务节点中目标任务节点的判断条件，以得到所述上游任务节点的节点状态判断结果；其中，

12、所述上游任务节点的节点状态判断结果，包括：所述各所述上游任务节点的当前任务状态满足路由所述下游任务节点中目标任务节点的判断条件，或所述各所述上游任务节点的当前任务状态不满足路由所述下游任务节点中目标任务节点的判断条件。

13、在一些实施例中，所述基于所述上游任务节点的节点状态判断结果，确定执行所述数据处理任务时所述下游任务节点的数据处理过程，包括：

14、若所述上游任务节点的节点状态判断结果为所述各所述上游任务节点的当前任务状态满足路由所述下游任务节点中目标任务节点的判断条件，基于所述下游任务节点中目标任务节点执行与所述上游任务节点的当前任务状态对应的数据处理任务。

15、在一些实施例中，所述任务变量包括变量名称和变量值；变量名称用于指示任务节点当前执行的数据处理任务，变量值用于指示数据处理任务的当前任务状态；

16、所述基于所述各所述上游任务节点的任务变量，进行所述数据处理任务执行时的节点状态判断，包括：

17、基于所述各所述上游任务节点的变量名称和变量值，进行所述数据处理任务执行时的节点状态判断。

18、在一些实施例中，所述基于所述各所述上游任务节点的任务变量，进行所述数据处理任务执行时的节点状态判断，得到所述上游任务节点的节点状态判断结果前，所述方法包括：

19、建立数据表；所述数据表中包含有作为任务变量的元数据或大数据；

20、在所述上游任务节点和所述下游任务节点间进行所述元数据及大数据共享；其中，所述数据表中存储的元数据或大数据包括任务id、数据键及数据值。

21、在一些实施例中，所述dag应用场景包括基于dag的车辆自动驾驶场景；

22、所述数据处理任务至少包括以下之一：路径动态规划、导航中寻求最短路径、数据压缩。

23、第二方面，本公开提供一种数据处理装置，应用于dag应用场景，包括：

24、拓扑结构构建模块，用于基于所述dag应用场景中的数据处理任务，构建执行所述数据处理任务的拓扑结构；其中，所述拓扑结构中包含有多个上游任务节点和多个下游任务节点；每个上游任务节点和每个下游任务节点均设置有任务变量；所述任务变量用于指示每个任务节点执行所述数据处理任务时的当前任务状态；

25、状态判断模块，用于基于所述各所述上游任务节点的任务变量，进行所述数据处理任务执行时的节点状态判断，得到所述上游任务节点的节点状态判断结果；

26、任务执行模块，用于基于所述上游任务节点的节点状态判断结果，确定执行所述数据处理任务时所述下游任务节点的数据处理过程，以实现任务节点间动态路由。

27、在一些实施例中，所述状态判断模块，用于

28、确定路由所述下游任务节点中目标任务节点的判断条件；

29、基于所述各所述上游任务节点的任务变量，判断所述各所述上游任务节点的当前任务状态是否满足路由所述下游任务节点中目标任务节点的判断条件，以得到所述上游任务节点的节点状态判断结果；其中，

30、所述上游任务节点的节点状态判断结果，包括：所述各所述上游任务节点的当前任务状态满足路由所述下游任务节点中目标任务节点的判断条件，或所述各所述上游任务节点的当前任务状态不满足路由所述下游任务节点中目标任务节点的判断条件。

31、第三方面，本公开提供一种计算机可读存储介质，其上存储有数据处理程序，该数据处理程序被处理器执行时，实现上述第一方面所述的数据处理方法。

32、第四方面，本公开提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的数据处理程序，所述处理器执行所述数据处理程序时，实现上述第一方面所述的数据处理方法。

33、根据本公开实施例的数据处理方法，，应用于dag应用场景，包括：基于dag应用场景中的数据处理任务，构建执行数据处理任务的拓扑结构；其中，拓扑结构中包含有多个上游任务节点和多个下游任务节点；每个上游任务节点和每个下游任务节点均设置有任务变量；任务变量用于指示每个任务节点执行数据处理任务时的当前任务状态；基于各上游任务节点的任务变量，进行数据处理任务执行时的节点状态判断，得到上游任务节点的节点状态判断结果；基于上游任务节点的节点状态判断结果，确定执行数据处理任务时下游任务节点的数据处理过程，以实现任务节点间动态路由。本技术中，通过每个上游任务节点和每个下游任务节点均设置有任务变量；任务变量用于指示每个任务节点执行数据处理任务时的当前任务状态；基于各上游任务节点的任务变量，进行数据处理任务执行时的节点状态判断，得到上游任务节点的节点状态判断结果；基于上游任务节点的节点状态判断结果，确定执行数据处理任务时下游任务节点的数据处理过程，从而有利于实现dag应用场景中任务节点间动态路由。

34、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。