批量数据处理的方法、装置和电子设备与流程

1.本发明涉及人工智能的技术领域，尤其是涉及一种批量数据处理的方法、装置和电子设备。


背景技术：

2.机器学习领域每日都会对图片数据集进行训练，在训练之前要对图片集进行分类、去重、删除低质量图片等操作，庞大的数据集执行以上操作会特别耗时，并不能及时在以上任务完成后自动进入数据集训练操作。
3.现在大多数机器学习企业，数据集处理(包括分类、去重和删除低质量图片)和数据集训练等操作分别进行，手动触发或定时触发，没有贯穿成任务流的形式进行编排调度，当前任务结束，下一任务不能及时开始，浪费服务器资源且效率低下。
4.综上，现有的批量数据处理的方法存在耗时严重、效率低下的技术问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种批量数据处理的方法、装置和电子设备，以缓解现有的批量数据处理的方法耗时严重、效率低下的技术问题。
6.第一方面，本发明实施例提供了一种批量数据处理的方法，包括：
7.采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版；
8.根据业务需求建立各所述数据处理子任务模版之间的依赖关系，进而得到数据处理工作流；
9.将所述数据处理工作流提交至kubernetes，以使所述kubernetes按照所述数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务，进而完成数据处理的任务。
10.进一步的，采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版，包括：
11.部署所述容器本地工作流引擎；
12.根据所述业务需求在所述容器本地工作流引擎中的所有模版类别中确定目标模版类别，并根据所述目标模版类别创建初始数据处理子任务模版；
13.根据所述业务需求对所述初始数据处理子任务模版进行配置，得到所述数据处理子任务模版。
14.进一步的，根据业务需求建立各所述数据处理子任务模版之间的依赖关系，包括：
15.根据所述业务需求在所述容器本地工作流引擎中的所有工作流建立类别中确定目标工作流建立类别，并根据所述目标工作流建立类别创建初始数据处理工作流；
16.在所述初始数据处理工作流中，根据所述业务需求配置各数据处理子任务模版之间的依赖关系，得到所述数据处理工作流。
17.进一步的，所述容器本地工作流引擎包括：argo；所述数据处理工作流包括：yaml
文件。
18.进一步的，所述数据处理子任务模版包括：多个分类子任务模版、去重子任务模版、删除低质量图片子任务模版和训练子任务模版；
19.所述数据处理工作流包括：多个所述分类子任务模版之间并行处理，所述去重子任务模版、所述删除低质量图片子任务模版和所述训练子任务模版之间串行处理，且多个所述分类子任务模版的任务全部完成后，再执行所述去重子任务模版的任务。
20.进一步的，所述方法还包括：
21.将所述数据处理工作流的执行进度发送至对应用户。
22.进一步的，所述方法还包括：
23.若当前所述数据处理子任务模版的任务执行失败后，在执行下一所述数据处理子任务模版的任务之前，再次执行当前所述数据处理子任务模版的任务。
24.第二方面，本发明实施例还提供了一种批量数据处理的装置，包括：
25.配置单元，用于采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版；
26.建立单元，用于根据业务需求建立各所述数据处理子任务模版之间的依赖关系，进而得到数据处理工作流；
27.数据处理单元，用于将所述数据处理工作流提交至kubernetes，以使所述kubernetes按照所述数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务，进而完成数据处理的任务。
28.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
29.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
30.在本发明实施例中，提供了一种批量数据处理的方法，包括：采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版；根据业务需求建立各数据处理子任务模版之间的依赖关系，进而得到数据处理工作流；将数据处理工作流提交至kubernetes，以使kubernetes按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务，进而完成数据处理的任务。通过上述描述可知，本发明的批量数据处理的方法中，将多个机器学习相关的数据处理子任务模版构建成了数据处理工作流，这样，在按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务时，存在并行关系的多个数据处理子任务模版的任务可以同时执行，并且当当前数据处理子任务模版的任务执行完成后，会立即自动执行下一数据处理子任务模版的任务，无需手动触发或定时触发，节省了数据处理的时间，提高了机器学习的数据处理的效率，缓解了现有的批量数据处理的方法耗时严重、效率低下的技术问题。
附图说明
31.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本发明实施例提供的一种批量数据处理的方法的流程图；
33.图2为本发明实施例提供的配置多个机器学习相关的数据处理子任务模版的流程图；
34.图3为本发明实施例提供的数据处理工作流的示意图；
35.图4为本发明实施例提供的一种批量数据处理的装置的示意图；
36.图5为本发明实施例提供的一种电子设备的示意图。
具体实施方式
37.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.目前，大多数机器学习企业，数据集处理(包括分类、去重和删除低质量图片)和数据集训练等操作分别进行，手动触发或定时触发，没有贯穿成任务流的形式进行编排调度，当前任务结束，下一任务不能及时开始，浪费服务器资源且效率低下。
39.基于此，本发明的批量数据处理的方法中，将多个机器学习相关的数据处理子任务模版构建成了数据处理工作流，这样，在按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务时，存在并行关系的多个数据处理子任务模版的任务可以同时执行，并且当当前数据处理子任务模版的任务执行完成后，会立即自动执行下一数据处理子任务模版的任务，无需手动触发或定时触发，节省了数据处理的时间，提高了机器学习的数据处理的效率。
40.为便于对本实施例进行理解，首先对本发明实施例所公开的一种批量数据处理的方法进行详细介绍。
41.实施例一：
42.根据本发明实施例，提供了一种批量数据处理的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
43.图1是根据本发明实施例的一种批量数据处理的方法的流程图，如图1所示，该方法包括如下步骤：
44.步骤s102，采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版；
45.在本发明实施例中，发明人考虑到，如今，容器和微服务正在加速ai开发，使组织可以一次构建应用程序并在任何地方运行它们。argo是一个开源的容器本地工作流引擎，用于在kubernetes上完成工作，所有任务作为pod进行管理。使用kubernetes上的argo工作流程，可以在很短的时间内轻松运行计算密集型作业，非常适合机器学习，以及大量的数据
处理，所以，发明人想到将开源的容器本地工作流引擎应用于机器学习。
46.在实际应用时，可以采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版，下文中再对该过程进行具体介绍，在此不再赘述。
47.步骤s104，根据业务需求建立各数据处理子任务模版之间的依赖关系，进而得到数据处理工作流；
48.具体的，在开源的容器本地工作流引擎中，建立各数据处理子任务模版之间的依赖关系，从而得到数据处理工作流，下文中再对该过程进行详细描述，在此不再赘述。
49.步骤s106，将数据处理工作流提交至kubernetes，以使kubernetes按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务，进而完成数据处理的任务。
50.在本发明实施例中，提供了一种批量数据处理的方法，包括：采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版；根据业务需求建立各数据处理子任务模版之间的依赖关系，进而得到数据处理工作流；将数据处理工作流提交至kubernetes，以使kubernetes按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务，进而完成数据处理的任务。通过上述描述可知，本发明的批量数据处理的方法中，将多个机器学习相关的数据处理子任务模版构建成了数据处理工作流，这样，在按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务时，存在并行关系的多个数据处理子任务模版的任务可以同时执行，并且当当前数据处理子任务模版的任务执行完成后，会立即自动执行下一数据处理子任务模版的任务，无需手动触发或定时触发，节省了数据处理的时间，提高了机器学习的数据处理的效率，缓解了现有的批量数据处理的方法耗时严重、效率低下的技术问题。
51.在本发明的一个可选实施例中，参考图2，上述步骤s102，采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版，具体包括如下步骤：
52.步骤s201，部署容器本地工作流引擎；
53.具体的，上述容器本地工作流引擎包括：argo。
54.步骤s202，根据业务需求在容器本地工作流引擎中的所有模版类别中确定目标模版类别，并根据目标模版类别创建初始数据处理子任务模版；
55.具体的，templates模版定义具体的数据处理工作流有四种模版类别，分别是：container、script、resource和suspend。
56.resource中可以配置cpu的核数和运行的内存，container为要运行的容器，container里配置镜像地址，镜像就是要运行的工程服务(例如分类的代码、去除的代码、删除低质量图片的代码)，镜像地址就是要运行的工程，工程都会存在一个代码仓库中，以镜像的形式会附有它的版本，代码仓库是所有的代码的集合，container，可以配置要运行的代码，以及对应的哪个版本号下的代码，里面也有command，即如何执行这个代码的一些命令，container就是要运行的代码，可以在container中配置，要运行的代码以及如何运行起来的一些参数。script可以配置初始化脚本的运行环境，配置一些初始化的命令。
57.步骤s203，根据业务需求对初始数据处理子任务模版进行配置，得到数据处理子任务模版。
[0058][0059]
上述是container的数据处理子任务模版。
[0060]
在本发明的一个可选实施例中，上述步骤s104，根据业务需求建立各数据处理子任务模版之间的依赖关系，具体包括如下步骤：
[0061]
(1)根据业务需求在容器本地工作流引擎中的所有工作流建立类别中确定目标工作流建立类别，并根据目标工作流建立类别创建初始数据处理工作流；
[0062]
具体的，工作流建立类别包括：steps和dag。
[0063]
(2)在初始数据处理工作流中，根据业务需求配置各数据处理子任务模版之间的依赖关系，得到数据处理工作流。
[0064]
具体的，数据处理工作流包括：yaml文件。
[0065]
在本发明的一个可选实施例中，数据处理子任务模版包括：多个分类子任务模版、去重子任务模版、删除低质量图片子任务模版和训练子任务模版；
[0066]
数据处理工作流包括：多个分类子任务模版之间并行处理，去重子任务模版、删除低质量图片子任务模版和训练子任务模版之间串行处理，且多个分类子任务模版的任务全部完成后，再执行去重子任务模版的任务。
[0067]
如图3所示，其中示出了一种数据处理工作流，业务需求为：对图片数据集进行训
练之前要对图片集进行分类、去重、删除低质量图片等操作，例如，图片分类操作可按照时间段划分，自动创建多个分类子任务并行处理，分类子任务全部结束后进入下一操作，进入去重、删除低质量图片任务的执行，以上任务流完成后自动进入训练任务，训练任务完成后，整个工作流结束。
[0068]
具体的业务可以为：创建12个分类子任务，例如，第一个分类子任务只处理时间为1月1日0时到1月31日23点59的图片，各分类子任务间并行；分类、去重、删除低质量图片任务间串行处理，并且去重依赖于所有的分类子任务全部结束才能开始，删除低质量图片依赖于去重任务结束才能开始。
[0069]
在本发明的一个可选实施例中，该方法还包括：
[0070]
将数据处理工作流的执行进度发送至对应用户。
[0071]
在本发明的一个可选实施例中，该方法还包括：
[0072]
若当前数据处理子任务模版的任务执行失败后，在执行下一数据处理子任务模版的任务之前，再次执行当前数据处理子任务模版的任务。
[0073]
具体的，再次执行当前数据处理子任务模版的任务的次数可以根据需要进行设置，上述失败重试机制可根据需要进行配置。
[0074]
在本发明的一个可选实施例中，各数据处理子任务模版可根据需要进行调整，且数据处理工作流可根据需要进行更新，具体包括：增加数据处理子任务模版、删除数据处理子任务模版和修改数据处理子任务模版。
[0075]
本发明本质上是批量图片的分类、去重、删除低质量进入训练的工作流引擎编排，工作流引擎使用的argo专为容器而设计，没有传统vm和基于服务器的环境的开销和限制，可以在任何kubernetes集群上运行，并且可以在kubernetes上协调运行作业实现云量级的超级计算机。
[0076]
本发明的方法具有以下优点：提升训练工作的效率，分类任务可以起多个分类子任务并行处理，提高效率，并且分类结束后马上通知下一任务开始，待删除低质量图片结束后马上进入训练任务，提高了整体流程的效率；模板可复用，随着整个工作流程规范后，每日训练只需要重复该流程，本发明的工作流模板配置后可随时重复执行；失败重试机制，按正确的顺序执行这些任务，可在运行下一个任务之前重试任何失败的任务，还会监视进度并在发生故障时通知您的团队；可扩展性，刚开始的时候，可能每日按特定顺序运行这些任务。随着项目发展，任务相互依赖的复杂程度增加，这些任务变成具有动态分支的网络，某些情况下，某些任务会引发其他任务，可随时调整任务流程templates进行解决。
[0077]
本发明的主要技术点：
[0078]
1、引入argo编排与机器学习相关的任务，形成任务流程工具模板让机器学习企业具备集中，可重复，可扩展和高效的工作流程；
[0079]
2、运用argo workflow steps机制并行创建多个图片集分类任务；
[0080]
3、运用argo workflow dag设置分类、去重、删除低质量图片、训练等任务间前置依赖关系；
[0081]
4、可视化监控任务进度，并可在失败时通知项目团队；
[0082]
5、按正确的任务流程执行任务时，可在运行下一个任务之前重试任何失败的任务。
[0083]
实施例二：
[0084]
本发明实施例还提供了一种批量数据处理的装置，该批量数据处理的装置主要用于执行本发明实施例一中所提供的批量数据处理的方法，以下对本发明实施例提供的批量数据处理的装置做具体介绍。
[0085]
图4是根据本发明实施例的一种批量数据处理的装置的示意图，如图4所示，该装置主要包括：配置单元10，建立单元20和数据处理单元30，其中：
[0086]
配置单元，用于采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版；
[0087]
建立单元，用于根据业务需求建立各数据处理子任务模版之间的依赖关系，进而得到数据处理工作流；
[0088]
数据处理单元，用于将数据处理工作流提交至kubernetes，以使kubernetes按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务，进而完成数据处理的任务。
[0089]
在本发明实施例中，提供了一种批量数据处理的装置，包括：采用开源的容器本地工作流引擎配置多个机器学习相关的数据处理子任务模版；根据业务需求建立各数据处理子任务模版之间的依赖关系，进而得到数据处理工作流；将数据处理工作流提交至kubernetes，以使kubernetes按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务，进而完成数据处理的任务。通过上述描述可知，本发明的批量数据处理的装置中，将多个机器学习相关的数据处理子任务模版构建成了数据处理工作流，这样，在按照数据处理工作流依次执行其中所包含的各数据处理子任务模版对应的任务时，存在并行关系的多个数据处理子任务模版的任务可以同时执行，并且当当前数据处理子任务模版的任务执行完成后，会立即自动执行下一数据处理子任务模版的任务，无需手动触发或定时触发，节省了数据处理的时间，提高了机器学习的数据处理的效率，缓解了现有的批量数据处理的方法耗时严重、效率低下的技术问题。
[0090]
可选地，配置单元还用于：部署容器本地工作流引擎；根据业务需求在容器本地工作流引擎中的所有模版类别中确定目标模版类别，并根据目标模版类别创建初始数据处理子任务模版；根据业务需求对初始数据处理子任务模版进行配置，得到数据处理子任务模版。
[0091]
可选地，建立单元还用于：根据业务需求在容器本地工作流引擎中的所有工作流建立类别中确定目标工作流建立类别，并根据目标工作流建立类别创建初始数据处理工作流；在初始数据处理工作流中，根据业务需求配置各数据处理子任务模版之间的依赖关系，得到数据处理工作流。
[0092]
可选地，容器本地工作流引擎包括：argo；数据处理工作流包括：yaml文件。
[0093]
可选地，数据处理子任务模版包括：多个分类子任务模版、去重子任务模版、删除低质量图片子任务模版和训练子任务模版；数据处理工作流包括：多个分类子任务模版之间并行处理，去重子任务模版、删除低质量图片子任务模版和训练子任务模版之间串行处理，且多个分类子任务模版的任务全部完成后，再执行去重子任务模版的任务。
[0094]
可选地，该装置还用于：将数据处理工作流的执行进度发送至对应用户。
[0095]
可选地，该装置还用于：若当前数据处理子任务模版的任务执行失败后，在执行下
一数据处理子任务模版的任务之前，再次执行当前数据处理子任务模版的任务。
[0096]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0097]
如图5所示，本技术实施例提供的一种电子设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述批量数据处理的方法的步骤。
[0098]
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述批量数据处理的方法。
[0099]
处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
[0100]
对应于上述批量数据处理的方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述批量数据处理的方法的步骤。
[0101]
本技术实施例所提供的批量数据处理的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本技术实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
[0102]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0103]
再例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0104]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0105]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0106]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述车辆标记方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0107]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0108]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。