基于工作流对算法模型进行编排的方法、装置及介质与流程

1.本发明涉及数据处理技术领域，更具体地说是一种基于工作流对算法模型进行编排的方法、装置及介质。


背景技术：

2.通常深度学习训练出来的算法模型，只具有单一功能，例如检测人脸/安全帽，上衣颜色分类等，在实际应用场景中，使用的算法产品需要将多个单一算法模型进行不同程度的关联和组装。针对不同场景下，不同算法产品的开发，都需要相关开发人员通过编码对接等形式对单个模型进行组合和使用。其他不同应用场景，大部分情况都需要进行重复对接，会耗费大量的人力和时间，进行重复繁琐的业务编码开发，开发效率较为低下，不利于项目的快速交付和产品的快速迭代。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供基于工作流对算法模型进行编排的方法、装置及介质，以适应各种特殊复杂的算法应用场景，能够快速对算法产品进行迭代和项目的交付。
4.为实现上述目的，本发明采用以下技术方案：第一方面，基于工作流对算法模型进行编排的方法，包括：创建算法项目；根据算法项目进行工作流程编排，以得到模型编排文件；根据应用平台对模型编排文件进行打包和转换，以得到能够在对应应用平台使用的算法产品。
5.其进一步技术方案为：所述创建算法项目包括：配置项目的通用属性；配置项目需使用到的算法模型；配置项目需使用的应用平台。
6.其进一步技术方案为：所述根据算法项目进行工作流程编排，以得到模型编排文件，包括：根据配置的项目需使用到的算法模型，从模型节点库中调取对应的算法模型；将调取到的所有算法模型按照编排规则进行编排，以得到编排结果；根据编排结果生成模型编排文件。
7.其进一步技术方案为：所述根据应用平台对模型编排文件进行打包和转换，以得到能够在对应应用平台使用的算法产品，包括：使用docker容器运行对应的应用平台的已经预置好转换工具及脚本的容器镜像；利用容器镜像对模型编排文件进行转换，以得到转换后的文件；对转换后的文件进行打包，以得到算法产品。
8.第二方面，基于工作流对算法模型进行编排的装置，包括创建单元、编排单元以及打包转换单元；所述创建单元，用于创建算法项目；所述编排单元，用于根据算法项目进行工作流程编排，以得到模型编排文件；所述打包转换单元，用于根据应用平台对模型编排文件进行打包和转换，以得到能够在对应应用平台使用的算法产品。
9.其进一步技术方案为：所述创建单元包括第一配置模块、第二配置模块以及第三配置模块；所述第一配置模块，用于配置项目的通用属性；所述第二配置模块，用于配置项目需使用到的算法模型；所述第三配置模块，用于配置项目需使用的应用平台。
10.其进一步技术方案为：所述编排单元包括调取模块、编排模块以及生成模块；所述调取模块，用于根据配置的项目需使用到的算法模型，从模型节点库中调取对应的算法模型；所述编排模块，用于将调取到的所有算法模型按照编排规则进行编排，以得到编排结果；所述生成模块，用于根据编排结果生成模型编排文件。
11.其进一步技术方案为：所述打包转换单元包括运行模块、转换模块以及打包模块；所述运行模块，用于使用docker容器运行对应的应用平台的已经预置好转换工具及脚本的容器镜像；所述转换模块，用于利用容器镜像对模型编排文件进行转换，以得到转换后的文件；所述打包模块，用于对转换后的文件进行打包，以得到算法产品。
12.第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于工作流对算法模型进行编排的方法步骤。
13.第四方面，一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如上述的基于工作流对算法模型进行编排的方法步骤。
14.本发明与现有技术相比的有益效果是：本发明以算法项目为组织格式，隔离不同算法应用的使用场景，算法项目内部可以包含多个自定义业务算法产品，方便对应算法产品的管理，每个算法产品进行独立的工作流编排设计，有利于算法产品版本的快速迭代和项目交付，大大减少了开发过程中对不同算法产品的接入成本。算法项目的配置形式，是基于实际使用场景的，因此适用于各种复杂算法使用流程，通过封装了多种算法产品的算法项目，提供给使用者统一的算法接口，因此不再需要多次重复的对接开发工作。
15.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
16.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明具体实施例提供的基于工作流对算法模型进行编排的方法的场景示意图；图2为本发明具体实施例提供的基于工作流对算法模型进行编排的方法的流程图；图3为本发明具体实施例提供的基于工作流对算法模型进行编排的装置的示意性框图；图4为本发明具体实施例提供的一种计算机设备的示意性框图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和
ꢀ“
包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
20.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
21.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
22.请参阅图1和图2，图1为本发明实施例提供的基于工作流对算法模型进行编排的方法的应用场景示意图；图2为本发明实施例提供的基于工作流对算法模型进行编排的方法的流程图，该基于工作流对算法模型进行编排的方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
23.如图2所示，基于工作流对算法模型进行编排的方法，包括以下步骤：s10-s30。
24.s10、创建算法项目。
25.针对不同算法应用的使用场景，算法项目内部可以包含一个或者多个自定义业务算法产品。每个算法产品进行独立的工作流设计，算法产品的迭代和更新也是独立完成。
26.在一实施例中，步骤s10具体包括以下步骤：s101-s103。
27.s101、配置项目的通用属性。
28.通用属性包括项目名称和项目描述等等信息，在本实施例中，以创建行人检测算方项目为例进行说明。
29.s102、配置项目需使用到的算法模型。
30.在本实施例中，行人检测算方项目包括两种算法模型，分别是检测人体模型和检
测头盔模型，即行人检测算方项目需要使用到的算法模型为检测人体模型和检测头盔模型。
31.s103、配置项目需使用的应用平台。
32.在本实施例中，应用平台包括移动端sdk、服务端sdk以及服务端api。可根据实际需要配置算法项目所对应的平台。
33.s20、根据算法项目进行工作流程编排，以得到模型编排文件。
34.在一实施例中，步骤s20具体包括以下步骤：s201-s203。
35.s201、根据配置的项目需使用到的算法模型，从模型节点库中调取对应的算法模型。
36.模型节点库中封装有算法项目所需要的算法模型，不同的算法项目需要用到不同的算法模型。
37.在本实施例中，行人检测算方项目需要使用到检测人体模型和检测头盔模型，那么需要从模型节点库调取这两个模型。
38.s202、将调取到的所有算法模型按照编排规则进行编排，以得到编排结果。
39.在工作流编排的过程中，不仅仅只从模型节点库中调取需要用到的算法模型，还需要用到完成工作流编排的另外的节点。
40.这些另外的节点一般包括输入结点、数据预处理节点、标签选择节点、流程节点、传统机器学习模型节点以及输出节点。
41.其中，输入结点：表示算法产品推理流程中，业务场景的数据输入，分为图片，视频和文本数据。数据预处理节点：通常用于输入结点之后，用于对输入结点的特殊处理。例如对图片的裁剪，压缩，对齐等操作。标签选择节点：用于模型之间联系，当前模型需要提取上一个模型输出的哪些标签数据作为当前模型的输入。流程节点：用于做逻辑流程判断，通常使用于模型输出数据之后，对输出的结果进行判断。例如选择是否对当前标签进行输出，如果达到某个阈值才输出结果或者对检测面积大小的判断等操作。传统机器学习模型节点：在某些特殊场景下，传统机器学习模型使用场景更优，因此可以在整个算法编排流程中整合传统机器学习模型，使得整体算法产品达到最优。输出节点：用于定义经过编排的整个算法工作流的输出数据。
42.每一类节点还包含多种实现，每个节点有自己特殊的属性设置，通过对节点进行连线的形式，来实现不同算法产品之间的差异性。节点的不同选择，节点属性值的不同，节点之间连接方式的不同，都代表着不同的流程，也代表不同的算法产品。
43.当选择好所需的节点后，便可根据编排规则进行编排。编排规则是在业务设计前已经规划好的。编排规则一般包括节点编排的先后顺序以及各节点之间的关联属性。
44.s203、根据编排结果生成模型编排文件。
45.模型编排文件生成之后，需要对其进行验证，验证的方式是看模型编排文件是否满足算法项目的属性要求，如果验证通过，则进行后续的处理，如果验证不通过，则查找出不通过的信息，并将该信息以可视化的方式呈现，以达到提醒的目的。
46.s30、根据应用平台对模型编排文件进行打包和转换，以得到能够在对应应用平台使用的算法产品。
47.在一实施例中，步骤s30具体包括以下步骤：s301-s303。
48.s301、使用docker容器运行对应的应用平台的已经预置好转换工具及脚本的容器镜像。
49.使用docker容器运行不同的平台已经预置好转换工具及脚本的容器镜像，包括不同类别模型转换为安卓ncnn模型的镜像, 转换为linux mxnet支持模型的镜像等。模型转换为深度学习框架较为普遍通用的做法，除此之外还需要对不同场景下的模型做专门的优化与压缩。
50.s302、利用容器镜像对模型编排文件进行转换，以得到转换后的文件。
51.s303、对转换后的文件进行打包，以得到算法产品。
52.打包过程即是将转换后的模型编排文件生成给外部系统生成算法sdk调用使用。调用方只需要对算法产品进行一次对接即可，方便了项目的集成和使用。
53.本发明以算法项目为组织格式，隔离不同算法应用的使用场景，算法项目内部可以包含多个自定义业务算法产品，方便对应算法产品的管理，每个算法产品进行独立的工作流编排设计，有利于算法产品版本的快速迭代和项目交付，大大减少了开发过程中对不同算法产品的接入成本。算法项目的配置形式，是基于实际使用场景的，因此适用于各种复杂算法使用流程，通过封装了多种算法产品的算法项目，提供给使用者统一的算法接口，因此不再需要多次重复的对接开发工作。
54.图3为本发明实施例提供的基于工作流对算法模型进行编排的装置的示意性框图；对应于上述的基于工作流对算法模型进行编排的方法，本发明实施例还提供了基于工作流对算法模型进行编排的装置100。
55.如图3所示，基于工作流对算法模型进行编排的装置100，包括创建单元110、编排单元120以及打包转换单元130。
56.创建单元110，用于创建算法项目。
57.针对不同算法应用的使用场景，算法项目内部可以包含一个或者多个自定义业务算法产品。每个算法产品进行独立的工作流设计，算法产品的迭代和更新也是独立完成。
58.在一实施例中，创建单元包括第一配置模块、第二配置模块以及第三配置模块。
59.第一配置模块，用于配置项目的通用属性。
60.通用属性包括项目名称和项目描述等等信息，在本实施例中，以创建行人检测算方项目为例进行说明。
61.第二配置模块，用于配置项目需使用到的算法模型。
62.在本实施例中，行人检测算方项目包括两种算法模型，分别是检测人体模型和检测头盔模型，即行人检测算方项目需要使用到的算法模型为检测人体模型和检测头盔模型。
63.第三配置模块，用于配置项目需使用的应用平台。
64.在本实施例中，应用平台包括移动端sdk、服务端sdk以及服务端api。可根据实际需要配置算法项目所对应的平台。
65.编排单元120，用于根据算法项目进行工作流程编排，以得到模型编排文件。
66.在一实施例中，编排单元120包括调取模块、编排模块以及生成模块。
67.调取模块，用于根据配置的项目需使用到的算法模型，从模型节点库中调取对应的算法模型。
68.模型节点库中封装有算法项目所需要的算法模型，不同的算法项目需要用到不同的算法模型。
69.在本实施例中，行人检测算方项目需要使用到检测人体模型和检测头盔模型，那么需要从模型节点库调取这两个模型。
70.编排模块，用于将调取到的所有算法模型按照编排规则进行编排，以得到编排结果。
71.在工作流编排的过程中，不仅仅只从模型节点库中调取需要用到的算法模型，还需要用到完成工作流编排的另外的节点。
72.这些另外的节点一般包括输入结点、数据预处理节点、标签选择节点、流程节点、传统机器学习模型节点以及输出节点。
73.其中，输入结点：表示算法产品推理流程中，业务场景的数据输入，分为图片，视频和文本数据。数据预处理节点：通常用于输入结点之后，用于对输入结点的特殊处理。例如对图片的裁剪，压缩，对齐等操作。标签选择节点：用于模型之间联系，当前模型需要提取上一个模型输出的哪些标签数据作为当前模型的输入。流程节点：用于做逻辑流程判断，通常使用于模型输出数据之后，对输出的结果进行判断。例如选择是否对当前标签进行输出，如果达到某个阈值才输出结果或者对检测面积大小的判断等操作。传统机器学习模型节点：在某些特殊场景下，传统机器学习模型使用场景更优，因此可以在整个算法编排流程中整合传统机器学习模型，使得整体算法产品达到最优。输出节点：用于定义经过编排的整个算法工作流的输出数据。
74.每一类节点还包含多种实现，每个节点有自己特殊的属性设置，通过对节点进行连线的形式，来实现不同算法产品之间的差异性。节点的不同选择，节点属性值的不同，节点之间连接方式的不同，都代表着不同的流程，也代表不同的算法产品。
75.当选择好所需的节点后，便可根据编排规则进行编排。编排规则是在业务设计前已经规划好的。编排规则一般包括节点编排的先后顺序以及各节点之间的关联属性。
76.生成模块，用于根据编排结果生成模型编排文件。
77.模型编排文件生成之后，需要对其进行验证，验证的方式是看模型编排文件是否满足算法项目的属性要求，如果验证通过，则进行后续的处理，如果验证不通过，则查找出不通过的信息，并将该信息以可视化的方式呈现，以达到提醒的目的。
78.打包转换单元130，用于根据应用平台对模型编排文件进行打包和转换，以得到能够在对应应用平台使用的算法产品。
79.在一实施例中，打包转换单元130包括运行模块、转换模块以及打包模块。
80.运行模块，用于使用docker容器运行对应的应用平台的已经预置好转换工具及脚本的容器镜像。
81.使用docker容器运行不同的平台已经预置好转换工具及脚本的容器镜像，包括不同类别模型转换为安卓ncnn模型的镜像, 转换为linux mxnet支持模型的镜像等。模型转换为深度学习框架较为普遍通用的做法，除此之外还需要对不同场景下的模型做专门的优化与压缩。
82.转换模块，用于利用容器镜像对模型编排文件进行转换，以得到转换后的文件。
83.打包模块，用于对转换后的文件进行打包，以得到算法产品。
84.打包过程即是将转换后的模型编排文件生成给外部系统生成算法sdk调用使用。调用方只需要对算法产品进行一次对接即可，方便了项目的集成和使用。
85.本发明以算法项目为组织格式，隔离不同算法应用的使用场景，算法项目内部可以包含多个自定义业务算法产品，方便对应算法产品的管理，每个算法产品进行独立的工作流编排设计，有利于算法产品版本的快速迭代和项目交付，大大减少了开发过程中对不同算法产品的接入成本。算法项目的配置形式，是基于实际使用场景的，因此适用于各种复杂算法使用流程，通过封装了多种算法产品的算法项目，提供给使用者统一的算法接口，因此不再需要多次重复的对接开发工作。
86.上述基于工作流对算法模型进行编排的装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
87.请参阅图4，图4是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
88.如图4所示，该计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的基于工作流对算法模型进行编排的方法步骤。
89.该计算机设备700可以是终端或服务器。该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
90.该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种基于工作流对算法模型进行编排的方法。
91.该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
92.该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种基于工作流对算法模型进行编排的方法。
93.该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：创建算法项目；根据算法项目进行工作流程编排，以得到模型编排文件；根据应用平台对模型编排文件进行打包和转换，以得到能够在对应应用平台使用的算法产品。
94.其中：所述创建算法项目包括：配置项目的通用属性；配置项目需使用到的算法模型；配置项目需使用的应用平台。
95.其中：所述根据算法项目进行工作流程编排，以得到模型编排文件，包括：
根据配置的项目需使用到的算法模型，从模型节点库中调取对应的算法模型；将调取到的所有算法模型按照编排规则进行编排，以得到编排结果；根据编排结果生成模型编排文件。
96.其中：所述根据应用平台对模型编排文件进行打包和转换，以得到能够在对应应用平台使用的算法产品，包括：使用docker容器运行对应的应用平台的已经预置好转换工具及脚本的容器镜像；利用容器镜像对模型编排文件进行转换，以得到转换后的文件；对转换后的文件进行打包，以得到算法产品。
97.应当理解，在本技术实施例中，处理器720可以是中央处理单元 (central processing unit，cpu)，该处理器720还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
98.本领域技术人员可以理解，图4中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
99.在本发明的另一实施例中提供了一种计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于工作流对算法模型进行编排的方法。
100.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
101.在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
102.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案
的目的。
103.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
104.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
105.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。