算子模型生成方法、装置和设备与流程

文档序号:33625566发布日期:2023-03-28 20:28阅读:52来源:国知局
算子模型生成方法、装置和设备与流程

1.本技术涉及深度学习技术领域,特别涉及一种算子模型生成方法、装置和设备。


背景技术:

2.全球信息化快速发展的大背景下,深度学习技术在传统行业的应用越来越广泛,其能够针对某一具体应用领域研究多种类型的算法。为了将算法与业务流程耦合,不同业务场景下的算法通过算子管理系统进行管理。然而当前的算子管理多以不同平台提供不同服务的形式,缺乏全流程统一管理,无法将算子模型训练、算子模型测试及算子发布进行流程化串联。
3.因此,提供一种能够解决相关技术中无法将算子模型训练、算子模型测试及算子发布进行流程化串联的问题的方法是业界所关心的。


技术实现要素:

4.本技术的目的是提供一种算子模型生成方法、装置和设备,用以解决相关技术中无法将算子模型训练、算子模型测试及算子发布进行流程化串联的问题。
5.第一方面,本技术提供一种算子模型生成方法,所述方法包括:
6.响应于用户创建目标算子的指令,在所述目标算子所属的算法类别下的算子库内创建目标算子,并为所述目标算子配置基础信息;
7.获取所述目标算子的模型训练信息,并基于所述模型训练信息,对所述目标算子进行训练,得到所述目标算子的最优模型;
8.分别针对多个平台,将所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型;所述转换模型中包含所述目标算子的算子配置信息;
9.将所述目标算子的多个转换模型中适配发布平台的多个转换模型发送至对应的发布平台进行发布。
10.在一种可能的实施方式中,所述目标算子的算子配置信息包括:基础信息、可操作信息、输出信息;
11.其中,所述基础信息包含算子名称、算子输入输出、算子创建者、算子部署配置,所述可操作信息包含算子库版本、算子模型训练信息、模型转换配置、测试演示配置、算子测试配置、算子发布配置,输出信息包含算子训练记录、算子模型转换记录、算子测试记录、算子发布记录。
12.在一种可能的实施方式中,所述获取所述目标算子的模型训练信息,并基于所述模型训练信息,对所述目标算子进行训练,得到所述目标算子的最优模型,包括:
13.若所述模型训练信息指示选择已有模型配置参数进行训练,则基于包含所述已有模型配置参数的所述模型训练信息创建第一训练任务,并调用训练平台启动所述第一训练任务;
14.若所述训练配置信息指示选择新增模型配置参数进行训练,则基于包含所述新增
模型配置参数的所述模型训练信息创建第二训练任务,并调用训练平台启动所述第二训练任务;
15.执行对应不同训练任务的训练脚本,对所述目标算子进行训练,得到所述目标算子的多个训练模型;
16.对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型。
17.在一种可能的实施方式中,所述对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型,包括:
18.响应于用户的选择指令,从所述目标算子的多个训练模型中选择所述目标算子的最优模型;或者
19.响应于训练平台的自动优选指令,以寻找当前训练结果中的最优模型为基准对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型。
20.在一种可能的实施方式中,所述分别针对多个平台,将所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型,包括:
21.分别针对多个平台,根据需要适配的平台,确定所述最优模型转换到需要适配的平台的模型转换配置信息;
22.基于所述模型转换配置信息,调用模型转换工具对所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型。
23.在一种可能的实施方式中,所述方法还包括:
24.将所述模型转换配置信息与所述最优模型的已有配置信息进行比较,若确定所述模型转换配置信息与所述已有配置信息不一致,则采用所述模型转换配置信息替换所述已有配置信息。
25.在一种可能的实施方式中,在将所述目标算子的转换模型进行发布之前,所述方法还包括:
26.将所述转换模型的测试演示包输入测试平台,得到测试结果;
27.若确定所述测试结果为所述转换模型合格,则执行所述将所述目标算子的转换模型进行发布的步骤;
28.若确定所述测试结果为所述转换模型不合格,获取所述目标算子的修改后的转换模型,并将所述修改后的转换模型进行发布。
29.在一种可能的实施方式中,所述方法还包括:
30.响应于拖拽算子组建方案指令,将所述目标算子与定制化方案涉及的算子集成到所述定制化方案中;所述定制化方案由用户根据应用场景选定的多个算子组成。
31.第二方面,本技术提供一种算子模型生成装置,所述装置包括:
32.目标算子创建模块,被配置为响应于用户创建目标算子的指令,在所述目标算子所属的算法类别下的算子库内创建目标算子,并为所述目标算子配置基础信息;
33.目标算子训练模块,被配置为获取所述目标算子的模型训练信息,并基于所述模型训练信息,对所述目标算子进行训练,得到所述目标算子的最优模型;
34.目标算子转换模块,被配置为分别针对多个平台,将所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型;所述转换模型中包含所述目标算子的算子配置信息;
35.目标算子发布模块,被配置为将所述目标算子的多个转换模型中适配发布平台的多个转换模型发送至对应的发布平台进行发布。
36.在一种可能的实施方式中,所述目标算子的算子配置信息包括:基础信息、可操作信息、输出信息;
37.其中,所述基础信息包含算子名称、算子输入输出、算子创建者、算子部署配置,所述可操作信息包含算子库版本、算子模型训练信息、模型转换配置、测试演示配置、算子测试配置、算子发布配置,输出信息包含算子训练记录、算子模型转换记录、算子测试记录、算子发布记录。
38.在一种可能的实施方式中,执行所述获取所述目标算子的模型训练信息,并基于所述模型训练信息,对所述目标算子进行训练,得到所述目标算子的最优模型,所述目标算子训练模块被配置为:
39.若所述模型训练信息指示选择已有模型配置参数进行训练,则基于包含所述已有模型配置参数的所述模型训练信息创建第一训练任务,并调用训练平台启动所述第一训练任务;
40.若所述训练配置信息指示选择新增模型配置参数进行训练,则基于包含所述新增模型配置参数的所述模型训练信息创建第二训练任务,并调用训练平台启动所述第二训练任务;
41.执行对应不同训练任务的训练脚本,对所述目标算子进行训练,得到所述目标算子的多个训练模型;
42.对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型。
43.在一种可能的实施方式中,执行所述对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型,所述目标算子训练模块被配置为:
44.响应于用户的选择指令,从所述目标算子的多个训练模型中选择所述目标算子的最优模型;或者
45.响应于训练平台的自动优选指令,以寻找当前训练结果中的最优模型为基准对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型。
46.在一种可能的实施方式中,执行所述分别针对多个平台,将所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型,所述目标算子转换模块被配置为:
47.分别针对多个平台,根据需要适配的平台,确定所述最优模型转换到需要适配的平台的模型转换配置信息;
48.基于所述模型转换配置信息,调用模型转换工具对所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型。
49.在一种可能的实施方式中,所述目标算子转换模块还被配置为:
50.将所述模型转换配置信息与所述最优模型的已有配置信息进行比较,若确定所述模型转换配置信息与所述已有配置信息不一致,则采用所述模型转换配置信息替换所述已有配置信息。
51.在一种可能的实施方式中,在将所述目标算子的转换模型进行发布之前,所述装置还被配置为:
52.将所述转换模型的测试演示包输入测试平台,得到测试结果;
53.若确定所述测试结果为所述转换模型合格,则执行所述将所述目标算子的转换模型进行发布的步骤;
54.若确定所述测试结果为所述转换模型不合格,获取所述目标算子的修改后的转换模型,并将所述修改后的转换模型进行发布。
55.在一种可能的实施方式中,所述装置还被配置为:
56.响应于拖拽算子组建方案指令,将所述目标算子与定制化方案涉及的算子集成到所述定制化方案中;所述定制化方案由用户根据应用场景选定的多个算子组成。
57.第三方面,本技术提供一种电子设备,包括:
58.存储器,用于存储处理器的可执行指令;
59.处理器,用于执行所述可执行指令,以实现如上述第一方面中任一项所述的算子模型生成方法。
60.第四方面,本技术提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述第一方面中任一项所述的算子模型生成方法。
61.第五方面,本技术提供一种计算机程序产品,包括计算机程序:
62.所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的算子模型生成方法。
63.本技术的实施例提供的技术方案至少带来以下有益效果:
64.本技术实施例中,通过将算子的算法库、模型、训练代码、训练集、测试方案等信息统一通过单个算子进行绑定,实现了算子资源的管理统一,能够高效调用资源,同时支持同业务场景下的算子进行修改和复用,提高了算子的复用效率;还通过训练、转换、测试、发布可在单一界面执行,实现了算子的全流程操作,无需为了达成需求在多个平台之间来回跳转,简洁方便地完成了算子的全生命周期。
65.本技术的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
66.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
67.图1为本技术实施例提供的算子操作台的示意图;
68.图2为本技术实施例提供的算子模型生成方法的整体流程示意图;
69.图3为本技术实施例提供的步骤202的流程示意图;
70.图4为本技术实施例提供的步骤203的流程示意图;
71.图5为本技术实施例提供的对目标算子的转换模型进行测试的流程示意图;
72.图6为本技术实施例提供的算子模型生成装置的结构示意图;
73.图7为本技术实施例提供的电子设备的结构示意图。
具体实施方式
74.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
75.并且,在本技术实施例的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况,另外,在本技术实施例的描述中,“多个”是指两个或多于两个。
76.以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征,在本技术实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
77.相关技术中,出于方便用户查找和调用算子的目的,实现了对算子基于功能、应用场景、框架类型、性能和测试信息等算子基本进行简单分类入库。但相关技术仅对算子不可变的基本属性进行抽象分类管理,算子自身可变的部分例如运行配置、编译配置等都无法进行修改,导致相同业务场景下的单个算子不具有复用性,无法调整以使用不同场景和方案;且相关技术缺乏单算子的模型训练、模型转换、测试、发布过程,无法将算子和训练模型关联,使得单算子的一体化管理成为难题。
78.有鉴于此,本技术提供了一种算子模型生成方法、装置和设备,用以解决相关技术中无法将算子模型训练、算子模型测试及算子发布进行流程化串联的问题。
79.本技术的发明构思可概括为:响应于用户创建目标算子的指令,在目标算子所属的算法类别下的算子库内创建目标算子,获取目标算子的模型训练信息,并基于模型训练信息,对目标算子进行训练,得到目标算子的最优模型,然后分别针对多个平台,将最优模型进行模型转换,得到目标算子适配多个平台的多个转换模型,最后,将目标算子的多个转换模型中适配发布平台的多个转换模型发送至对应的发布平台进行发布。综上,本技术实施例通过将算子的算法库、模型、训练代码、训练集、测试方案等信息通过单个算子进行绑定,实现了算子资源的统一管理,能够高效调用资源,同时支持同业务场景下的算子进行修改和复用,提高了算子的复用效率;还通过训练、转换、测试、发布可在单一界面执行,实现了算子的全流程操作,无需为了达成需求在多个平台之间来回跳转,简洁方便地完成了算子的全生命周期。
80.在介绍完本技术实施例的主要发明思想之后,下面对本技术实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本技术实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本技术实施例提供的技术方案。
81.为了便于理解本技术实施例提供的算子模型生成方法,下面结合附图对此进行进一步说明。
82.在一种可能的实施方式中,如图1为算子操作台的示意图,主要由算子配置、模型训练、模型转换、算子测试、算子发布几部分构成,各部分主要功能如下:
83.(1)算子配置
84.算子操作台使用算法大类和业务场景标签唯一确定一个算子,算子配置信息主要分为基础信息、可操作信息、输出信息三类。基础信息主要包含算子名称、算子输入输出、算子创建者、算子部署配置等,其中算子部署信息由算子所属的算子库提供;可操作信息主要包含算子库版本、算子模型配置、模型转换配置、自测demo配置、算子测试配置、算子发布配置等;输出信息包含算子训练记录、算子模型转换记录、算子测试记录、算子发布记录等,上述配置共同组成算子配置信息。
85.(2)模型训练
86.模型训练根据算子配置中的模型配置信息,结合用户新增训练时填写的资源组等内容,下发模型的训练信息,请求训练平台的服务。在训练平台中,调度系统进行调度分配资源,在各服务器上启动训练任务,执行训练脚本并将训练出的模型记录保存,并返回到算子操作台中展示。
87.(3)模型转换
88.模型转换支持将训练任务所获得的训练模型转换为对应硬件平台的模型,通过启动训练时的模型自动优选及转换和训练后自行执行模型转换两个方式触发,模型转换配置可在设置算子模型配置时填写,也可在启动模型转换时填写。
89.(4)算子测试
90.算子测试指算子维护者上传本地测试demo或者关联该算子的某个方案版本的测试环境,验证算子中配置的算子库和生成的设备模型。测试需要根据设备模型的平台启动对应平台的测试流程,支持用户自己上传的对应平台demo包测试,或使用该平台已有的方案启动测试。
91.(5)算子发布
92.算子可新增多个发布记录,每个发布版本保存算子对所管理资源进行操作的过程和结果信息,记录的操作包括:模型训练、模型转换、使用自测方案调试本地算子,使用自测方案测试算子配置中的算子库和模型。其中,发布模型可具有多个来源,支持由算子训练记录或测试记录导入。
93.发布算子后,支持在方案操作台内将已发布的算子拖拽到可视化方案中,可根据需求调整算子版本,多个算子可组成一个可交付的定制化方案,启动方案后可编译并完成自动化测试。
94.基于上述图1中的算子操作台的示意图,本技术提供一种算子模型生成方法,其整体流程如图2所示,包括以下内容:
95.在步骤201中,响应于用户创建目标算子的指令,在目标算子所属的算法类别下的算子库内创建目标算子,并为目标算子配置基础信息。其中,该步骤201在上述图1中的算子配置部分执行。
96.在一种可能的实施方式中,目标算子的算子配置信息包括:基础信息、可操作信息、输出信息;
97.其中,基础信息包含算子名称、算子输入输出、算子创建者、算子部署配置,可操作
信息包含算子库版本、算子模型训练信息、模型转换配置、测试演示配置、算子测试配置、算子发布配置,输出信息包含算子训练记录、算子模型转换记录、算子测试记录、算子发布记录。
98.在步骤202中,获取目标算子的模型训练信息,并基于模型训练信息,对目标算子进行训练,得到目标算子的最优模型。其中,该步骤202在上述图1中的模型训练部分执行。
99.在一种可能的实施方式中,步骤202中,获取目标算子的模型训练信息,并基于模型训练信息,对目标算子进行训练,得到目标算子的最优模型,其流程示意图如图3,包括以下内容:
100.在步骤301中,若模型训练信息指示选择已有模型配置参数进行训练,则基于包含已有模型配置参数的模型训练信息创建第一训练任务,并调用训练平台启动第一训练任务。
101.在步骤302中,若模型训练信息指示选择新增模型配置参数进行训练,则基于包含新增模型配置参数的模型训练信息创建第二训练任务,并调用训练平台启动第二训练任务。
102.在步骤303中,执行对应不同训练任务的训练脚本,对目标算子进行训练,得到目标算子的多个训练模型。
103.在步骤304中,对目标算子的多个训练模型进行筛选,得到目标算子的最优模型。
104.需要说明的是,本技术实施例在训练模型前首先进行模型配置,该模型配置的过程即确定上述步骤301和步骤302中选择已有模型配置参数进行训练或选择新增模型配置参数进行训练,模型配置包含名称、训练任务配置以及转换配置,如需自动优选模型并执行对应嵌入式平台的模型转换,则在此处需要配置对应平台的模型转换配置。模型配置结束后,点击保存可记录当前配置,返回到如图1算子操作界面。模型配置结束后,可在配置信息下新建训练任务,如上述步骤301和步骤302中的第一训练任务和第二训练任务,然后启动对应的训练。启动训练之后,首先获取算子中模型训练信息,根据用户是否选择已有的模型配置,来判断是否需要获取模型配置信息。若选择已有模型配置参数进行训练,则只需填写资源组、用户密码、保存路径等信息即可启动训练;若选择新增模型配置参数进行训练,则需要填写训练脚本来源、脚本路径、数据集等配置信息后再启动训练。启动训练任务后,系统会将分配的训练模型id绑定到训练记录和算子信息中,作为训练记录。
105.需要补充的是,步骤304中,对目标算子的多个训练模型进行筛选,得到目标算子的最优模型,可实施为:
106.(1)响应于用户的选择指令,从目标算子的多个训练模型中选择所述目标算子的最优模型。
107.(2)响应于训练平台的自动优选指令,以寻找当前训练结果中的最优模型为基准对目标算子的多个训练模型进行筛选,得到目标算子的最优模型。
108.得到当前训练结果中的最优模型之后,本技术实施例将该最优模型用于执行步骤203中模型转换的过程。
109.在步骤203中,分别针对多个平台,将最优模型进行模型转换,得到目标算子适配多个平台的多个转换模型;转换模型中包含目标算子的算子配置信息。其中,该步骤203在上述图1中的模型转换部分执行。
110.在一种可能的实施方式中,步骤203中,分别针对多个平台,将最优模型进行模型转换,得到目标算子适配多个平台的多个转换模型,其流程示意图如图4所示,可实施为:
111.在步骤401中,分别针对多个平台,根据需要适配的平台,确定最优模型转换到需要适配的平台的模型转换配置信息。
112.在步骤402中,基于模型转换配置信息,调用模型转换工具对最优模型进行模型转换,得到目标算子适配多个平台的多个转换模型。
113.例如,在训练结束后,用户可进入训练记录,根据最优模型进行模型转换。需要适配的平台为嵌入式平台,则在模型转换的过程中可配置嵌入式平台的模型转换配置信息,基于该嵌入式平台模型转换配置信息,调用模型转换工具对最优模型进行模型转换,得到目标算子适配嵌入式平台的转换模型。该模型转换的过程是算子操作台中较为重要的步骤,模型转换成功后所得到转换模型可用于后续的算子测试及算子发布中。
114.需要补充的是,在进行模型转换之前,本技术将模型转换配置信息与步骤202中得到的最优模型的已有配置信息进行比较,若确定模型转换配置信息与已有配置信息不一致,则采用模型转换配置信息替换已有配置信息。
115.例如,用户根据最优模型执行模型转换,在选择转换模型的平台之后,若用户已为该平台填写模型转换配置信息,即模型转换配置信息与已有配置信息一致,则会从算子模型配置中将已有配置信息传回web,用户根据需求填写已有配置信息;若模型转换配置信息与已有配置信息不一致,则将模型转换配置信息传回web,用户根据需求填写模型转换配置信息;根据用户填写的模型转换配置信息或已有配置信息,web下发该模型转换配置信息或已有配置信息,后端通过模型仓库进行模型入库,然后调用模型转换工具nnx执行模型转换,将结果中的转换模型保存到存储路径中,同时将模型转换配置信息绑定到算子训练记录中。
116.在步骤204中,将目标算子的多个转换模型中适配发布平台的多个转换模型发送至对应的发布平台进行发布。其中,该步骤204在上述图1中的模型转换部分执行。
117.在一种可能的实施方式中,步骤104中算子发布的过程可通过测试记录或训练任务进行发布,并支持上传到svn(svn是subversion的缩写,是一个开放源代码的版本控制系统,通过采用分支管理系统的高效管理)中。若发布成功,该算子会新增一个发布版本。该发布版本用于后续拖拽算子组建方案。
118.在一种可能的实施方式中,响应于拖拽算子组建方案指令,将目标算子与定制化方案涉及的算子集成到定制化方案中,该定制化方案由用户根据应用场景选定的多个算子组成。
119.在一种可能的实施方式中,在将目标算子的转换模型进行发布之前,本技术实施例还将对目标算子的转换模型进行测试,其流程示意图如图5所示,包括以下内容:
120.在步骤501中,将转换模型的测试演示包输入测试平台,得到测试结果。
121.在步骤502中,若确定测试结果为转换模型合格,则执行将所述目标算子的转换模型进行发布的步骤。
122.在步骤503中,若确定测试结果为所述转换模型不合格,获取目标算子的修改后的转换模型,并将修改后的转换模型进行发布。
123.例如,用户上传本地测试demo包(即转换模型的测试演示包)到指定测试的设备平
台后,选择已有的测试方案,验证该转换模型。其中,若算子有动态标识,则可支持用户选择自行上传本地动态库,保存动态库到测试方案中,并同步到demo包里。待动态库和转换模型都拷贝到demo包中后,可向测试平台提交测试任务,并更新算子测试记录状态。后台将调用测试平台服务进行自测流程,待测试平台测试结束后,可通过算子测试记录查看测试报告。最后,根据测试报告中的测试结果,确定执行相应的步骤。
124.综上,本技术实施例通过将算子的算法库、模型、训练代码、训练集、测试方案等信息统一通过单个算子进行绑定,实现了算子资源的管理统一,能够高效调用资源,同时支持同业务场景下的算子进行修改和复用,提高了算子的复用效率;还通过训练、转换、测试、发布可在单一界面执行,实现了算子的全流程操作,无需为了达成需求在多个平台之间来回跳转,简洁方便地完成了算子的全生命周期。
125.基于相同的发明构思,本技术实施例还提供一种算子模型生成装置,如图6所示,所述装置600包括:
126.目标算子创建模块601,被配置为响应于用户创建目标算子的指令,在所述目标算子所属的算法类别下的算子库内创建目标算子,并为所述目标算子配置基础信息;
127.目标算子训练模块602,被配置为获取所述目标算子的模型训练信息,并基于所述模型训练信息,对所述目标算子进行训练,得到所述目标算子的最优模型;
128.目标算子转换模块603,被配置为分别针对多个平台,将所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型;所述转换模型中包含所述目标算子的算子配置信息;
129.目标算子发布模块604,被配置为将所述目标算子的多个转换模型中适配发布平台的多个转换模型发送至对应的发布平台进行发布。
130.在一种可能的实施方式中,所述目标算子的算子配置信息包括:基础信息、可操作信息、输出信息;
131.其中,所述基础信息包含算子名称、算子输入输出、算子创建者、算子部署配置,所述可操作信息包含算子库版本、算子模型训练信息、模型转换配置、测试演示配置、算子测试配置、算子发布配置,输出信息包含算子训练记录、算子模型转换记录、算子测试记录、算子发布记录。
132.在一种可能的实施方式中,执行所述获取所述目标算子的模型训练信息,并基于所述模型训练信息,对所述目标算子进行训练,得到所述目标算子的最优模型,所述目标算子训练模块被配置为:
133.若所述模型训练信息指示选择已有模型配置参数进行训练,则基于包含所述已有模型配置参数的所述模型训练信息创建第一训练任务,并调用训练平台启动所述第一训练任务;
134.若所述训练配置信息指示选择新增模型配置参数进行训练,则基于包含所述新增模型配置参数的所述模型训练信息创建第二训练任务,并调用训练平台启动所述第二训练任务;
135.执行对应不同训练任务的训练脚本,对所述目标算子进行训练,得到所述目标算子的多个训练模型;
136.对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型。
137.在一种可能的实施方式中,执行所述对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型,所述目标算子训练模块被配置为:
138.响应于用户的选择指令,从所述目标算子的多个训练模型中选择所述目标算子的最优模型;或者
139.响应于训练平台的自动优选指令,以寻找当前训练结果中的最优模型为基准对所述目标算子的多个训练模型进行筛选,得到所述目标算子的最优模型。
140.在一种可能的实施方式中,执行所述分别针对多个平台,将所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型,所述目标算子转换模块被配置为:
141.分别针对多个平台,根据需要适配的平台,确定所述最优模型转换到需要适配的平台的模型转换配置信息;
142.基于所述模型转换配置信息,调用模型转换工具对所述最优模型进行模型转换,得到所述目标算子适配多个平台的多个转换模型。
143.在一种可能的实施方式中,所述目标算子转换模块还被配置为:
144.将所述模型转换配置信息与所述最优模型的已有配置信息进行比较,若确定所述模型转换配置信息与所述已有配置信息不一致,则采用所述模型转换配置信息替换所述已有配置信息。
145.在一种可能的实施方式中,在将所述目标算子的转换模型进行发布之前,所述装置还被配置为:
146.将所述转换模型的测试演示包输入测试平台,得到测试结果;
147.若确定所述测试结果为所述转换模型合格,则执行所述将所述目标算子的转换模型进行发布的步骤;
148.若确定所述测试结果为所述转换模型不合格,获取所述目标算子的修改后的转换模型,并将所述修改后的转换模型进行发布。
149.在一种可能的实施方式中,所述装置还被配置为:
150.响应于拖拽算子组建方案指令,将所述目标算子与定制化方案涉及的算子集成到所述定制化方案中;所述定制化方案由用户根据应用场景选定的多个算子组成。
151.下面参照图7来描述根据本技术的这种实施方式的电子设备130。图7显示的电子设备130仅仅是一个示例,不应对本技术实施例的功能和使用范围带来任何限制。
152.如图7所示,电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
153.总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
154.存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器(ram)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(rom)1323。
155.存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
156.电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与电子设备130交互的设备通信,和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口135进行。并且,电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备130使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
157.在示例性实施例中,本技术还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器132,上述指令可由电子设备130的处理器131执行以完成上述算子模型生成方法。可选地,计算机可读存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
158.在示例性实施例中,还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器131执行时实现如本技术提供的算子模型生成方法。
159.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
160.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
161.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
162.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
163.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1