自动化的模型训练方法、装置、设备及介质与流程

本申请涉及计算机技术领域，具体而言，本申请涉及一种自动化的模型训练方法、装置、设备及计算机可读存储介质。

背景技术：

使用深度学习模型进行图片分类或解决简单回归问题的任务，根据不同的项目需求需要选取不同的组件，例如，不同计算量和参数量的模型结构、数据增强方法、模型训练参数等。

目前存在的问题有不同任务下深度学习模型无法复用，深度学习模型的训练，主要根据具体任务来设计合适的网络结构，并调整各种超参数、数据处理方法等，对于基础任务，尤其是在模型早期迭代过程中，可调组件基本较为固定。逻辑梳理不清晰，移植难度高，一套训练框架下的各部分设计经过了长期的积累过程，很多细节无法被新手快速掌握。工作重复度高，笛卡尔组合各种参数训练时，需要反复进行调整来进行多个模型训练。

技术实现要素：

本申请针对现有的方式的缺点，提出一种自动化的模型训练方法、装置、设备及计算机可读存储介质，用以解决如何实现组件使用方便及减少模型训练重复性工作的问题。

第一方面，本申请提供了一种自动化的模型训练方法，包括：

获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件；

根据模型训练参数包括的模型组件，构建至少一个深度学习模型；

依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练。

第二方面，本申请提供了一种自动化的模型训练装置，包括：

第一处理模块，用于获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件；

第二处理模块，用于根据模型训练参数包括的模型组件，构建至少一个深度学习模型；

第三处理模块，用于依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练。

第三方面，本申请提供了一种电子设备，包括：处理器、存储器和总线；

总线，用于连接处理器和存储器；

存储器，用于存储操作指令；

处理器，用于通过调用操作指令，执行本申请第一方面的自动化的模型训练方法。

第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被用于执行本申请第一方面的自动化的模型训练方法。

本申请实施例提供的技术方案，至少具有如下有益效果：

获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件；根据模型训练参数包括的模型组件，构建至少一个深度学习模型；依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练；如此，实现深度学习模型自动化训练设备，用户在前端页面自由选择组件进行组合，设置参数，然后构建模型训练的流程图，允许包含多个支路，每次训练多个模型；返回到后端后，根据用户选择的组件组合出所需的模型训练所需的文件，然后批量进行训练；实现了组件使用方便，减少了模型训练重复性工作，实现了模型训练流程组件拆解，灵活度更高，规范了模型训练流程，实现模型精度提高。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种自动化的模型训练方法的流程示意图；

图2为本申请实施例提供模型训练参数的示意图；

图3为本申请实施例提供可视化组件的示意图；

图4为本申请实施例提供的另一种自动化的模型训练方法的流程示意图；

图5为本申请实施例提供的一种自动化的模型训练装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例一

本申请实施例中提供了一种自动化的模型训练方法，该方法的流程示意图如图1所示，该方法包括：

s101，获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件。

s102，根据模型训练参数包括的模型组件，构建至少一个深度学习模型。

s103，依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练。

本申请实施例中，获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件；根据模型训练参数包括的模型组件，构建至少一个深度学习模型；依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练；如此，实现深度学习模型自动化训练设备，用户在前端页面自由选择组件进行组合，设置参数，然后构建模型训练的流程图，根据每种具体组件所选择的类型构建支路，允许包含多个支路，每次训练多个模型；返回到后端后，根据用户选择的组件组合出所需的模型训练所需的文件，然后批量进行训练；实现了组件使用方便，减少了模型训练重复性工作，实现了模型训练流程组件拆解，灵活度更高，规范了模型训练流程，实现模型精度提高。

可选地，如图2所示，模型训练参数包括名称组件、数据组件、模型组件和训练组件。名称组件用于后台文件管理，包括文件名和目录。数据组件包括第一设置组件、增强方法和采样方式；第一设置组件包括输入节点信息、标签描述、资源使用和训练数据文件；增强方法包括是否对齐、对齐前处理和对齐后处理；采样方式包括采样关键字段和权重。模型组件包括源组件、超参数、输出节点和损失函数，源组件包括主干网络、预处理组件、后处理组件和预测函数；超参数包括批大小和迭代轮数。训练组件包括优化器、学习率和第二设置组件；学习率包括起始值、终止值和衰减方式；第二设置组件包括资源使用、文件存储设定和验证数据集。预测函数、损失函数、评价指标等根据任务的不同需求提供不同的可选项。预处理和后处理过程为用户个性化定制，根据任务需求来自行调整起处理过程。

可选地，依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练，包括：

依据模型训练参数包括的数据组件，确定输入节点信息，输入节点信息包括第一图片集和标签；

依据模型训练参数包括的训练组件，将输入节点信息输入至任一个深度学习模型的主干网络进行训练，以对主干网络的参数进行调整。

可选地，将输入节点信息输入至任一个深度学习模型的主干网络进行训练，以对主干网络的参数进行调整，包括：

根据模型组件包括的预处理组件，将第一图片集进行预处理，确定第二图片集；

根据主干网络，将第二图片集进行特征提取，确定特征向量值；

根据特征向量值和任一个深度学习模型的预测函数，确定预测结果；

根据所述模型组件包括的后处理组件，将预测结果进行后处理，确定预测值；

根据预测值和标签，进行损失函数的计算，确定损失值；

根据损失值对主干网络的参数进行调整。

可选地，将第一图片集进行预处理，确定第二图片集，包括：

根据输入节点信息包括的关键点对第二图片集包括的图片进行区域划分，确定第二图片集包括的图片块，关键点为关键像素点，图片块为关键像素点对应的图像区域。

可选地，预处理包括增强处理、光线变化处理和颜色变化处理中的至少一项，将第一图片集进行预处理，得到第二图片集，第二图片集包括图片和图片块。

可选地，根据标签对第一图片集进行预处理，确定第二图片集包括的图片，标签表示图像中目标物体的属性，可选地，标签标识性别的属性有2类：男和女，根据标签对第一图片集进行预处理，得到符合男或女性别属性的图片集，可选地，图片集为与男或女性别相关的整个人脸的图片集。

可选地，根据关键像素点对第二图片集包括的图片进行区域划分，可选地，通过对第一图片集进行首次预处理，得到的图片集为与男或女性别相关的整个人脸的图片集，然后对该图片集进行二次预处理，从图片上划分出图片块，图片块为关键像素点对应的图像区域，例如，图片块可以为鼻子图像区域、眉毛图像区域、人眼图像区域或嘴巴图像区域。

可选地，根据特征向量值和任一个深度学习模型的预测函数，确定预测结果，包括：

当深度学习模型的属性有n个时，根据特征向量值和预测函数，确定n个预测结果，n个预测结果求和为1，n为正整数。

可选地，根据预测值和所述标签，进行评价指标的计算，确定评价指标，评价指标包括准确率和误差率中的至少一项，评价指标的计算包括分类准确率计算、绝对值误差计算和最小平方误差计算中的至少一项。

可选地，在获取模型训练参数之前，还包括：

生成与数据组件、模型组件和训练组件分别对应的可视化组件，并显示可视化组件；

获取模型训练参数包括：

接收到用户对可视化组件的选择操作，并根据已选择的可视化组件的组合，确定对应的配置文件；

根据配置文件，确定模型训练参数。

可选地，根据选择的组件类型，进行组合生成具有分支的组件流程图，根据组件流程图生成对应配置文件，如果某一组件具有n类，则在该节点处对应生成n个子分支，n为正整数。通过对组件流程图进行遍历，将各个分支进行组合，组合生成多个组件子流程图，每个组件子流程对应一种深度学习模型的训练。

可选地，如图3所示，生成与数据组件、模型组件和组件分别对应的可视化组件，对应的可视化组件分别为data,model,train，并显示可视化组件data,model,train。可视化组件model下方设置的src是图2中对应的源组件，用户对源组件中的主干网络、预处理、后处理和预测函数进行选择操作，源组件具有四种类型的组件，在源组件节点处对应生成四个子分支，构建成可供选择的四种组合，确定四种组合对应的配置文件；可视化组件train下方设置的lr是图2中对应的学习率，学习率具有两种类型的组件，在学习率节点处对应生成两个子分支，构建成可供选择的两种组合，确定两种组合对应的配置文件；因此，用户选择了源组件节点处构建成的四种组合乘以学习率节点处构建成的两种组合，生成八个子流程图对应的八种深度学习模型的训练，用户可以对这八种深度学习模型同时进行训练。

本申请实施例中提供了另一种自动化的模型训练方法，该方法的流程示意图如图4所示，该方法包括：

s201，输入数据。

可选地，输入数据包括图片(图像)、关键点(图像中的关键点，例如，人脸眼部的像素点)和标签；标签表示图像中目标物体的属性，例如，标签标识性别的属性有2类：男和女。

s202，对输入数据进行预处理。

可选地，预处理包括增强处理、光线变化处理和颜色变化处理中的至少一项，预处理不改变模型属性；将s201中的图片经过预处理，输出符合某种模型属性的图片，例如，与性别相关的整个人脸；或者输出从s201中的图片上抠出的图片块，例如，人眼图像区域。

s203，将预处理输出的图片、图片块输入到主干网络，提取特征向量值。

可选地，主干网络为常用的神经网络模型结构。反向传播(backpropagation，bp)神经网络通常采用基于bp神经元的多层前向神经网络的结构形式，一种按照误差逆向传播算法训练的多层前馈神经网络；径向基函数(radialbasisfunction,rbf)网络是以函数逼近理论为基础而构造的一类前向网络，这类网络的学习等价于在多维空间中寻找训练数据的最佳拟合平面；自组织特征映射网络，该网络是一个由全互连的神经元阵列形成的无教师自组织自学习网络。

s204，将特征向量值输入到预测函数，得到预测结果。

可选地，标识性别的模型属性有两类(男和女)，则对应两个预测结果：男为0.8，女为0.2；模型属性有n个，则对应n个预测结果，n个预测结果的和为1，n为正整数。

s205，将预测结果进行后处理，确定最终输出、预测值。

可选地，最终输出为客户预设的显示模式，显示中文字男和女；预测值：男为0.8，女为0.2。

s206，将预测值、标签真值作为输入，计算损失函数和评价指标，确定损失值和评价指标。

可选地，预测值越接近标签真值，输出的损失值越小，评价指标(评价指标为准确率)越大或评价指标(评价指标为误差率)越小；预测值：男为0.8，女为0.2；标签真值：男为1，女为0。

s207，将损失值输入到主干网络，根据损失值对主干网络的参数进行调整。

具体地，s201-s207为深度模型的一次训练流程，下一次训练流程执行s201-s207，s203中主干网络的参数是上一次训练流程更新的参数。

应用本申请实施例，至少具有如下有益效果：

实现深度学习模型自动化训练设备，用户在前端页面自由选择组件进行组合，设置参数，然后构建模型训练的流程图，允许包含多个支路，每次训练多个模型；返回到后端后，根据用户选择的组件组合出所需的模型训练所需的文件，然后批量进行训练；实现了组件使用方便，减少了模型训练重复性工作，实现了模型训练流程组件拆解，灵活度更高，规范了模型训练流程，实现模型精度提高。

实施例二

基于相同的发明构思，本申请实施例还提供了一种自动化的模型训练装置，该装置的结构示意图如图5所示，自动化的模型训练装置50，包括第一处理模块501、第二处理模块502和第三处理模块503。

第一处理模块501，用于获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件。

第二处理模块502，用于根据模型训练参数包括的模型组件，构建至少一个深度学习模型。

第三处理模块503，用于依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练。

可选地，第三处理模块503，具体用于依据模型训练参数包括的数据组件，确定输入节点信息，输入节点信息包括第一图片集和标签；依据模型训练参数包括的训练组件，将输入节点信息输入至任一个深度学习模型的主干网络进行训练，以对主干网络的参数进行调整。

可选地，第三处理模块503，具体用于根据模型组件包括的预处理组件，将第一图片集进行预处理，确定第二图片集；根据主干网络，将第二图片集进行特征提取，确定特征向量值；根据特征向量值和任一个深度学习模型的预测函数，确定预测结果；根据模型组件包括的后处理组件，将预测结果进行后处理，确定预测值；根据预测值和标签，进行损失函数的计算，确定损失值；根据损失值对主干网络的参数进行调整。

可选地，第三处理模块503，具体用于根据输入节点信息包括的关键点对第二图片集包括的图片进行区域划分，确定第二图片集包括的图片块，关键点为关键像素点，图片块为关键像素点对应的图像区域。

可选地，第三处理模块503，具体用于当深度学习模型的属性有n个时，根据特征向量值和预测函数，确定n个预测结果，n个预测结果求和为1，n为正整数。

可选地，第三处理模块503，具体用于根据预测值和所述标签，进行评价指标的计算，确定评价指标，评价指标包括准确率和误差率中的至少一项，评价指标的计算包括分类准确率计算、绝对值误差计算和最小平方误差计算中的至少一项。

可选地，第一处理模块501，具体用于生成与数据组件、模型组件和训练组件分别对应的可视化组件，并显示可视化组件。

可选地，第一处理模块501，具体用于接收到用户对可视化组件的选择操作，并根据已选择的可视化组件的组合，确定对应的配置文件；根据配置文件，确定模型训练参数。

应用本申请实施例，至少具有如下有益效果：

获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件；根据模型训练参数包括的模型组件，构建至少一个深度学习模型；依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练；如此，实现深度学习模型自动化训练设备，用户在前端页面自由选择组件进行组合，设置参数，然后构建模型训练的流程图，允许包含多个支路，每次训练多个模型；返回到后端后，根据用户选择的组件组合出所需的模型训练所需的文件，然后批量进行训练；实现了组件使用方便，减少了模型训练重复性工作，实现了模型训练流程组件拆解，灵活度更高，规范了模型训练流程，实现模型精度提高。

本申请实施例提供的自动化的模型训练控制装置中未详述的内容，可参照上述实施例一提供的自动化的模型训练方法，本申请实施例提供的自动化的模型训练装置能够达到的有益效果与上述实施例一提供的自动化的模型训练方法相同，在此不再赘述。

实施例三

基于相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图6所示，该电子设备6000包括至少一个处理器6001、存储器6002和总线6003，至少一个处理器6001均与存储6002电连接；存储器6002被配置用于存储有至少一个计算机可执行指令，处理器6001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请实施例一中任意一个实施例或任意一种可选实施方式提供的任意一种自动化的模型训练方法的步骤。

进一步，处理器6001可以是fpga(field－programmablegatearray，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如mcu(microcontrollerunit，微控制单元)、cpu(centralprocessunit，中央处理器)。

应用本申请实施例，至少具有如下有益效果：

获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件；根据模型训练参数包括的模型组件，构建至少一个深度学习模型；依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练；如此，实现深度学习模型自动化训练设备，用户在前端页面自由选择组件进行组合，设置参数，然后构建模型训练的流程图，允许包含多个支路，每次训练多个模型；返回到后端后，根据用户选择的组件组合出所需的模型训练所需的文件，然后批量进行训练；实现了组件使用方便，减少了模型训练重复性工作，实现了模型训练流程组件拆解，灵活度更高，规范了模型训练流程，实现模型精度提高。

实施例四

基于相同的发明构思，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请实施例一中任意一个实施例或任意一种自动化的模型训练方法的步骤。

本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随即存储器)、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

应用本申请实施例，至少具有如下有益效果：

获取模型训练参数，模型训练参数包括数据组件、模型组件和训练组件；根据模型训练参数包括的模型组件，构建至少一个深度学习模型；依据模型训练参数包括的数据组件及训练组件，对任一个深度学习模型进行自动化训练；如此，实现深度学习模型自动化训练设备，用户在前端页面自由选择组件进行组合，设置参数，然后构建模型训练的流程图，允许包含多个支路，每次训练多个模型；返回到后端后，根据用户选择的组件组合出所需的模型训练所需的文件，然后批量进行训练；实现了组件使用方便，减少了模型训练重复性工作，实现了模型训练流程组件拆解，灵活度更高，规范了模型训练流程，实现模型精度提高。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。