特征点标注模型训练方法、装置、电子设备及存储介质与流程

文档序号:21369671发布日期:2020-07-04 06:19阅读:209来源:国知局
特征点标注模型训练方法、装置、电子设备及存储介质与流程

本发明涉及深度学习技术领域,特别是涉及一种特征点标注模型训练方法、装置、电子设备及存储介质。



背景技术:

在一些应用场景中,需要对图像进行特征点标注。特征点标注可以理解为在对待标注图像进行检测,将待标注图像中满足要求的点标注为特征点。例如,对待标注图像可以为一个人脸图像,对人脸图像进行标注时,可以对图像中的人脸的一些部位进行特征点标注,如可以对人脸中的鼻子、眉毛、眼睛等部位进行特征点标注。这些标注得到的特征点可以应用于目标识别等各种领域中。

针对大量的待标注图像,可以使用特征点标注模型对待标注图像进行特征点标注。然而,使用特征点标注模型得到的特征点往往存在较大偏差。例如,针对待标注的人脸图像,使用特征点标注模型得到的标注有特征点的人脸图像中,较多特征点均有不同程度的不准确,如人脸中的鼻子、眉毛、眼睛等部位可能标注的并不准确。

因此,目前的特征点标注模型在对待标注图像进行特征点标注时,往往存在标注的准确率较低的问题。



技术实现要素:

本发明实施例的目的在于提供一种特征点标注模型训练方法,用以得到一种可以提高特征点标注准确率的特征点标注模型。

为了达到上述目的,本发明实施例提供了一种特征点标注模型训练方法,包括:

将第一训练样本集中的第一样本图像输入特征点标注模型,得到所述第一样本图像的特征点的坐标值,作为第一坐标值;

将所述第一样本图像和所述第一坐标值输入预先训练的分类模型,得到所述第一样本图像的特征点是否标注正确的分类结果,其中,所述分类模型为基于第二训练样本集训练得到的,所述第二训练样本集包含第二样本图像,每个所述第二样本图像的所标注的特征点的坐标值,作为第二坐标值,以及针对每个所述第二样本图像的所述第二坐标值,已知的该第二样本图像的特征点是否标注正确的分类结果;

当所述分类结果不正确时,调整所述特征点标注模型的参数,得到新的标注模型;

针对当前得到的标注模型,当满足预设的第一结束训练条件时,将当前得到的特征点标注模型确定为强化后的特征点标注模型,所述预设的第一结束训练条件为:用于确定当前得到的标注模型收敛的条件。

进一步的,所述特征点标注模型为按照预设训练方式训练得到的。

进一步的,针对当前得到的标注模型,采用如下步骤确定是否满足预设的第一结束训练条件:

将第一测试图像输入当前得到的特征点标注模型,得到所述第一测试图像的特征点的第一坐标值,以及将第二测试图像输入前一次得到的特征点标注模型,得到所述第二测试图像的特征点的第一坐标值;

使用所述第一测试图像的特征点的第一坐标值,确定所述分类模型的损失函数值,作为第一损失函数值,使用所述第二测试图像的特征点的第一坐标值,确定所述分类模型的损失函数,作为第二损失函数值;

计算所述第一损失函数值和所述第二损失函数值的差值;

当所述差值不大于预设差值阈值时,确定满足预设的第一结束训练条件。

进一步的,针对当前得到的标注模型,采用如下步骤确定是否满足预设的第一结束训练条件:

将多个第三测试图像分别输入当前得到的特征点标注模型,得到每个所述第三测试图像的特征点的第一坐标值;

针对每个所述第三测试图像,将该第三测试图像和该第三测试图像的特征点的第一坐标值输入所述分类模型,得到该第三测试图像的特征点是否标注正确的分类结果;

基于多个所述第三测试图像的特征点是否标注正确的分类结果,计算多个所述第三测试图像的所述分类结果的正确率,其中,所述正确率为多个所述第三测试图像的所述分类结果表示正确的分类结果的比例;

当所述正确率不小于预设正确率阈值时,确定满足预设的第一结束训练条件。

进一步的,采用如下步骤基于第二训练样本集训练得到所述分类模型:

将所述第二样本图像和所述第二样本图像的特征点的第二坐标值,输入待训练神经网络模型,得到表示所述第二样本图像的特征点是否标注正确的输出结果;

基于已知的该第二样本图像的特征点是否标注正确的分类结果,以及所述输出结果,对所述待训练神经网络模型进行调整;

当满足预设的第二结束训练条件时,将当前的所述待训练神经网络模型确定为训练得到的所述分类模型,所述预设的第二结束训练条件为:用于确定当前的待训练神经网络模型收敛的条件。

为了达到上述目的,本发明实施例还提供了一种特征点标注模型训练装置,包括:

第一输入模块,用于将第一训练样本集中的第一样本图像输入特征点标注模型,得到所述第一样本图像的特征点的坐标值,作为第一坐标值;

第二输入模块,用于将所述第一样本图像和所述第一坐标值输入预先训练的分类模型,得到所述第一样本图像的特征点是否标注正确的分类结果,其中,所述分类模型为基于第二训练样本集训练得到的,所述第二训练样本集包含第二样本图像,每个所述第二样本图像的所标注的特征点的坐标值,作为第二坐标值,以及针对每个所述第二样本图像的所述第二坐标值,已知的该第二样本图像的特征点是否标注正确的分类结果;

参数调整模块,用于当所述分类结果不正确时,调整所述特征点标注模型的参数,得到新的标注模型;

第一确定模块,用于针对当前得到的标注模型,当满足预设的第一结束训练条件时,将当前得到的特征点标注模型确定为强化后的特征点标注模型,所述预设的第一结束训练条件为:用于确定当前得到的标注模型收敛的条件。

进一步的,所述特征点标注模型为按照预设训练方式训练得到的。

进一步的,所述第一确定模块,还用于针对当前得到的标注模型,采用如下步骤确定是否满足预设的第一结束训练条件:

将第一测试图像输入当前得到的特征点标注模型,得到所述第一测试图像的特征点的第一坐标值,以及将第二测试图像输入前一次得到的特征点标注模型,得到所述第二测试图像的特征点的第一坐标值;

使用所述第一测试图像的特征点的第一坐标值,确定所述分类模型的损失函数值,作为第一损失函数值,使用所述第二测试图像的特征点的第一坐标值,确定所述分类模型的损失函数值,作为第二损失函数值;

计算所述第一损失函数值和所述第二损失函数值的差值;

当所述差值不大于预设差值阈值时,确定满足预设的第一结束训练条件。

进一步的,所述第二确定模块,还用于针对当前得到的标注模型,采用如下步骤确定是否满足预设的第一结束训练条件:

将多个第三测试图像分别输入当前得到的特征点标注模型,得到每个所述第三测试图像的特征点的第一坐标值;

针对每个所述第三测试图像,将该第三测试图像和该第三测试图像的特征点的第一坐标值输入所述分类模型,得到该第三测试图像的特征点是否标注正确的分类结果;

基于多个所述第三测试图像的特征点是否标注正确的分类结果,计算多个所述第三测试图像的所述分类结果的正确率,其中,所述正确率为多个所述第三测试图像的所述分类结果表示正确的分类结果的比例;

当所述正确率不小于预设正确率阈值时,确定满足预设的第一结束训练条件。

进一步的,所述装置,还包括:

分类模型训练模块,用于采用如下步骤基于第二训练样本集训练得到所述分类模型:

将所述第二样本图像和所述第二样本图像的特征点的第二坐标值,输入待训练神经网络模型,得到表示所述第二样本图像的特征点是否标注正确的输出结果;

基于已知的该第二样本图像的特征点是否标注正确的分类结果,以及所述输出结果,对所述待训练神经网络模型进行调整;

当满足预设的第二结束训练条件时,将当前的所述待训练神经网络模型确定为训练得到的所述分类模型,所述预设的第二结束训练条件为:用于确定当前的待训练神经网络模型收敛的条件。

为了达到上述目的,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现上述任一所述特征点标注模型训练方法步骤。

为了达到上述目的,本发明实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述特征点标注模型训练方法步骤。

为了达到上述目的,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述特征点标注模型训练方法步骤。

本发明实施例有益效果:

本发明实施例提供的特征点标注模型训练方法,将第一训练样本集中的第一样本图像输入特征点标注模型,得到第一样本图像的特征点的坐标值,作为第一坐标值;将第一样本图像和第一坐标值输入预先训练的分类模型,得到第一样本图像的特征点是否标注正确的分类结果;当分类结果不正确时,调整第一标注模型的参数,得到新的标注模型;针对当前得到的标注模型,当满足预设的第一结束训练条件时,将当前得到的特征点标注模型确定为强化后的特征点标注模型。采用本发明实施例提供的方法,使用预先训练的分类模型,对通过特征点标注模型所得到的第一样本图像的特征点的第一坐标值进行分类,进而根据分类结果,当分类结果不正确时可以对特征点标注模型的参数进行调整,进而可以得到特征点标注准确率较高的强化后的特征点标注模型。因此,使用强化后的特征点标注模型进行特征点标注,提高了特征点标注的准确率。

当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的第一种特征点标注模型训练方法的流程图;

图2为本发明实施例提供的第二种特征点标注模型训练方法的流程图;

图3a为本发明实施例提供的特征点标注模型训练方法中的第一样本图像;

图3b为本发明实施例提供的特征点标注模型训练方法中的标注了特征点的第一样本图像;

图4为本发明实施例提供的特征点标注模型训练方法中第一种确定预设的第一结束训练条件的流程图;

图5为本发明实施例提供的特征点标注模型训练方法中第二种确定预设的第一结束训练条件的流程图;

图6为本发明实施例提供的特征点标注模型训练方法中训练得到分类模型的方法的流程图;

图7为本发明实施例提供的预先训练得到特征点标注模型训练的方法的流程图;

图8为本发明实施例提供的第一种特征点标注模型训练装置的结构图;

图9为本发明实施例提供的第二种特征点标注模型训练装置的结构图;

图10为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。

由于现有的特征点标注模型存在标注准确率较低的问题,为解决这一技术问题,本发明实施例提供了一种特征点标注模型训练方法,如图1所示,包括:

步骤101,将第一训练样本集中的第一样本图像输入特征点标注模型,得到第一样本图像的特征点的坐标值,作为第一坐标值。

步骤102,将第一样本图像和第一坐标值输入预先训练的分类模型,得到第一样本图像的特征点是否标注正确的分类结果,其中,分类模型为基于第二训练样本集训练得到的,第二训练样本集包含第二样本图像,每个第二样本图像的所标注的特征点的坐标值,作为第二坐标值,以及针对每个第二样本图像的第二坐标值,已知的该第二样本图像的特征点是否标注正确的分类结果。

步骤103,当分类结果不正确时,调整特征点标注模型的参数,得到新的标注模型。

步骤104,针对当前得到的标注模型,当满足预设的第一结束训练条件时,将当前得到的特征点标注模型确定为强化后的特征点标注模型,预设的第二结束训练条件为:用于确定当前得到的标注模型收敛的条件。

采用本发明实施例提供的方法,使用预先训练的分类模型,对通过特征点标注模型所得到的第一样本图像的特征点的第一坐标值进行分类,进而根据分类模型的分类结果对特征点标注模型的参数进行调整,可以得到特征点标注准确率较高的强化后的特征点标注模型。使用强化后的特征点标注模型进行特征点标注,提高了特征点标注的准确率。

下面通过具体实施例对本发明实施例提供的特征点标注模型训练方法及装置进行详细描述。

本发明实施例公开的特征点标注模型训练方法,如图2所示,可以包括如下步骤:

步骤201,将第一训练样本集中的第一样本图像输入特征点标注模型,得到第一样本图像的特征点的坐标值,作为第一坐标值。

本发明实施例中,第一训练样本集中可以包含多个第一样本图像,第一样本图像可以是如图3a所示的人脸图像。

本步骤中,经过特征点标注模型得到的第一样本图像的特征点可以为多个,例如,第一样本图像为人脸图像,第一样本图像的特征点可以为人脸的68个特征点,68个特征点标注的为人脸图像中人脸的特征部位,如人脸的鼻子、眉毛、嘴巴及外轮廓等部位,具体可以如图3b所示。

步骤202,将第一样本图像和第一坐标值输入预先训练的分类模型,得到第一样本图像的特征点是否标注正确的分类结果。

本发明实施例中,分类模型的结构可以为resnet(residualneuralnetwork,残差神经网络),也可以是mobilenet(轻量级神经网络)。

本发明实施例中,通过分类模型得到第一样本图像的特征点是否标注正确的分类结果可以包括以下几种方式:

第一种方式:分类模型可以针对第一样本图像中的每个特征点,通过检测第一样本图像中特征点的位置与第一坐标值所表示的该特征点是否一致,当检测到一致时,确定该特征点标注正确;当检测到第一样本图像中标注正确的特征点的数量不小于预设数量阈值时,分类模型输出第一样本图像的特征点标注正确的分类结果,否则,分类模型输出第一样本图像的特征点标注不正确的分类结果。其中,第一预设数量阈值可以根据实际应用情况进行具体设定,例如可以设定第一样本图像的特征点数量的80%作为第一预设数量阈值。

第二种方式:分类模型可以针对第一样本图像中指定区域的每个特征点,通过检测第一样本图像中指定区域的特征点的位置与第一坐标值所表示的该特征点是否一致,当检测到一致时,确定该特征点标注正确;当检测到第一样本图像中指定区域标注正确的特征点的数量不小于第二预设数量阈值时,分类模型输出第一样本图像的特征点标注正确的分类结果,否则,分类模型输出第一样本图像的特征点标注不正确的分类结果。其中,第二预设数量阈值可以根据实际应用情况进行具体设定,例如可以设定第一样本图像种指定区域的特征点数量的80%作为预设数量阈值;指定区域可以为一个区域,也可以为多个区域。在一种可能的实施方式中,第一样本图像可以为人脸图像,第一样本图像的指定区域可以为人脸的眉毛区域、嘴巴区域和外轮廓区域,分类模型可以针对第一样本图像中眉毛区域、嘴巴区域和外轮廓区域的每个特征点,通过检测第一样本图像中眉毛区域、嘴巴区域和外轮廓区域的特征点的位置与第一坐标值所表示的该特征点是否一致,确定该特征点标注正确;具体的,可以针对第一样本图像中眉毛区域每个特征点,当特征点的位置与第一坐标值所表示的该特征点一致时,确定该特征点标注正确;当检测到第一样本图像中眉毛区域标注正确的特征点的数量不小于第二预设数量阈值时,分类模型输出第一样本图像中眉毛区域的特征点标注正确的分类结果,否则,分类模型输出第一样本图像中眉毛区域的特征点标注不正确的分类结果。同样的针对第一样本图像中嘴巴区域和外轮廓区域,分类模型也可以输出第一样本图像中相应区域的特征点是否标注正确的分类结果。例如,针对第一样本图像i1,当确定出第一样本图像i1中人脸的眉毛区域、嘴巴区域和外轮廓区域的特征点标注正确时,分类模型可以输出第一样本图像i1中眉毛区域、嘴巴区域和外轮廓区域的特征点均标注正确的分类结果,具体可以表示为:c1=[1,1,1],其中,c1表示第一样本图像i1中眉毛区域、嘴巴区域和外轮廓区域的特征点均标注正确的分类结果,c1内的元素可以依次表示第一样本图像i1中眉毛区域、嘴巴区域和外轮廓区域,c1内的元素为1时表示相应的区域的特征点标注正确的分类结果,c1内的元素为0时表示相应的区域的特征点标注不正确的分类结果。例如,针对第一样本图像i2,当确定出第一样本图像i2中人脸的眉毛区域和嘴巴区域的特征点标注正确,而第一样本图像i2中人脸的外轮廓区域的特征点标注不正确时,分类模型可以输出第一样本图像i2中眉毛区域、嘴巴区域和外轮廓区域的特征点均标注是否正确的分类结果为:c1=[1,1,0]。

本步骤中,分类模型针对第一样本图像中的每个特征点,检测第一样本图像中特征点的位置与第一坐标值所表示的该特征点是否一致,具体可以是:当分类模型检测到第一样本图像中特征点的位置与第一坐标值所表示的该特征点的位置的距离不大于预设距离阈值时,表示检测为一致,可以确定该特征点标注正确。其中,预设距离阈值可以根据分类模型的具体应用情况进行设定。

步骤203,判断分类结果是否正确,若判断结果为否,执行步骤204,若判断结果为是,执行步骤205。

步骤204,调整特征点标注模型的参数,得到新的标注模型,返回执行步骤201。

本步骤中,可以使用反向传播算法,当分类结果表示特征点标注不正确时,进一步确定分类模型所确定的第一样本图像中特征点的坐标值与第一坐标值的误差,将梯度传递到特征点标注模型中,对特征点标注模型进行调整。

对特征点标注模型进行调整可以包括:

根据步骤202中分类模型输出的标注不正确的特征点在特征点标注模型中所对应的参数层中的参数,对特征点标注模型的相应参数层的参数进行适应调整;

对特征点标注模型的模型结构进行适应调整,例如,可以根据当前训练结果对特征点标注模型进行参数层的增加或者裁减,也可以根据当前训练结果对特征点标注模型进行神经网络节点的增加或者删减。

步骤205,针对当前得到的标注模型,当满足预设的第一结束训练条件时,将当前得到的特征点标注模型确定为强化后的特征点标注模型,预设的第一结束训练条件为:用于确定当前得到的标注模型收敛的条件。

采用本发明实施例提供的方法,使用预先训练的分类模型,对通过特征点标注模型所得到的第一样本图像的特征点的第一坐标值进行分类,进而根据分类模型的分类结果对特征点标注模型的参数进行调整,得到特征点标注准确率较高的强化后的特征点标注模型。使用强化后的特征点标注模型进行特征点标注,提高了特征点标注的准确率。

预设的第一结束训练条件满足条件a,其中,条件a为:基于预设的第一结束训练条件所得到的强化后的特征点标注模型的特征点标注正确率,高于强化前的特征点标注模型的特征点标注正确率。

在深度学习领域中,预设的第一结束训练条件可以是满足条件a的任何一个确定深度学习模型收敛的条件。

本发明实施例中,针对当前得到的标注模型,如图4所示,可以采用如下步骤确定是否满足预设的第一结束训练条件:

步骤401,将第一测试图像输入当前得到的特征点标注模型,得到第一测试图像的特征点的第一坐标值,以及将第二测试图像输入前一次得到的特征点标注模型,得到第二测试图像的特征点的第一坐标值。

本步骤中,第一测试图像可以为多个,第二测试图像也可以为多个。

步骤402,使用第一测试图像的特征点的第一坐标值,确定分类模型的损失函数值,作为第一损失函数值,使用第二测试图像的特征点的第一坐标值,确定分类模型的损失函数值,作为第二损失函数值。

本发明实施例中,可以采用如下的公式1或者公式2计算分类模型的损失函数:

公式1:

其中,mse表示损失函数值,yi表示第i个测试图像的特征点的真实坐标值,f(xi)第i个测试图像的第一坐标值,m为测试图像的个数;

公式2:

其中,mae表示损失函数值,yj第j个测试图像的特征点的真实坐标值,f(xj)表示第j个测试图像的第一坐标值,n为测试图像的个数。

例如,采用上述公式1计算第一损失函数值时,可以用mse表示第i个第一测试图像的第一损失函数值,可以用yi表示第i个第一测试图像的特征点的真实坐标值,可以用f(xi)第i个第一测试图像的第一坐标值,m可以表示第一测试图像的个数。

步骤403,计算第一损失函数值和第二损失函数值的差值。

步骤404,当差值不大于预设差值阈值时,确定满足预设的第一结束训练条件。

本步骤中,预设差值阈值可以根据具体应用情况进行设定。

本发明实施例中,针对当前得到的标注模型,如图5所示,还可以采用如下步骤确定是否满足预设的第一结束训练条件:

步骤501,将多个第三测试图像分别输入当前得到的特征点标注模型,得到每个第三测试图像的特征点的第一坐标值。

本步骤中,第三测试图像可以为多个。

步骤502,针对每个第三测试图像,将该第三测试图像和该第三测试图像的特征点的第一坐标值输入分类模型,得到该第三测试图像的特征点是否标注正确的分类结果。

步骤503,基于多个第三测试图像的特征点是否标注正确的分类结果,计算多个第三测试图像的分类结果的正确率,其中,正确率为多个第三测试图像的分类结果表示正确的分类结果的比例。

步骤504,当正确率不小于预设正确率阈值时,确定满足预设的第一结束训练条件。

本步骤中,预设正确率阈值可以根据具体应用情况进行设定。

具体的在一种可能的实施方式中,可以通过使用神经网络模型训练领域中常规的l2范数损失函数,可以设置第一样本图像的batch(批量)大小为64,学习率设置为0.0001,使用adam(自适应矩估计)优化器,对特征点标注模型训练第一预设次数个循环,当l2范数损失函数趋于稳定时,可以得到强化后的特征点标注模型,其中,第一预设次数可以根据l2范数损失函数是否趋于稳定进行确定,例如当训练20个循环后,l2范数损失函数趋于稳定,可以确定第一预设次数为20。

本发明实施例中,如图6所示,可以采用如下步骤基于第二训练样本集训练得到分类模型:

步骤601,将第二样本图像和第二样本图像的特征点的第二坐标值,输入待训练神经网络模型,得到表示第二样本图像的特征点是否标注正确的输出结果。

本步骤中,第二训练样本集中可以包含多个第二样本图像,第二样本图像可以是人脸图像。

步骤602,基于已知的该第二样本图像的特征点是否标注正确的分类结果,以及输出结果,对待训练神经网络模型进行调整。

本步骤中,针对第二样本图像的特征点,可以预先通过人工判断第二样本图像的特征点是否标注正确。具体的可以通过判断第二样本图像的指定区域的特征点是否标注正确。例如,若第二样本图像为人脸图像,指定区域可以人脸的眉毛区域、嘴巴区域和外轮廓区域,可以预先通过人工判断人脸的眉毛区域、嘴巴区域和外轮廓区域的特征点是否标注正确。

步骤603,当满足预设的第二结束训练条件时,将当前的待训练神经网络模型确定为训练得到的分类模型,预设的第二结束训练条件为:用于确定当前的待训练神经网络模型收敛的条件。

本步骤中,预设的第二结束训练条件可以为:

使用第二训练样本集对待训练神经网络模型进行第二预设次数的训练,其中第二预设次数可以根据实际应用进行具体设定。例如,可以通过使用神经网络模型训练领域中常规的l2范数损失函数,可以设置第二样本图像的batch大小为64,学习率设置为0.0001,使用adam优化器,对待训练神经网络模型训练第二预设次数个循环,当l2范数损失函数趋于稳定时,可以得到强化后的特征点标注模型,其中,第二预设次数可以根据l2范数损失函数是否趋于稳定进行确定,例如当训练50个循环后,l2范数损失函数趋于稳定,可以确定第二预设次数为50。

本发明实施例中,特征点标注模型可以为按照预设训练方式基于第三训练样本集训练得到的。

其中,第三训练样本集包含多个第三样本图像,并且每个第三样本图像的指定区域的特征点均标注正确。例如,针对标注了特征点的人脸图像,指定区域可以为人脸的眉毛区域、嘴巴区域和外轮廓区域,可以预先通过人工判断的方式,确定出为人脸的眉毛区域、嘴巴区域和外轮廓区域的特征点均标注正确的人脸图像作为第三样本图像。

具体的,如图7所示,可以采用如下步骤基于第三样本图像训练得到特征点标注模型:

步骤701,将第三样本图像输入待训练神经网络模型,得到第三样本图像的特征点的坐标值,作为待训练神经网络模型的输出结果。

步骤702,基于已知的每个第三样本图像的特征点的坐标值和所述输出结果,对待训练神经网络模型进行调整。

步骤703,当满足预设的第三结束训练条件时,将当前的待训练神经网络模型确定为训练得到的特征点标注模型。

本步骤中,预设的第三结束训练条件为:用于确定当前的待训练神经网络模型收敛的条件。预设的第三结束训练条件具体可以为:

使用第三训练样本集对待训练神经网络模型进行第三预设次数的训练,其中第三预设次数可以根据实际应用进行具体设定。例如,可以通过使用神经网络模型训练领域中常规的l2范数损失函数,可以设置第三样本图像的batch大小为64,学习率设置为0.0001,使用adam优化器,对待训练神经网络模型训练第三预设次数个循环,当l2范数损失函数趋于稳定时,可以得到强化后的特征点标注模型,其中,第三预设次数可以根据l2范数损失函数是否趋于稳定进行确定,例如当训练30个循环后,l2范数损失函数趋于稳定,可以确定第三预设次数为30。

本发明实施例中,通过采用预设训练方式预先训练得到特征点标注模型,进一步的,再使用预先训练的分类模型,对通过特征点标注模型所得到的第一样本图像的特征点的第一坐标值进行分类,进而根据分类结果对特征点标注模型的参数进行调整,得到强化后的特征点标注模型。通过预先训练得到特征点标注模型以及通过分类模型对特征点标注模型的参数进行调整,得到了特征点标注准确率较高的强化后的特征点标注模型。因此,使用强化后的特征点标注模型进行特征点标注,提高了特征点标注的准确率。

基于同一发明构思,根据本发明上述实施例提供的特征点标注模型训练方法,相应地,本发明另一实施例还提供了一种特征点标注模型训练装置,其结构示意图如图8所示,具体包括:

第一输入模块801,用于将第一训练样本集中的第一样本图像输入特征点标注模型,得到第一样本图像的特征点的坐标值,作为第一坐标值;

第二输入模块802,用于将第一样本图像和第一坐标值输入预先训练的分类模型,得到第一样本图像的特征点是否标注正确的分类结果,其中,分类模型为基于第二训练样本集训练得到的,第二训练样本集包含第二样本图像,每个第二样本图像的所标注的特征点的坐标值,作为第二坐标值,以及针对每个第二样本图像的第二坐标值,已知的该第二样本图像的特征点是否标注正确的分类结果;

参数调整模块803,用于当分类结果不正确时,调整特征点标注模型的参数,得到新的标注模型;

第一确定模块804,用于针对当前得到的标注模型,当满足预设的第一结束训练条件时,将当前得到的特征点标注模型确定为强化后的特征点标注模型,预设的第一结束训练条件为:用于确定当前得到的标注模型收敛的条件。

可见采用本发明实施例提供的装置,使用预先训练的分类模型,对通过特征点标注模型所得到的第一样本图像的特征点的第一坐标值进行分类,进而根据分类结果对特征点标注模型的参数进行调整,可以得到特征点标注准确率较高的强化后的特征点标注模型。因此,使用强化后的特征点标注模型进行特征点标注,提高了特征点标注的准确率。

进一步的,特征点标注模型为按照预设训练方式训练得到的。

进一步的,第一确定模块804,还用于针对当前得到的标注模型,采用如下步骤确定是否满足预设的第一结束训练条件:

将第一测试图像输入当前得到的特征点标注模型,得到第一测试图像的特征点的第一坐标值,以及将第二测试图像输入前一次得到的特征点标注模型,得到第二测试图像的特征点的第一坐标值;

使用第一测试图像的特征点的第一坐标值,确定分类模型的损失函数值,作为第一损失函数值,使用第二测试图像的特征点的第一坐标值,确定分类模型的损失函数值,作为第二损失函数值;

计算第一损失函数值和第二损失函数值的差值;

当差值不大于预设差值阈值时,确定满足预设的第一结束训练条件。

进一步的第一确定模块804,还用于针对当前得到的标注模型,采用如下步骤确定是否满足预设的第一结束训练条件:

将多个第三测试图像分别输入当前得到的特征点标注模型,得到每个第三测试图像的特征点的第一坐标值;

针对每个第三测试图像,将该第三测试图像和该第三测试图像的特征点的第一坐标值输入分类模型,得到该第三测试图像的特征点是否标注正确的分类结果;

基于多个第三测试图像的特征点是否标注正确的分类结果,计算多个第三测试图像的分类结果的正确率,其中,正确率为多个第三测试图像的分类结果表示正确的分类结果的比例;

当正确率不小于预设正确率阈值时,确定满足预设的第一结束训练条件。

进一步的,如图9所示,上述特征点标注模型训练装置,还包括:

分类模型训练模块901,用于采用如下步骤基于第二训练样本集训练得到分类模型:

将第二样本图像和第二样本图像的特征点的第二坐标值,输入待训练神经网络模型,得到表示第二样本图像的特征点是否标注正确的输出结果;

基于已知的该第二样本图像的特征点是否标注正确的分类结果,以及输出结果,对待训练神经网络模型进行调整;

当满足预设的第二结束训练条件时,将当前的待训练神经网络模型确定为训练得到的分类模型,预设的第二结束训练条件为:用于确定当前的待训练神经网络模型收敛的条件。

采用本发明实施例提供的装置,通过采用预设训练方式预先训练得到特征点标注模型,进一步的,再使用预先训练的分类模型,对通过特征点标注模型所得到的第一样本图像的特征点的第一坐标值进行分类,进而根据分类结果对特征点标注模型的参数进行调整,得到强化后的特征点标注模型。通过预先训练得到特征点标注模型以及使用分类模型的分类结果对特征点标注模型的参数进行调整,得到了特征点标注准确率较高的强化后的特征点标注模型。因此,使用强化后的特征点标注模型进行特征点标注,提高了特征点标注的准确率。

基于同一发明构思,根据本发明上述实施例提供的特征点标注模型训练方法,相应地,本发明另一实施例还提供了一种电子设备,参见图10,本发明实施例的电子设备包括处理器1001,通信接口1002,存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信。

存储器1003,用于存放计算机程序;

处理器1001,用于执行存储器1003上所存放的程序时,实现如下步骤:

将第一训练样本集中的第一样本图像输入特征点标注模型,得到所述第一样本图像的特征点的坐标值,作为第一坐标值;

将所述第一样本图像和所述第一坐标值输入预先训练的分类模型,得到所述第一样本图像的特征点是否标注正确的分类结果,其中,所述分类模型为基于第二训练样本集训练得到的,所述第二训练样本集包含第二样本图像,每个所述第二样本图像的所标注的特征点的坐标值,作为第二坐标值,以及针对每个所述第二样本图像的所述第二坐标值,已知的该第二样本图像的特征点是否标注正确的分类结果;

当所述分类结果不正确时,调整所述特征点标注模型的参数,得到新的标注模型;

针对当前得到的标注模型,当满足预设的第一结束训练条件时,将当前得到的特征点标注模型确定为强化后的特征点标注模型,所述预设的第一结束训练条件为:用于确定当前得到的标注模型收敛的条件。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect,pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一特征点标注模型训练方法的步骤。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一特征点标注模型训练方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1