特征提取网络训练方法以及相关方法和装置与流程

文档序号:22614879发布日期:2020-10-23 19:14阅读:来源:国知局

技术特征:

1.一种特征提取网络的训练方法,其特征在于,所述方法包括:

获得图像训练集,所述图像训练集包括同一目标的两种模态的图像;

将所述图像训练集输入到所述特征提取网络,以得到每一目标的两种模态的图像特征;

利用每个目标的两种模态的图像特征的差异计算损失;

在损失减小的方向,更新所述特征提取网络的参数。

2.根据权利要求1所述的训练方法,其特征在于,所述在损失减小的方向,更新所述特征提取网络的参数,包括:

利用损失梯度反向传播更新所述特征提取网络的参数。

3.根据权利要求2所述的训练方法,其特征在于,两种模态包括第一模态和第二模态,所述将所述图像训练集输入到所述特征提取网络,以得到每一目标的两种模态的图像特征,之后包括:

将至少一个目标的第一模态的图像特征输入到第一图像分类器;基于所述第一图像分类器的分类结果,并利用梯度反向传播算法确定所述特征提取网络的第一组参数;

将至少一个目标的第二模态的图像特征输入到第二图像分类器;基于所述第二图像分类器的分类结果,并利用梯度反向传播算法确定所述特征提取网络的第二组参数;

所述利用损失梯度反向传播更新所述特征提取网络的参数,包括:利用损失梯度反向传播确定所述特征提取网络的第三组参数;

将所述特征提取网络的第一组参数、第二组参数和第三组参数进行加权处理,得到所述特征提取网络的最终参数。

4.根据权利要求3所述的训练方法,其特征在于,所述将所述图像训练集输入到所述特征提取网络,以得到每一目标的两种模态的图像特征,之后包括:

将每一目标的两种模态的图像特征连接,得到每一目标的融合特征;

将至少一个目标的融合特征输入到第三图像分类器;基于所述第三图像分类器的分类结果,并利用梯度反向传播算法确定所述特征提取网络的第四组参数;

所述将所述特征提取网络的第一组参数、第二组参数和第三组参数进行加权处理,得到所述特征提取网络的最终参数,包括:

将所述特征提取网络的第一组参数、第二组参数、第三组参数和第四组参数进行加权处理,得到所述特征提取网络的最终参数。

5.根据权利要求1所述的训练方法,其特征在于,所述两种模态的图像选自可见光图像、深度图像、红外图像、素描图像和3d图像中的两种。

6.根据权利要求1所述的训练方法,其特征在于,所述利用每个目标的两种模态的图像特征的差异计算损失,包括:

计算每个目标的两种模态的图像特征的欧式距离;

利用至少一个目标对应的欧式距离计算损失。

7.一种图像的特征提取方法,其特征在于,所述方法包括:

获取待提取特征的图像;

将所述待提取特征的图像输入至特征提取网络;其中,所述特征提取网络是采用权利要求1至6任一项所述的方法训练得到的;

通过所述特征提取网络提取所述待提取特征的图像的特征。

8.一种图像搜索方法,其特征在于,所述方法包括:

获取待搜索图像;

将所述待搜索图像输入至特征提取网络;以得到所述待搜索图像的特征;其中,所述特征提取网络是采用权利要求1至6任一项所述的方法训练得到的;

确定所述待搜索图像的特征与数据库中各图像的特征的差异;

根据所述差异确定与所述待搜索图像相似的图像,得到图像搜索结果。

9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;所述存储器中存储有计算机程序,所述处理器用于执行所述计算机程序以实现如权利要求1-8中任一项所述方法的步骤。

10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。


技术总结
本申请提供特征提取网络训练方法以及相关方法和装置。该特征提取网络训练方法包括:获得图像训练集,图像训练集包括同一目标的两种模态的图像;将图像训练集输入到特征提取网络,以得到每一目标的两种模态的图像特征;利用每个目标的两种模态的图像特征的差异计算损失;在损失减小的方向,更新特征提取网络的参数。本申请可以使得通过特征提取网络提取出的同一目标的两种模态的图像特征更加相似,解决了不同模态之间的语义鸿沟,将本申请训练出的特征提取网络应用到图像搜索中,可以解决不同模态无法互相搜索的问题。

技术研发人员:张雷;潘华东;殷俊;张兴明
受保护的技术使用者:浙江大华技术股份有限公司
技术研发日:2020.06.18
技术公布日:2020.10.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1