基于二值语义嵌入的图像检索和识别方法和装置

文档序号:26050716发布日期:2021-07-27 15:25阅读:来源:国知局

技术特征:

1.一种基于二值语义嵌入的图像检索和识别方法,其特征在于,所述方法包括:

确定目标函数,并利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息,学习从原始图像空间到二值语义空间的映射,得到深度神经网络检索模型和样本图像对应的二值码库;

利用所述深度神经网络检索模型将待检索图像映射到二值语义空间中,以得到所述待检索图像对应的第一二值码;

计算所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码之间的海明距离,并按照海明距离进行升序排列;

根据海明距离的排列结果确定近似最近邻检索结果;

采用多数投票的方式,依据所述近似最近邻检索结果中的图像类别识别所述待检索图像的类别。

2.根据权利要求1所述的方法,其特征在于,所述目标函数包括:

s.t.diag(wtw)=1,b∈{-1,+1}l×n,b1=0,bbt=in,

其中,y表示样本图像的标签矩阵,b表示二值码矩阵,w表示线性映射矩阵,s表示成对相似度矩阵,该矩阵表示训练集中样本图像的相似关系,若两个样本i,j标签相同,则sij=1,否则,sij=0,l表示二值码的长度,α,β,γ表示超参数,v表示训练集图像,θ表示所述深度神经网络检索模型的参数,f(v:θ)表示深度神经网络检索模型的输出,n表示所述训练集中的样本数目,i表示单位矩阵。

3.根据权利要求2所述的方法,其特征在于,α=1,β=1e-4,γ=1e-3。

4.根据权利要求2所述的方法,其特征在于,利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息,学习从原始图像空间到二值语义空间的映射,得到深度神经网络检索模型和样本图像对应的二值码库,包括:

采用迭代的方式,分别优化w,b和θ;

在优化w时,固定b和θ,由于w满足正交约束,采用奇异值分解的方法,将所述目标函数简化为:

在优化b时,采用dplm算法进行优化;

在优化θ时,将||bf(v;θ)||2作为所述深度神经网络检索模型的损失,并通过反向传播算法进行优化。

5.根据权利要求1所述的方法,其特征在于,利用所述深度神经网络检索模型将待检索图像映射到二值语义空间中,以得到所述待检索图像对应的第一二值码,包括:

将所述待检索图像输入所述深度神经网络检索模型中,前向传播后得到所述待检索图像对应的第一二值码,如下式所示:

b=sign(f(v;θ))

其中,v表示所述待检索图像,sign表示量化函数,目的是将深度神经网络检索模型输出的实数值量化为离散的二值码。

6.根据权利要求1所述的方法,其特征在于,计算所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码之间的海明距离,包括:

将所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码通过异或运算,计算海明距离;

根据海明距离的排列结果确定近似最近邻检索结果,包括:

将海明距离排列在前的预设数量的检索结果确定为近似最近邻检索结果。

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述样本图像和所述待检索图像包括交通标志图像。

8.一种基于二值语义嵌入的图像检索和识别装置,其特征在于,所述装置包括:

训练模块,用于确定目标函数,并利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息,学习从原始图像空间到二值语义空间的映射,得到深度神经网络检索模型和样本图像对应的二值码库;

映射模块,用于利用所述深度神经网络检索模型将待检索图像映射到二值语义空间中,以得到所述待检索图像对应的第一二值码;

计算模块,用于计算所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码之间的海明距离,并按照海明距离进行升序排列;

确定模块,用于根据海明距离的排列结果确定近似最近邻检索结果;

识别模块,用于采用多数投票的方式,依据所述近似最近邻检索结果中的图像类别识别所述待检索图像的类别。

9.一种基于二值语义嵌入的图像检索和识别装置,其特征在于,所述装置包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:

确定目标函数,并利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息,学习从原始图像空间到二值语义空间的映射,得到深度神经网络检索模型和样本图像对应的二值码库;

利用所述深度神经网络检索模型将待检索图像映射到二值语义空间中,以得到所述待检索图像对应的第一二值码;

计算所述待检索图像对应的第一二值码与所述二值码库中的每个第二二值码之间的海明距离,并按照海明距离进行升序排列;

根据海明距离的排列结果确定近似最近邻检索结果;

采用多数投票的方式,依据所述近似最近邻检索结果中的图像类别识别所述待检索图像的类别。

10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。


技术总结
本发明是关于一种基于二值语义嵌入的图像检索和识别方法和装置,方法包括:确定目标函数,利用训练集中样本图像的标签信息、成对相似度矩阵和原始视觉信息,学习从原始图像空间到二值语义空间的映射,得到深度神经网络检索模型和样本图像对应的二值码库;利用深度神经网络检索模型将待检索图像映射到二值语义空间中,以得到待检索图像对应的第一二值码;计算待检索图像对应的第一二值码与二值码库中的每个第二二值码之间的海明距离,并进行升序排列;根据海明距离的排列结果确定近似最近邻检索结果;采用多数投票的方式,依据近似最近邻检索结果中的图像类别识别待检索图像的类别。通过该技术方案,可以充分嵌入图形知识,提高节点分类的准确性。

技术研发人员:王少华;刘兴波;聂秀山;刘法胜
受保护的技术使用者:山东科技大学;山东建筑大学
技术研发日:2021.06.09
技术公布日:2021.07.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1