一种基于掩膜选择卷积特征的图像检索方法与流程

文档序号:17662609发布日期:2019-05-15 22:29阅读:1446来源:国知局

本发明属于图像检索领域,具体地,涉及一种基于掩膜选择卷积特征的图像检索方法。



背景技术:

随着智能设备的普及以及互联网的发展,图像成为人们记录和分享的主要方式,面对如此海量的图像数据,如何准确、高效的检索出需要的图像收到广泛关注。图像检索技术是通过输入图像内容检索相似图像的技术,是一种对图像信息检索的搜索技术。

现有的图像检索技术,一般采用传统的手工特征的方法对图像局部特征进行描述,存在图像描述能力不足的问题,且图像特征的计算复杂度较高。基于深度卷积神经网络(convolutionalneuralnetwork,cnn)提取的检索方法,具有特征描述能力强,特征向量维度较低的优势。目前,采用预训练cnn网络模型的检索方法,采用提取全连接层特征或采用卷积层特征向量进行编码作为图像的检索特征向量,并以此特征向量同其他向量的相似度进行排序,生成相似图像的检索结果。已有的cnn图像特征提取方法中没有对图像背景区域的噪声与待检索目标之间加以区分,影响了检索结果的准确度,所以如何降低背景噪声的干扰提升检索性能是有待解决的问题。



技术实现要素:

为了解决上述的技术问题,本发明的目的在于降低图像中背景噪声,提升图像检索性能,提出了一种基于掩膜选择卷积特征的图像特征提取方法,能够从较大规模的数据集快速、准确的检索出相似图像。

为了实现上述目的,本发明通过以下技术方案实现,本发明提出了一种基于掩膜选择卷积特征的图像检索方法,包含如下步骤:

s1:读取待检索图像并进行预处理,完成图像的数据的标准化;

s2:将步骤s1处理后的图像输入预训练的深度卷积神经,通过卷积神经网络提取图像卷积特征;

s3:将步骤s2提取的卷积特征进行处理,获取求和特征图以及相应的阈值,通过阈值获取特征图掩膜的区域内的特征向量作为图像的局部卷积特征;

s4:将步骤s3筛选后的局部特征生成“视觉词典”,并进行嵌入编码并聚合生成特征向量,对其进行归一化处理作为图像的检索特征;

s5:获取步骤s4生成的待检索特征,计算与数据库中特征之间的余弦相似距离,并根据图像之间的相似距离进行排序,选取前m张图像作为结果返回。

优选地,所述步骤s1中的图像预处理方法为:先对图像的像素值进行简单的缩放,缩小值域范围;接着分别将三个彩色通道的数值减去整个图像数据集的均值或各通道关于图像数据集的均值。

优选地,所述步骤s2中可以采用不同预训练深度卷积神经网络模型,如alexnet、vggnet、resnet等,提取相应的卷积特征。

优选地,所述步骤s3中掩膜生成方法采用了将s2提取的卷积特征累加获取求和特征图,通过设定相应的阈值生成图像的掩膜选择局部卷积特征。

进一步地,所述步骤s4为了降低特征维度,采用了pca(principalcomponentsanalysis)对选择后的局部卷积特征进行降维,随后对所获得的特征无监督聚类获取具有代表性的“视觉词”,生成代表性的“视觉词典”;通过局部特征嵌入方法如bow、vlad、fv等,将局部特征编码成检索特征。

优选地,所述步骤s5采用了余弦距离进行图像特征之间的相似性度量,并根据相似性距离进行排序,选取排名靠前的m张图像作为检索结果。

本发明为此提出了一种基于掩膜选择卷积特征的图像检索系统,包括图像数据采集系统、深度卷积神经网络特征提取系统、特征索引检索系统;所述的基于掩膜选择卷积特征的图像检索系统包括其计算机程序代码,该程序代码用于实现上述的图像检索系统涉及的步骤。

与现有的技术相比,本发明的有益效果如下:

本发明提出了基于掩膜选择卷积特征的算法来降低背景噪声的影响,突出待检索目标区域的卷积特征,并采用相应的特征嵌入编码方法对局部特征进行降维提升图像检索性能。本发明采用的深度卷积神经网络的特征提取方法和无监督聚类方法,将图像内容编码成为较低维度的检索特征向量,提升了计算机进行相似度计算的速度,提升了检索效率。本发明在提取图像特征是充分考虑了检索图像中背景噪声的影响,并将掩膜的方法引入图像特征筛选阶段,对检索目标区域的局部特征提取,去除背景区域;重点关注了某一部分重要的视觉区域,弱化了不重要的背景区域,提升特征编码效果,从而大幅提升特征的检索效果。

附图说明

图1为本发明的基于掩膜选择卷积特征的图像检索方法流程图。

图2为生成的掩膜示意图。

具体实施方式

下面结合具体的实施实例对本发明进行详细说明;以下实施实例将有助于相关人员进一步理解本发明,但应该强调的是,下述说明仅仅是示例性说明,并不以任何形式限制本发明的范围。

本实例提供了一种基于掩膜选择卷积特征的图像检索方法及系统,该方法与系统利用了掩膜技术筛选图像的局部卷积特征,突出待检索目标区域的卷积特征,并采用相应的特征嵌入编码方法对局部特征进行降维提升图像检索性能。

本发明先提出了一种基于掩膜选择卷积特征的图像检索方法,步骤如图1所示:

s1:读取待检索图像并进行预处理,完成图像的数据的标准化。

对输入一张彩色的图像,使用rgb理论将图像分解分三个通道,分别将对应通道的的像素值减去imagenet数据集上的均值,完成图像像素值的标准化。

s2:将步骤s1处理后的图像输入预训练的深度卷积神经,通过卷积神经网络提取图像卷积特征。

将预处理后的图像输入深度卷积神经网络模型,如alextnet、vggnet、resnet等不同的网络模型,使用在大规模数据集上训练的网络参数,去除网络模型中最后的全连接层保留之前的卷积层;本示例采用vggnet-16模型为例,去除卷积层后的全连接层,提取cov5的卷积层特征。

s3:将步骤s2提取的卷积特征进行处理,获取求和特征图以及相应的阈值,通过阈值获取特征图掩膜的区域内的特征向量作为图像的局部卷积特征;

如图2所示,输入卷积神经网络的图像生成的三维卷积特征张量记为t∈rh×w×c,计算求和特征图1≤x≤w,1≤y≤h,其中x,y为特征图上的位置坐标;根据求和特征图fx,y计算生成掩膜的阈值α=operator(fx,y),其中operator为阈值计算操作以简单的中值操作为例,获取的阈值计算卷积特征的掩膜m={(x,y)|fx,y>α},生成的掩膜位置坐标选择局部卷积特征,完成卷积特征筛选。

s4:将步骤s3筛选后的局部特征生成“视觉词典”,并进行嵌入编码并聚合生成特征向量,对其进行归一化处理作为图像的检索特征;

根据s3步骤中掩膜选取的卷积特征,对其进行pca(principalcomponeanalysis)降维操作生成d维的卷积特征,降低后续计算复杂度以及内存消耗,随后对降维后的卷积特征进行编码,通过非监督聚类算法k-mens构造所有卷积特征的“视觉词典”v={x1,x2,…,xk},其中x∈rd,k分别代表降维后的卷积特征以及“视觉词典”的中心数目,依据获取的“视觉辞典”的视觉词对进行vlad编码操作,生成图像的全局特征;在后去图像全局特征后,为了降低图像噪声对检索准确度的影响,采用了幂律归一化操作,提高检索特征的鲁棒性。

s5:将步骤s4生成的检索特征与图像数据中其他特征进行余弦相似性度量,并根据特征之间的相似距离进行排序,选取排名靠前的m张图像作为检索结果。

如图2所示,根据提出的算法生成图像的掩膜,在提取图像特征是充分考虑了检索图像中背景噪声的影响,并将掩膜的方法引入图像特征筛选阶段,对检索目标区域的局部特征提取,去除背景区域;重点关注了某一部分重要的视觉区域,弱化了不重要的背景区域;降低背景噪声对后续特征提取的影响,突出待检索目标区域的卷积特征,并采用相应的特征嵌入编码方法对局部特征进行降维,达到提升图像检索性能的效果。采用的深度卷积神经网络的特征提取方法和无监督聚类方法,将图像内容编码成为较低维度的检索特征向量,有益于检索过程中相似度计算的速度,提升了检索效率。

以上内容是结合具体的实施方式对本发明进一步进行详细的说明,但需要理解的是,本发明并不局限于特定的实施方式,图像检索领域的相关技术人员可在权利要求的范围内作出修改或变形,这些变化属于本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1