图像检索、获取图像信息及图像识别方法、装置及系统与流程

文档序号:12271326阅读:277来源:国知局
图像检索、获取图像信息及图像识别方法、装置及系统与流程

本申请涉及图像检索技术,具体涉及一种图像检索方法及装置。本申请同时提供一种获取图像信息的方法及装置、一种图像识别方法及装置、一种图像识别系统、一种用于计算图像特征值的方法及装置、以及一种电子设备。



背景技术:

物体识别和视觉化搜索技术可以极大的缩短物理世界同数据世界的距离,帮助用户快速便捷的获取信息。在目前备受关注的互联网领域,对于通过摄像头拍照获取的、或者从互联网下载获取的待识别图像,采用图像检索技术可以从预先注册的图像中找到与之匹配的图像,并进一步获知待识别图像的相关信息(该过程通常也称为图像识别过程),例如:通过对图书封面图像的检索,可以获知图书的名称、作者等信息。

图像检索可以通过局部特征匹配实现,由于图像的局部特征通常含有较多的冗余和噪声,从存储和检索性能上考虑,为了满足实用需求,通常需要对局部特征采用更为精简、有效的表达方式。在目前常用的图像检索技术词包模型(Bag of word)中,通过“词”来表征图像的局部特征。

基于词包模型的图像检索技术包括为图像检索数据库建立索引、以及特征匹配两个流程。在建立索引阶段,通常随机采集一部分图像的局部特征作为训练样本,利用Kmeans聚类算法对训练样本进行聚类,将聚类中心作为“词”,然后,针对图像检索数据库中注册图像的局部特征,查找与其欧氏距离最近的“词”,并用该词的索引作为该局部特征的量化表示,并在此基础上建立倒排表的索引结构;在特征匹配(检索)阶段,查找与待识别图像局部特征的欧式距离最近的“词”,并用该词的索引查找对应的注册图像,最后采用统计投票的方式,得到与待识别图像对应的检索结果。

通过上面的描述可以看出,由于词包模型在建立索引和特征匹配阶段,都是通过“词”来表征图像的局部特征,而不同的图像特征可能对应于同一个“词”,即,词索引之间的距离并不能表示特征的真实距离,例如,三个特征量化以后 的索引分别为1、5、100,而1和5对应的局部特征并不一定比100对应的局部特征更相似。基于上述原因,现有的图像检索技术实现图像之间匹配的精确低,可能会出现大量的误匹配,从而进一步导致需要对大量图像和误匹配特征对进行过滤和重排,影响检索性能。



技术实现要素:

本申请实施例提供一种图像检索方法和装置,相对于现有图像检索技术实现匹配的精度低的问题,提供了一种提高图像检索匹配精度的方案。本申请实施例还提供一种获取图像信息的方法及装置、一种图像识别方法及装置、一种图像识别系统、一种用于计算图像特征值的方法及装置、以及一种电子设备。

本申请提供一种图像检索方法,包括:

提取待检索图像的局部特征;

采用预先训练的深度自编码网络模型计算所述局部特征的特征值;

将所述特征值与图像检索数据库中注册图像的特征值进行匹配;

根据匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果。

可选的,所述特征值包括二值化特征值。

可选的,所述将所述特征值与图像检索数据库中注册图像的特征值进行匹配包括:采用基于汉明距离的方式进行匹配,并将汉明距离小于预设阈值的特征值对作为匹配成功的特征值对。

可选的,所述采用基于汉明距离的方式进行匹配包括:

采用计算汉明距离的线性查询方式进行匹配;或者,

采用以二值化特征值为索引查询哈希表的方式进行匹配。

可选的,预先训练所述深度自编码网络模型,包括:

选择样本图像集;

提取所述样本图像集中的样本图像的局部特征;

以所述局部特征作为输入,以深度自编码网络模型对输入数据进行编解码后的重建误差最小为目标,进行迭代训练直至所述深度自编码网络模型收敛。

可选的,所述图像检索数据库是采用如下步骤预先建立的:

选取用于构建所述图像检索数据库的注册图像;

提取所述注册图像的局部特征;

利用所述深度自编码网络模型计算所述局部特征的特征值;

将所述特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,在所述提取所述注册图像的局部特征之前,执行下述操作:

按照预设的方式对所述注册图像的尺寸进行归一化。

可选的,在利用所述深度自编码网络模型计算所述局部特征的特征值之后,执行下述步骤:

按照计算得到的特征值的分布,对特征值进行筛选;

所述将所述特征值存储在图像检索数据库中包括:将筛选后的特征值存储在图像检索数据库中。

可选的,所述按照计算得到的特征值的分布,对特征值进行筛选包括:

选择在注册图像中出现频率低于预设阈值的特征值;和/或,

按照特征值在注册图像中的位置分布选择特征值。

可选的,在所述提取待检索图像的局部特征之后,执行下述操作:

计算所述局部特征对应的关键点到所述待检索图像中心的距离;

剔除所述距离大于预设阈值的关键点对应的局部特征;

所述采用预先训练的深度自编码网络模型计算所述局部特征的特征值包括:采用所述深度自编码网络模型计算执行上述剔除操作后的局部特征的特征值。

可选的,所述将所述特征值与图像检索数据库中注册图像的特征值进行匹配包括:

将所述特征值与图像检索数据库中注册图像的特征值,采用如下方式逐一进行两两匹配:计算表征待匹配特征值对的差异程度的指标值,并当所述指标值小于预先设定的阈值时判定所述特征值对匹配成功。

可选的,所述满足预设条件的注册图像包括:

按照特征值匹配成功的个数从大到小排序靠前的注册图像;或者,

特征值匹配成功的个数大于预设阈值的注册图像;或者,

按照特征值匹配成功所得累计分值从大到小排序靠前的注册图像;或者,

特征值匹配成功所得累计分值大于预设阈值的注册图像。

可选的,在所述根据匹配结果选择满足预设条件的注册图像后,执行下述重排操作:

针对每个所选注册图像,将所述待检索图像的特征值与从图像检索数据库中提取的注册图像特征值进行两两匹配,并记录满足预设重排匹配条件的特征值对的个数;

根据满足预设重排匹配条件的特征值对的个数对所选注册图像进行排序,并从中选择排序靠前的注册图像;

所述根据匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果包括:将执行上述重排操作后所选注册图像作为所述待检索图像的检索结果。

可选的,在所述记录满足预设重排匹配条件的特征值对的个数后,执行下述操作:

通过利用变换模型进行空间关系一致性校验,从所述满足预设重排匹配条件的特征值对中剔除误匹配的特征值对;

所述根据满足预设重排序匹配条件的特征值对的个数对所选注册图像进行排序包括:根据执行上述剔除操作后的、满足预设重排匹配条件的特征值对的个数对所选注册图像进行排序。

可选的,通过如下方式提取图像的局部特征:采用SIFT算法、采用LBP算法或者利用卷积神经网络。

可选的,所述提取待检索图像的局部特征、以及所述采用预先训练的深度自编码网络模型计算所述局部特征的特征值的步骤在客户端设备上执行;

所述将所述特征值与图像检索数据库中图像的特征值进行匹配、以及所述根据匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果的步骤在服务端设备上执行。

相应的,本申请还提供一种图像检索装置,包括:

局部特征提取单元,用于提取待检索图像的局部特征;

特征值计算单元,用于采用预先训练的深度自编码网络模型计算所述局部特征提取单元输出的局部特征的特征值;

特征值匹配单元,用于将所述特征值计算单元输出的特征值与图像检索数据库中注册图像的特征值进行匹配;

检索结果生成单元,用于根据所述特征值匹配单元输出的匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果。

可选的,当所述特征值为二值化特征值时,所述特征值匹配单元具体用于,采用基于汉明距离的方式进行匹配,并将汉明距离小于预设阈值的特征值对作为匹配成功的特征值对。

可选的,所述装置包括:模型训练单元,用于预先训练所述深度自编码网络模型;

所述模型训练单元包括:

样本选择子单元,用于选择样本图像集;

样本特征提取子单元,用于提取所述样本图像集中的样本图像的局部特征;

迭代训练子单元,用于以所述局部特征作为输入,以深度自编码网络模型对输入数据进行编解码后的重建误差最小为目标,进行迭代训练直至所述深度自编码网络模型收敛。

可选的,所述装置包括:数据库建立单元,用于预先建立所述图像检索数据库;

所述数据库建立单元包括:

注册图像选择子单元,用于选取用于构建所述图像检索数据库的注册图像;

注册图像特征提取子单元,用于提取所述注册图像的局部特征;

注册图像特征值计算子单元,用于利用所述深度自编码网络模型计算所述局部特征的特征值;

特征值注册子单元,用于将所述特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,所述数据库建立单元还包括:

特征值筛选子单元,用于根据特征值的分布,对所述注册图像特征值计算子单元计算得到的特征值进行筛选;

所述特征值注册子单元具体用于,将所述特征值筛选子单元筛选后的特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,所述装置包括:

距离计算单元,用于计算所述局部特征对应的关键点到所述待检索图像中心的距离;

局部特征剔除单元,用于剔除所述距离计算单元计算得到的距离大于预设阈值的关键点对应的局部特征;

所述特征值计算单元具体用于,采用所述深度自编码网络模型计算由所述局部特征剔除单元执行剔除操作后的局部特征的特征值。

可选的,所述检索结果生成单元包括:

注册图像初选子单元,用于根据所述特征值匹配单元输出的匹配结果选择满足预设条件的注册图像;

重排匹配子单元,用于针对所述注册图像初选子单元所选的每个注册图像,将所述待检索图像的特征值与从图像检索数据库中提取的注册图像特征值进行两两匹配,并记录满足预设重排匹配条件的特征值对的个数;

重排筛选子单元,用于根据所述重排匹配子单元记录的特征值对的个数对所选注册图像进行排序,并从中选择排序靠前的注册图像,作为所述待检索图像的检索结果。

可选的,所述检索结果生成单元还包括:

空间一致性校验子单元,用于通过利用变换模型进行空间关系一致性校验,从所述重排匹配子单元得到的特征值对中剔除误匹配的特征值对;

所述重排筛选子单元具体用于,根据所述空间一致性校验子单元执行剔除操作后的、满足预设重排匹配条件的特征值对的个数对所选注册图像进行排序。

可选的,所述局部特征提取单元以及所述特征值计算单元部署于客户端设备上;

所述特征值匹配单元以及所述检索结果生成单元部署于服务端设备上。

此外,本申请还提供一种获取图像信息的方法,包括:

提取待识别图像的局部特征;

采用预先训练的深度自编码网络模型计算所述局部特征的特征值;

将所述特征值发送给提供图像识别服务的服务端;

接收所述服务端返回的所述待识别图像的相关信息。

可选的,所述特征值包括二值化特征值。

可选的,在所述提取待识别图像的局部特征之后,执行下述操作:

计算所述局部特征对应的关键点到所述待识别图像中心的距离;

剔除所述距离大于预设阈值的关键点对应的局部特征;

所述采用预先训练的深度自编码网络模型计算所述局部特征的特征值包括:采用所述深度自编码网络模型计算执行上述剔除操作后的局部特征的特征值。

可选的,通过如下方式提取待识别图像的局部特征:采用SIFT算法、采用LBP算法或者利用卷积神经网络。

可选的,所述方法在移动终端设备上实施。

相应的,本申请还提供一种获取图像信息的装置,包括:

局部特征提取单元,用于提取待识别图像的局部特征;

特征值计算单元,用于采用预先训练的深度自编码网络模型计算所述局部特征提取单元输出的局部特征的特征值;

特征值发送单元,用于将所述特征值计算单元输出的特征值发送给提供图像识别服务的服务端;

图像信息接收单元,用于接收所述服务端返回的所述待识别图像的相关信息。

此外,本申请还提供一种图像识别方法,包括:

接收客户端上传的待识别图像的特征值,所述特征值是以所述待识别图像的局部特征为输入,利用预先训练的深度自编码网络模型计算得到的;

将所述特征值与图像检索数据库中注册图像的特征值进行匹配;

根据匹配结果选择满足预设条件的注册图像;

获取与所选注册图像对应的注册信息,并返回给所述客户端。

可选的,所述特征值包括:二值化特征值。

可选的,所述将所述特征值与图像检索数据库中注册图像的特征值进行匹 配包括:采用基于汉明距离的方式进行匹配,并将汉明距离小于预设阈值的特征值对作为匹配成功的特征值对。

可选的,所述图像检索数据库是采用如下步骤预先建立的:

选取用于构建所述图像检索数据库的注册图像;

提取所述注册图像的局部特征;

利用所述深度自编码网络模型计算所述局部特征的特征值;

将所述特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,在利用所述深度自编码网络模型计算所述局部特征的特征值之后,执行下述步骤:

按照计算得到的特征值的分布,对特征值进行筛选;

所述将所述特征值存储在图像检索数据库中包括:将筛选后的特征值存储在图像检索数据库中。

可选的,所述按照计算得到的特征值的分布,对特征值进行筛选包括:

选择在注册图像中出现频率低于预设阈值的特征值;和/或,

按照特征值在注册图像中的位置分布选择特征值。

可选的,在所述根据匹配结果选择满足预设条件的注册图像后,执行下述重排操作:

针对每个所选注册图像,将所述待识别图像的特征值与从图像检索数据库中提取的注册图像特征值进行两两匹配,并记录满足预设重排匹配条件的特征值对的个数;

根据满足预设重排匹配条件的特征值对的个数对所选注册图像进行排序,并从中选择排序靠前的注册图像;

所述根据匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果包括:将执行上述重排操作后所选注册图像作为所述待检索图像的检索结果。

相应的,本申请还提供一种图像识别装置,包括:

特征值接收单元,用于接收客户端上传的待识别图像的特征值,所述特征值是以所述待识别图像的局部特征为输入,利用预先训练的深度自编码网络模 型计算得到的;

特征值匹配单元,用于将所述特征值接收单元接收到的特征值与图像检索数据库中注册图像的特征值进行匹配;

注册图像选择单元,用于根据匹配结果选择满足预设条件的注册图像;

图像信息发送单元,用于获取与所选注册图像对应的注册信息,并返回给所述客户端。

此外,本申请还提供一种图像识别系统,包括:根据上述任意一项所述的获取图像信息的装置,以及根据上述任意一项所述的图像识别装置。

此外,本申请还提供一种用于计算图像特征值的方法,包括:

提取待计算特征值图像的局部特征;

采用预先训练的深度自编码网络模型计算所述局部特征的特征值。

可选的,所述特征值包括:二值化特征值。

可选的,预先训练所述深度自编码网络模型,包括:

选择样本图像集;

提取所述样本图像集中的样本图像的局部特征;

以所述局部特征作为输入,以深度自编码网络模型对输入数据进行编解码后的重建误差最小为目标,进行迭代训练直至所述深度自编码网络模型收敛。

可选的,通过如下方式提取待计算特征值图像的局部特征:采用SIFT算法、采用LBP算法或者利用卷积神经网络。

相应的,本申请还提供一种用于计算图像特征值的装置,包括:

局部特征提取单元,用于提取待计算特征值图像的局部特征;

特征值计算单元,用于采用预先训练的深度自编码网络模型计算所述局部特征提取单元输出的局部特征的特征值。

此外,本申请还提供一种电子设备,包括:

显示器;

处理器;

存储器,用于存储获取图像信息的程序,所述程序在被所述处理器读取执行时,执行如下操作:提取待识别图像的局部特征;采用预先训练的深度自编 码网络模型计算所述局部特征的二值化特征值;将所述二值化特征值发送给提供图像识别服务的服务端;接收所述服务端返回的关于所述待识别图像的相关信息。

与现有技术相比,本申请具有以下优点:

本申请提供的技术方案,通过提取待检索图像的局部特征,并采用预先训练的深度自编码网络模型计算所述局部特征的特征值,然后将所述特征值与图像检索数据库中注册图像的特征值进行匹配,根据匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果。本申请提供的上述方法,将图像的局部特征和深度自编码网络模型结合起来,由于深度自编码网络在对局部特征进行压缩表示的过程中,可以有效保持特征值之间的距离信息和辨别能力,从而能够有效提升图像检索的精确度,减少重排过滤的工作量,提高检索效率。

而且与词包模型相比较,由于将待检索图像的局部特征转换为“词”的过程是一个百万级的最近邻问题,无法在普通的移动终端设备上实现;而本申请的技术方案由于采用深度自编码网络模型计算图像局部特征的特征值,通常只需要执行几个矩阵乘法,对储存空间的要求小,可以在移动终端设备上实现,从而使得移动终端直接向服务端上传图像特征值成为可能,可以减轻服务端的工作压力。

进一步地,深度自编码网络模型输出的特征值可以为量化的二值化特征值,从而实现图像特征的进一步压缩表示,例如,可以压缩为只有几K大小的二值码序列。一方面,可以将图像检索数据库扩展到百万级甚至亿级的规模,而且可以方便的利用Hash等技术加速检索过程;另一方面,能够有效减少客户端向服务端上传的数据量,节省对网络带宽的占用、以及减少数据传输时间,从而可以在移动终端设备上实现直接对图像特征进行量化、并向服务器上传量化特征数据的功能。

附图说明

图1是本申请提供的一种图像检索方法的实施例的流程图;

图2是本申请实施例提供的深度自编码网络的示意图;

图3是本申请实施例提供的构建图像检索数据库的处理流程图;

图4是本申请实施例提供的根据匹配结果选择注册图像的处理流程图;

图5是本申请提供的一种图像检索装置的实施例的示意图;

图6是本申请提供的一种获取图像信息的方法实施例的流程图;

图7是本申请提供的一种获取图像信息的装置实施例的示意图;

图8是本申请提供的一种图像识别方法的实施例的流程图;

图9是本申请提供的一种图像识别装置的实施例的示意图;

图10是本申请提供的一种图像识别系统的实施例的示意图;

图11是本申请提供的一种用于计算图像特征值的方法实施例的流程图;

图12是本申请提供的一种用于计算图像特征值的装置实施例的示意图;

图13是本申请提供的一种电子设备的实施例的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是,本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此,本申请不受下面公开的具体实施的限制。

在本申请中,分别提供了一种图像检索方法及装置、一种获取图像信息的方法及装置、一种图像识别方法及装置、一种图像识别系统、一种用于计算图像特征值的方法及装置、以及一种电子设备,在下面的实施例中逐一进行详细说明。

本申请的技术方案通过将局部特征与深度自编码网络相结合,提高了图像检索的精确度。在执行图像检索操作之前,可以预先训练深度自编码网络模型,并利用训练好的深度自编码网络模型构建图像检索数据库,下面对这两部依次进行说明。

1)训练深度自编码网络模型。

深度自编码网络是一种深度神经网络,请参看图2,其为本实施例提供的深度自编码网络的示意图,该网络由5层神经元组成,包含多个隐藏层,由于居于最中间的隐藏层,即本图中的第3层(通常称为编码层)的神经元个数少于输入层神经元个数,因此编码层的输出通常是对输入数据的压缩表示。其中第 一层是输入层,第2层以及第3层各自输出的是输入信号的一种表示(也称为编码过程),第4层和第5层用于对输入数据进行重建(也称为解码过程),深度自编码网络的训练过程,就是以对输入数据进行逐层编解码后的重建误差最小为目标,采用梯度下降等算法通过迭代方式调整各层参数的过程。

具体到本实施例中,采用如下方式训练深度自编码网络模型:随机选取样本图像集,提取所述样本图像集中的样本图像的局部特征,以所述局部特征作为输入,以深度自编码网络模型对输入数据进行编解码后的重建误差最小为目标,进行迭代训练直至所述深度自编码网络模型收敛,则所述深度自编码网络模型训练完毕,该模型编码层的输出就是对输入局部特征进行压缩后的特征值,例如输入是128维的实数向量,输出为16维的实数向量。在具体实施时,对于训练好的深度自编码网络模型,通过执行几个矩阵乘法即可在编码层得到输入特征的压缩表示,例如在图2所示的深度自编码网络中,上述压缩过程可以通过两个矩阵乘法实现。

由于采用了深度自编码网络模型,在去除原始特征冗余信息达到降维目的的同时,编码层输出的特征值通常可以良好地代表输入特征,即,能够以少量的存储形式来表示原本较复杂的但信息冗余较大的表示形式,并且有效保持特征值之间的距离信息和辨别能力,从而为提高检索精度提供保障。

在本实施例的一个具体例子中,随机选取了60万个图像,并从每个图像中提取200个局部特征,然后以200x60万=12000万个局部特征作为输入进行迭代训练,最终得到训练好的深度自编码网络模型。

优选地,为了实现进一步的数据压缩和量化表示,可以在上述训练过程中加入约束条件,从而将编码层的输出限定为二值化数据。例如,在前向传播过程中对编码层输出的取值范围在[0,1]区间的实数值进行四舍五入,从而得到二进制的表达,作为下一层的输入,在反向传播采用梯度下降法调整参数的过程中,所采用的编码层输出数据仍然是没有经过量化的实数结果。采用上述方式经过多次迭代,网络收敛以后,即得到训练好的深度自编码网络模型,在后续使用该模型计算局部特征的特征值时,编码层在输出结果时进行四舍五入得到由0、1组成的二进制序列,即本申请所述的二值化特征值,也称为量化二值码或者量化后的特征值。

需要说明的是,图2是本实施例给出的深度自编码网络的示意图,该图中 示出的网络层数以及神经元个数都仅仅是示意性的,在具体实施中,可以根据需要设置并调整深度自编码网络的层数、以及每一层的神经元的数目等,本申请对此并不作具体的限定。

2)构建图像检索数据库。

所述图像检索数据库也称为特征数据库,用于存储大量图像特征,从而在进行图像检索时,可以通过将待检索图像与该库中的图像特征的匹配,找到与待检索图像相匹配的注册图像。在本申请技术方案中,可以采用预先训练好的深度自编码网络模型构建所述图像检索数据库。具体实现可以包括以下步骤101-1至101-4,下面结合附图3进行说明。

步骤101-1、选取用于构建所述图像检索数据库的注册图像。

具体实施时,可以从互联网、各种资源服务器、各种应用对外提供的图像素材中获取所述图像,也可以通过拍照等方式获取所述图像。之所以将这些图像称为注册图像,是指所述图像的特征值将被存储在图像检索数据库中以供检索匹配,而所述图像自身可能成为与待检索图像相匹配的图像。

步骤101-2、提取所述注册图像的局部特征。

为了提高图像检索的精确度,在提取所述注册图像的局部特征之前,可以按照预设的方式对注册图像的尺寸进行归一化,例如可以通过对注册图像的尺寸进行等比例缩放,使所有注册图像达到长度值为300像素的统一规格。

针对每一个注册图像,提取其局部特征,具体可以采用SIFT(Scale-Invariant feature Transform—尺度不变特征转换)算法、LBP(Local Binary Patterns—局部二值模式)算法或者是利用卷积神经网络提取。例如,针对每一个注册图像可以采用SIFT算法提取200个128维的特征向量。

步骤101-3、利用所述深度自编码网络模型计算所述局部特征的特征值。

利用预先训练好的深度自编码网络模型,以步骤101-2获取的每个局部特征作为输入,计算所述局部特征的特征值,深度自编码网络模型的编码层的输出即为所述局部特征的特征值,例如,可以是降维后的实数向量,如果在训练深度自编码网络模型时加入了与二值化相关的限制条件,那么本步骤得到的就是每个局部特征的二值化特征值。

由于注册图像的数量通常比较多,经常是百万、千万甚至更多,因此本步骤计算得到的特征值相应也很多,为了提高检索效率,可以按照计算得到的特 征值的分布,对特征值进行筛选,并且仅对筛选出来的特征值进行注册(即存储在图像检索数据库中以供匹配检索)。筛选的方式可以有多种,此处列举两种,这两种方式可以各自独立使用也可以结合使用:

1)选择在注册图像中出现频率低于预设阈值的特征值。具体实施时,可以统计特征值在全部或者选定部分注册图像中出现的频率,通常出现频率越低的特征值,所携带的信息量越大,区别于其他图像的能力越强,因此可以筛选出现频率低于预设阈值的特征值。

2)按照特征值在注册图像中的位置分布选择特征值。为了减少注册特征值的数量,也可以将注册图像均匀划分为一系列的图像块,然后在每个图像块中选择预定数量的特征值作为代表。

步骤101-4、将所述特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

通过步骤101-3计算(以及筛选过程)后,每个注册图像都与多个特征值相对应,本步骤将所述特征值存储在图像检索数据库中,并建立特征值与注册图像的对应关系,该过程也称为特征值的注册过程。

如果预先训练的深度自编码网络模型的输出为二值化特征值,那么在构建图像检索数据库时,可以有效减少每个注册图像的注册特征值所需的存储空间,从而可以将图像检索数据库扩展到百万级甚至亿级的规模;此外还可以将二值化特征值转换为索引,并构建Hash表,在每个注册的二值化特征值对应的Hash表项中可以记录相应的注册图像标识,从而在特征匹配阶段能够采用Hash技术进行快速检索。

至此,描述了深度自编码网络的训练过程以及图像检索数据库的构建过程。在此基础上就可以进行图像检索。

请参考图1,其为本申请的一种图像检索方法的实施例的流程图。所述方法包括如下步骤:

步骤101、提取待检索图像的局部特征。

对于待检索图像,通常先提取局部特征,之所以提取局部特征,是因为在利用局部特征对图像描述时,每幅图像被分解成很多部分,每个部分对应一个特征向量,采用这样的局部特征可以有效的利用图像的结构信息进行图像匹配识别,而且能在一定程度上对角度变化、尺度变化具备较为稳定的特征匹配能 力。具体实施时,可以采用SIFT算法、LBP算法或者卷积神经网络等方式提取图像的局部特征,即,得到能够表征所述图像主要特征的特征向量。

需要说明的是,在训练深度自编码网络模型、构建图像检索数据库以及本步骤提取待检索图像的局部特征时,应该采用相同的局部特征提取方法,例如,都采用SIFT算法,这样才能有效实施本申请提供的图像检索方法。

步骤102、采用预先训练的深度自编码网络模型计算所述局部特征的特征值。

因为位置、尺度、滤波器参数等变化,在提取局部特征的过程中往往把待检索图像转化为维度比较高的特征空间,而且通常会得到数量比较多的特征向量。为了提高检索效率,可以在计算局部特征的特征值之前,从局部特征空间中选择最能表征该图像的特征子集。

考虑到图像的主要信息通常分布在图像中心附近,本实施例提供一种优选实施方式:以到待检索图像中心的距离远近作为局部特征选择的一个标准。具体实施时,由于每个局部特征通常与待检索图像中的一个关键点相对应,而每个关键点都有其在待检索图像中的坐标值,因此可以计算与局部特征对应的关键点到所述待检索图像中心的距离,如果所述距离大于预设阈值,说明关键点远离图像中心,可以剔除该关键点对应的局部特征,否则保留该关键点对应的局部特征。采用上述方式可以减少待检索图像的局部特征数量,提高检索效率。

在步骤101提取待检索图像的局部特征(以及执行上述剔除操作)后,可以用每个局部特征作为输入,利用预先训练好的深度自编码神经网络模型计算每个局部特征的特征值。深度自编码网络模型输出的特征值是输入局部特征的压缩表示,例如,可以是降维后的实数向量;如果在训练深度自编码网络模型时加入了与二值化相关的限制条件,那么本步骤得到的就是每个局部特征的量化二值码。

步骤103、将所述特征值与图像检索数据库中注册图像的特征值进行匹配。

待检索图像通过深度自编码网络模型转换为特征值后,本步骤可以将所述特征值与图像检索数据库中的注册特征值逐一进行两两匹配,对于进行匹配的每个特征值对,可以计算表征该特征值对差异程度的指标值,并当所述指标值小于预先设定的阈值时判定所述特征值对匹配成功。

在具体实施时,所述表征特征值对差异程度的指标可以为特征值对之间的 欧氏距离。进一步地,如果所述深度自编码网络模型输出的特征值为二值化特征值,那么所述表征特征值对差异程度的指标也可以为特征值对之间的汉明距离。

对于基于汉明距离的特征值对的匹配,在具体实施时,可以采用计算汉明距离的线性查询方式、或者采用Hash技术进行匹配,这两种方式都能够有效提高检索效率。下面对这两种方式作进一步说明。

1)采用计算汉明距离的线性查询方式进行匹配。

所述汉明距离通常是指,两个相同长度字符串对应位不同的数量,对于由0、1组成的量化二值码表示的特征值对,可以通过异或运算并统计结果为1的个数,从而得到所述汉明距离,例如,1011101与1001001的汉明距离为2。

在具体实施时,考虑到图像特征表达的复杂性,可以结合具体应用需求,为基于汉明距离的线性查询匹配过程预先设定阈值,然后对待检索图像的特征值与图像检索数据库中注册图像的特征值逐一进行两两匹配,如果当前进行匹配的特征值对的汉明距离小于所述阈值则认为所述特征值对匹配成功。例如,在本实施例的一个具体例子中,量化二值码的长度为62bit,预设的汉明距离阈值为4,如果进行匹配的特征值对的汉明距离小于等于3,即汉明距离属于[0,3]区间内,则可以判定所述特征值对匹配成功。

2)采用以二值化特征值为索引查询哈希表的方式进行匹配。

如果采用Hash技术进行匹配,通常在构建图像检索数据库时,已经建立了以二值化特征值为索引的Hash表,因此在本步骤中,可以用二值化特征值为索引,直接在Hash表中进行查询。

在具体实施时,与上述基于汉明距离的线性查询方式类似,可以预先设定汉明距离的阈值,然后生成所有与待检索图像的二值化特征值(以下简称待检索二值码)的汉明距离小于所述阈值的二值码,并分别将这些二值码转换为索引,直接在Hash表中进行查询,如果与某索引对应的Hash表项中记录了注册图像标识,则通常说明找到了与所述待检索二值码相匹配的注册特征值。

对于找到的匹配成功的特征值对,可以为对应的注册图像记录匹配结果。例如,可以记录所述注册图像的特征值匹配成功的数目,每当所述注册图像的某一注册特征值匹配成功,则将所述数目加一;也可以记录所述注册图像的匹配分值,每当所述注册图像的某一注册特征值匹配成功,则累加所述分值,具 体实施时,还可以细化分值累加策略,可以根据特征值对的匹配程度累加不同的分值,例如对于匹配成功的二值化特征值对,如果汉明距离为0或者1,则可以累加预设的较高分值,如果汉明距离为2或者3,则可以累加预设的较低分值。上述列举了一些记录匹配结果的方式以及策略,在具体实施时,可以根据具体需求采取所需的方式。

步骤104、根据匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果。

本步骤根据步骤103执行匹配操作的结果,选择满足预设条件的注册图像作为所述待检索图像的检索结果。优选地,为了进一步提高图像检索的精确度,本实施例还提供对满足预设条件的注册图像进行重排的优选实施方式。整个处理过程包括步骤104-1至104-3,下面结合附图4进行说明。

步骤104-1、根据匹配结果选择满足预设条件的注册图像。

如果在步骤103中针对注册图像记录的是特征值匹配成功的个数,那么本步骤可以选择满足如下条件的注册图像:按照特征值匹配成功的个数从大到小排序靠前的注册图像,或者,特征值匹配成功的个数大于预设阈值的注册图像;如果在步骤103中针对注册图像记录的是累积分值,那么本步骤可以选择满足如下条件的注册图像:按照特征值匹配成功所得累计分值从大到小排序靠前的注册图像,或者,特征值匹配成功所得累计分值大于预设阈值的注册图像。

步骤104-2、针对每个所选注册图像,将所述待检索图像的特征值与从图像检索数据库中提取的注册图像特征值进行两两匹配,并记录满足预设重排匹配条件的特征值对的个数。

由于采用深度自编码网络模型得到的特征值能够保持图像的原始特征距离信息,为了进一步提高图像检索的精确度,本步骤对待检索图像与步骤104-1中选取的注册图像进行图与图之间的一对一匹配,从而实现对所选注册图像的重排筛选。

具体实施时,可以采用如下方式进行待检索图像与注册图像之间的一对一匹配:针对待检索图像的某一特征值,计算表征该特征值与所述注册图像的每个注册特征值之间的差异程度的指标值,判断上述指标值是否满足预先设定的重排匹配条件:将所述指标值按照从小到大的顺序排序后,如果第一位的指标值小于预先设定的第一阈值,并且第二位与第一位的指标值的差异大于预先设 定的第二阈值,则可以认为待检索图像的该特征值与第一位对应的注册特征值是满足预设重排匹配条件的特征值对,针对所述注册图像累计满足预设重排匹配条件的特征值对的个数;然后采用上述方式,依次匹配待检索图像的其他各特征值,直至将待检索图像的特征值处理完毕。

在上述处理过程中,所述第二位与第一位的指标值的差异可以用求解两者差值或者比值的方式计算;上面列举了一种具体的重排匹配条件,在具体实施中也可以预先设定其他的重排匹配条件,只要能够对步骤104-1所选注册图像进行重排筛选,提高图像检索精确度就都是可以的。

针对待检索图像与步骤104-1所选的每个注册图像,依次执行上述的一对一匹配过程,从而可以得到关于每个所选注册图像的、满足预设重排匹配条件的特征值对的个数。

优选地,本步骤还可以在上述处理的基础上,利用空间关系一致性校验,对每个所选注册图像的、满足预设重排匹配条件的特征值对进行筛选,从而进一步提高图像检索精度。由于匹配成功的特征值对中可能存在因为噪声等原因引起的误匹配,而对于两幅同源图像之间的相互对应的特征值对,是可以通过一个变换模型相互变换得到的,本实施例正是利用这一特点消除误匹配对(也称噪声匹配对)。

具体实施时,可以针对步骤104-1所选的每个注册图像,执行下述操作:从满足预设重排匹配条件的特征值对(以下简称匹配特征值对)中任意选择3对或者4对特征值对,采用RANSAC算法估算出变换模型,通过循环选择不同的特征值对,可以估算出不同的变换模型,并从这些变换模型中选择与所有匹配特征值对拟合程度最好的变换模型(也称变换矩阵),作为所述待检索图像与所述注册图像之间的变换模型,然后依次判断每个匹配特征值对对所述变换模型的拟合程度,对于拟合程度不满足预设条件的匹配特征值对可以认为是噪声匹配对,因此将这样的特征值对从所述满足预设重排匹配条件的特征值对中剔除。

步骤104-3、根据满足预设重排匹配条件的特征值对的个数对所选注册图像进行排序,并从中选择排序靠前的注册图像作为所述待检索图像的检索结果。

对步骤104-1所选的各注册图像,根据在步骤104-2中得到的未被剔除的、满足预设重排匹配条件的特征值对的个数,按照从大到小的顺序再次进行排序,并从中选择排序靠前的注册图像作为所述待检索图像的检索结果。由于对步骤 104-1选取的注册图像与待检索图像再次进行了一对一匹配,并且剔除了误匹配的特征值对,因此经过上述重排操作后得到的检索结果通常会更为精确。

需要说明的是,上述一对一匹配的重排过程,以及利用变换模型剔除噪声匹配对的机制是本实施例提供的优选实施方式,在其他实施方式中,也可以不采用这两种实施方式,或者仅采用其中之一,同样可以实现本申请的技术方案。

至此,通过上述步骤101至步骤104完成了图像检索过程,获取了待检索图像的检索结果。需要说明的是,本实施例提供的技术方案既可以在单一的设备上实施,也可以在基于C/S(客户端/服务器)架构的系统中实施。对于第二种方式,本实施例中描述的步骤101和102,即提取待检索图像的局部特征以及计算特征值的步骤可以在客户端设备上执行,并且由客户端设备将计算得到的特征值发送给服务端设备,而步骤103和步骤104,即进行特征值匹配以及选择检索结果的步骤可以由服务端设备在接收到所述特征值后执行。

通过上面的描述可以看出,本申请提供的图像检索方法,将图像的局部特征和深度自编码网络模型结合起来,由于深度自编码网络模型在对局部特征进行压缩表示的过程中,可以有效保持特征值之间的距离信息和辨别能力,从而能够有效提升图像检索的精确度,减少重排过滤的工作量,提高检索效率。

在上述的实施例中,提供了一种图像检索方法,与之相对应的,本申请还提供一种图像检索装置。请参看图5,其为本申请的一种图像检索装置的实施例示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种图像检索装置,包括:局部特征提取单元501,用于提取待检索图像的局部特征;特征值计算单元502,用于采用预先训练的深度自编码网络模型计算所述局部特征提取单元输出的局部特征的特征值;特征值匹配单元503,用于将所述特征值计算单元输出的特征值与图像检索数据库中注册图像的特征值进行匹配;检索结果生成单元504,用于根据所述特征值匹配单元输出的匹配结果选择满足预设条件的注册图像作为所述待检索图像的检索结果。

可选的,当所述特征值为二值化特征值时,所述特征值匹配单元具体用于,采用基于汉明距离的方式进行匹配,并将汉明距离小于预设阈值的特征值对作为匹配成功的特征值对。

可选的,所述装置包括:模型训练单元,用于预先训练所述深度自编码网 络模型;

所述模型训练单元包括:

样本选择子单元,用于选择样本图像集;

样本特征提取子单元,用于提取所述样本图像集中的样本图像的局部特征;

迭代训练子单元,用于以所述局部特征作为输入,以深度自编码网络模型对输入数据进行编解码后的重建误差最小为目标,进行迭代训练直至所述深度自编码网络模型收敛。

可选的,所述装置包括:数据库建立单元,用于预先建立所述图像检索数据库;

所述数据库建立单元包括:

注册图像选择子单元,用于选取用于构建所述图像检索数据库的注册图像;

注册图像特征提取子单元,用于提取所述注册图像的局部特征;

注册图像特征值计算子单元,用于利用所述深度自编码网络模型计算所述局部特征的特征值;

特征值注册子单元,用于将所述特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,所述数据库建立单元还包括:

特征值筛选子单元,用于根据特征值的分布,对所述注册图像特征值计算子单元计算得到的特征值进行筛选;

所述特征值注册子单元具体用于,将所述特征值筛选子单元筛选后的特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,所述特征值筛选子单元具体用于,选择在注册图像中出现频率低于预设阈值的特征值;和/或,按照特征值在注册图像中的位置分布选择特征值。

可选的,所述装置包括:

距离计算单元,用于计算所述局部特征对应的关键点到所述待检索图像中心的距离;

局部特征剔除单元,用于剔除所述距离计算单元计算得到的距离大于预设阈值的关键点对应的局部特征;

所述特征值计算单元具体用于,采用所述深度自编码网络模型计算由所述 局部特征剔除单元执行剔除操作后的局部特征的特征值。

可选的,所述检索结果生成单元包括:

注册图像初选子单元,用于根据所述特征值匹配单元输出的匹配结果选择满足预设条件的注册图像;

重排匹配子单元,用于针对所述注册图像初选子单元所选的每个注册图像,将所述待检索图像的特征值与从图像检索数据库中提取的注册图像特征值进行两两匹配,并记录满足预设重排匹配条件的特征值对的个数;

重排筛选子单元,用于根据所述重排匹配子单元记录的特征值对的个数对所选注册图像进行排序,并从中选择排序靠前的注册图像,作为所述待检索图像的检索结果。

可选的,所述检索结果生成单元还包括:

空间一致性校验子单元,用于通过利用变换模型进行空间关系一致性校验,从所述重排匹配子单元得到的特征值对中剔除误匹配的特征值对;

所述重排筛选子单元具体用于,根据所述空间一致性校验子单元执行剔除操作后的、满足预设重排匹配条件的特征值对的个数对所选注册图像进行排序。

可选的,所述局部特征提取单元以及所述特征值计算单元部署于客户端设备上;

所述特征值批匹配单元以及所述检索结果生成单元部署于服务端设备上。

此外,本申请还提供一种获取图像信息的方法,请参考图6,其为本申请提供的一种获取图像信息的方法的实施例的流程图,本实施例与之前提供的各实施例内容相同的部分不再赘述,下面重点描述不同之处。本申请提供的一种获取图像信息的方法包括:

步骤601、提取待识别图像的局部特征。

所述待识别图像可以包括:CD、图书或者海报等封面图像,本步骤提取所述待识别图像的局部特征。

具体实施时,可以通过如下方式提取待识别图像的局部特征:采用SIFT算法、采用LBP算法或者利用卷积神经网络。

步骤602、采用预先训练的深度自编码网络模型计算所述局部特征的特征 值。

在采用预先训练的深度自编码网络模型计算所述局部特征的特征值之前,可以先计算所述局部特征对应的关键点到所述待识别图像中心的距离,并剔除所述距离大于预设阈值的关键点对应的局部特征,然后再采用所述深度自编码网络模型计算执行上述剔除操作后的局部特征的特征值。

通过在训练所述深度自编码网络模型的过程中添加关于二值化的约束条件,所述深度自编码网络模型计算输出的特征值可以为二值化特征值,从而实现进一步的特征压缩和量化表示。

步骤603、将所述特征值发送给提供图像识别服务的服务端。

步骤604、接收所述服务端返回的所述待识别图像的相关信息。

所述服务端可以采用本申请提供的图像检索方法找到与所述待识别图像相匹配的注册图像、并返回对应的注册信息,本步骤就会接收到所述信息,例如,待识别图像是图书封面图像,那么本步骤可以接收到以下信息:书名、作者姓名、价格、书评、在线购买网址等。

下面对本申请提供的获取图像信息的方法与现有基于词包模型的图像检索技术进行比较。现有基于词包模型的图像检索技术中,一方面由于作为聚类中心的“词”(也称中心特征向量)的数量通常在百万级,需要非常大的存储空间进行存储,另一方面,将图像的局部特征转换为“词”的过程是一个百万级的最近邻问题,上述对存储空间的要求以及对性能的要求,导致计算待识别图像特征值的过程无法在普通的移动终端设备上实现,要进行图像识别的移动终端设备只能向服务端上传待识别图像或者待识别图像的压缩版本,前者由于上传流量大导致速度慢,后者不仅会引入额外的编解码时间,而且由于信息损失会导致图像识别结果不准确。

而本申请提供的获取图像信息的方法,由于采用深度自编码网络模型计算待识别图像局部特征的特征值,通常只需要执行几个矩阵乘法,对存储空间和计算性能的要求都相对较低,可以在移动终端设备上实现,从而使得移动终端设备直接向服务端上传待识别图像的特征值成为可能,可以减轻服务端的工作压力。

进一步地,深度自编码网络模型输出的特征值可以为量化的二值化特征值,从而实现待识别图像特征的进一步压缩表示,能够有效减少客户端向服务端上 传的数据量,节省对网络带宽的占用、以及减少数据传输时间。在本实施例的一个具体例子中,所述深度自编码网络模型输出的二值化特征值的长度为62bit,对于包含200个局部特征的待识别图像来说,通过所述深度自编码网络模型的压缩量化,该图像可以用大小为200x 62bit=12400bit=1550Byte,即大约1.5KB的二值码序列来表征。从而可以在移动终端设备上实现直接对待识别图像特征进行量化、并向服务器上传量化特征数据的功能。

在上述的实施例中,提供了一种获取图像信息的方法,与之相对应的,本申请还提供一种获取图像信息的装置。请参看图7,其为本申请的一种获取图像信息的装置实施例的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种获取图像信息的装置,包括:局部特征提取单元701,用于提取待识别图像的局部特征;特征值计算单元702,用于采用预先训练的深度自编码网络模型计算所述局部特征提取单元输出的局部特征的特征值;特征值发送单元703,用于将所述特征值计算单元输出的特征值发送给提供图像识别服务的服务端;图像信息接收单元704,用于接收所述服务端返回的所述待识别图像的相关信息。

可选的,所述装置包括:

距离计算单元,用于计算所述局部特征对应的关键点到所述待检索图像中心的距离;

局部特征剔除单元,用于剔除所述距离计算单元计算得到的距离大于预设阈值的关键点对应的局部特征;

所述特征值计算单元具体用于,采用所述深度自编码网络模型计算由所述局部特征剔除单元执行剔除操作后的局部特征的特征值。

可选的,所述局部特征提取单元具体用于,采用SIFT算法、LBP算法或者利用卷积神经网络,提取所述待识别图像的局部特征。

此外,本申请还提供一种图像识别方法,请参考图8,其为本申请提供的一种图像识别方法的实施例的流程图,本实施例与之前提供的各实施例内容相同的部分不再赘述,下面重点描述不同之处。本申请提供的一种图像识别方法包 括:

步骤801、接收客户端上传的待识别图像的特征值,所述特征值是以所述待识别图像的局部特征为输入,利用预先训练的深度自编码网络模型计算得到的。

步骤802、将所述特征值与图像检索数据库中注册图像的特征值进行匹配。

所述图像检索数据库是采用如下步骤预先建立的:选取用于构建所述图像检索数据库的注册图像;提取所述注册图像的局部特征;利用所述深度自编码网络模型计算所述局部特征的特征值;将所述特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

在上述利用所述深度自编码网络模型计算注册图像局部特征的特征值之后,还可以按照计算得到的特征值的分布,对特征值进行筛选,例如,可以选择在注册图像中出现频率低于预设阈值的特征值,也可以按照特征值在注册图像中的位置分布选择特征值,并将筛选后的特征值存储在图像检索数据库中。

客户端上传的特征值以及图像检索数据库中注册图像的特征值可以为:二值化特征值,本步骤可以采用基于汉明距离的方式进行匹配,并将汉明距离小于预设阈值的特征值对作为匹配成功的特征值对。

步骤803、根据匹配结果选择满足预设条件的注册图像。

本步骤选择与待识别图像相匹配的注册图像。所述与待识别图像相匹配的注册图像通常是指,与待识别图像匹配程度比较高的注册图像,例如,与所述待识别图像属于相同图像。所述相同图像通常是指同一幅图像经过一系列变化后得到的图像(即near-duplicate图像),所述一系列变化可以包括调整分辨率、调整拍摄角度、调整亮度、添加水印等。

在具体实施时,可以采用与之前提供的图像检索方法实施例相同的方式,先选择满足预设条件的一组注册图像,然后再通过重排的方式进行进一步筛选,从而找到与待识别图像相匹配的注册图像。所述重排操作包括:针对每个所选注册图像,将所述待识别图像的特征值与从图像检索数据库中提取的注册图像特征值进行两两匹配,并记录满足预设重排匹配条件的特征值对的个数;根据满足预设重排匹配条件的特征值对的个数对所选注册图像进行排序,并从中选择排序靠前的注册图像;

为了提高识别的准确度,还可以添加一些选取注册图像的条件,例如:选择按照特征值匹配成功所得累计分值排序处于第一位、且与第二位的累计分值 差大于预设阈值的注册图像;或者,选择匹配成功的特征值个数大于预设阈值的注册图像(例如,对于包含200个注册特征值的注册图像,至少有50个特征值匹配成功)等。此处列举了一些选取方式,在具体实施时,可以根据需要进行相应调整。

由于客户端上传的待识别图像的特征值、以及图像检索数据库中存储的注册特征值都能够保持原始图像特征的分辨力,因此图像检索精确度高,在图像检索数据库中注册图像规模足够大的情况下,本步骤通常能够准确找到与所述待识别图像相匹配的注册图像。

步骤804、获取与所选注册图像对应的注册信息,并返回给所述客户端。

为了提供图像识别功能,在构建所述图像检索数据库时,通常也会存储与注册图像对应的信息,即本申请所述的注册信息。所述注册信息通常包括与图像内容有关的信息,例如对于图书封面图像,其注册信息可以包括与图像中图书相关的信息,例如书名、作者姓名、价格、书评、在线购买网址等。

具体实施时,本步骤可以根据步骤803选择的注册图像,从数据库中提取对应的注册信息。例如,可以根据注册图像标识,读取对应的注册信息记录,并将其中的注册信息发送给所述客户端。

本申请提供的图像识别方法,采用了将图像的局部特征和深度自编码网络相结合的图像检索技术,由于深度自编码网络在对局部特征进行压缩表示的过程中,可以有效保持特征值之间的距离信息和辨别能力,从而能够有效提升图像检索的精确度,因此通常可以准确地检索到所需的注册图像,并将所述注册图像的注册信息返回给客户端。

进一步地,客户端上传的特征值与图像检索数据库存储的特征值可以为二值化特征值,由于二值化特征值是图像特征的进一步量化压缩表示,使得本申请提供的图像识别方法具有良好的可扩展性:一方面,可以将图像检索数据库扩展到百万级甚至亿级的规模,另一方面,可以方便的利用Hash等技术加速检索过程,提高检索性能。

在上述的实施例中,提供了一种图像识别方法,与之相对应的,本申请还提供一种图像识别装置。请参看图9,其为本申请提供的一种图像识别装置的实施例的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意 性的。

本实施例的一种图像识别装置,包括:特征值接收单元901,用于接收客户端上传的待识别图像的特征值,所述特征值是以所述待识别图像的局部特征为输入,利用预先训练的深度自编码网络模型计算得到的;特征值匹配单元902,用于将所述特征值接收单元接收到的特征值与图像检索数据库中注册图像的特征值进行匹配;注册图像选择单元903,用于根据匹配结果选择满足预设条件的注册图像;图像信息发送单元904,用于获取与所选注册图像对应的注册信息,并返回给所述客户端。

可选的,所述特征值匹配单元具体用于,采用基于汉明距离的方式进行匹配,并将汉明距离小于预设阈值的特征值对作为匹配成功的特征值对。

可选的,所述装置包括:数据库建立单元,用于预先建立所述图像检索数据库;

所述数据库建立单元包括:

注册图像选择子单元,用于选取用于构建所述图像检索数据库的注册图像;

注册图像特征提取子单元,用于提取所述注册图像的局部特征;

注册图像特征值计算子单元,用于利用所述深度自编码网络模型计算所述局部特征的特征值;

特征值注册子单元,用于将所述特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,所述数据库建立单元还包括:

特征值筛选子单元,用于根据特征值的分布,对所述注册图像特征值计算子单元计算得到的特征值进行筛选;

所述特征值注册子单元具体用于,将所述特征值筛选子单元筛选后的特征值存储在图像检索数据库中,并建立所述特征值与注册图像之间的对应关系。

可选的,所述特征值筛选子单元具体用于,选择在注册图像中出现频率低于预设阈值的特征值;和/或,按照特征值在注册图像中的位置分布选择特征值。

可选的,所述注册图像选择单元包括:

注册图像初选子单元,用于根据所述特征值匹配单元输出的匹配结果选择满足预设条件的注册图像;

重排匹配子单元,用于针对所述注册图像初选子单元所选的每个注册图像,将所述待识别图像的特征值与从图像检索数据库中提取的注册图像特征值进行两两匹配,并记录满足预设重排匹配条件的特征值对的个数;

重排筛选子单元,用于根据所述重排匹配子单元记录的特征值对的个数对所选注册图像进行排序,并从中选择排序靠前的注册图像,作为所述待识别图像的检索结果。

此外,本申请还提供一种图像识别系统,请参考图10,其为本申请提供的一种图像识别系统的实施例的示意图。本实施例与之前提供的各实施例内容相同的部分不再赘述,下面重点描述不同之处。

本申请提供的图像识别系统包括:获取图像信息的装置1001和图像识别装置1002。所述获取图像信息的装置,可以部署于台式电脑,也可以部署于移动终端设备,但并不局限于此处列举的上述设备,可以是能够实现本申请所提供的获取图像信息方法的任何设备;所述图像识别装置,通常部署于服务器上,也可以是其他能够实现本申请所提供的图像识别方法的任何设备。

此外,本申请还提供一种用于计算图像特征值的方法,请参考图11,其为本申请提供的一种用于计算图像特征值的方法实施例的流程图,本实施例与之前提供的各实施例内容相同的部分不再赘述,下面重点描述不同之处。本申请提供的一种用于计算图像特征值的方法包括:

步骤1101、提取待计算特征值图像的局部特征。

在执行本步骤之前,可以预先训练所述深度自编码网络模型,训练过程包括:选择样本图像集;提取所述样本图像集中的样本图像的局部特征;以所述局部特征作为输入,以深度自编码网络模型对输入数据进行编解码后的重建误差最小为目标,进行迭代训练直至所述深度自编码网络模型收敛。

具体实施时,本步骤可以通过如下方式提取待计算特征值图像的局部特征:采用SIFT算法、采用LBP算法或者利用卷积神经网络。

步骤1102、采用预先训练的深度自编码网络模型计算所述局部特征的特征值。所述特征值包括:二值化特征值。

从服务端的角度,由于上述计算图像特征值的方法采用了深度自编码网络 模型,不仅实现了局部特征的降维压缩,而且可以有效保持特征值之间的距离信息和辨别能力,从而为提高图像检索的精确度提供保障。特别地,当所述深度自编码网络模型输出的特征值为二值化特征值时,还可以为提高图像检索数据库的可扩展性和提高检索效率提供条件。

从客户端的角度,由于采用深度自编码网络模型计算特征值,降低了对存储空间和计算性能的要求,可以在移动终端设备上完成对待识别图像特征值的计算过程,有助于减轻服务端的工作压力;特别地,当深度自编码网络模型计算输出的特征值为二值化特征值时,可以有效减少移动终端设备上传的数据量,减少上传时间,改善用户的使用体验。

在上述的实施例中,提供了一种用于计算图像特征值的方法,与之相对应的,本申请还提供一种用于计算图像特征值的装置。请参看图12,其为本申请的一种用于计算图像特征值的装置实施例的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本实施例的一种用于计算图像特征值的装置,包括:局部特征提取单元1201,用于提取待计算特征值图像的局部特征;特征值计算单元1202,用于采用预先训练的深度自编码网络模型计算所述局部特征提取单元输出的局部特征的特征值。

可选的,所述装置包括:模型训练单元,用于预先训练所述深度自编码网络模型;

所述模型训练单元包括:

样本选择子单元,用于选择样本图像集;

样本特征提取子单元,用于提取所述样本图像集中的样本图像的局部特征;

迭代训练子单元,用于以所述局部特征作为输入,以深度自编码网络模型对输入数据进行编解码后的重建误差最小为目标,进行迭代训练直至所述深度自编码网络模型收敛。

可选的,所述局部特征提取单元具体用于,采用SIFT算法、LBP算法或者利用卷积神经网络,提取待计算特征值图像的局部特征。

此外,本申请还提供了一种电子设备,所述电子设备实施例如下。请参考 图13,其示出了本申请的一种电子设备的实施例的示意图。

所述电子设备,包括:显示器1301;处理器1302;存储器1303;

所述存储器1303用于存储获取图像信息的程序,所述程序在被所述处理器读取执行时,执行如下操作:提取待识别图像的局部特征;采用预先训练的深度自编码网络模型计算所述局部特征的二值化特征值;将所述二值化特征值发送给提供图像识别服务的服务端;接收所述服务端返回的所述待识别图像的相关信息。

本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1