一种图像查询方法和装置与流程

文档序号:12824834阅读:242来源:国知局
一种图像查询方法和装置与流程

本发明涉及图像技术领域,尤其涉及一种图像查询方法和装置。



背景技术:

目前图像技术应用非常广泛,其中,图像技术中包括图像识别,图像识别是指在图像集合中识别出需要的图像。例如:在对商场、学校、大型广场、地铁站等人群密集场监控的图像集合中查询某一行人的图像。然而,目前图像识别主要是通过图像的全局特征进行查询,其中,全局特征可以是指描述图像整体或者全局的特征。当对海量的图像进行查询时,仅使用全局特征,得到的查询结果会包含很多图像,而这些图像可能会无法满足用户有针对性的需求。由此可见,目前图像查询的效率较低。



技术实现要素:

本发明实施例提供了一种图像查询方法和装置,可以提高图像查询的效率。

第一方面,本发明实施例提供一种图像查询方法,包括:

获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征;

使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征;

从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。

该实现方式中,可以实现在使用全局特征进行查询得到的第一图像集合中选择出属性特征与查询图像的属性特征的相似度大于预设阈值的至少一幅图像,相比现有技术该实现方式中查询出的图像样本更少,从而可以提高查询的效率。

在第一方面的第一种可能的实现方式中,,所述属性特征可以包括至少一个属性特征,所述从所述第一图像集合中选择所述属性特征与所述查询图像的属 性特征的相似度大于预设阈值的至少一幅图像,可以包括:

从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

该实现方式中,可以实现根据属性融合相似度选择第二图像集合中的图像,这样可以避免选择一些单一属性相似度很高,某另一些属性的相似度很低的图像,从而可以提高第二图像集合的精确度。

结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,每个所述属性特征可以包括如下至少一项:

属性区域类别、特征描述信息、置信度、状态描述信息和显著度,其中,所述属性区域类别用于表示所述特定属性区域的类别,所述特征描述信息用于描述所述特定属性区域的特征,所述置信度用于表示所述特定属性区域的可靠度,所述状态描述信息用于描述所述特定属性区域的状态,所述显著度用于表示所述特定属性区域在进行图像查询的权重。

该实现方式中,每个属性特征可以属性区域类别、特征描述信息、置信度、状态描述信息和显著度中的至少一项,这样在选择第二图像集合中的图像时选择依据更丰富,从而可以选择出更加精确的图像作为第二图像集合,以减少第二图像集合中图像的数量。

结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述从所述第一图像集合中选择至少一幅图像,可以包括:

通过如下公式计算所述第一图像集合中各图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度:

其中,simj表示所述第一图像集合中第j幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度,其中,n表示所述至少一个属性特征的属性特性数量,ri和wi表示所述查询图像的第i个属性特征的显著度和置信度,rij和wij表示第一图像集合中第j幅图像的第i个属性特征的显著度和置信度,q(ei)表示查询图像的第i个属性特征的特征描述信息,q(aij)表示第一图像集合中第j幅图像的第i个属性特征的特征描述信息,dis(q(ei),q(aij))表 示q(ei)和q(aij)相似度,ti为针对第i个属性特征的阈值,ri*wi<ti表示ri与wi的乘积小于ti时针对第i个属性特征的相似度计算结果为0,else表示ri与wi的乘积不小于ti,h为所述第一图像集合中包括的图像的数量;

从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

该实现方式中,可以实现只对置信度与显著度的乘积不小于预设阈值的属性特征进行属性融合相似度计算,从而可以减少计算量,以提高图像查询的效率。

结合第一方面或者第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式或者第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述方法还可以包括:

对所述图像库中每幅图像提取全局特征,并构建所述图像库针对全局特征的索引;

对所述图像库中每幅图像提取所述属性特征,并构建所述图像库针对所述属性特征的索引。

该实现方式中,可以实现提高图像查询的准确性,因为该实施方式能够在特征空间中从不同的角度对图像集进行有效描述和划分,在构建索引结构的时候,引入了属性特征,并进行了有效的融合,从而使得图像集的划分更有针对性。

第二方面,本发明实施例提供一种图像查询装置,包括:获取单元、查询单元和选择单元,其中:

所述获取单元,用于获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征;

所述查询单元,用于使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征;

所述选择单元,用于从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。

在第二方面的第一种可能的实现方式中,所述属性特征包括至少一个属性 特征,所述选择单元可以用于从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,每个所述属性特征可以包括如下至少一项:

属性区域类别、特征描述信息、置信度、状态描述信息和显著度,其中,所述属性区域类别用于表示所述特定属性区域的类别,所述特征描述信息用于描述所述特定属性区域的特征,所述置信度用于表示所述特定属性区域的可靠度,所述状态描述信息用于描述所述特定属性区域的状态,所述显著度用于表示所述特定属性区域在进行图像查询的权重。

结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述选择单元可以包括:

计算单元,用于通过如下公式计算所述第一图像集合中各图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度:

其中,simj表示所述第一图像集合中第j幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度,其中,n表示所述至少一个属性特征的属性特性数量,ri和wi表示所述查询图像的第i个属性特征的显著度和置信度,rij和wij表示第一图像集合中第j幅图像的第i个属性特征的显著度和置信度,q(ei)表示查询图像的第i个属性特征的特征描述信息,q(aij)表示第一图像集合中第j幅图像的第i个属性特征的特征描述信息,dis(q(ei),q(aij))表示q(ei)和q(aij)相似度,ti为针对第i个属性特征的阈值,ri*wi<ti表示ri与wi的乘积小于ti时针对第i个属性特征的相似度计算结果为0,else表示ri与wi的乘积不小于ti,h为所述第一图像集合中包括的图像的数量;

选择子单元,用于从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

结合第二方面或者第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式或者第二方面的第三种可能的实现方式,在第二方面的第四 种可能的实现方式中,所述装置还包括:

构建单元,用于对所述图像库中每幅图像提取全局特征,并构建所述图像库针对全局特征的索引;

所述构建单元还用于对所述图像库中每幅图像提取所述属性特征,并构建所述图像库针对所述属性特征的索引。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像查询方法的流程示意图;

图2是本发明实施例提供的另一种图像查询方法的流程示意图;

图3是本发明实施例提供的一种属性特征的示意图;

图4是本发明实施例提供的一种图像查询的示意图;

图5是本发明实施例提供的一种索引构建示意图;

图6是本发明实施例提供的另一种图像查询的示意图;

图7是本发明实施例提供的另一种图像查询的示意图;

图8是本发明实施例提供的一种图像查询装置的结构示意图;

图9是本发明实施例提供的一种图像查询装置的结构示意图;

图10是本发明实施例提供的一种图像查询装置的结构示意图;

图11是本发明实施例提供的另一种图像查询装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参阅图1,图1是本发明实施例提供的一种图像查询方法的流程示意图,如图1所示,包括以下步骤:

101、获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征。

本实施例中,上述全局特征可以是指描述图像整体或者全局的特征,而上述属性特征可以是上述查询图像中某一特定属性区域的特征,特定属性区域可以是查询图像中存在属性的区域,例如:人物图像中的行人的携带物、行人的领口、行人身体的标志(logo)、行人的背包、行人的发型、行人的鞋子或者行人的衣服等区域。

102、使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征。

本实施例中,上述图像库中包括的图像包含上述属性特征可以理解为该图像库中可以查找图像的上述属性特征。例如:步骤101获取的是查询图像的发型属性特征,那么,在该图像库中的各图像可以都存在发型属性特征。当然,在一些场景中,如果图像库的存在一些没有发型属性特征的图像时,在与图像库中图像进行对比时,对于没有发型属性的图像可以不予比对发型属性特征。

103、从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。

通过步骤103可以在上述第一图像集合中使用属性特征筛选出至少一幅图像作为第二图像集合。从而可以大大地减少查询出的图像样本,以提高图像查询效率。

本实施例中,上述方法可以应用于任何具备图像处理功能的设备,例如:平板电脑、手机、电子阅读器、个人计算机(personalcomputer,pc)、笔记本电脑、车载设备、网络电视、服务器、基站等具备图像处理功能的设备。

本实施例中,获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征;使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征;从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。这样可以实现在使用全局特征进行查询得到的第一图像集合中选择出属性特征与查询图像的属性特征的相似度 大于预设阈值的至少一幅图像,相比现有技术该实现方式中查询出的图像样本更少,从而可以提高查询的效率。

请参阅图2,图2是本发明实施例提供的另一种图像查询方法的流程示意图,如图2所示,包括以下步骤:

201、获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征。

本实施例中,步骤201可以是接收用户输入的查询图像的全局特征,以及查询图像的属性特征,该情况下可以不对查询图像进行识别,甚至不需要获取到上述查询图像。另外,步骤201还可以是先获取到上述查询图像,再从查询图像中提取出上述全局特征,以及自动检测出查询图像的属性特征,当然,该情况下属性特征也可以是用户手动输入的。另外,需要说明的是,本实施例中,可以使用预先获取的属性检测器检测出上述属性特征,这里的属性检测器可以是虚拟的属性检测器,该属性检测器可以使用图像识别技术识别出查询图像的属性区域,从而得到该属性区域的属性特征。

202、使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征。

203、从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。

本实施例中,上述属性特征可以包括至少一个属性特征,步骤203可以包括:

从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

其中,上述属性融合相似度可以理解为多属性的相似度融合后的相似度,例如:上述图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度可以理解为,该图像的至少一个相似度之和或者该图像的至少一个相似度的平均值,其中,该图像的至少一个相似度是指该图像的至少一个属性特征分别与查询图像的至少一个属性特征相比得到的相似度。

该实施方式中,可以实现根据属性融合相似度选择第二图像集合中的图像,这样可以避免选择一些单一属性相似度很高,某另一些属性的相似度很低的图像,从而可以提高第二图像集合的精确度。

该实施方式中,每个属性特征可以包括如下至少一项:

属性区域类别、特征描述信息、置信度、状态描述信息和显著度,其中,所述属性区域类别用于表示所述特定属性区域的类别,所述特征描述信息用于描述所述特定属性区域的特征,所述置信度用于表示所述特定属性区域的可靠度,所述状态描述信息用于描述所述特定属性区域的状态,所述显著度用于表示所述特定属性区域在进行图像查询的权重。

例如:上述属性区域类别可以是携带物、领口、身体标志(logo)、发型、鞋子、衣服、背包等。

置信度可以表示特定属性区域存在的可能性有多大,该置信度由相应已训练好的属性检测器给出。置信度越高,该属性特征具有更强的区分性能。当置信度低于指定阈值,则认定该属性区域不可靠,在后续的相似度计算中可以不予考虑。

特征描述信息还可以理解为描述特定属性区域的特征,另外,由于特定属性区域存在多种形式,因此可以采用颜色、纹理、形状等多种特征来对该特定属性区域进行描述。如手拎包等携带物就可以通过拎包区域颜色、纹理和形状进行描述,以区别于其他图像。

状态描述信息还可以理解为特定属性区域的状态描述,例如:描述特定属性区域是否存在属性特征以及相应的类别。比如携带物属性的状态可以是有无,鞋的状态可以是类别等。每个属性特征的状态数可以人为定义,也可以自适应的确定。还可以通过按照特定属性区域的状态描述信息进行聚类学习,从而将各属性特征映射为相应的低维向量。

上述显著度还可以表示属性区域的关系,在实际中各个属性区域之间具有一定的相关性,比如穿裙子的人往往是女性,短头发的往往是男性,另外,各属性的显著度不同,或者权重不同,可以影响后续的查询效果。另外,有些属性之间具有排斥关系,比如穿裙子的人往往是女性,因此需要对可能检测出的男性属性特征加大惩罚。另外,本实施例中,当显著度越大,说明该属性特征能更好的表征行人特性,也应该具有更高的权重。

另外,本实施例中属性特征还可以通过图3所示的表格表示,其中,图3所示的表格中w、fea、k、r分别表示置信度、特征描述信息、状态描述信息和显著度,其中,m表示属性特征的数量。

该实施方式中,每个属性特征可以属性区域类别、特征描述信息、置信度、状态描述信息和显著度中的至少一项,这样在选择第二图像集合中的图像时选择依据更丰富,从而可以选择出更加精确的图像作为第二图像集合,以减少第二图像集合中图像的数量。另外,该实施方式中,在计算融合相似度时,还可以将置信度,或者显著度低的属性特征对应的相似度置零,从而可以节约计算量,因为当置信度或者显著度低时,表示该属性特征不可靠或者权重比较低。当然这里的低可以是低于预设阈值,或者置信度与显著度的乘积低于预设阈值。

上述实施方式中,上述从所述第一图像集合中选择至少一幅图像的步骤,可以包括:

通过如下公式计算所述第一图像集合中各图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度:

其中,simj表示所述第一图像集合中第j幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度,其中,n表示所述至少一个属性特征的属性特性数量,ri和wi表示所述查询图像的第i个属性特征的显著度和置信度,rij和wij表示第一图像集合中第j幅图像的第i个属性特征的显著度和置信度,q(ei)表示查询图像的第i个属性特征的特征描述信息,q(aij)表示第一图像集合中第j幅图像的第i个属性特征的特征描述信息,dis(q(ei),q(aij))表示q(ei)和q(aij)相似度,ti为针对第i个属性特征的阈值,ri*wi<ti表示ri与wi的乘积小于ti时针对第i个属性特征的相似度计算结果为0,else表示ri与wi的乘积不小于ti,h为所述第一图像集合中包括的图像的数量;

从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

该实施方式中,上述*表示乘法运算。另外,上述simj表示还可以表示第一图像集合中第j幅图像与查询图像的属性融合相似度。

实施方式中,可以实现只对置信度与显著度的乘积不小于预设阈值的属性特征进行属性融合相似度计算,从而可以减少计算量,以提高图像查询的效率。

本实施例中,上述方法还可以包括如下步骤:

204、对所述图像库中每幅图像提取全局特征,并构建所述图像库针对全局特征的索引。

该实施方式中,上述索引可以理解为对图像库中的图像进行特定排序的一种结构。在该实施方式中,可以提取图像库中图像的高维特征作为全局特征,另外,还可以采用基于机器学习的哈希函数将高维特征降维,根据降维后的数据计算哈希值,而哈希值产生冲突的数据之间具有相似性,因此可以将哈希值产生冲突的数据存储在同一哈希表项中,以实现构建所述图像库针对全局特征的索引。

205、对所述图像库中每幅图像提取所述属性特征,并构建所述图像库针对所述属性特征的索引。

在步骤205中上述属性特征可以是一个或者多个属性特征,另外,当是多个属性特征时,该实施方式中还可以将多个属性特征进行融合。例如:如图4所示,获取图像库中各图像的全局特征,以及m个属性特征,将m个属性特征进行自适应属性融合,并构建全局特征索引,以及构建多属性特征索引。其中,这里的自适应属性融合可以是将一些相似的属性特征融合在同一索引表项中。另外,还可以获取查询图像的全局特征以及m个属性特征,这样就可以进行查询索引,以获取查询结果,即获取到上述第二图像集合。

该实施方式中,可以实现提高图像查询的准确性,因为该实施方式能够在特征空间中从不同的角度对图像集进行有效描述和划分,在构建索引结构的时候,引入了属性特征,并进行了有效的融合,从而使得图像集的划分更有针对性。

另外,该实施方式中,提取属性特征可以包括提取图像中特定属性区域的特征描述信息,例如:提取图像中的m个特征描述信息,其中,m个特征描述信息用fea1、fea2…feam表示,其中,可以通过m个属性检测器检测出m个属性区域,再提取各属性区域的特征描述信息。另外,对于特征描述信息还可以采集训练得到的映射方法将其映射成低维特征表达,例如:将fea1、fea2…feam映射成q(fea1)、q(fea2)…q(feam)。

另外,提取属性特征还可以包括提取特定属性区域的置信度,例如:提取图像中的m个属性区域的置信度,其中,m个属性区域的置信度用w1、w2…wm表示。另外,提取属性特征还可以包括提取特定属性区域的显著度,例如:提取图像中的m个属性区域的显著度,其中,m个属性区域的显著度用r1、r2…rm表示。

在图像库中还可以对每个属性特征设置一个阈值t,若ri*wi<ti.i=1,....m则将第i个属性特征设为零向量,不参与后续的查询,例如:将第i个低维特征描述信息q(feai)设为零向量。

另外,上述图像库中图像的属性特征可以是通过训练获取,例如:如图5所示,构建标记了多个属性区域的图像的训练库,使用多个已训练好的m个属性检测器检测图像的m个属性区域(1,…m)和相应属性区域的置信度(w1…wm),以及抽取各属性区域的特征进行描述,以获取各属性区域的特征描述信息(g1…gm)。并将各属性区域的特征描述信息各属性区域的状态数进行聚类学习,以聚类为k类(k1…km),其中,属性区域的状态数可以是预先设置好的,例如:针对鞋子的属性区域的状态数可以是2,即状态可以包括有穿鞋子和没有穿鞋子,或者针对鞋子的属性区域的状态数可以是3,即状态可以包括有穿鞋子、没有穿鞋子和鞋子类型。之外,还可以根据聚类的结果将属性区域的特征描述信息映射为相应的函数组(q1(x)…qm(x))。这样通过上述训练就可以获取各属性特征,从而可以构建各属性特征的索引。

另外,本实施例中,步骤201可以是抽取查询图像的全局特征,以及手动选择的或自动检测出的多个属性特征e1,e2,…,en,这里的属性特征可以理解为特征描述信息,相应的手动标记或自动计算的置信度和显著度w1,w2,…,wn和r1,r2,…,rn。其中,手动标记是指由于在进行图像查询时,由于可能用户对某些属性更感兴趣,可人工赋予更大的显著度,以获取与感兴趣属性相关的查询结果。例如:如图6所示,获取到查询图像的m个属性区域的特征描述信息、置信度和显著度,以及全局特征。

步骤202就对全局特征进行检索,以及得到第一图像集合。例如:如图6所示,在图像库进行全局特征索引,以得到第一图像集合。

另外,还可以通过引入上述介绍的映射方法获取查询图像各属性区域的特征描述信息的特征编码q(e1)、q(e2)…q(em)。其中,上述映射方法可以是哈希 函数组进行映射降维,例如:如图6所示,将查询图像的m个属性特征映射成m个哈希码(h1,…hm)。

通过上述介绍的计算属性融合相似度的公式选择第二图像集合,例如:如图6所示,将第一图像集合中图像进行属性排除,以得到第二图像集合。另外,上述方法还可以对第二图像集合中的图像进行排序。例如:如图6所示的距离排序,即按照融合相似度进行距离排序,以优先显示融合相似度高的图像。

需要说明的是,本实施例中,上述图像库可以是本地预先获取的图像库,如通过上述步骤204和步骤206构建图像库。另外,本实施例中,上述图像库可以是存储在外部设备的,例如:步骤202可以通过向外部设备发送查询,该查询请求中包括查询图像的全局特征,以接收外部设备发送的上述第一图像集合。

本实施例中,在图1所示的实施例的基础上增加了多种可选的实施方式,且都可以实现提高图像查询的效率。

下面参考图7,以帽子和拎包这两个属性区域进行举例说明。如图7所示,查询图像的标记属性包括帽子和拎包,即以帽子和拎包这两个属性区域进行图像查询。如图7所示,图像库中各图像包含帽子的特征描述信息、置信度和显著度,拎包特征描述信息、置信度和显著度,以及其他属性区域的特征描述信息、置信度和显著度。通过图2所示的实施例中构建属性特征索引可以得到如图7所示的属性1、属性2…属性m的索引表项。当获取的查询图像后就可以得到查询图像的帽子和拎包的属性特征,以及图像库中各图像的帽子和拎包的属性特征,即如图7所示的属性集合。这样就可以对第一图像集合进行属性满足判断,例如:使用图2所示的实施例中介绍的融合属性相似度的方法进行属性满足判断,以获取第二图像集合,再对第二图像集合进行排序,以得到查过结果。

下面为本发明装置实施例,本发明装置实施例用于执行本发明方法实施例一至二实现的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例一和实施例二。

请参阅图8,图8是本发明实施例提供的一种图像查询装置的结构示意图,如图8所示,包括:获取单元81、查询单元82和选择单元83,其中:

获取单元81,用于获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征。

查询单元82,用于使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征。

选择单元83,用于从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。

本实施例中,上述属性特征可以包括至少一个属性特征,选择单元83可以用于从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

本实施例中,每个所述属性特征可以包括如下至少一项:

属性区域类别、特征描述信息、置信度、状态描述信息和显著度,其中,所述属性区域类别用于表示所述特定属性区域的类别,所述特征描述信息用于描述所述特定属性区域的特征,所述置信度用于表示所述特定属性区域的可靠度,所述状态描述信息用于描述所述特定属性区域的状态,所述显著度用于表示所述特定属性区域在进行图像查询的权重。

本实施例中,如图9所示,选择单元83可以包括:

计算单元831,用于通过如下公式计算所述第一图像集合中各图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度:

其中,simj表示所述第一图像集合中第j幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度,其中,n表示所述至少一个属性特征的属性特性数量,ri和wi表示所述查询图像的第i个属性特征的显著度和置信度,rij和wij表示第一图像集合中第j幅图像的第i个属性特征的显著度和置信度,q(ei)表示查询图像的第i个属性特征的特征描述信息,q(aij)表示第一图像集合中第j幅图像的第i个属性特征的特征描述信息,dis(q(ei),q(aij))表 示q(ei)和q(aij)相似度,ti为针对第i个属性特征的阈值,ri*wi<ti表示ri与wi的乘积小于ti时针对第i个属性特征的相似度计算结果为0,else表示ri与wi的乘积不小于ti,h为所述第一图像集合中包括的图像的数量;

选择子单元832,用于从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

本实施例中,如图10所示,所述装置还可以包括:

构建单元84,用于对所述图像库中每幅图像提取全局特征,并构建所述图像库针对全局特征的索引;

所述构建单元84还用于对所述图像库中每幅图像提取所述属性特征,并构建所述图像库针对所述属性特征的索引。

需要说明的是,本实施例中提供的装置可以是用于实现图1和图2所示的实施例中提供的方法的装置,图1和图2所示的实施例中任意实施方式都可以被该装置实现。

本实施例中,上述装置可以应用于任何具备图像处理功能的设备,例如:平板电脑、手机、电子阅读器、pc、笔记本电脑、车载设备、网络电视、服务器、基站等具备图像处理功能的设备。

本实施例中,获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征;使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征;从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。这样可以实现在使用全局特征进行查询得到的第一图像集合中选择出属性特征与查询图像的属性特征的相似度大于预设阈值的至少一幅图像,相比现有技术该实现方式中查询出的图像样本更少,从而可以提高查询的效率。

请参阅图11,图11是本发明实施例提供的另一种图像查询装置的结构示意图,如图11所示,包括:处理器111、网络接口112、存储器113和通信总线114,其中,所述通信总线114用于实现所述处理器111、网络接口112和存储 器113之间连接通信,所述处理器111执行所述存储器113中存储的程序用于实现以下方法:

获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征;

使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征;

从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。

本实施例中,上述属性特征可以包括至少一个属性特征,处理器111的从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像的程序,可以包括:

从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

本实施例中,每个所述属性特征可以包括如下至少一项:

属性区域类别、特征描述信息、置信度、状态描述信息和显著度,其中,所述属性区域类别用于表示所述特定属性区域的类别,所述特征描述信息用于描述所述特定属性区域的特征,所述置信度用于表示所述特定属性区域的可靠度,所述状态描述信息用于描述所述特定属性区域的状态,所述显著度用于表示所述特定属性区域在进行图像查询的权重。

本实施例中,处理器111执行的从所述第一图像集合中选择至少一幅图像的程序,可以包括:

通过如下公式计算所述第一图像集合中各图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度:

其中,simj表示所述第一图像集合中第j幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度,其中,n表示所述至少一个属性特征的属性特性数量,ri和wi表示所述查询图像的第i个属性特征的 显著度和置信度,rij和wij表示第一图像集合中第j幅图像的第i个属性特征的显著度和置信度,q(ei)表示查询图像的第i个属性特征的特征描述信息,q(aij)表示第一图像集合中第j幅图像的第i个属性特征的特征描述信息,dis(q(ei),q(aij))表示q(ei)和q(aij)相似度,ti为针对第i个属性特征的阈值,ri*wi<ti表示ri与wi的乘积小于ti时针对第i个属性特征的相似度计算结果为0,else表示ri与wi的乘积不小于ti,h为所述第一图像集合中包括的图像的数量;

从所述第一图像集合中选择至少一幅图像,其中,选择的至少一幅图像的所述至少一个属性特征与所述查询图像的所述至少一个属性特征的属性融合相似度大于预设阈值。

本实施例中,处理器111执行的程序还可以包括:

对所述图像库中每幅图像提取全局特征,并构建所述图像库针对全局特征的索引;

对所述图像库中每幅图像提取所述属性特征,并构建所述图像库针对所述属性特征的索引。

需要说明的是,本实施例中提供的装置可以是用于实现图1和图2所示的实施例中提供的方法的装置,图1和图2所示的实施例中任意实施方式都可以被该装置实现。

本实施例中,上述装置可以应用于任何具备图像处理功能的设备,例如:平板电脑、手机、电子阅读器、pc、笔记本电脑、车载设备、网络电视、服务器、基站等具备图像处理功能的设备。

本实施例中,获取查询图像的全局特征,以及所述查询图像的属性特征,其中,所述属性特征是用于描述所述查询图像中特定属性区别的特征;使用所述全局特征在图像库查询,以获取包括至少一幅图像的第一图像集合,其中,所述图像库中包括的图像包含所述属性特征;从所述第一图像集合中选择所述属性特征与所述查询图像的属性特征的相似度大于预设阈值的至少一幅图像,并将选择的至少一幅图像作为第二图像集合。这样可以实现在使用全局特征进行查询得到的第一图像集合中选择出属性特征与查询图像的属性特征的相似度大于预设阈值的至少一幅图像,相比现有技术该实现方式中查询出的图像样本更少,从而可以提高查询的效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程, 是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存取存储器(randomaccessmemory,简称ram)等。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1