检索的方法和设备与流程

文档序号:15686676发布日期:2018-10-16 21:07阅读:168来源:国知局

本申请涉及检索领域,并且更具体地,涉及一种检索方法和设备。



背景技术:

在监控视频数据呈现爆炸式增长的大背景下,在“平安城市”的大潮中,摄像头的数量与日俱增,大量有价值的信息被淹没在海量的视频中。因此,如何从海量视频中准确、快速找到感兴趣目标(例如,人、车等)成为关注的焦点。为了提高查询效率,高维索引、非结构化转结构化(unstructuredtostructured,u2s)等技术被广泛使用。

在使用高维索引进行加速时,一般使用非结构化特征(底层特征:颜色直方图、lbp、深度学习特征等)对目标进行描述。数据库建立时,数据按照特征相似性被投射到若干个子集中进行存储;查询时,根据查询数据的特性,选择少数几个子集进行查询,通过缩小查询范围提高查询效率。此类方法可以获得任意大小的候选集合;但是这种固有的方式在候选集合较大时,导致数据加载和计算时间较长,给用户使用带来巨大的不方便。

在使用u2s的方法进行加速时,通常使用的是具有高层语义信息的特征将目标进行分类。以行人为例,可以通过性别(男、女),年龄(老、中、青、幼),体型(高、矮、胖、瘦),衣服款式(衬衫、外套、大衣),局部特征(戴帽子、戴围巾、戴墨镜)等一系列属性特征将目标在多个维度进行划分,从而达到加速检索数据的目的。由于使用的是高层语义特征,因此可以解决语义鸿沟的问题;由于是结构化数据,因此可以支持海量数据的快速查询;然而,由于目前的划分维度相对较少(受到计算机对属性自动判断的精度、目标属性天然的有穷性等因素限制),仅仅采用这种高层语义的方式,多数情况下划分存在样本的不均衡性(例如:从是否带墨镜这个维度进行划分,戴墨镜的人数通常远远小于不戴墨镜的人数),因此对于很多属性特征大众化(如不戴墨镜就是个大众化的属性)的目标,获得的查询结果集合通常非常庞大,给用户使用带来巨大的不方便。

因此,如何提高检索效率,提高用户体验成为亟待解决的问题。



技术实现要素:

本申请提供一种检索的方法和设备,可以提高检索效率,提升用户体验。

第一方面,提供了一种检索的方法,其特征在于,包括:

从图像数据库中获取与目标对象的第一特征信息匹配的第一图像候选集合,该第一特征信息指示结构化特征;

根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果。

因此,本发明实施例中可以根据第一特征信息确定第一图像候选集合,并可以根据第一图像候选集合中图像的个数,灵活的确定目标对象的检索结果,可以降低检索时间,提高检索效率,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,提升用户体验。

应理解,本发明实施例中,目标对象可以为人、交通工具(例如,汽车、电动车、自行车)、动物等,本发明实施例并不限于此。

应理解,本发明实施例中,该第一特征信息可以指示结构化特征,该第一特征信息也可以称为高层特征,例如,该第一特征信息为与语义相关的一些特征,例如,当目标对象为人是,该第一特征信息可以为性别(男、女),年龄(老、中、青、幼),体型(高、胖、矮、瘦),衣服款式(衬衫、外套、大衣),局部特征(戴帽子、戴围巾、戴墨镜)等,在例如,当目标对象为汽车时,该第一特征信息可以为汽车品牌,汽车颜色(红、黄、黑、白等),本发明实施例并不限于此。

还应理解,本发明实施例中,第二特征信息可以指示非结构化特征,该第二特征信息也可以称为底层特征,例如,该第二特征信息为与语义不相关的一些特征,例如,颜色直方图、欧式距离等,本发明实施例并不限于此。

应理解,在本发明实施例中,该图像数据库可以是执行检索的设备从另外的设备获取的,也可以是该执行检索的设备预先建立的,本发明实施例并不限于此。

可选地,作为一种实现方式,该图像数据库可以包括多组数据图像,每一组数据图像包括至少一个子组,其中,每一组数据图像对应的第一特征信息相同,每一个子组数据图像对应的第二特征信息相同,其中,该多组数据图像包括该第一图像候选集合。

应理解,本发明实施例中,只要两个数据图像对应的第一特征信息差别不大、或者差别在预设范围内均可以认为该两个数据图像对应的第一特征信息相同。因此,该相同也可以表述为大致相同。换句话说,同一组数据图像对应的第一特征信息大致相同或者相差不大,或者,同一组数据图像中的两个图像对应的第一特征信息差别小于预设阈值。例如,第一特征信息为身高,那么可以将身高为151-155cm的分为一组,156-160cm分为一组,161-165cm分为一组,166-170cm分为一组,以此类推,在这种情况下,我们可以认为同一组的身高都相同(大致相同),也就是说每一组的任意两个图像对应的身高差值不会大于4cm。该第一特征为其他特征的情形,与此类似,本发明实施例并不限于此。

类似地,本发明实施例中,只要两个数据图像对应的第二特征信息差别不大、或者差别在预设范围内均可以认为该两个数据图像对应的第二特征信息相同。因此,该相同也可以表述为大致相同。换句话说,同一子组数据图像对应的第二特征信息大致相同或相差不大,或者,同一子组数据图像中的两个图像对应的第二特征信息差别小于预设阈值。例如,两个图像对应的第二特征信息通过二值哈希映射后的距离小于距离阈值时则可以认为该两个图像的第二特征信息相同。本发明实施例并不限于此。

可选地,作为一种实现方式,该方法还包括:

根据下列步骤建立该图像数据库:

提取原始数据图像中每一个图像中的对象;

对该对象进行处理,获取该对象的第一特征信息和第二特征信息,

根据该对象的第一特征信息将该原始数据图像划分为该多组数据图像,并根据该对象的第二特征信息将该每一组数据图像划分为该至少一个子组。

具体而言,本发明实施例中,可以按照第一特征信息(结构化信息)对数据进行存储,即将原始数据图像划分为多组数据图像。并且,可以针对第二特征信息(非结构化数据)建立二进制索引,即根据该对象的第二特征信息将该每一组数据图像划分为该至少一个子组。应理解,本发明实施例中选用二进制索引的目的在于该类索引支持查询范围的动态可调,也即通过子组可以缩小查询范围,提高检索效率。

可选地,作为一种实现方式,该根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果,包括:

在该第一图像候选集合中图像的个数小于或等于第一个数阈值时,将该第一图像候选集合作为该目标对象的检索结果。

应理解,该第一个数阈值可以为系统确定的数值,也可以是查询请求中携带的,本发明实施例并不限于此。

由于第一图像候选集合中图像的个数较少,所以无需再次过滤或匹配,即可作为最终检索结果。因此,本发明实施例中,可以仅通过第一特征信息即可确定出目标对象的检索结果,能够快速的确定出满足系统要求的检索结果,提升用户体验。

可选地,作为一种实现方式,该根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果,包括:

根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,该第二特征信息指示非结构化特征。

可选地,作为一种实现方式,该根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,包括:

在该第一图像候选集合中图像的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

在该第一时间小于或等于第一时间阈值时,根据该目标对象的第二特征信息从该第一图像候选集合中确定该目标对象的检索结果。

具体而言,本发明实施例中当第一图像候选集合中图像的个数大于第一个数阈值时,检索的设备首先需要估计(计算)根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

例如,可以根据检索的设备的计算能力,第二特征信息的加载速度等计算该第一时间,当该第一时间小于第一时间阈值时,可以根据第二特征信息从该第一图像候选集合中确定该目标对象的检索结果。

可选地,作为一种实现方式,该根据该目标的第二特征信息从该第一图像候选集合中确定该目标对象的检索结果,包括:

根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

根据每一个图像与该目标对象的相似度由高到低的顺序,对该第一图像候选集合中的图像进行排序;

从排序后的该第一图像候选集合中选取前n个图像作为该目标对象的检索结果,n小于或等于该第一个数阈值。

可选地,作为一种实现方式,该根据该目标的第二特征信息从该第一图像特征集合中确定该目标对象的检索结果,包括:

根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

将该第一图像候选集合中与该目标对象的相似度大于相似度阈值的图像确定为该目标对象的检索结果。

应理解,该相似度阈值可以为系统预设的,也可以是检索请求中携带的,本发明实施例并不限于此。

因此,本发明实施例中可根据第一特征信息确定第一图像候选集合,并根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,因此,本发明实施例中可以根据第一特征信息和第二特征信息相结合的方式进行检索,确定最终的检索结果

可选地,作为一种实现方式,该根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,包括:

在该第一图像候选集合的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

在该第一时间大于第一时间阈值时,使用该目标图像的第二特征信息对应的索引对该第一图像候选集合进行过滤,得到第二图像候选集合,

在该第二图像候选集合的个数小于或等于第一个数阈值时,将该第二图像候选集合作为该最终检索结果;

或者,

在该第二图像候选集合的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第二图像候选集合中确定出该目标对象的检索结果的第二时间;

在该第二时间小于或等于第一时间阈值时,根据该目标图像的第二特征信息从该第二图像特征集合中确定该最终检索结果。

因此,本发明实施例中可以根据第一特征信息和第二特征相结合的方式灵活的选择策略确定最终检索结果,降低检索时间,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,能够提升用户体验。

第二方面,提供了一种检索的设备,用于执行上述第一方面、第一方面的任一可能的实现方式中的检索方法。具体地,该设备包括用于执行上述方法的单元。

第三方面,提供了一种检索的设备,该检索的设备包括处理器和存储器,该存储器用于存储计算机程序,该处理器用于执行该存储器中存储的计算机程序,执行上述第一方面、第一方面的任一可能的实现方式中的方法。

第四方面,提供了一种计算机可读介质,用于存储计算机程序,该计算机程序包括用于执行第一方面或第一方面的任一种可能的实现方式中的方法的指令。

附图说明

图1是根据本发明一个实施例可以应用的系统架构图。

图2是根据本发明一个实施例的检索的方法示意性流程图。

图3是根据本发明一个实施例的图像数据库的示意框图。

图4是根据本发明一个实施例的建立图像数据库的方法示意性流程图。

图5是根据本发明另一实施例的图像数据库的示意框图。

图6是根据本发明一个实施例的检索的设备的示意性框图。

图7是根据本发明另一实施例的检索的设备的示意性框图。

具体实施方式

下面将结合附图,对本申请中的技术方案进行描述。

图1是根据本发明一个实施例可以应用的系统架构图。图1中该系统架构中包括:至少一个摄像头、至少一个存储设备、至少一个服务器和至少一个客户端。其中,摄像头采集原始视频数据,通过网络传输到服务器,由服务器进行目标提取、对象描述等处理,并将处理得到的结果存储到存储设备中完成数据库构建。

在进行检索时,一种实现方式为客户端发起检索请求,将待查询目标对象的图像发送到服务器,服务器对该待查询目标对象的图像进行特征提取并对存储设备中的数据进行查询,再将查询结果返回到客户端。

应理解,本发明实施例中还可以是其他的设备(例如,其他的服务器)发起检索请求,或者服务器接收用户发送的检索请求来进行检索,本发明实施例并不限于此。

应理解,图1所示的系统架构只是示意性的,本发明实施例的方法及思想还可以应用于其他场景中,例如,可以应用与搜索系统、查询系统中,本发明实施例并不限于此,

还应理解,本发明实施例的方法不限于应用于上述系统中,该方法可以由单独的检索的设备执行,例如,该单独的检索设备可以是个人计算机、服务器、智能移动设备、车载设备、可穿戴设备等等,本发明实施例并不限于此。

前文已说明,目前的查询方法中经常出现查询的候选集合较大导致数据加载时间过长,给用户带来不便的问题。

本发明实施例巧妙地提出了根据第一图像候选集合的大小,灵活的选择策略确定最终检索结果,降低检索时间,提高检索效率,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,能够提升用户体验。

以下,为了便于理解和说明,作为示例而非限定,以将本申请的隐蔽通道的检测方法和设备在网络系统中的执行过程和动作进行说明。

图2是根据本发明一个实施例的检索的方法示意性流程图。如图2所示的方法200可以由检索的设备执行,例如,该检索的设备可以为图1所示的系统中的服务器,但本发明实施例并不限于此。

具体的,如图2所示的方法200包括:

210,从图像数据库中获取与目标对象的第一特征信息匹配的第一图像候选集合,该第一特征信息指示结构化特征。

应理解,本发明实施例中,目标对象可以为人、交通工具(例如,汽车、电动车、自行车)、动物等,本发明实施例并不限于此。

应理解,本发明实施例中,该第一特征信息可以指示结构化特征,该第一特征信息也可以称为高层特征,例如,该第一特征信息为与语义相关的一些特征,例如,当目标对象为人是,该第一特征信息可以为性别(男、女),年龄(老、中、青、幼),体型(高、胖、矮、瘦),衣服款式(衬衫、外套、大衣),局部特征(戴帽子、戴围巾、戴墨镜)等,在例如,当目标对象为汽车时,该第一特征信息可以为汽车品牌,汽车颜色(红、黄、黑、白等),本发明实施例并不限于此。

还应理解,本发明实施例中,第二特征信息可以指示非结构化特征,该第二特征信息也可以称为底层特征,例如,该第二特征信息为与语义不相关的一些特征,例如,颜色直方图、欧式距离等,本发明实施例并不限于此。

应理解,在本发明实施例中,该图像数据库可以是执行检索的设备从另外的设备获取的,也可以是该执行检索的设备预先建立的,本发明实施例并不限于此。

可选地,在本发明实施例中,该图像数据库可以包括多组数据图像,每一组数据图像包括至少一个子组,其中,每一组数据图像对应的第一特征信息相同,每一个子组数据图像对应的第二特征信息相同,其中,该多组数据图像包括该第一图像候选集合。

应理解,本发明实施例中,只要两个数据图像对应的第一特征信息差别不大、或者差别在预设范围内均可以认为该两个数据图像对应的第一特征信息相同。因此,该相同也可以表述为大致相同或相似。换句话说,同一组数据图像对应的第一特征信息大致相同或者相差不大,或者,同一组数据图像中的两个图像对应的第一特征信息差别小于预设阈值。例如,第一特征信息为身高,那么可以将身高为151-155cm的分为一组,156-160cm分为一组,161-165cm分为一组,166-170cm分为一组,以此类推,在这种情况下,我们可以认为同一组的身高都相同(大致相同),也就是说每一组的任意两个图像对应的身高差值不会大于4cm。该第一特征为其他特征的情形,与此类似,本发明实施例并不限于此。

类似地,本发明实施例中,只要两个数据图像对应的第二特征信息差别不大、或者差别在预设范围内均可以认为该两个数据图像对应的第二特征信息相同。因此,该相同也可以表述为大致相同。换句话说,同一子组数据图像对应的第二特征信息大致相同或相差不大,或者,同一子组数据图像中的两个图像对应的第二特征信息差别小于预设阈值。例如,两个图像对应的第二特征信息通过二值哈希映射后的距离小于距离阈值时则可以认为该两个图像的第二特征信息相同。本发明实施例并不限于此。

例如,如图3所示,该图像数据库可以包括i组数据图像,即:第1组数据图像,第2组数据图像,…第i组数据图像。其中,每一组数数据图像包括至少一个子组,例如,第1组数据图像包括2个子组,第2组数据图像包括4个子组,…第i组数据图像包括3个子组等,本发明实施例并不限于此。

应理解,不同组数据图像中包括的子组的个数可以相同也可以不同,在实际应用中可以根据具体情况的不同来划分每一组中的子组,本发明实施例并不对此做限定。

可选地,作为另一实施例,在当该图像数据库是该检索的设备预先建立的情形下,如图4所示,本发明实施例中该检索的设备可以根据下列步骤建立该图像数据库:

410,提取原始数据图像中每一个图像中的对象;

应理解,该原始数据图像例如可以为视频帧图像,例如,可以为摄像头捕获的视频帧图像。

例如,通过目标(对象)检测、跟踪、分割技术对视频/图像中的目标进行提取。既获取目标的在图像中的位置、出现时间等信息,并去除背景对目标的干扰,获取每一个图像汇总的对象。

420,对该对象进行处理,获取该对象的第一特征信息和第二特征信息;

例如,对对象进行特征提取,获取对象的第一特征信息,该第一特征信息包括但不限于性别、年龄、衣服款式等结构化特征(也可以称为高层语义特征),以及获取第二特征信息,该第二特征信息包括但不限于颜色、纹理、深度特征等非结构化特征(也可以称为底层特征)。

430,根据该对象的第一特征信息将该原始数据图像划分为该多组数据图像,并根据该对象的第二特征信息将该每一组数据图像划分为该至少一个子组。

具体而言,本发明实施例中,可以按照第一特征信息(结构化信息)对数据进行存储,即将原始数据图像划分为多组数据图像。并且,可以针对第二特征信息(非结构化数据)建立二进制索引,即根据该对象的第二特征信息将该每一组数据图像划分为该至少一个子组。应理解,本发明实施例中选用二进制索引的目的在于该类索引支持查询范围的动态可调,也即通过子组可以缩小查询范围,提高检索效率。

具体的,该多组数据图像,以及将每一组中的至少一个子组的相关描述说明,可以参见上文中图3中相应的描述,此处为了避免重复,不再赘述。

应理解,本发明实施例中的图像数据库中的一个数据图像可以是包含对象的一段视频图像,也可以是包含对象的一个视频帧(即一帧图像),也可以是一个对象图像。本发明实施例并不限于此。

其中,数据库中还可以存储该多组数据图像与第一特征信息的对应关系,以及子组与第二特征信息的对应关系,其中,一个第一特征信息可以对应至少一个组,一个第二特征信息可以对应至少一个子组。

应理解,本发明实施例中在检索的设备获取到图像数据库后,可以根据实际需求检索目标对象,例如,检索的设备可以是收到检索请求后,对目标对象进行检索。例如,该检索请求可以是用户发出的,也可以是图1中的客户端发出的,也可以是别的服务器发送的,本发明实施例并不限于此,该检索请求中包括目标对象。在获取到该检索请求后,检索的设备可以对该目标图像进行处理,获取该目标对象的第一特征信息,或者获取该目标对象的第一特征信息和第二特征信息,这里关于第二特征信息的用处,可以参见下文中的详细描述,此处不再详述。

然后,利用该第一特征信息在图像数据库中快速获取和该第一特征信息匹配的第一图像候选集合。应理解,该第一图像候选集合可以包括图像数据库中的一组数据图像,也可以包括多组数据图像,本发明实施例并不限于此。

例如,如图5所示,以第一特征信息为性别和年龄为例而言,假设利用性别(男、女),年龄(老、中、青、幼)两个属性进行数据划分,图像数据库中的多组数据图像可以按照如5所示,换分为10组数据图像,当查询图像为中年男子时,只需要返回灰色框中的数据(中年男子)即可,该组数据即为上述第一图像候选集合。

220,根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果。

具体而言,本发明实施例中可以根据第一图像候选结合中图像的个数的大小,确定对应的检索策略,从而根据对应的策略从第一图像候选集合中确定该目标对象的检索结果。

因此,本发明实施例中可以根据第一特征信息确定第一图像候选集合,并可以根据第一图像候选集合中图像的个数,灵活的确定目标对象的检索结果,可以降低检索时间,提高检索效率,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,提升用户体验。

下面将根据第一候选集合中图像的个数与第一个数阈值的大小关系,将分情况介绍确定目标对象的检索结果的具体方案,其中,每一种情况可以对应一种检索策略。例如,第一种情况对应策略一,第二种情况对应策略二,第三种情况对应策略三。

第一种情况,在220中,当在该第一图像候选集合中图像的个数小于或等于第一个数阈值时,将该第一图像候选集合作为该目标对象的检索结果。

应理解,该第一个数阈值可以为系统确定的数值,也可以是查询请求中携带的,本发明实施例并不限于此。

第一种情况下,由于第一图像候选集合中图像的个数较少,所以无需再次过滤或匹配,即可作为最终检索结果。因此,本发明实施例中,可以仅通过第一特征信息即可确定出目标对象的检索结果,能够快速的确定出满足系统要求的检索结果,提升用户体验。

可选地,当该第一图像候选集合中图像的个数大于第一个数阈值时,在220中,根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,该第二特征信息指示非结构化特征。

具体的,下面将通过第二种情况和第三种情况进行详细描述。

具体而言,本发明实施例中当第一图像候选集合中图像的个数大于第一个数阈值时,检索的设备首先需要估计(计算)根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;在该第一时间小于或等于第一时间阈值时,执行第二情况对应的策略二,在该第一时间大于第一时间阈值时,执行第三情况对应的策略三。

第二种情况,在220中,在该第一图像候选集合中图像的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

在该第一时间小于或等于第一时间阈值时,根据该目标对象的第二特征信息从该第一图像候选集合中确定该目标对象的检索结果。

应理解,该第一时间阈值可以为系统阈值的,也可以是查询请求中携带的,本发明实施例并不对此做限定。

具体而言,本发明实施例中档第一图像候选集合中图像的个数大于第一个数阈值时,检索的设备首先需要估计(计算)根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

例如,可以根据检索的设备的计算能力,第二特征信息的加载速度等计算该第一时间,当该第一时间小于第一时间阈值时,可以根据第二特征信息从该第一图像候选集合中确定该目标对象的检索结果。

例如,假设第一图像候选集合中图像的个数为m,加载第二特征信息的速度为w,数据处理(计算)速度为v、第一时间阈值为s,那么在满足公式:(m/w+m/v)<s的情况下,可以根据第二特征信息从该第一图像候选集合中确定该目标对象的检索结果。

例如,一种方式:

可以根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

根据每一个图像与该目标对象的相似度由高到低的顺序,对该第一图像候选集合中的图像进行排序;

从排序后的该第一图像候选集合中选取前n个图像作为该最终检索结果,n小于或等于该第一个数阈值。

应理解,本发明实施例中名称“相似度”表示两个图像的第二特征信息的相似程度,该相似度可以与距离成反比,例如与欧式距离、卡方距离等成反比,当两个图像的第二特征信息的距离越大,相似度越低,当两个图像的第二特征信息的距离越小,相似度越高。

本发明实施例中可以根据相似度的由高到低顺序选取前n个图像作为该目标对象的检索结果。

可选地,该n的取值与第一个数阈值相等。

在例如,另一种方式:

根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

将该第一图像候选集合中与该目标对象的相似度大于相似度阈值的图像确定为该目标对象的检索结果。

应理解,该相似度阈值可以为系统预设的,也可以是检索请求中携带的,本发明实施例并不限于此。

因此,本发明实施例中可根据第一特征信息确定第一图像候选集合,并根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,因此,本发明实施例中可以根据第一特征信息和第二特征信息相结合的方式进行检索,确定最终的检索结果

第三种情况,在220中,在该第一图像候选集合的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

在该第一时间大于第一时间阈值时,使用该目标图像的第二特征信息对该第一图像候选集合进行过滤,得到第二图像候选集合,

例如,检索的设备可以根据二值哈希或局部敏感哈希等算法快速的对第一图像候选进行过滤得到第二图像候选集合。应理解,在实际应用中,还可以采用其他算法进行过滤,本发明实施例并不限于此。

例如,第一图像候选集合例如可以为图像数据库中的一组数据图像,该第二图像候选集合可以为该一组数据图像中的一个子组或多个子组。

在本发明实施例中,在得到第二图像候选集合后,可以按照类似上述情况一或情况二进行检索。

具体的,在该第二图像候选集合的个数小于或等于第一个数阈值时,将该第二图像候选集合作为该最终检索结果;

或者,在该第一图像候选集合中图像的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的时间;

在该时间小于或等于第一时间阈值时,根据该目标图像的第二特征信息从该第二图像特征集合中确定该最终检索结果。

具体的,在得到第二图像候选集合后的步骤可以参照上文中第一种情况和第二种情况的描述,只要将上述第一种情况和第二种情况中的第一图像候选集合替换成第二图像候选集合即可,为了避免重复,此处不再赘述。

因此,本发明实施例中可以根据第一特征信息和第二特征相结合的方式灵活的选择策略确定最终检索结果,降低检索时间,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,能够提升用户体验。

应理解,第二种情况与第三种情况的区别在于,在第二种情况下由于计算时间满足要求,也即检索时间时可容忍的,因此,在第二种情况下,无需进行二次过滤的过程,可以使用第二特征信息逐一从第一图像候选集合中检索出目标对应的检索结果。这样在保证时间较短的情况下,逐一检索的方式能够最大限度保证检索的准确性,提升用户体验。

在第三情况下,由于采用情况二中的逐一检索的方式,计算时间较长,因此,在第三种情况下,需要进行二次过滤的过程,减小检索的范围,进而能够在准确检索的情况下,降低检索时间,提升用户体验。

应理解,图1至图5的例子仅仅是为了帮助本领域技术人员理解本发明实施例,而非要将本发明实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的图2至图5的例子,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本发明实施例的范围内。

上文中,结合图1至图5详细描述了本发明实施例的检索的方法,下面结合图6和图7描述本发明实施例的检索的设备。

图6是根据本发明一个实施例的检索的设备的示意框图。应理解,图6所示的检索的设备600能够实现上述图2至图5方法实施例中的各个过程,该检索的设备600中的各个模块的操作和/或功能,分别为了实现图2至图5中的方法实施例中的相应流程,具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详述描述。

如图6所示,检索的设备600包括:获取单元610和确定单元620。

具体地,获取单元610用于从图像数据库中获取与目标对象的第一特征信息匹配的第一图像候选集合,该第一特征信息指示结构化特征;

确定单元620用于根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果。

因此,本发明实施例中可以根据第一特征信息确定第一图像候选集合,并可以根据第一图像候选集合中图像的个数,灵活的确定目标对象的检索结果,可以降低检索时间,提高检索效率,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,提升用户体验。

可选地,作为另一实施例,该确定单元在根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

在该第一图像候选集合中图像的个数小于或等于第一个数阈值时,将该第一图像候选集合作为该目标对象的检索结果。

可替代地,作为另一实施例,该确定单元在根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,该第二特征信息指示非结构化特征。

进一步地,作为另一实施例,该确定单元在根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

在该第一图像候选集合中图像的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的时间;

在该时间小于或等于第一时间阈值时,根据该目标对象的第二特征信息从该第一图像候选集合中确定该目标对象的检索结果。

进一步地,作为另一实施例,该确定单元在根据该目标的第二特征信息从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

根据每一个图像与该目标对象的相似度由高到低的顺序,对该第一图像候选集合中的图像进行排序;

从排序后的该第一图像候选集合中选取前n个图像作为该目标对象的检索结果,n小于或等于该第一个数阈值。

可替代地,作为另一实施例,该确定单元在根据该目标的第二特征信息从该第一图像特征集合中确定该目标对象的检索结果方面,具体用于

根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

将该第一图像候选集合中与该目标对象的相似度大于相似度阈值的图像确定为该目标对象的检索结果。

可替代地,作为另一实施例,该确定单元在根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

在该第一图像候选集合的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

在该第一时间大于第一时间阈值时,使用该目标图像的第二特征信息对该第一图像候选集合进行过滤,得到第二图像候选集合,

在该第二图像候选集合的个数小于或等于第一个数阈值时,将该第二图像候选集合作为该最终检索结果;

或者,

在该第二图像候选集合的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第二图像候选集合中确定出该目标对象的检索结果的第二时间;

在该第二时间小于或等于第一时间阈值时,根据该目标图像的第二特征信息从该第二图像特征集合中确定该最终检索结果。

可选地,作为另一实施例,该图像数据库包括多组数据图像,每一组数据图像包括至少一个子组,其中,每一组数据图像对应的第一特征信息相同,每一个子组数据图像对应的第二特征信息相同,

其中,该多组数据图像包括该第一图像候选集合。

进一步地,作为另一实施例,该检索的设备还可以包括建立单元,用于根据下列步骤建立该图像数据库:

提取原始数据图像中每一个图像中的对象;

对该对象进行处理,获取该对象的第一特征信息和第二特征信息,

根据该对象的第一特征信息将该原始数据图像划分为该多组数据图像,并根据该对象的第二特征信息将该每一组数据图像划分为该至少一个子组。

因此,本发明实施例中可以根据第一特征信息确定第一图像候选集合,并可以根据第一图像候选集合中图像的个数,灵活的确定目标对象的检索结果,可以降低检索时间,提高检索效率,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,提升用户体验。

图7是根据本发明另一实施例的检索的设备的示意框图。应理解,图7所示的检索的设备700能够实现图2至图5方法实施例中涉及检索的方法的各个过程,设备700的具体功能可参见上述方法实施例中的描述,为避免重复,此处适当省略详述描述。

如图7所示,该检索的设备700包括:包括至少一个处理器710(例如cpu),至少一个网络接口720或者其他通信接口,和存储器730。处理器710、存储器730和网络接口720之间通过内部连接通路互相通信,传递控制和/或数据信号。

处理器710用于执行存储器730中存储的可执行模块,例如计算机程序。存储器730可能包含高速随机存取存储器(randomaccessmemory,ram),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个网络接口720(可以是有线或者无线)实现与至少一个其他网元例如,与摄像头、客户端和存储设备之间的通信连接。

在一些实施方式中,存储器730存储了程序731,处理器710执行程序731,用于执行前述本发明实施例的检索的方法。

具体而言,该处理器710用于执行该存储器720存储的指令用于从图像数据库中获取与目标对象的第一特征信息匹配的第一图像候选集合,该第一特征信息指示结构化特征;

根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果。

因此,本发明实施例中可以根据第一特征信息确定第一图像候选集合,并可以根据第一图像候选集合中图像的个数,灵活的确定目标对象的检索结果,可以降低检索时间,提高检索效率,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,提升用户体验。

应注意,本发明实施例上述的方法实施例可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。

可以理解,本发明实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-onlymemory,rom)、可编程只读存储器(programmablerom,prom)、可擦除可编程只读存储器(erasableprom,eprom)、电可擦除可编程只读存储器(electricallyeprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory,ram),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(staticram,sram)、动态随机存取存储器(dynamicram,dram)、同步动态随机存取存储器(synchronousdram,sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram,ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram,esdram)、同步连接动态随机存取存储器(synchlinkdram,sldram)和直接内存总线随机存取存储器(directrambusram,drram)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

可选地,作为另一实施例,处理器710在根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

在该第一图像候选集合中图像的个数小于或等于第一个数阈值时,将该第一图像候选集合作为该目标对象的检索结果。

可替代地,作为另一实施例,处理器710在根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果,该第二特征信息指示非结构化特征。

进一步地,作为另一实施例,处理器710在根据该第一图像候选集合中图像的个数和该目标图像的第二特征信息,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

在该第一图像候选集合中图像的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的时间;

在该时间小于或等于第一时间阈值时,根据该目标对象的第二特征信息从该第一图像候选集合中确定该目标对象的检索结果。

进一步地,作为另一实施例,处理器710在根据该目标的第二特征信息从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

根据每一个图像与该目标对象的相似度由高到低的顺序,对该第一图像候选集合中的图像进行排序;

从排序后的该第一图像候选集合中选取前n个图像作为该目标对象的检索结果,n小于或等于该第一个数阈值。

可替代地,作为另一实施例,处理器710在根据该目标的第二特征信息从该第一图像特征集合中确定该目标对象的检索结果方面,具体用于

根据该第二特征信息,计算该第一图像候选集合中的每一个图像与该目标对象的相似度;

将该第一图像候选集合中与该目标对象的相似度大于相似度阈值的图像确定为该目标对象的检索结果。

可替代地,作为另一实施例,处理器710在根据该第一图像候选集合中图像的个数,从该第一图像候选集合中确定该目标对象的检索结果方面,具体用于

在该第一图像候选集合的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第一图像候选集合中确定出该目标对象的检索结果的第一时间;

在该第一时间大于第一时间阈值时,使用该目标图像的第二特征信息对该第一图像候选集合进行过滤,得到第二图像候选集合,

在该第二图像候选集合的个数小于或等于第一个数阈值时,将该第二图像候选集合作为该最终检索结果;

或者,

在该第二图像候选集合的个数大于第一个数阈值时,计算根据该目标对象的第二特征信息从该第二图像候选集合中确定出该目标对象的检索结果的第二时间;

在该第二时间小于或等于第一时间阈值时,根据该目标图像的第二特征信息从该第二图像特征集合中确定该最终检索结果。

可选地,作为另一实施例,该图像数据库包括多组数据图像,每一组数据图像包括至少一个子组,其中,每一组数据图像对应的第一特征信息相同,每一个子组数据图像对应的第二特征信息相同,

其中,该多组数据图像包括该第一图像候选集合。

进一步地,作为另一实施例,处理器710还用于根据下列步骤建立该图像数据库:

提取原始数据图像中每一个图像中的对象;

对该对象进行处理,获取该对象的第一特征信息和第二特征信息,

根据该对象的第一特征信息将该原始数据图像划分为该多组数据图像,并根据该对象的第二特征信息将该每一组数据图像划分为该至少一个子组。

因此,本发明实施例中可以根据第一特征信息确定第一图像候选集合,并可以根据第一图像候选集合中图像的个数,灵活的确定目标对象的检索结果,可以降低检索时间,提高检索效率,避免了现有技术中查询结果集合较大时,给用户使用带来的不方便性,提升用户体验。

应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

另外,本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。

应理解,在本发明实施例中,“与a相应的b”表示b与a相关联,根据a可以确定b。但还应理解,根据a确定b并不意味着仅仅根据a确定b,还可以根据a和/或其它信息确定b。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可以用硬件实现,或固件实现,或它们的组合方式来实现。当使用软件实现时,可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如,如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(dsl)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的,那么同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的,盘(disk)和碟(disc)包括压缩光碟(cd)、激光碟、光碟、数字通用光碟(dvd)、软盘和蓝光光碟,其中盘通常磁性的复制数据,而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

总之,以上所述仅为本发明技术方案的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1