通过利用特征的空间定位减少对象检测时间的制作方法
【技术领域】
[0001]本发明涉及图像处理系统，并且更明确地说，涉及图像中的对象辨识。
【背景技术】
[0002]在计算装置或计算机的上下文中的视觉搜索指代使得计算机或其它装置能够提供一或多个图像中的对象的识别信息的技术。最近对视觉搜索的关注产生了使得计算机能够在多种多样的变化图像条件(包含噪音及照明的变化)下识别被部分遮蔽的对象及/或特征的算法。同时，已经出现包含相机的移动装置，但此类移动装置可能具有有限的用户接口来用于输入文本或以其它方式与移动装置介接。移动装置和移动装置应用程序的开发者已设法利用移动装置的相机来增强与移动装置的用户交互。
[0003]为了说明一种增强，移动装置的用户可使用移动装置的相机在于商店购物时俘获给定产品的图像。所述移动装置接着可在用于各种图像的所存档特征描述符内发起视觉搜索算法来基于匹配图像识别产品。在识别对象之后，所述移动装置接着可呈现扩增实境(AR)信息及/或呈现相关非扩增实境应用程序。举例来说，所述移动装置可起始基于因特网的搜索并呈现含有关于所识别商店产品的信息的网页。
【发明内容】
[0004]根据本发明的一种用于退出对象检测管线的方法的实例包含:在处于所述对象检测管线中时确定图像的第一图块内的特征的数目，其中所述图像由多个图块构成；如果第一图块内的特征的数目符合阈值，那么使用第一图块内的所述特征的至少一子集执行匹配步骤；如果所述匹配步骤的结果指示在所述图像中辨识出对象，那么退出所述对象检测管线；及呈现所述匹配步骤的所述结果。
[0005]所述方法的实施方案可包含以下特征中的一或多者。如果第一图块中特征的数目不符合阈值，那么从所述图像内的第二图块提取特征。所述图像内的第二图块的位置可基于垂直光栅模式或其它预定搜索模式。所述图像内的所述第一和第二图块的位置可基于对图像的减少取样版本执行的图像分析。如果N个图块中特征的累积数目并不符合阈值，那么从所述图像内的N+1图块提取特征；如果来自N个图块及N+1图块的累积特征的数目符合阈值，那么使用从N+1图块所提取的特征及从N个图块所提取的累积特征执行匹配步骤；及如果使用来自N个图块及N+1图块的累积特征的匹配步骤的结果指示在图像中辨识出对象，那么退出对象检测管线。如果匹配步骤的结果未指示辨识出对象，那么从所述图像内的第二图块提取特征。确定所辨识对象的位姿，及如果所辨识对象的位姿在几何学上不与对象数据库中的信息一致，那么从图像内的第二图块提取特征。可在从第一图块提取特征之前对图像减少取样。匹配步骤可包含将特征子集传输到远程装置及接收来自远程装置的结果。基于第一图块的所提取特征确定位置统计数据，基于所述位置统计数据在图像的较低倍频程版本上检测所提取特征，及基于在图像的较低倍频程版本上检测的特征计算对象的位姿。
[0006]根据本发明的一种用于退出对象检测管线的设备的实例包含:存储器单元；处理器，其经配置以执行以下操作:在处于对象检测管线中时确定图像的第一图块内的特征的数目，其中图像可分成多个图块，在第一图块内的特征的数目符合阈值时使用第一图块内的特征的至少一子集执行匹配步骤，在匹配步骤的结果指示在图像中辨识出对象时退出对象检测管线，及将匹配步骤的结果存储在存储器单元中。一种用于退出对象检测管线的设备的实例包含:用于在处于所述对象检测管线中时确定图像的第一图块内的特征的数目的装置，其中所述图像由多个图块构成；用于在第一图块内的特征的数目符合阈值时使用第一图块内的所述特征的至少一子集执行匹配步骤的装置；用于在所述匹配步骤的结果指示在图像中辨识出对象时退出对象检测管线的装置；及用于存储匹配步骤的结果的装置。
[0007]根据本发明的一种计算机可读媒体的实例包含:经配置以致使处理器执行以下操作的处理器可执行指令:在处于所述对象检测管线中时确定图像的第一图块内的特征的数目，其中所述图像由多个图块构成；在第一图块内的特征的数目符合阈值时使用第一图块内的所述特征的至少一子集执行匹配步骤；在所述匹配步骤的结果指示在图像中辨识出对象时退出对象检测管线；及存储匹配步骤的结果。
[0008]方法的实例可包含:对来自图像的多个空间偏移图块中的第一图块执行特征提取过程；如果特征提取过程提取了任何特征，那么使用第一图块内的特征的至少一子集执行匹配步骤；及在对多个空间偏移图块中的第二图块执行特征提取过程之前确定匹配步骤的结果是否指示在图像中辨识出对象。在一些实施例中，执行所述匹配步骤包括将特征子集传输到远程装置及接收来自所述远程装置的结果。
[0009]方法的实例可包含循序分析来自图像的多个空间偏移图块中的一或多个图块。每一图块的所述分析可包含:对所述图块执行特征提取过程；及基于使用所述特征提取过程从图块所提取的任何特征及从任何先前所分析的图块所提取的任何特征确定是否可在图像中辨识对象。所述方法可进一步包含响应于确定可辨识所述对象停止多个空间偏移图块中的任何剩余图块的分析。
[0010]在一些实施例中，所述方法进一步包括选择用于循序分析的第一图块。在一些实施例中，第一图块包括在图像的边角处的图块。在一些实施例中，第一图块包括在图像的中心区域中的图块。在一些实施例中，第一图块包括在较高特征区域中的图块。在一些实施例中，第一图块包括在先前辨识对象的区域中的图块。在一些实施例中，所述方法进一步包括将图像变换成本地特征坐标。在一些实施例中，以第一尺度循序分析所述一或多个图块，所述第一尺度不同于图像的原生尺度，并且所述方法进一步包括使用所述原生尺度确定对象的位姿。在一些实施例中，循序分析包括以图像的第一尺度循序分析多个空间偏移图块中的全部图块，并且所述方法随后包括以图像的第二尺度循序分析多个空间偏移图块中的一或多个图块，及当确定可基于从第二尺度下的图块提取的特征辨识对象时停止以第二尺度对多个空间偏移图块中的任何剩余图块的分析。在一些实施例中，第一尺度高于第二尺度。在一些实施例中，针对图像的多个尺度中的一或多个尺度循序执行所述循序分析，并且在辨识对象之后不再分析剩余尺度。在一些实施例中，以从最高尺度到最低尺度的次序分析多个尺度。在一些实施例中，确定是否可辨识对象包括将从图块提取的特征传输到远程装置及从远程装置接收对于是否可辨识对象的指示。
[0011]—般来说，本发明描述用于数字图像中的对象识别的技术。这些技术可降低在图像中识别对象的计算复杂度。本发明的技术基于图像的空间分割提供关键点/特征提取。可基于图像内的图块子集进行检测。仅处理图块子集而不是整个图像可降低检测管线的计算需求。所公开的空间分割还可与基于尺度的算法结合。此外，本发明提供用于通过经定位的所检测特征到对象的非减少取样图像的投影来确定所检测对象的位姿的技术。
[0012]随图及以下描述中陈述一或多个实例的细节。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
【附图说明】
[0013]图1A为说明其中可应用用于基于空间的特征提取的技术的实例系统的框图。
[0014]图1B为具有四个阶的图像金字塔的概念图。
[0015]图2为说明以光栅扫描模式处理图像中图块的概念图。
[0016]图3为说明根据扩展圈模式处理图像中图块的概念图。
[0017]图4为说明用于基于图像的空间处理执行从检测管线提早退出的实例方法的流程图。
[0018]图5为说明在尺度及空间图像处理之后的提早退出的概念图。
【具体实施方式】
[0019]—般来说，本发明描述用于图像中的对象识别的技术。这些技术可降低识别图像中的对象的计算复杂度并支持从对象检测管线提早退出。胜于在分析整个图像后提取特征描述符，本发明的技术考虑到检测图块(即，图像的子集)内的特征。在处理每一图块之后，可将所检测特征的数目与阈值进行比较并且接着与对象数据库进行比较。平铺可应用于一或多个八元组。一般来说，每一八元组对应于图像的特定大小(例如，像素分辨率)。针对给定八元组，可将输入图像按比例缩放到与分辨率相关联的大小。本文中所描述的空间分割技术可与如2011年7月28日提交的同在申请中的美国专利申请案第13/193，294号中所描述的基于尺度的特征提取结合。
[0020]对于对象辨识，可从训练图像导出特征描述符集合及/或其它区分信息的数据库。接着可从目标图像提取特征描述符并将其用于查询数据库，以评估给定查询图像(即，存储在数据库中的图像)的内容。对于扩增实境或视觉搜索应用程序，客户端(例如，蜂窝电话)可俘获所关注的对象的图像并将其与图像、特征及/或元数据信息的数据库进行比较。此数据库可存储在网络上的服务器上，且可由客户端检索以供本地处理，或替代地，可将查询传输到服务器以使用网络资源来处理。大体上关于用以执行图块内关键点的定位及特征描述符的提取的尺度不变特征变换(SIFT)算法来描述本发明的技术。每一 SIFT特征可具有以下属性:2D(x，y)特征位置、检测特征的尺度、由特征邻域中最强的图像梯度的旋转定向所给定的特征的旋转定向及/或以区分方式描述本地像素变化的向量(例如本地图像梯度的直方图)。在一些实施例中，可使用除SIFT外的方法或算法识别、提取及/或定位特征描述符。
[0021]关键点识别及描述符提取在计算上可能要求很高。举例来说，典型的一半大小的视频图形阵列(HVGA)图像可产生数千SIFT特征。SIFT算法(包含迭代匹配过程)的实施可超出一些移动平台上可用的计算资源。但是，在大部分实际情况下，产生与数据库中的特征描述符的匹配的实际特征描述符数目往往比实际上所计算的特征描述符数目低得多。即，所计算的特征描述符的集合中的一小子集可得到对象识别结果。此情况可能部分地由查询图像中影响特征描述符的不同成像条件(例如，照明、视角等)引起，以使得仅几个特征最终与数据库中的特征匹配。本发明的技术可采用可用于识别对象的关键点可驻留在整个图像的仅一个小区域中的空间实境，并因此降低处理整个图像的计算需求。
[0022]图1A为说明其中可应用用于基于空间的特征提取的技术的实例系统2的框图。在此实例中，系统2包含通过网络40通信的客户端装置10及服务器装置50。在此实例中，客户端装置10表示移动装置，例如膝上型计算机、所谓的上网本、平板计算机、个人数字助理(PDA)、蜂窝式或移动电话或手机(包含所谓的“智能电话”)、全球定位系统(GPS)装置、数码相机、数字媒体播放器、游戏装置或能够与服务器装置50通信的任何其它移动装置。虽然在本发明中关于移动客户端装置10进行描述，但本发明中描述的技术在这方面不限于移动客户端装置。实情为，所述技术可由能够存储本地对象数据库及/或能够通过网络40或任何其它通信媒体与服务器装置50通信的任何装置实施。
[0023]服务器装置50表示接受连接(例如，传输控制协议(TCP)连接)并以其自身的TCP连接进行响应以形成借以接收查询数据及提供识别数