专利名称：：用旋转不变特征描述符进行跟踪和识别的方法和设备的制作方法
技术领域：
：本发明的实施例一般涉及图像处理，更特别地，涉及用于生成和利用特征描述符进行跟踪和识别的方法和设备。
背景技术：
：在许多应用中，能够识别图像系列(诸如视频帧)内的特征并跟踪特征在图像内的运动已成为需要。例如，可以捕获包括特殊(distinctive)目标的视频帧系列，并且可能期望识别和跟踪该目标穿过视频帧的相对运动以及识别自动方式中的目标。在这点上，对图像内特征的识别被利用在计算机视觉应用中，诸如增强现实。这些应用正越来越多地被用作实时目标识别、三维重建、全景拼接、机械测图和视频跟踪。诸如移动电话的手持设备现在一般装备有视频捕获性能。这些视频捕获性能可以用于(beleveragedfor)移动和便携的计算机视觉应用，诸如移动增强现实(MAR)。然而，在至少ー些实例中，手持设备的处理功率可能是对手持设备的图像处理性能的限制。
发明内容此处描述了用旋转不变特征描述符进行跟踪和识别的本发明的各种示例方法和设备。根据ー些示例实施例，旋转不变特征描述符可以从计算角度相对便宜地生成，但也很健壮足以执行精确的跟踪和识别。进ー步地，根据各种示例实施例，被用于跟踪的同样的特征描述符也可以被用于识别。一种示例方法包括生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据某些示例实施例，特征描述符是旋转不变的。进ー步地，该示例方法还可以包括通过将该特征描述符与前一帧的特征描述符进行匹配(match)来跟踪运动并基于该特征描述符来执行对图像帧内目标的识别。用旋转不变特征描述符进行跟踪和识别的相关的示例设备包括至少ー个处理器与包括计算机程序代码的至少ー个存储器，至少ー个存储器与计算机程序代码配置成与至少ー个处理器一起引起该设备至少执行各种功能性。在这点上，该示例设备被引起执行生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据某些示例实施例，特征描述符是旋转不变的。进ー步地，该示例设备还可以被引起执行通过将该特征描述符与前一帧的特征描述符进行匹配来跟踪运动并基于该特征描述符来执行对图像帧内目标的识别。另ー示例实施例是在其中存储有可执行的计算机可读程序代码指令的示例计算机可读存储介质。该示例计算机可读存储介质的计算机可读程序代码指令用于引起设备执行各种功能性。在这点上，该示例设备被引起执行生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据某些示例实施例，特征描述符是旋转不变的。进ー步地，该示例设备还可以被引起执行通过将该特征描述符与前一帧的特征描述符进行匹配来跟踪运动并基于该特征描述符来执行对图像帧内目标的识别。另ー示例实施例是用旋转不变特征描述符进行跟踪和识别的示例设备。该示例设备包括用于生成图像帧的图像金字塔的装置，用于检测图像金字塔内的多个兴趣点的装置，以及用于提取每个各自的兴趣点的特征描述符的装置。根据某些示例实施例，特征描述符是旋转不变的。进ー步地，该示例设备还可以包括用于通过将该特征描述符与前ー帧的特征描述符进行匹配来跟踪运动的装置以及用于基于该特征描述符来执行对图像帧内目标的识别的装置。在以一般术语对本发明进行如此描述的基础上，现在将參考不必按比例绘制的附图，其中图I图示了根据本发明的示例实施例的径向梯度的生成；·图2图示了根据本发明的示例实施例使用径向梯度转换的旋转不变性；图3a_3d图示了根据本发明的示例实施例的用于面元划分的图像到単元的分割；图4a_4b图示了根据本发明的示例实施例的空间面元划分配置；图5a_5b图示了根据本发明的示例实施例的分别的径向梯度转换和近似的径向梯度转换基础矢量。图6图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的设备的结构图。图7图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的移动终端的结构图。图8图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的方法的流程图。图9图示了根据本发明的示例实施例用旋转不变特征描述符进行跟踪和识别的方法的另一流程图。具体实施例方式下面将參考附图对本发明的示例实施例进行更全面的描述，其中示出了本发明的ー些但不是所有的实施例。实际上，本发明可以体现为许多不同的形式，因此不应解释为对此处陈述的实施例的限制；而是，提供这些实施例以便此公开满足适用的法律要求。相同的參考图标自始至终指代相同的部件。根据本发明的某些示例实施例，术语“数据”、“内容”、“信息”以及类似的术语可以可交換地使用以指代能够被发射、接收、操作和/或存储的数据。此处使用的术语“电路”指代以下所有(a)仅硬件电路实现(诸如仅模拟和/或数字电路中的实现)；(b)电路与软件(和/或固件)的结合，诸如(适用时)(i)处理器的结合或(ii)一起运行以引起设备(诸如移动电话或者服务器)执行各种功能性的处理器/软件(包括数字信号处理器)、软件和存储器的一部分；以及(c)需要软件或固件以进行操作的电路，诸如微处理器或者微处理器的一部分，即使软件或固件物理上不存在。对“电路”的该定义适用于该术语在本申请中的所有使用，包括在任何权利要求中的使用。作为进一歩的示例，在本申请中使用时，术语“电路”还将覆盖仅处理器(或者多处理器)或者处理器的一部分及它(或者它们)伴随的软件和/或固件的实现。例如，如果适用于特定的权利要求要素，则术语“电路”还将覆盖移动电路的基带集成电路或者应用处理器集成电路或者服务器、蜂窝网络设备、或者其它网络设备中的类似集成电路。本发明的示例实施例包括使用如此处描述生成的特征描述符来统ー图像处理应用(诸如移动增强现实(MAR)应用)中的跟踪和视频内容识别的方法和设备。特征描述符可以被称为旋转不变快速特征(RIFF)描述符。RIFF描述符可以使用径向梯度转换(RGT)和/或近似RGT(ARGT)来生成。根据各种示例实施例，RIFF描述符被生成为足够快以用于帧频或者近(near)帧频跟踪，并且足够健壮以用于大規模识别检索任务。例如，根据某些示例实施例，使用RIFF描述符的跟踪方案能够生成全局仿射运动模型，其可与来自Kanade-Lucas-Tomasi(KLT)特征跟踪器的这些比较,并且可以实现来自图像数据库的改善的识别检索精确性。诸如MAR应用的图像处理应用可以利用视觉跟踪和识别。本发明的示例实施例开发帧之间的冗余以用于通过生成特征描述符来统ー跟踪和识别，该特征描述符可以以视频帧频或近视频帧频提取并可以用作跟踪和识别目的。根据示例实施例的特征描述符可以通过以视频帧频提取有助于识别和跟踪的信息而生成。通过以这种方式生成特征描述符，跟踪和识别均可以被特征描述符支持。附加地，为了克服与许多手持设备的受限的计算功率相关的挑战，根据各种示例实施例，此处描述的特征描述符对于计算是既健壮又快速的。对RIFF描述符的生成可以从形成压缩的梯度直方图(CHoG)描述符的程序开始，其已经示出了以很低的比特率很好地运行。然而，根据某些示例实施例，CHoG程序可以被修改以消除特征点(keypoint)检测的方向赋值阶段以提高速度，并生成旋转不变快速特征描述符。在这点上，可以提供两种类型的RIFF描述符，基于梯度面元划分(binning)的描述符和基于空间面元划分的描述符。旋转不变性可以是健壮图像识别系统的重要特征。某些描述符通过查找(find)方向井内插相关的像素实现方向不变性。然而，根据示例实施例，RIFF描述符的生成可以在没有确定方向和像素内插的情况下被执行。在这点上，可以利用梯度直方图(HoG)类型的描述符，并且可以通过梯度面元划分和空间面元划分实现旋转不变性。根据某些示例实施例,可以使用梯度面元划分来生成旋转(rationalIy)不变描述符。为了使梯度面元划分不变，可以应用可逆的(invertable)、空间上变化的转换。通过以给定角度旋转梯度，可以以很少的或者没有信息损失实现旋转不变性。产生径向梯度转换(RGT)。如图I中所示，可以选择两个正交的基础矢量来提供局部极坐标系(referenceframe)以描述梯度。基础矢量r和t可以是点p处相对于曲面(patch)中心c的径向和切向方向。Re可以定义为角度Θ的标准旋转矩阵，得到Γ=]Τ--|^=Λ^Γ(I)I/,ィIτ通过投影到！·和t，梯度g可以分解成其局部坐标系g=(gTr)r+(gTt)t(2)以便梯度可以在局部径向坐标系中表示为矢量(gTr，gTt)。如果曲面围绕其中心c旋转某个角度Θ，则新局部坐标系和梯度生成为R0P=P',R0r=r/,R0t=t/R0g=·这样，局部帧中的梯度坐标因此示为对旋转不变，因为g和g’映射为各自參考坐标系中的相同坐标。权利要求1.ー种方法，包括生成图像帧的图像金字塔；检测所述图像金字塔内的多个兴趣点；以及提取每个各自的兴趣点的特征描述符。2.如权利要求I所述的方法，其中提取所述特征描述符包括提取特征描述符，所述特征描述符是旋转不变的。3.如权利要求I或2所述的方法，进ー步包括通过将所述特征描述符与前一帧的特征描述符进行匹配来跟踪运动；以及基于所述特征描述符来执行对所述图像帧内的目标的识别。4.如权利要求I到3中任一所述的方法，其中提取所述特征描述符包括以给定角度旋转兴趣点的梯度以产生径向梯度转换。5.如权利要求I到4中任一所述的方法，其中提取所述特征描述符包括执行梯度面元划分或者空间面元划分。6.如权利要求I到5中任一所述的方法，其中提取所述特征描述符包括定义近似基础矢量以及利用所述近似基础矢量来生成近似径向梯度转换。7.如权利要求I到6中任一所述的方法，进ー步包括基于所述特征描述符之间的阈值最小距离选择所述特征描述符中至少之ー以用于匹配。8.ー种包括至少ー个处理器和包括计算机程序代码的至少ー个存储器的设备，所述至少ー个存储器与所述计算机程序代码配置成与所述至少一个处理器一起引起所述设备至少生成图像帧的图像金字塔；检测所述图像金字塔内的多个兴趣点；以及提取每个各自的兴趣点的特征描述符。9.如权利要求8所述的设备，其中所述设备被引起提取所述特征描述符包括被引起提取特征描述符，所述特征描述符是旋转不变的。10.如权利要求8或9所述的设备，其中所述设备被进ー步引起通过将所述特征描述符与前一帧的特征描述符进行匹配来跟踪运动；以及基于所述特征描述符来执行对所述图像帧内的目标的识别。11.如权利要求8到10中任一所述的设备，其中所述设备被引起提取所述特征描述符包括被弓I起以给定角度旋转兴趣点的梯度以产生径向梯度转换。12.如权利要求8到11中任一所述的设备，其中所述设备被引起提取所述特征描述符包括被引起执行梯度面元划分或者空间面元划分。13.如权利要求8到12中任一所述的设备，其中所述设备被引起提取所述特征描述符包括被引起定义近似基础矢量以及利用所述近似基础矢量来生成近似径向梯度转换。14.如权利要求8到13中任一所述的设备，其中所述设备被进ー步引起基于所述特征描述符之间的阈值最小距离选择所述特征描述符中至少之ー以用于匹配。15.如权利要求8到14中任一所述的设备，其中所述设备包括移动终端。16.如权利要求8到15中任一所述的设备，其中所述设备包括配置成基于所述特征描述符来呈现目标跟踪的显示器。17.一种在其中编码有可执行的计算机可读程序代码指令的计算机可读介质，所述指令被配置成引起设备至少生成图像帧的图像金字塔；检测所述图像金字塔内的多个兴趣点；以及提取每个各自的兴趣点的特征描述符。18.如权利要求17所述的介质，其中所述指令配置成引起所述设备提取所述特征描述符包括被配置成引起所述设备提取特征描述符，所述特征描述符是旋转不变的。19.如权利要求17或18所述的介质，其中所述指令被进ー步配置成引起所述设备通过将所述特征描述符与前一帧的特征描述符进行匹配来跟踪运动；以及基于所述特征描述符来执行对所述图像帧内的目标的识别。20.如权利要求17到19中任一所述的介质，其中所述指令配置成引起所述设备提取所述特征描述符包括被配置成引起所述设备以给定角度旋转兴趣点的梯度以产生径向梯度转换。21.如权利要求17到20中任一所述的介质，其中所述指令配置成引起所述设备提取所述特征描述符包括被配置成引起所述设备执行梯度面元划分或者空间面元划分。22.如权利要求17到21中任一所述的介质，其中所述指令配置成引起所述设备提取所述特征描述符包括被配置成引起所述设备定义近似基础矢量以及利用所述近似基础矢量来生成近似径向梯度转换。23.如权利要求17到22中任一所述的介质，其中所述指令被进ー步配置成引起所述设备基于所述特征描述符之间的阈值最小距离选择所述特征描述符中至少之ー以用于匹配。24.一种设备，包括用于生成图像帧的图像金字塔的装置；用于检测所述图像金字塔内的多个兴趣点的装置；以及用于提取每个各自的兴趣点的特征描述符的装置。25.如权利要求24所述的设备，其中用于提取所述特征描述符的装置包括用于提取特征描述符的装置，所述特征描述符是旋转不变的。26.如权利要求24或25所述的设备，进一歩包括用于通过将所述特征描述符与前一帧的特征描述符进行匹配来跟踪运动的装置；以及用于基于所述特征描述符来执行对所述图像帧内的目标的识别的装置。27.如权利要求24到26中任一所述的设备，其中用于提取所述特征描述符的装置包括用于以给定角度旋转兴趣点的梯度以产生径向梯度转换的装置。28.如权利要求24到27中任一所述的设备，其中用于提取所述特征描述符的装置包括用于执行梯度面元划分或者空间面元划分的装置。29.如权利要求24到28中任一所述的设备，其中用于提取所述特征描述符的装置包括用于定义近似基础矢量的装置以及用于利用所述近似基础矢量来生成近似径向梯度转换的装置。30.如权利要求24到29中任一所述的设备，进一歩包括用于基于所述特征描述符之间的阈值最小距离选择所述特征描述符中至少之ー以用于匹配的装置。全文摘要提供了用旋转不变特征描述符进行跟踪和识别的各种方法。一种示例方法包括生成图像帧的图像金字塔，检测图像金字塔内的多个兴趣点，以及提取每个各自的兴趣点的特征描述符。根据一些示例实施例，特征描述符是旋转不变的。进一步地，示例方法还可以包括通过将特征描述符与前一帧的特征描述符进行匹配来跟踪运动，以及基于特征描述符来执行对图像帧内的目标的识别。同样提供了相关的示例方法和示例设备。文档编号G06K9/46GK102844771SQ201080061855公开日2012年12月26日申请日期2010年11月18日优先权日2009年11月19日发明者G·陶卡奇,R·格热茨祖克,V·钱德拉塞卡尔,B·格罗德申请人:诺基亚公司,斯坦福大学