提供图像特征描述符的方法
【专利说明】提供图像特征描述符的方法
[0001]本发明涉及提供特征描述符组的方法，该特征描述符组被配置成用于匹配相机图像中的对象的至少一个特征，还涉及用于执行所述方法的相应的计算机程序产品。
[0002]这样的方法可以用于其他的应用中，例如，在确定相机相对于对象的位置和方向的方法中。确定相机相对于具有已知几何形状和可视外观的对象的位置和方向的常见方法利用通过局部特征描述符获得的2D-3D对应关系，诸如[I](参见说明书结尾处的目录)中描述的SIFT。在离线步骤中，所述对象的一个或多个视图用作参考图像。考虑到这些图像，局部特征被检测然后描述，产生具有已知3D位置的参考特征描述符组。对于实况相机图像，执行同样的程序以获得具有2D图像坐标的当前特征描述符。可以利用相似性度量(诸如描述符的欧式距离(Euclidean distance)的倒数)来确定两个特征的相似性。将当前特征描述符与参考描述符组匹配产生当前相机图像和参考对象之间的2D-3D对应关系。然后基于这些对应关系确定相对于对象的相机姿态，并且所述相机姿态可以用于增强现实(Augmented Reality)应用中以覆盖记录有真实对象的虚拟3D内容。注意到，类似地，可相对于相机坐标系来确定对象的位置和方向。
[0003]一般地，特征检测器和特征描述方法均需要的观点是在一定程度上以不变应万变。存在有[2]中所描述的仿射不变特征检测器，其估计仿射变换以使特征的邻域归一化，但是所述仿射不变特征检测器目前对于在移动装置上的实时应用太昂贵。相反，通常只有一个统一的尺度因子和一个平面内旋转被估计，得到仅对于这两个变换的真正不变性。然后所述特征描述方法利用特征的所确定的尺度和方向在计算描述符之前使支持区域归一化。然而，平面外旋转的不变性通常是相当有限的并且对描述方法本身负责。
[0004]如果辅助信息是可获得的，这可以用于补偿平面外旋转。设置有相机像素的深度，可以确定特征的3D法向矢量来建立特征的视角不变补丁，如[3]中所描述的。对于水平面，用惯性传感器测量的重力矢量使得能够在特征描述之前对相机图像进行矫正，如[4]中所描述的。
[0005]如果这些数据是不可获得的，可以采用渲染技术(诸如图像扭曲)来生成特征的多个合成视图，即图像。对于向视角变化或平面内旋转提供低不变性但能够非常快速进行描述符匹配的描述符，利用这样的合成视图为不同的视角和/或旋转创建不同的描述符以支持较大的变化，如[5，6]中所描述的。
[0006]然而，随着参考特征描述符的数量的增加，匹配单一当前特征描述符的时间也增加，使得实时处理在一些点上不可能。此外，潜在地需要通过移动网络传输的参考数据的总量增加，导致更长的加载时间。
[0007]特征分类器的目的还在于，对于给定的图像特征识别数据库(或第二图像)中的相应参考特征。这可以归结为分类问题，其中每个参考特征是一个类别，并且分类器确定对于给定的当前特征具有最高概率的类别。需要离线修整阶段，其中利用特征的通常通过随意扭曲的补丁获得的不同可能的外观修整分类器。随机树状图(如[7]中所描述的)使用这些来估计对于每个叶节点的遍及所有类别的概率，而内部节点包含基于图像强度对比的二元判定。修整之后，通过加和所到达叶节点的概率并找到具有最高概率的类别，对当前特征进行分类。
[0008]除了由不同视角产生的空间变化的不变性，特征描述符(以及特征分类器)对光照、噪声和其它非空间变换的变化提供不变性也是关键的。存在学习型的方法，在剧烈变化的姿势和光照条件下，基于包含特征的相应图像补丁的真实结果数据集，在定义的设计空间内找到理想的特征描述符布局，如[8]中所描述的。类推地，分类器可以设有扭曲的补丁，该扭曲的补丁在修整阶段附加地含有合成噪声、模糊或类似物。
[0009]由于设有特征的不同外观的修整阶段，分类器通常对修整期间合成的变换提供良好的不变性。然而，需要为特征分类器存储的概率要求有大量的内存，这使得它们对于大量特征而言尤其是在内存受限的移动设备上是不可行的。
[0010]利用对象的不同合成视图(即图像)来模拟不同外观已经呈现出对平面外旋转提供良好的不变性。然而，在大量描述符数据中利用这个结果的现有方法使得它们在移动设备上几乎不可行。
[0011]因此，有利的是提供一种提供特征描述符组的方法，该特征描述符组能够用于匹配相机图像中的对象的特征的方法中，该相机应用在具有减少存储容量的设备上。
[0012]本发明的各方面根据独立权利要求来提供。
[0013]根据一方面，公开了一种提供特征描述符组的方法，该特征描述符组被配置成用于匹配相机图像中的对象的至少一个特征，该方法包括以下步骤:
[0014]a)提供第一对象或第一对象的多个情况实例的至少两个图像，其中，所述多个情况实例提供一个对象的不同外观或不同样式，
[0015]b)在图像中的至少两个图像中，从相应的图像提取至少一个特征，
[0016]c)提供用于所提取特征的至少一个描述符，并将用于多个所提取特征的描述符存储于第一描述符组中，
[0017]d)使第一描述符组中的多个描述符与第一描述符组中的多个描述符匹配，
[0018]e)基于匹配过程的结果，计算用于多个描述符的评分参数，
[0019]f)基于与其他描述符的评分参数对比的评分参数，从描述符中选择至少一个描述符，
[0020]g)将所选择的描述符添加至第二描述符组，
[0021]h)根据任一前面的选择过程并根据匹配过程的结果，更新第一描述符组中的多个描述符的评分参数，
[0022]i)再次执行步骤f)和g)，
[0023]其中，第二描述符组被配置成用于匹配相机图像中的第一对象或第二对象的至少一个特征。
[0024]对象的“视图”这一术语是指对象的图像，其可以利用真正的相机捕获或者利用适当的合成视图创建方法合成地创建，如后续更详细地阐述的。
[0025]我们的方法一般建立第一描述符组然后将来自第一描述符组的描述符添加至第二描述符组。对专家来说熟知的是，这可以用很多不同的方法实现，并且并不必然意味着描述符从第一描述符组中在存储器中的某一位置被物理地复制到第二描述符组中在存储器中的不同位置。相反地，例如第二组可以通过将第一组中的描述符标记为第二组的一部分来实现，例如通过修改描述符的指定参数。另一种可能的实施方式是在根本不修改存储器中的描述符的情况下存储属于第二描述符组的描述符的存储地址、指针、参考或指标。
[0026]具体地，根据一个实施方式，提出了一种自动确定描述对象的特征描述符组使得它可以在各种条件下匹配和/或定位的方法。这些条件可以包括视角、光照以及相机参数(诸如焦距、焦点、曝光时间、信噪比等)的变化。基于对象的例如以合成方式生成的一组视图，优选地在不同条件下，检测和描述局部图像特征，并汇集在数据库中。所提出的方法评估这些数据库特征之间的匹配，以从数据库中最终找到减少的(优选最少的)最具代表性的描述符组。使用该可扩展的离线过程，匹配和/或定位成功率能够在不增加运行方法的计算负荷的情况下显著增加。
[0027]例如，步骤h)和i)重复地进行，直至第二描述符组中的描述符的数量已经达到特定值或第二描述符组中的描述符的数量停止变化为止。
[0028]根据一个实施方式，在步骤g)之前可以修改基于选择过程的至少一个所选择的描述符。
[0029]例如，所选择的描述符的修改包括将描述符更新为所选择的描述符和第一描述符组中的其他描述符的组合。
[0030]根据一个实施方式，更新步骤h)中的匹配过程的结果的使用受限于至少一个所选择的描述符的匹配过程的结果，或限于与所述至少一个所选择的描述符匹配的描述符的匹配过程的结果。
[0031]根据本公开的另一方面，提出了一种提供至少两个描述符组的方法，所述描述符组被配置成用于匹配相机图像中的对象的至少一个特征，该方法包括如下步骤:
[0032]a)提供第一对象或第一对象的多个情况实例的至少两个图像，其中，所述多个情况实例提供一个对象的不同外观或不同样式，其中，当生成相应图像时，每个图像通过具有相对于重力的已知定位的相应相机生成，
[0033]b)在图像中的至少两个图像中，从相应图像提取至少一个特征，
[0034]c)提供用于所提取特征的至少一个描述符，并将用于多个所提取特征的描述符存储于至少具有第一描述符组和第二描述符组的多个描述符组中，其中，第一描述符组包含从与相应相机的相对于重力的第一方位区对应的图像中提取的特征的描述符，并且第二描述符组包含从与相应相机的相对于重力的第二方位区对应的图像中提取的特征的描述符，
[0035]d)使第一描述符组的多个描述符与第一描述符组的多个描述符匹配，并且使第二描述符组的多个描述符与第二描述符组的多个描述符匹配，
[0036]e)基于匹配过程的结果，计算用于多个描述符的评分参数，
[0037]f)基于与其他描述符的评分参数对比的评分参数，从第一描述符组内选择至少一个描述符，并且基于与其他描述符的评分参数对比的评分参数，从第二描述符组内选择至少另一个描述符，
[0038]g)将来自第一组的至少一个所选择的描述符添加至第三描述符组，并将来自于第二组的至少一个所选择的描述符添加至第四描述符组，
[0039]h)根据任一前面的选择过程并根据匹配过程的结果，更新第一和/或第二描述符组中的多个描述符的评分参数，
[0040]i)再次执行步骤f)和g)，
[0041]其中，第三和/或第四描述符组被配置成用于匹配相机图像中的第一对象或第二对象的至少一个特征。
[0042]因此，如果例如相机定位相对于对象在相机的相对于重力的已知定位来进行，提出了创建用于相机的不同方位区的多个参考描述符组。例如，可以利用相机光线和所测量的重力矢量之间的不同角度，如下面更详细地阐述的。这个方法尤其适用于具有内置惯性传感器(可用于测量相对于重力的定位)的手动装置并且能够与参考数据集相匹配，该参考数据集仅包含与所测量方向一致的相机姿态有关的信息。
[0043]因此，所提出的方法目的在于在不会增加存储器消耗的情况下有利于对象的多个(例如合成)视图。所述方法(该方法可以作为所谓的离线方法执行，当运行应用程序时该离线方法不需要运行)因此首先建立一个来自于多个视图(即，对象的图像)的更大的描述符数据库，并然后确定能够在多种条件下匹配和/或定位对象的优选的最具代表性的描述符的子集。
[0044]例如，步骤h)和i)重复地进行，直至第三和/或第四描述符组中的描述符的数量已经达到特定值或者第三和/或第四描述符组中的描述符的数量停止变化。
[0045]根据一个实施方式，在步骤g)之前修改基于选择过程的至少一个所选择的描述符。
[0046]例如，所选择的描述符的修改包括将描述符更新为所选择的描述符和第一或第二描述符组中的其他描述符的组合。
[0047]例如，在上述方法中，步骤h)和i)多次迭代地进行，直到存储在第二、第三和/或第四描述符组内的描述符的数量已经达到特定值。
[0048]根据一个实施方式，步骤d)包括对于每个被匹配的描述符确定它们被正确地还是错误地匹配，并且步骤e)包括根据描述符被正确地还是错误地匹配来计算评