一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置的制造方法

一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置的制造方法
【专利摘要】本发明涉及一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法(100)，指示所述第一图像的典型特征的所述第一图像的关键点与指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像的关键点与所述第二图像的关键点之间的初始关联关系，所述初始关联关系由指示符指示，所述初始关联关系包括所述不正确关联关系，所述方法(100)包括：将所述第一图像的每个关键点与所述第二图像的每个关键点进行关联(101)，以获得全局关联关系；确定(103)初始关联关系对的相似性度量；确定(105)全局关联关系对的相似性度量；确定(107)相似性度量在预先确定的范围内的初始关联关系对的第一数目；确定(109)相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将所述对的第一数目和所述对的第二数目进行比较(111)，以检测所述不正确关联关系。本发明还涉及一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的装置。
【专利说明】
一种用于检测第一图像的关键点和第二图像的关键点之间的 不正确关联关系的方法和装置
技术领域
[0001] 本发明涉及计算机视觉领域，尤其涉及图像匹配。
【背景技术】
[0002] 评定图像间的相似性的能力是基础却复杂的任务，能够作为许多应用的构成要 素。这些应用可包括，例如，目视搜寻、目标检测、目标识另U、摄像机跟踪、目标跟踪和场景重 建。
[0003] 图像相似性评定很容易由人解决，但从机器角度来看是却是难题，因为它基于从 各种低级属性开始的图像内容的自动译码。因此，采用了图像匹配技术。
[0004] 图像匹配方法依赖于所谓的局部特征。局部特征是图像中围绕点的块的简洁描 述。用于确定局部特征的点显示出图像的典型特征，例如，四角，其检测对于照明、尺度、旋 转和透视变化是稳定的。这样的点也称为关键点，图像对之间的相似性可通过图像共有的 关键点的数目和位置评定。由于关键点检测中的噪声影响或关键点的不匹配，匹配结果通 常包括正确关联关系，即内点，和不正确关联关系，即离群点。
[0005] 在Lepsoy，S.、Francini，G.，Cordara，G.、de Gusmao和P.P.B.，IEEE多媒体与展览 国际会议，2011年7月11-15"快速目视搜寻中离群点的统计建模"中，描述了图像比较方法。

【发明内容】

[0006] 本发明的目的是提供一种检测第一图像的关键点和第二图像的关键点之间的不 正确关联关系的有效方法。
[0007] 该目的是通过独立权利要求的特征来实现的。结合从属权利要求、说明书和附图， 更多的实现方式是显而易见的。
[0008] 本发明基于发现可以确定可由关键点匹配技术提供的初始关联关系对和可通过 将所述第一图像的每个关键点和所述第二图像的每个关键点进行关联而获得的全局关联 关系对的相似性度量。所述初始关联关系主要包括正确关联关系，其中所述全局关联关系 主要包括不正确关联关系。通过统计性地评估初始关联关系对和全局关联关系对的相似性 度量，初始关联关系内的不正确关联关系可以通过统计方法进行检测。
[0009] 相似性度量可以为对数距离比（logarithmic distance ratio，LDR)，其允许应用 相似性不变量度量。距离可以为马氏距离，其说明了第一图像和第二图像中的关键点的位 置的不确定性。可以通过协方差矩阵定义位置的不确定性，其中，可以实现二维图像和三维 图像的协方差矩阵的有效确定。
[0010]根据第一方面，本发明涉及一种用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的方法，指示所述第一图像的典型特征的所述第一图像的关键点与 指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像 的关键点与所述第二图像的关键点之间的初始关联关系，所述初始关联关系由指示符指 示，所述初始关联关系包括所述不正确关联关系，所述方法包括:将所述第一图像的每个关 键点与所述第二图像的每个关键点进行关联，以获得全局关联关系；确定初始关联关系对 的相似性度量;确定全局关联关系对的相似性度量;确定相似性度量在预先确定的范围内 的初始关联关系对的第一数目；确定相似性度量在所述预先确定的范围内的全局关联关系 对的第二数目；将所述对的第一数目和所述对的第二数目进行比较，以检测所述不正确关 联关系。因此，可以提供一种用于检测第一图像的关键点和第二图像的关键点之间的不正 确关联关系的有效方法。
[0011] 所述第一图像和所述第二图像可以为纹理图像。所述第一图像和所述第二图像还 可以包括深度图。所述第一图像或所述第二图像的典型特征可以为几何特征，例如，四角。
[0012] 所述第一图像的关键点和所述第二图像的关键点之间的所述初始关联关系可通 过关键点匹配技术获得。所述指示符可以为矢量或矩阵。初始关联关系对或全局关联关系 对的相似性度量可以为实数，如1.8或2.5。
[0013] 所述预先确定的范围可以为实数范围，如1.0-1.2。所述预先确定的范围可以为初 始关联关系对的相似性度量的直方图的竖条或全局关联关系对的相似性度量的直方图的 竖条。
[0014] 初始关联关系对的相似性度量的分布和全局关联关系对的相似性度量的分布可 以指示各个概率密度函数。因此，可以考虑相似性度量的统计数据。因此，能够通过统计比 较检测不正确关联关系。
[0015] 根据第一方面，在所述方法的第一种实现形式中，所述方法还包括:通过所有初始 关联关系对的数目将所述对的第一数目归一化;通过所有全局关联关系对的数目将所述对 的第二数目归一化。因此，可以改善所述对的第一数目与所述对的第二数目的比较。
[0016] 所述对的第一数目的归一化可以通过所述对的第一数目除以所有初始关联关系 对的数目或用所有初始关联关系对的数目对所述对的第一数目进行加权实现。所述对的第 二数目的归一化可以通过所述对的第二数目除以所有全局关联关系对的数目或用所有全 局关联关系对的数目对所述对的第二数目进行加权实现。
[0017] 根据第一方面或第一方面的任一前述实现形式，在所述方法的第二种实现形式 中，初始关联关系对或全局关联关系对包括第一关联关系和第二关联关系，所述第一关联 关系包括所述第一图像中的第一关键点和所述第二图像中的第二关键点，所述第二关联关 系包括所述第一图像中的第三关键点和所述第二图像中的第四关键点，所述初始关联关系 对或所述全局关联关系对的相似性度量根据下述等式确定：
[0019] | | xi_xj | | =sqrt(
(Xi-Xj)Cxixj(Xi-Xj))，其中，Cxixj = Cxi+Cxj
[0020] | |yi-yj | | =sqrt((yi-yj)Cyiyj(yi-yj))，其中，Cyiyj = Cyi+Cyj
[0021] 其中，Xl表示所述第一关键点在所述第一图像中的位置，&表示所述第三关键点在 所述第一图像中的位置，表示所述第二关键点在所述第二图像中的位置，n表示所述第四 关键点在所述第二图像中的位置，N ? I I表示距离，sqrt表示平方根运算，CX1表示第一协方 差矩阵，Cxj表不第三协方差矩阵，Cyi表不第二协方差矩阵，Cyj表不第四协方差矩阵，Cxixj表 示第一合并协方差矩阵，c ylyj表示第二合并协方差矩阵，ldr表示所述相似性度量。因此，可 以应用相似性不变量度量。
[0022] 所述相似性度量可以为对数距离比（log-distance_ratio，LDR)，其中，所述第一 关键点的位置和所述第三关键点的位置之间的距离I I以及所述第二关键点的位置 和所述第四关键点的位置之间的距离| |yi-yj| |可以为马氏距离。马氏距离可以说明关键点 的位置的不确定性，其可以通过误差椭圆或误差椭球建模。距离I I ? I I与欧氏距离可能无 关。
[0023] 根据第一方面的第二种实现形式，在所述方法的第三种实现形式中，所述第一协 方差矩阵或所述第三协方差矩阵是在所述第一图像的像素值的二阶导数的基础上确定的， 所述第二协方差矩阵或所述第四协方差矩阵是在所述第二图像的像素值的二阶导数的基 础上确定的。因此，可以提供协方差矩阵的有效确定。所述二阶导数可包括海森或相逆的海 森矩阵运算。
[0024] 根据第一方面的第二种实现形式，在所述方法的第四种实现形式中，所述第一图 像包括第一深度图，所述第二图像包括第二深度图，所述第一深度图指示所述第一图像的 关键点的深度，所述第二深度图指示所述第二图像的关键点的深度，所述第一协方差矩阵、 所述第二协方差矩阵、所述第三协方差矩阵或所述第四协方差矩阵是在所述第一深度图或 所述第二深度图的基础上确定的。因此，可以实现三维图像中的协方差矩阵的确定。
[0025] 例如，所述协方差矩阵可以基于视图的水平和垂直视域和导致水平和垂直维度中 的栅方差的纹理图像的分辨率确定。对于三维点，协方差矩阵可以是对角的3x3矩阵，其中， 每一行的元素表示三个空间维度的协方差。所述协方差矩阵可以基于所述第一深度图或第 二深度图定义的点的z坐标确定。此外，可以考虑针对深度确定的深度传感器准确性参数或 从多摄像机系统计算的估计的深度的置信度值。视差的计算成本的置信度值可以从多个摄 像机中计算。
[0026] 根据第一方面或第一方面的任一前述实现形式，在所述方法的第五种实现形式 中，所述第一图像包括第一深度图，所述第二图像包括第二深度图，所述第一深度图指示所 述第一图像的关键点的深度，所述第二深度图指示所述第二图像的关键点的深度，所述初 始关联关系对和所述全局关联关系对的相似性度量是在所述第一深度图和所述第二深度 图的基础上确定的。因此，可以实现三维图像的不正确关联关系检测的改善。
[0027] 根据第一方面或第一方面的任一前述实现形式，在所述方法的第六种实现形式 中，所述第一图像由第一图像捕捉参数表征，所述第二图像由第二图像捕捉参数表征，所述 初始关联关系对和所述全局关联关系对的相似性度量是在所述第一图像捕捉参数和所述 第二图像捕捉参数的基础上确定的。因此，可以实现关键点的位置确定的改善。
[0028] 所述图像捕捉参数可包括摄像机内参数。所述图像捕捉参数可包括图像摄像机的 焦距、图像摄像机的光中心和/或图像摄像机的像素纵横比。
[0029] 根据第一方面或第一方面的任一前述实现形式，在所述方法的第七种实现形式 中，所述方法包括:通过检测所述第一图像中的典型特征，尤其是四角，检测所述第一图像 中的关键点;通过检测所述第二图像中的典型特征，尤其是四角，检测所述第二图像中的关 键点。因此，通过特征检测技术可以实现关键点的检测。
[0030] 例如，关键点的检测可以通过尺度不变量特征变换（Scale-Invariant Feature Transform，SIFT)技术、快速鲁棒性特征（speeded up robust features，SURF)技术或二进 制鲁棒性不变可扩展关键点（binary robust invariant scalable keypoint，BRISK)技术 执行。所述技术可以检测不同的典型特征。所述二进制鲁棒性不变可扩展关键点（binary robust invariant scalable keypoint，BRISK)技术尤其可以用于检测四角。
[0031] 根据第一方面的第七种实现形式，在所述方法的第八种实现形式中，所述方法还 包括:确定所述第一图像中的检测的关键点的第一描述符，其中，所述第一描述符指示所述 第一图像中的检测的关键点的特征;确定所述第二图像中的检测的关键点的第二描述符， 其中，所述第二描述符指示所述第二图像中的检测的关键点的特征;基于所述第一描述符 和所述第二描述符，将所述第一图像的检测的关键点与所述第二图像的检测的关键点进行 关联，以获得所述初始关联关系。因此，可以实现初始关联关系的有效确定。
[0032] 所述检测的关键点的特征可包括关键点周围的图像块的特征。所述检测的关键点 的特征可包括梯度、颜色和/或形状。基于所述第一描述符和所述第二描述符的关联可以基 于欧几里得距离、暴力破解方法或k_d树方法。
[0033] 根据第一方面或第一方面的任一前述实现形式，在所述方法的第九种实现形式 中，所述第一图像包括第一深度图，所述第二图像包括第二深度图，所述第一深度图指示所 述第一图像的像素深度，所述第二深度图指示所述第二图像的像素深度，依靠所述第一深 度图的像素值或所述第二深度图的像素值控制所述第一图像的像素值或所述第二图像的 像素值，特别是设为零。因此，可以实现所述第一图像或所述第二图像的感兴趣区（region of interest，R0I)屏蔽。
[0034] 根据第一方面或第一方面的任一前述实现形式，在所述方法的第十种实现形式 中，将所述对的第一数目和所述对的第二数目进行比较包括判断所述对的第一数目是否小 于所述对的第二数目，若所述对的第一数目小于所述对的第二数目，检测所述不正确关联 关系。因此，可以实现检测所述不正确关联关系的统计意义。
[0035]所述不正确关联关系的检测可以基于统计的拟合优度检验执行。所述不正确关联 关系的检测还可以基于卡方检验。
[0036] 若所述对的第一数目小于所述对的第二数目，相似性度量在预先确定的范围内的 初始关联关系对的关联关系可以检测为不正确关联关系。若所述对的第一数目大于所述对 的第二数目，相似性度量在预先确定的范围内的初始关联关系对的关联关系可以检测为正 确关联关系。
[0037] 所述对的第一数目和所对的第二数目的比较可能与所述初始关联关系对的相似 性度量的直方图的竖条与全局关联关系对的相似性度量的直方图的竖条的比较相关。确定 用以检测正确关联关系或内点的数目的分布之间的差异的概念在单个直方图竖条内可为 可用的或有效的，该单个直方图竖条可包括或可指预先确定的范围。
[0038]根据第二方面，本发明涉及一种用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的装置，指示所述第一图像的典型特征的所述第一图像的关键点与 指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像 的关键点与所述第二图像的关键点之间的初始关联关系，所述初始关联关系由指示符指 示，所述初始关联关系包括所述不正确关联关系，所述装置包括:处理器，用于将所述第一 图像的每个关键点与所述第二图像的每个关键点进行关联，以获得全局关联关系；确定初 始关联关系对的相似性度量;确定全局关联关系对的相似性度量;确定相似性度量在预先 确定的范围内的初始关联关系对的第一数目；确定相似性度量在所述预先确定的范围内的 全局关联关系对的第二数目；将所述对的第一数目和所述对的第二数目进行比较，以检测 所述不正确关联关系。因此，可以提供一种用于有效检测第一图像的关键点和第二图像的 关键点之间的不正确关联关系的装置。
[0039] 所述处理器可用于执行计算机程序。
[0040] 所述装置可执行根据第一方面的方法。所述装置的进一步的特征能直接根据第一 方面的方法的功能性产生。
[0041] 根据第二方面，在所述装置的第一种实现形式中，所述处理器还用于通过检测所 述第一图像中的典型特征，尤其是四角，检测所述第一图像中的关键点;通过检测所述第二 图像中的典型特征，尤其是四角，检测所述第二图像中的关键点。因此，通过特征检测技术 可以实现关键点的检测。
[0042] 根据第二方面的第一种实现形式，在所述装置的第二种实现形式中，所述处理器 还用于确定所述第一图像中的检测的关键点的第一描述符，其中，所述第一描述符指示所 述第一图像中的检测的关键点的特征；确定所述第二图像中的检测的关键点的第二描述 符，其中，所述第二描述符指示所述第二图像中的检测的关键点的特征;基于所述第一描述 符和所述第二描述符，将所述第一图像的检测的关键点与所述第二图像的检测的关键点进 tx关联，以获得所述初始关联关系。因此，可以实现初始关联关系的有效确定。
[0043] 根据第二方面，在所述装置的又一实现形式中，实现形式用于执行根据第一方面 的所述方法的一个、部分或所有实现形式。
[0044] 根据第三方面，本发明涉及一种计算机程序，包括：当在计算机上运行时，用于执 行根据第一方面或者第一方面的任意实施形式的方法的程序代码。因此，所述方法可以以 自动和重复的方式应用。
[0045] 该计算机程序以机器可读程序代码的形式提供。该程序代码可以包括一系列计算 机处理器的命令。所述计算机的处理器可用于执行该程序代码。
[0046] 本发明可以以硬件和/或软件形式来实现。
【附图说明】
[0047] 本发明的【具体实施方式】将结合以下附图进行描述，其中：
[0048] 图1示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的方法的图；
[0049]图2示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的装置的图；
[0050]图3示出了根据一种实现形式的第一图像和第二图像的图；
[0051]图4示出了根据一种实现形式的第一图像的关键点和第二图像的关键点之间的初 始关联关系的图；
[0052]图5示出了根据一种实现形式的第一图像的关键点和第二图像的关键点之间的全 局关联关系的图；
[0053]图6示出了根据一种实现形式的投射在两个不同像平面上的3D场景的透视失真 图；
[0054] 图7示出了根据一种实现形式的第一图像或第二图像内的关键点和协方差椭圆的 图；
[0055] 图8示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的装置的图；
[0056] 图9示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的装置的图；
[0057] 图10示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置的图；
[0058] 图11示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置的图；
[0059]图12示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置的图；
[0060] 图13示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置的图；
[0061] 图14示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置的图；
[0062]图15示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置的图；
[0063]图16示出了根据一种实现形式的感兴趣区屏蔽单元的图。
[0064] 在附图中，相同的标号指相同或相当的特征。
【具体实施方式】
[0065] 图1示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的方法100的图。指示所述第一图像的典型特征的所述第一图像的 关键点与指示所述第二图像的典型特征的所述第二图像的关键点相关联，借此形成了所述 第一图像的关键点与所述第二图像的关键点之间的初始关联关系。所述初始关联关系由指 示符指示。所述初始关联关系包括所述不正确关联关系。
[0066] 所述方法100包括:将所述第一图像的每个关键点与所述第二图像的每个关键点 进行关联101，以获得全局关联关系；确定103初始关联关系对的相似性度量;确定105全局 关联关系对的相似性度量;确定107相似性度量在预先确定的范围内的初始关联关系对的 第一数目；确定109相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将 所述对的第一数目和所述对的第二数目进行比较111，以检测所述不正确关联关系。
[0067]所述第一图像和所述第二图像可以为纹理图像。所述第一图像和所述第二图像还 可以包括深度图。所述第一图像或所述第二图像的典型特征可以为几何特征，例如，四角。
[0068] 所述第一图像的关键点和所述第二图像的关键点之间的所述初始关联关系可通 过关键点匹配技术获得。所述指示符可以为矢量或矩阵。初始关联关系对或全局关联关系 对的相似性度量可以为实数，如1.8或2.5。
[0069] 所述预先确定的范围可以为实数范围，如1.0-1.2。所述预先确定的范围可以为初 始关联关系对的相似性度量的直方图的竖条或全局关联关系对的相似性度量的直方图的 竖条。
[0070] 初始关联关系对的相似性度量的分布和全局关联关系对的相似性度量的分布可 以指示各个概率密度函数。因此，可以考虑相似性度量的统计数据。因此，能够通过统计比 较检测不正确关联关系。
[0071] 图2示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的装置200的图。
[0072] 指示所述第一图像的典型特征的所述第一图像的关键点与指示所述第二图像的 典型特征的所述第二图像的关键点相关联，借此形成了所述第一图像的关键点与所述第二 图像的关键点之间的初始关联关系。所述初始关联关系由指不符指不。所述初始关联关系 包括所述不正确关联关系。
[0073]所述装置200包括:处理器201，用于将所述第一图像的每个关键点与所述第二图 像的每个关键点进行关联，以获得全局关联关系;确定初始关联关系对的相似性度量;确定 全局关联关系对的相似性度量;确定相似性度量在预先确定的范围内的初始关联关系对的 第一数目；确定相似性度量在所述预先确定的范围内的全局关联关系对的第二数目；将所 述对的第一数目和所述对的第二数目进行比较，以检测所述不正确关联关系。
[0074] 所述处理器201可用于执行计算机程序。
[0075]所述装置200的实施例可用于执行图1的方法100。所述装置200的进一步的特征能 直接从图1的方法100的功能性产生。
[0076]图3示出了根据一种实现形式的第一图像301和第二图像303的图。所述第一图像 301包括第一关键点305和第三关键点309。所述第二图像303包括第二关键点307和第四关 键点311。
[0077]所述第一图像301的所述第一关键点305和所述第三关键点309能指示所述第一图 像301的典型特征。所述第二图像303的所述第二关键点307和所述第四关键点311能指示所 述第二图像303的典型特征。所述第一图像301或所述第二图像303的典型特征可以为几何 特征，例如，四角。
[0078]图4示出了根据一种实现形式的第一图像301的关键点305和309和第二图像303的 关键点307和311之间的初始关联关系401和403的图。所述初始关联关系401和403可由指示 符指示。
[0079]通过检测所述第一图像301中的典型特征，尤其是四角，可以检测所述第一图像 301中的关键点305和309。通过检测所述第二图像303中的典型特征，尤其是四角，可以检测 所述第二图像303中的关键点307和311。
[0080]可以确定所述第一图像301中的检测的关键点305和309的第一描述符，其中，所述 第一描述符可以指示所述第一图像301中的检测的关键点305和309的特征。可以确定所述 第二图像303中的检测的关键点307和311的第二描述符，其中，所述第二描述符可以指示所 述第二图像303中的检测的关键点307和311的特征。通过基于所述第一描述符和所述第二 描述符，将所述第一图像301的检测的关键点305和309与所述第二图像303的检测的关键点 307和311进彳丁关联，可以获得所述初始关联关系401和403。
[00811图5示出了根据一种实现形式的第一图像301的关键点305和309和第二图像303的 关键点307和311之间的全局关联关系501、503、505和507的图。
[0082]通过检测所述第一图像301中的典型特征，尤其是四角，可以检测所述第一图像 301中的关键点305和309。通过检测所述第二图像303中的典型特征，尤其是四角，可以检测 所述第二图像303中的关键点307和311。
[0083]通过将所述第一图像301的每个关键点305和309与所述第二图像303的每个关键 点307和311进行关联，可以获得全局关联关系501、503、505和507。
[0084]图6示出了根据一种实现形式的投射在两个不同像平面上的3D场景的透视失真 图。
[0085]本发明可以涉及计算机视觉领域，尤其涉及称为2D/3D视频图像匹配和/或比较， 以及3D重建的话题。
[0086]在计算机视觉和图像/视频处理领域中，可靠地评价纹理图像间的相似性的能力 是基础却又复杂的任务，能够作为许多应用域的构成要素。这些应用域可包括目视搜寻、目 标检测、目标识别、摄像机跟踪、目标跟踪和场景重建等。
[0087] 图像相似性评定很容易由人解决，但从机器角度来看是却是难题，因为它可基于 从各种低级属性开始的数字图像内容的自动译码。
[0088] 为了定量地测量图像间的相似性，策略可以为进行图像匹配。图像匹配方法可依 赖于所谓的局部特征。常见的方法可以为尺度不变量特征变换(Scale-Invariant Feature Transform，SIFT)、快速鲁棒性特征（Speeded Up Robust Features，SURF)、面向二进制鲁 棒性基本特征（Oriented Binary Robust Independent Elementary Features，0RB)和二 进制鲁棒性不变可扩展关键点（Binary Robust Invariance Scalable Keypoint，BRISK)， 而且还可以有许多选择。
[0089] 局部特征可以为图像中围绕点的块的简洁描述，例如，在SIFT中每个特征的128字 节。在图像中，用于计算局部特征的点能显示出场景的不同元素，例如，四角和/或特定图 案，其检测对于照明、尺度、旋转和透视变化可以是稳定的。这样的点可以称为关键点。图像 对之间的相似性可以通过图像共有的关键点即匹配的关键点的数目和位置来评定。
[0090] 当计算了 3D图像匹配之时，可以应用标准2D纹理图像比较。然而，特定的方法可以 尝试考虑来自深度图和/或视差图的额外信息。
[0091] 图像匹配的过程可包括以下步骤：第一，可以进行来自一组兴趣点，也称为关键 点，的纹理图像的检测，以及相应描述符的提取。第二，通过比较相关的描述符能够发现特 征点间的对应关系即匹配。匹配策略可取决于描述符的类型，可以包括若干或多或少有关 联的策略，例如暴力破解或k_d树。第三，由于关键点检测中的噪声影响和/或描述符匹配阶 段的关键点的不匹配，匹配结果可以包括正确关联关系，即内点，和不正确或错误关联关 系，即离群点，因此可以执行不正确关联关系或离群点移除步骤。不正确关联关系或离群点 移除可以依赖于如下假设:正确的匹配可以展示两个图像中的一致位置，遵从两个图像间 的几何变换，例如，投影。为了最小化不正确或错误关联关系的数目，可以应用找到最大化 内点数目的模型参数的程序。第四，在不正确关联关系或离群点消除步骤之后，可以将关于 图像间相似性的评估作为通过所有的迭代找到的最大正确关联关系或内点集合的函数给 出。
[0092]图像匹配过程中的重要步骤在于第三个步骤，其中可以实行不正确或错误关联关 系的过滤。可以应用迭代方法和非迭代方法两个主要方面来解决该问题。
[0093] 在第一组中，可以应用基于随机抽样一致(Random Sample Consensus，RANSAC)方 法的若干选择。RANSAC离群点检测的基本方法可以为找到符合噪声观测数目的模型的最佳 参数集合的迭代方法。通常，可以针对该组中的方法应用模型，例如，单应矩阵、仿射变换 和/或3D罗托平移。
[0094]在非迭代方法中，可以应用能够通过分析关联关系对或匹配对的对数距离比 (Log-Distance-Ratio，LDR)来识别不正确或离群点关联关系的方法。本发明的基本假设可 以为：由于正确匹配的关键点的位置的一致性，关键点之间的距离比在图像间可以保持不 变。由于不正确关联关系对或匹配对的LDR的统计属性可以与正确关联关系或匹配的LDR的 属性大大不同，可以建立不正确关联关系或匹配即离群点的LDR模型，并可以进行用于检测 正确的关联关系或内点的拟合优度检验。该方法可能比迭代方法快，且由于不基于任何针 对不正确关联关系或离群点检测的模型，例如单应矩阵和/或仿射，该方法可以提供更灵活 的解决方案。
[0095] 就准确度而言，基于在投影几何的模型即RANSAC和相关修改的情况下的迭代一致 性检查的不正确关联关系或离群点检测策略可以给出良好的结果。然而，要达到收敛可能 需要很长时间。特别地，时间复杂度可取决于若干变量，包括选择的模型，即要估计的未知 参数的数目、允许迭代的最大数目、终止条件和不正确关联关系或离群点在输入数据中的 百分比等。因此，属于该族的该方法的挑战可以是到达收敛需要的时间，即用于实现准确解 决方案的有效迭代的数目。
[0096] 免除统计模型的策略可以解决收敛时间问题。实际上，该程序原本就可以是非迭 代的，时间复杂性可以仅取决于输入关联关系对或匹配对的数目。然而，虽然其能带来若干 优势，尤其是速度，但检测透视失真的图像中的正确关联关系或内点匹配的能力可能受到 限制。实际上，该程序可以隐式地假设关联的或匹配的关键点位于一个平面上。
[0097] 当关键点不属于平面形的表面时，例如，当关联或匹配同一3D场景的两个不同视 图，透视失真可能很高，该方法可能不能选择正确关联关系或匹配的最优数目。在图6中，展 示了描述此挑战的示意图。当3D场景投射到不同像平面上时，根据视图的点的场景结构和 空间距离，像平面上观察到的失真可能很高。
[0098]图7示出了根据一种实现形式的第一图像301或第二图像303内的关键点和协方差 椭圆的图。该图可以涉及2D图像。关键点通过交叉圆描述。协方差椭圆通过虚线椭圆描述。
[0099] 迭代和非迭代方法的另一挑战可能与关键点位置计算中的噪声有关。实际上，它 们可以不考虑关键点提取阶段中的噪声影响，该噪声影响实际上对定位准确度有影响。当 考虑尺度空间关键点提取器，例如SIFT或SURF时，不考虑关键点提取阶段中的噪声影响尤 为正确，其中可以提取不同尺度的特征。在图7中，描述了特征位置不确定性的示意图。交叉 圆为检测的或提取的关键点，而环绕的椭圆定义了不确定性区域。
[0100] 当在图像对之间进行匹配时，本发明涉及过滤不正确或错误关键点关联关系即离 群点匹配的方法。本方法可以为非迭代性的，可以依赖于LDR的概念选择正确关联关系或内 点的数目。本发明的目标可在于克服LDR建模中关于关键点位置不确定性的特定方法的挑 战。为了达到该目标，可以通过协方差矩阵对关键点位置中的不确定性建模，LDR建模的关 键点到关键点间的距离可以依靠马氏距离在统计层面上进行评估。此外，当3D图像即纹理 图像和相应的深度图可用时，每个检测的关键点可以在3D空间投射，允许3D空间中的LDR的 计算的扩展，因此也允许透视失真匹配的正确建模。
[0101] 图8示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的装置200的图。该图可以涉及2D图像正确关联关系或内点选择实 施。
[0102] 所述装置200包括统计2D离群点检测单元801、第一特征检测单元803、第二特征检 测单元805、第一描述符计算单元807、第二描述符计算单元809和描述符匹配单元811。
[0103] 本发明可以涉及一种在关键点位置不确定性的正确建模的情况下稳健地检测不 正确关联关系或离群点匹配，且允许在存在3D图像对也同时存在严重透视失真的情况下的 准确的不正确关联关系或离群点检测的装置200或方法。在图8中，示出了 2D图像正确关联 关系或内点选择的实施，其中输入的可以为两个纹理图像。可以实行特征提取和描述计算 阶段，随后是能提供初始关键点关联关系集合的描述符匹配步骤。在块801中，可以处理关 联关系，以移除不正确或错误关键点关联关系，即不正确关联关系或离群点移除。
[0104] 图9示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键点 之间的不正确关联关系的装置200的图。该图可以涉及根据一种实现形式的正确关联关系 或离群点匹配检测实施中的统计2D。
[0105] 所述装置200包括统计2D离群点检测单元801。所述统计2D离群点检测单元801包 括离群点模型函数计算单元901和匹配LDR计算和离群点检测单元902。
[0106]在本发明中，能提供两个阶段，即在图9中的块801。输入的可以为从两个纹理图像 提取的关键点，以及例如匹配方法提供的关键点对即关联的匹配的集合或矢量。在初始阶 段，不正确关联关系或离群点匹配的对数距离比，即LDR模型函数可以在块901中进行评估。 接着可以评估匹配关键点的LDR模型函数，并可以根据拟合优度检验检测不正确关联关系 或离群点。
[0107] 图10示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置200的图。该图可以涉及根据一种实现形式的2D模型函数 计算。
[0108] 所述装置200包括离群点模型函数计算单元901。所述离群点模型函数计算单元 901包括第一 2D协方差计算单元1001、第二2D协方差计算单元1003、LDR确定单元1005和概 率密度函数确定单元1007。
[0109] 根据图10中的块901，可以执行模型函数计算。输入的可以是从两个图像提取的两 组关键点和它们之间的对应关系的数目。当计算块901中的不正确关联关系或离群点的LDR 模型函数时，基本上，对应关系可以为两个组中所有可能的关键点的组合。相反，当在块902 中评估正确关联关系或内点申旲型函数时，对应关系可以为通过点匹配技术提供的关联关系 或匹配。
[0110] 换句话说，LDR模型的算法对于图9中的不正确关联关系或离群点模型函数计算 901与作为图11中所示的块902中的一部分的正确关联关系或内点模型函数计算901可以是 相同的。在这两种情况中，如图10所示的细节可能适用，但输入数据可以根据模型变化，以 生成不正确或正确关联关系，即离群点或内点。
[0111] 在块1〇〇1和1003中，可以进行关键点协方差计算，允许围绕每个关键点的不确定 性区域在像平面上以椭圆的形式定义。关键点协方差的良好近似值可以是由纹理图像强度 值构成的二阶导数的倒数，即海森矩阵。对于尺度空间特征，海森矩阵可以由关键点检测器 提供。
[0112] 在块1005中，可以依赖于马氏距离计算关联关系对或匹配对之间的LDR。特别地， 协方差为C的两个随机矢量x和y，即两个关键点之间的马氏距离可以定义为M( X，y) = sqrt (&1)以^5〇)，其中，叫^代表平方根。在这种情况下^和7可以为20空间中的两个关键 点，相关的协方差矩阵为Cx和Cy。在块1005中，当评估了两个关键点之间的距离时，可以对 相应的协方差矩阵进行求和，因此，C = Cx+Cy。可以以概率密度函数即pdf的形式概括所有 提供的对的LDR的统计数据，其中，pdf能表示LDR模型。
[0113] 图11示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置200的图。该图可以涉及匹配2D模型LDR计算和离群点检 测 。
[0114] 所述装置200包括匹配LDR计算和离群点检测单元902。所述匹配LDR计算和离群点 检测单元902包括离群点模型函数计算单元901、匹配对LDR模型单元1103和拟合优度检验 单元1101。
[0115] 在图11的块902中，可以评估关联的或匹配的关键点的LDR模型。通过块901可以描 述LDR模型计算的算法。特别地，输入的可以是来自两个图像的关键点以及匹配技术提供的 关键点关联关系。接着通过块1101中的拟合优度检验比较不正确关联关系或离群点的LDR 模型和正确关联关系或内点，可以丢弃不正确关联关系或离群点匹配。
[0116] 图12示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置200的图。该图可以涉及统计3D离群点匹配检测。
[0117] 所述装置200包括统计3D离群点检测单元1201、离群点模型函数计算单元1203、匹 配LDR计算和离群点检测单元1205、第一 3D关键点投射单元1207和第二3D关键点投射单元 1209〇
[0118] 对存在深度信息情况下的统计的不正确关联关系或离群点匹配检测进行了描述。 大体上，该块可以是对前述块801的3D扩展。在这种情况下，输入的可以是3D图像对，即文理 图像和深度图对、匹配关键点集合以及额外的图像捕捉参数或摄像机内参数。在块1207和 1209中，依赖于图像捕捉参数或摄像机内参数和来自深度图的深度信息，可以在3D空间中 对纹理图像中检测的关键点进行背面投影。块1203可以为不正确关联关系或离群点提供 LDR模型函数计算，而块1205能实行匹配关键点的LDR建模。
[0119] 图13示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置200的图。该图可以涉及3D模型函数计算。
[0120]所述装置200包括离群点模型函数计算单元1203。所述离群点模型函数计算单元 1203包括LDR确定单元1005、第一 3D协方差计算单元1301、第二3D协方差计算单元1303和概 率密度函数确定单元1007。
[0121]图13中的块1203可以提供3D LDR模型函数计算，即块901的扩展。输入的可以是属 于两个图像的两组3D关键点和它们之间的对应关系的数目。当计算不正确关联关系或离群 点的LDR模型函数时，基本上，这些对应关系可以是两个组中所有可能的关键点的组合。当 评估正确关联关系或内点模型函数时，对应关系可以是通过点匹配技术提供的关联关系或 匹配。
[0122] 在块1301和1303中，可以进行关键点协方差计算，允许围绕每个3D关键点的不确 定性体积以椭球的形式定义。在3D情景中，每个关键点的协方差可以与关键点深度不确定 性进行关联，其能反过来依赖于特定深度传感器。当使用合适的摄像机或传感器时，估计协 方差矩阵的一种可能方式可以如下。
[0123] 鉴于视图的纹理相机水平和垂直视域即Hfov和Vfov，以及摄像机或传感器分辨率 即Hres和Vres，水平和垂直维度中的栅方差可以计算为Hvar= (tan(Hfov/Hres) )2，Vvar = (tan(Vfov/Vres))2〇
[0124] 对于每个3D点口=化147^2)，协方差矩阵可以是对角的3以矩阵，其中，每一行的 元素可以表示X、Y和Z维度的协方差。具体地，Cov_x = pz*Hvar，Co v_y = pz*Vvar，Cov_z = (alpha+pz^^alpha值可以取决于摄像机或传感器准确性。特别地，数量alpha*pz2可以是 深度估计的标准偏差，可以取决于摄像机或传感器准确性。
[0125] 在块1005中，可以依赖于马氏距离计算关联关系对或匹配对之间的LDR。可以通过 概率密度函数即pdf的形式概括所有相应的对的LDR的统计数据，其中，pdf能表示LDR模型。
[0126] 图14示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置200的图。该图可以涉及匹配3D LDR模型函数计算和离群 点检测。
[0127] 所述装置200包括匹配LDR计算和离群点检测单元1205。所述匹配LDR计算和离群 点检测单元1205包括离群点模型函数计算单元1203、匹配对LDR模型单元1103和拟合优度 检验单元1101。
[0128] 在图14的块1205中，可以评估关联的或匹配的关键点的LDR模型。在块901中，可以 示出LDR模型计算的算法。特别地，输入的可以是来自两个图像的关键点以及匹配技术提供 的关键点关联关系。接着通过块1101中示出的拟合优度检验比较不正确关联关系或离群点 的LDR模型和正确关联关系或内点，可以丢弃不正确关联关系或离群点匹配。该程序可以在 拟合优度检验和特定的正确关联关系或内点匹配的提取后进行。
[0129] 图15示出了根据一种实现形式的用于检测第一图像的关键点和第二图像的关键 点之间的不正确关联关系的装置200的图。该图可以涉及3D图像内点选择的实施。
[0130]所述装置200包括统计3D离群点检测单元1201、第一特征检测单元803、第二特征 检测单元805、第一描述符计算单元807、第二描述符计算单元809、描述符匹配单元811、第 一感兴趣区屏蔽单元1501和第二感兴趣区屏蔽单元1503。
[0131]示出了 3D图像正确关联关系或内点选择的实施，其中，3D图像对可以同图像捕捉 参数或摄像机内参数一起输入。
[0132] 在初始阶段，感兴趣区可以根据深度测量的可信度进行提取。接着可以实行特征 提取和描述计算阶段，随后是能提供初始关键点关联关系集合的描述符匹配步骤。在块 1201中，可以处理关联关系，以移除不正确或错误关联关系或匹配。
[0133] 图16示出了根据一种实现形式的感兴趣区屏蔽单元1601的图。
[0134] 在图16中的块1601可以对无效深度值提供过滤。可以屏蔽纹理图像中的相应位 置，这样，可以不在这些区域中实行特征提取。该无效深度值的过滤可以进一步提高不正确 关联关系或离群点检测和图像比较的稳健性。在实现形式中，所述感兴趣区屏蔽单元1601 作为图15的第一感兴趣区屏蔽单元1501和第二感兴趣区屏蔽单元1503。
[0135] 纹理图像可以为从特定视角获取的图像，包含关于视觉场景的颜色和纹理的信 息。其可以以RGB或YUV格式表示。在视频情境下，其也可以称作图片或帧。深度图可以是灰 度等级图像，其中，该图像每个点的值确定该点表示的视觉场景到照相机的距离。可选地， 可以采用视差图，视差图的值可与深度图中的值成反比。感兴趣区可以表示为R0I。
[0136] 3D图像可以是包括纹理图像和相应的深度图或视差图的信号。可以记录纹理图像 和深度或视差图。这可能意味着同一位置的像素可包含关于同一场景点的信息。点云可以 为通过根据相机模型，例如针孔照相机、图像捕捉参数或摄像机内参数和/或来自相关联的 深度或视差图的信息，将纹理图像投射到3D空间得到的数据结构。视频序列可为一组后续 的纹理图像，其也可以称为帧。
[0137] 图像捕捉参数或摄像机内参数可包括通过校准过程获得的矩阵。它们可提供关于 焦距、光中心和像素纵横比的信息。它们也可以称为内部函数。
[0138] 关键点可以是示出图像域中包括透视变换、图像比例的变化以及照明变化的局部 和全局扰动下的检测稳定性的一个图像中的关键点。局部特征可以是图像中环绕关键点的 块的简洁描述。
[0139] 本发明可以涉及一种用于对稳健2D-3D图像比较进行离群点检测的方法和装置。 所述方法可应用于编码器或解码器。
[0140] LDR直方图可以用于通过在一系列参考中的图像中的查询中查找到包含可见物体 的视图的图像识别即查询在图像中该物体。可以应用识别方法，该方法能够在假设即参 考图像不包含查询中的该物体的视图与H1即参考图像包含查询中的该物体的视图之间做 出二元判定。
[0141] 假设H0可以表示事情的预期状态，因为几乎所有的参考图像都不包含查询中的该 物体的视图。一定量的证据，即异常事件，可能是与拒绝并接受H1相关的。该证据可以在 LDR直方图和模型函数间的关系中找到。若直方图非常符合该模型函数，那么可以接受假设 H0,若否，则可以接受假设H1。检验这样的假设的方法可以是Pearson的卡方检验。令LDR直 方图有K个竖条，hi，…，hK。直方图可以与离散化模型函数比较，在每个竖条上集成以产生 模型概率p 1，…，PK。这些量可以用于制定检验。
[0142] 在有效水平为a，要接受假设H1，需满足：
[0144] 其中，n可以是用于创建直方图的匹配对的数目，即直方图值的和。阈值这可 以是卡方分布的l〇〇(l-a)%，自由度为K-1。
[0145] 若LDR直方图的形状与模型函数的形状大不相同，意味着许多关联关系或匹配可 能是正确关联关系或内点，拟合优度参数c的值可以很高。参数c可以作为两个图像间的相 似性度量。
[0146] 基于图8至图16所描述的装置200的实施例可以通过将此处描述的不同单元和模 块实现为硬件单元或软件模块，或者其任意组合而实现。
[0147] 基于图8至图16所描述的装置200的特定实施例可以通过将此处描述的一个、部分 或所有不同的单元和模块实现为计算机程序的软件模块而实现，这些计算机程序的软件模 块可以通过基于图2描述的处理器201执行。
【主权项】
1. 一种用于检测第一图像(301)的关键点（305和309)和第二图像（303)的关键点（307 和311)之间的不正确关联关系的方法（100)，其特征在于，指示所述第一图像(301)的典型 特征的所述第一图像(301)的关键点（305和309)与指示所述第二图像(303)的典型特征的 所述第二图像(303)的关键点（307和311)相关联，借此形成了所述第一图像(301)的关键点 (305和309)与所述第二图像(303)的关键点（307和311)之间的初始关联关系（401和403)， 所述初始关联关系(401和403)由指示符指示，所述初始关联关系(401和403)包括所述不正 确关联关系，所述方法(1 〇〇)包括： 将所述第一图像(301)的每个关键点（305和309)与所述第二图像（303)的每个关键点 (307和311)进行关联（101)，以获得全局关联关系（501、503、505和507); 确定（103)初始关联关系对(401和403)的相似性度量； 确定（105)全局关联关系对(501、503、505和507)的相似性度量； 确定（107)相似性度量在预先确定的范围内的初始关联关系对（401和403)的第一数 目； 确定（109)相似性度量在所述预先确定的范围内的全局关联关系对（501、503、505和 507)的第二数目； 将所述对的第一数目和所述对的第二数目进行比较（111 )，以检测所述不正确关联关 系。2. 根据权利要求1所述的方法(100 )，其特征在于，还包括： 通过所有初始关联关系对(401和403)的数目将所述对的第一数目归一化； 通过所有全局关联关系对(501、503、505和507)的数目将所述对的第二数目归一化。3. 根据前述权利要求中任一项所述的方法（100)，其特征在于，初始关联关系对(401和 403)或全局关联关系对(501、503、505和507)包括第一关联关系和第二关联关系，所述第一 关联关系包括所述第一图像(301)中的第一关键点（305)和所述第二图像(303)中的第二关 键点（307)，所述第二关联关系包括所述第一图像(301)中的第三关键点（309)和所述第二 图像(303)中的第四关键点（311)，所述初始关联关系对(401和403)或所述全局关联关系对 (501、503、505和507)的相似性度量根据下述等式确定：Xi-Xj I - Sqrt (( Xi-Xj ) Cxixj ( Xi-Xj ))，中，Cxixj - Cxi+Cxj I yi_yj I I =sqrt( (yi_yj)Cyiyj(yi_yj))，其中，Cyiyj = Cyi+Cyj 其中，X1表示所述第一关键点（305)在所述第一图像(301)中的位置，表示所述第三关 键点（309)在所述第一图像(301)中的位置， yi表示所述第二关键点（307)在所述第二图像 (303)中的位置，η表示所述第四关键点（311)在所述第二图像(303)中的位置，U · I I表示 距离，sqrt表示平方根运算，Cxl表示第一协方差矩阵，Cxj表示第三协方差矩阵，C yl表示第二 协方差矩阵，Cyj表不第四协方差矩阵，Cxixj表不第一合并协方差矩阵，Cyiyj表不第二合并协 方差矩阵，Idr表示所述相似性度量。4. 根据权利要求3所述的方法（100)，其特征在于，所述第一协方差矩阵或所述第三协 方差矩阵是在所述第一图像(301)的像素值的二阶导数的基础上确定的，所述第二协方差 矩阵或所述第四协方差矩阵是在所述第二图像(303)的像素值的二阶导数的基础上确定 的。5. 根据权利要求3所述的方法（100)，其特征在于，所述第一图像（301)包括第一深度 图，所述第二图像(303)包括第二深度图，所述第一深度图指示所述第一图像(301)的关键 点（305和309)的深度，所述第二深度图指示所述第二图像(303)的关键点（307和311)的深 度，所述第一协方差矩阵、所述第二协方差矩阵、所述第三协方差矩阵或所述第四协方差矩 阵是在所述第一深度图或所述第二深度图的基础上确定的。6. 根据前述权利要求中任一项所述的方法（100)，其特征在于，所述第一图像(301)包 括第一深度图，所述第二图像(303)包括第二深度图，所述第一深度图指示所述第一图像 (301)的关键点（305和309)的深度，所述第二深度图指示所述第二图像(303)的关键点（307 和311)的深度，所述初始关联关系对(401和403)和所述全局关联关系对（501、503、505和 507)的相似性度量是在所述第一深度图和所述第二深度图的基础上确定的。7. 根据前述权利要求中任一项所述的方法（100)，其特征在于，所述第一图像(301)由 第一图像捕捉参数表征，所述第二图像(303)由第二图像捕捉参数表征，所述初始关联关系 对(401和403)和所述全局关联关系对(501、503、505和507)的相似性度量是在所述第一图 像捕捉参数和所述第二图像捕捉参数的基础上确定的。8. 根据前述权利要求中任一项所述的方法(100 )，其特征在于，包括： 通过检测所述第一图像(301)中的典型特征，尤其是四角，检测所述第一图像(301)中 的关键点（305和309); 通过检测所述第二图像(303)中的典型特征，尤其是四角，检测所述第二图像(303)中 的关键点（307和311)。9. 根据权利要求8所述的方法(100 )，其特征在于，还包括： 确定所述第一图像(301)中的检测的关键点（305和309)的第一描述符，其中，所述第一 描述符指示所述第一图像(301)中的检测的关键点（305和309)的特征； 确定所述第二图像(303)中的检测的关键点（307和311)的第二描述符，其中，所述第二 描述符指示所述第二图像(303)中的检测的关键点（307和311)的特征； 基于所述第一描述符和所述第二描述符，将所述第一图像(301)的检测的关键点（305 和309)与所述第二图像(303)的检测的关键点（307和311)进行关联，以获得所述初始关联 关系（401和403)。10. 根据前述权利要求中任一项所述的方法（100)，其特征在于，所述第一图像(301)包 括第一深度图，所述第二图像(303)包括第二深度图，所述第一深度图指示所述第一图像 (301)的像素深度，所述第二深度图指示所述第二图像(303)的像素深度，依靠所述第一深 度图的像素值或所述第二深度图的像素值控制所述第一图像(301)的像素值或所述第二图 像(303)的像素值，特别是设为零。11. 根据前述权利要求中任一项所述的方法（100)，其特征在于，将所述对的第一数目 和所述对的第二数目进行比较（111)包括判断所述对的第一数目是否小于所述对的第二数 目，若所述对的第一数目小于所述对的第二数目，检测所述不正确关联关系。12. -种用于检测第一图像(301)的关键点（305和309)和第二图像(303)的关键点（307 和311)之间的不正确关联关系的装置(200)，其特征在于，指示所述第一图像(301)的典型 特征的所述第一图像(301)的关键点（305和309)与指示所述第二图像(303)的典型特征的 所述第二图像(303)的关键点（307和311)相关联，借此形成了所述第一图像(301)的关键点 (305和309)与所述第二图像(303)的关键点（307和311)之间的初始关联关系（401和403)， 所述初始关联关系(401和403)由指示符指示，所述初始关联关系(401和403)包括所述不正 确关联关系，所述装置(200)包括： 处理器（201)，用于将所述第一图像（301)的每个关键点（305和309)与所述第二图像 (303)的每个关键点（307和311)进行关联，以获得全局关联关系（501、503、505和507);确定 初始关联关系对(401和403)的相似性度量;确定全局关联关系对(501、503、505和507)的相 似性度量;确定相似性度量在预先确定的范围内的初始关联关系对(401和403)的第一数 目；确定相似性度量在所述预先确定的范围内的全局关联关系对(501、503、505和507)的第 二数目；将所述对的第一数目和所述对的第二数目进行比较，以检测所述不正确关联关系。13. 根据权利要求12所述的装置(200)，其特征在于，所述处理器(201)还用于通过检测 所述第一图像(301)中的典型特征，尤其是四角，检测所述第一图像(301)中的关键点（305 和309);通过检测所述第二图像(303)中的典型特征，尤其是四角，检测所述第二图像(303) 中的关键点（307和311)。14. 根据权利要求13所述的装置(200)，其特征在于，所述处理器(201)还用于确定所述 第一图像(301)中的检测的关键点（305和309)的第一描述符，其中，所述第一描述符指示所 述第一图像(301)中的检测的关键点（305和309)的特征;确定所述第二图像(303)中的检测 的关键点（307和311)的第二描述符，其中，所述第二描述符指示所述第二图像(303)中的检 测的关键点（307和311)的特征;基于所述第一描述符和所述第二描述符，将所述第一图像 (301)的检测的关键点（305和309)与所述第二图像(303)的检测的关键点（307和311)进行 关联，以获得所述初始关联关系(401和403)。15. -种计算机程序，其特征在于，包括：当在计算机上运行时，用于执行根据权利要求 1至11所述的方法(100)的程序代码。
【文档编号】G06F17/30GK105934757SQ201480074057
【公开日】2016年9月7日
【申请日】2014年1月30日
【发明人】尼古拉·皮奥多, 基奥万尼·科达拉
【申请人】华为技术有限公司