将影像特征与参考特征相匹配之方法及其所用集成电路的制作方法

将影像特征与参考特征相匹配之方法及其所用集成电路的制作方法
【专利摘要】本发明是关于一种将影像特征与参考特征相匹配之方法，其包含以下步骤：提供由摄取装置摄取之当前影像；提供参考特征（r)，其中所述参考特征中之每一者包含至少一参考特征描述符(d(r));决定该当前影像中之当前特征（c)及使所述当前特征中之每一者与至少一各自当前特征描述符（d(c))相关联；及借由决定每一各自当前特征描述符（d(c))与每一各自参考特征描述符（d(r))之间的各自相似性度量（D(c，r))来将所述当前特征与所述参考特征中之至少一些相匹配。根据本发明，决定相似性度量是在集成电路上由固线式逻辑组件或可组配逻辑组件执行，该固线式逻辑组件或可组配逻辑组件处理用以决定相似性度量之逻辑功能。本发明亦关于一种用于影像特征与参考特征之匹配的集成电路。
【专利说明】将影像特征与参考特征相匹配之方法及其所用集成电路

【技术领域】
[0001] 本发明是关于一种将影像特征与参考特征相匹配之方法，其包含以下步骤：提供 由摄取装置摄取之当前影像；提供参考特征，其中所述参考特征中之每一者包含至少一参 考特征描述符；决定该当前影像中之当前特征及使所述当前特征中之每一者与至少一各自 当前特征描述符相关联；及借由决定每一各自当前特征描述符与每一各自参考特征描述符 之间的各自相似性度量来将所述当前特征与所述参考特征相匹配。本发明亦关于一种用于 影像特征与参考特征之匹配的集成电路。

【背景技术】
[0002] 标准方法、局限及现有解决方案：
[0003] 诸如在扩增实境应用及电脑视觉中处理由相机拍摄之影像的许多任务需要找到 同一物件或场景之多个影像中对应于同一实体三维（3D)表面之点或特征。举例而言，在扩 增实境中，主要问题是确定相机相对于世界的位置及定向（相机姿势（camera pose))。
[0004] 初始化光学追踪（亦即，当没有来自先前帧（frame)之知识可获得时）之标准方 法可分成三个主要构成区块：特征侦测、特征描述及特征匹配（参见图1)。如所属领域技 术人员将理解，当没有来自先前帧之知识可获得时，其并不意味不允许来自非光学感测器 (例如GPS或罗盘）之知识。特征侦测亦称为特征抽取。
[0005] 首先，借助于具有高可重复性之方法来执行特征侦测以用于识别影像中之特征。 换言之，该方法将针对不同视点、不同定向及/或照明设定来选择影像中对应于同一实体 三维表面之部分作为特征（例如，局部特征描述符作为SIFT([1])、形状描述符（[18])或所 属领域技术人员已知的其他方法）。通常是在尺度空间中（亦即，按不同尺度）抽取特征。 因此，除二维位置外，每一特征还具有可重复的尺度。另外，可重复的定向（旋转）是根据 特征周围的区域中的像素之强度计算，例如，为强度梯度之主要方向。
[0006] 其次，决定特征描述符以实现对特征的比较及匹配。常用方法使用特征之计算出 的尺度及定向来转换特征描述符之坐标，其不随旋转及尺度而改变。举例而言，该描述符可 为η维实数向量，此向量是借由串连局部影像强度（诸如梯度）之函数的直方图而构成（如 [1]中）。
[0007] 最后，一个重要的任务是特征匹配。已知在当前强度影像中侦测到并描述之当前 特征，目标是找到所提供特征之集合中对应于同一实体三维表面之特征，所述所提供特征 将被称为参考特征。最简单的特征匹配方法是借助于穷举搜寻来找到当前特征之描述符之 最近邻居并选择相对应的参考特征作为匹配。更先进的方法使用描述符领域中之空间数据 结构来加速匹配。不幸的是，还没有已知方法可以实现高维空间中的最近邻居搜寻，而能够 显著快于穷举搜寻。因此，常用方法改为使用例如借由诸如kd树之空间分割数据结构来实 现的近似最近邻居搜寻（[1])。
[0008] 图1 (结合图2)示出将当前特征集合与参考特征集合相匹配之标准方法之流程 图。在步骤S11中，提供由摄取装置拍摄之当前影像CI。下一步骤S12接着侦测并描述当 前影像CI中之特征（可选的为：已根据估计模型特征位置作选择性抽取），其中每个所得 的当前特征C具有特征描述符d(c)及在相机影像cl中之二维位置。以下参考示范性实施 更详细地阐述可用于特征侦测及描述之可能方法。在步骤S13中提供参考特征r之集合， 所述参考特征各自具有描述符d(r)及在全球坐标系统中之（局部）位置及/或定向。可 自参考影像或三维模型或关于物件（object)之其他信息抽取参考特征。请注意，在视觉搜 寻及分类任务的情况下，在全球坐标系统中之位置及/或定向是可选的。在步骤S14中，将 来自步骤S12之当前特征c与来自步骤S13之参考特征r相匹配。举例而言，针对每个当 前特征，搜寻相对于某一距离度量具有最接近当前特征之描述符之描述符的参考特征。根 据步骤S15,应用程序使用所述特征匹配，例如，以便在扩增实境应用中非常准确地估计摄 取装置之位置及定向，该扩增实境应用将经空间配准（spatially registered)之虚拟三维 物件整合到相机影像中。
[0009] 标准方法之局限：
[0010] 为了在不同环境中成功初始化追踪，灵活性很重要。例如，[1]中所描述之特征非 常适用于纹理化的环境。在纹理很少的环境中，或在纹理改变（例如，汽车表层的外观取决 于其环境及相机位置而剧烈改变）的情况下，如[1]中之特征具有很大难度。如[18]中所 描述之特征更适合于非纹理化的环境。因此，经常调适并改变特征侦测及特征描述演算法， 以便更好地适合特殊任务。
[0011] 随着参考特征之数目增长，匹配单一当前特征所用之时间增加，因硬件的局限性 导致有时不能进行实时处理。此外，特征描述符之独特性随着参考特征之数目增长而减小， 此又限制了匹配品质并显著影响稳健性。
[0012] 已提议之解决方案：
[0013] 存在基于充当参考特征的地理参考（geo-referenced)局部影像特征之集合的不 同方法。这些方法的假设为，若摄取装置之位置大致已知，则唯有位于摄取装置附近的那些 参考特征可能是可见的。换言之，所述方法旨在减少参考特征之间的潜在匹配之数目。举 例而言，已提议使用感测器数据（例如，GPS定位）来使搜寻区域变窄且针对每个空间区域 使用预先建置之字汇树（vocabulary tree)之集合在此搜寻区域中找到最佳匹配影像之方 法（[2]、[4])。另外，在使用单一整体字汇树且在特征匹配评分程序中预先并入GPS位置时 达成更好的结果（[4])。[5]之方法使用GPS获得装置之粗略位置，以用于在室外扩增实境 系统中初始化视觉追踪。已知此位置，以粗略GPS测量结果周围的数个位置样本处的受限 相机位置执行初始化，直至初始化成功。在另一种方法中，使用差分GPS/IMU硬件模型与卡 尔曼滤波器中之气压高度测量结果的组合，以便改良装置之三维单位估计的准确度（[7])。 [8]之方法使用潜在可见集合（PVS)，因而不仅考虑到特征之空间接近度而且考虑到可见 度约束。提到用GPS进行的粗略定位以用于在室外应用中撷取PVS。
[0014] [3]之视觉惯性追踪方法应用惯性感测器来测量相机自先前帧至当前帧的相对移 动。此知识用于为逐个帧进行追踪之特征预测位置且在影像空间中定义二维搜寻空间。因 为该技术仅使用相对相机转换之测量，所以其仅适合于初始化相机姿势追踪或视觉搜寻任 务。
[0015] 上述方法均未提出借由在硬件上加速视觉演算法来提升速度及效能。
[0016] 考虑视觉演算法之硬件加速的典型方法使特征侦测及特征描述最佳化，而特征匹 配仍然实施于软件中。举例而言，在[13]中，匹配仍在软件中，而特征侦测及描述在硬件 上得以最佳化：「自章节II可看出，用于影像匹配程序之最佳化SIFT演算法由五个阶段组 成：1)高斯金字塔建构。2)DoG空间建构及特征识别。3)梯度及定向直方图产生。4)特征 描述符产生。5)影像匹配。考虑到Xilinx FPGA嵌入式系统之本质，已针对FPGA实施采用 类似于[6]之最高层级系统分割。更具体而言，将前三个阶段以名为SIFT特征侦测模组之 硬件核心来实施，而认为使用Xilinx MicroBlaze软件处理器将后两个阶段以名为SIFT特 征产生及影像匹配模组之软件模组来实施」。上述情形同样适用于[14]。请注意，[6]论述 了高匹配处理时间的问题（称为关联），但并未提议建置特殊硬件区块来解决此问题。相反 地，他们提议借由在更快的通用处理器上运行其软件解决方案来加速其软件解决方案。
[0017] 借助于硬件加速来加速影像处理的另一实例揭示于[17]中。作者论述了许多视 觉追踪演算法并非全部可易于实施于FPGA上。他们使自己明确限于不需要复杂的浮点计 算之技术，以便使FPGA上使用之区域最小化。他们选择加速影像处理：「有许多不同的视 觉追踪演算法，但所述演算法并非全部可易于实施于FPGA上。我们已经避免使用需要复杂 的浮点计算之技术，以便使FPGA上使用之区域最小化。我们发现可使用很少的门来执行分 段。」
[0018] 因此，提供一种在执行视觉计算任务时以减少之处理及功率需求实现更高效能及 更高演算法灵活性的方法将是有益的。特定言之，该方法应不仅实现更快的匹配程序，而且 借由利用额外的提示改良匹配品质。


【发明内容】

[0019] 根据本发明之一态样，一种将影像特征与参考特征相匹配之方法包含以下步骤： 提供由摄取装置摄取之当前影像；提供参考特征，其中所述参考特征中之每一者包含至少 一参考特征描述符；决定该当前影像中之当前特征及使所述当前特征中之每一者与至少一 各自当前特征描述符相关联；及借由决定每一各自当前特征描述符与每一各自参考特征描 述符之间的各自相似性度量来将所述当前特征与所述参考特征中之至少一些相匹配，决定 该相似性度量是在集成电路上由固线式逻辑组件或可组配逻辑组件执行，该固线式逻辑组 件或可组配逻辑组件处理用于决定相似性度量之逻辑功能。
[0020] 根据本发明，就视觉计算任务如何可借由在硬件中实施专用部件得以最佳化且更 稳健地实时运行，提议一种新方法。选择最有用的构成区块及调适软件以利用该最佳化不 仅仅是新的，而且极具创造性，从而以减少之处理及功率需求实现更高效能。另一方面，大 部分上述方法使用硬件加速，其适用于大大降低了关于所用特征之系统灵活性的特征抽取 及特征描述符建置。同时，所述方法并未在描述符层级上加速匹配程序。此外，归因于如上 所述之灵活性需求（纹理化环境、非纹理化环境等），仍经常采用并改变用于特征侦测及特 征描述之演算法且所述演算法表现出广泛的多样性。
[0021] 本发明之另一作用是基于预先得知的数据（参考特征）改良光学追踪系统之初始 化，以便以减少之处理及功率需求实现更高效能。
[0022] 根据本发明之另一态样，提供有一种用于影像特征与参考特征的匹配之集成电 路，其包含：用于接收各自当前特征之数个当前特征描述符之接口，所述当前特征是自由摄 取装置摄取之当前影像获得；用于接收各自参考特征之数个参考特征描述符之接口；及逻 辑电路，该逻辑电路用于决定每一各自当前特征描述符与每一各自参考特征描述符之间的 各自相似性度量以便将所述当前特征与所述参考特征相匹配，其中该逻辑电路包含固线式 逻辑组件或可组配逻辑组件，该固线式逻辑组件或可组配逻辑组件处理用于决定相似性度 量之逻辑功能。
[0023] 在一较佳实施例中，我们的方法实施于专用硬件区块上且并非由通用处理器执 行。该硬件区块当然可为与通用处理器相同的集成电路（亦称为硅或芯片）之部分。
[0024] 在一较佳实施例中，该专用硬件区块是一非可编程单元，其中可编程是指执行通 用指令之动态序列。
[0025] 在一较佳实施例中，当前影像可为强度影像或深度影像。
[0026] 当我们在本揭示内容全篇中提到强度影像时，我们指表示自环境反射的不同量之 光的影像，其主要取决于环境的材料及光情形。强度影像可以不同位的解析度（8位或高动 态范围）将强度编码于一个（例如灰阶）或一个以上通道（例如RGB，S卩，红-绿-蓝）中。
[0027] 有若干方法可能提供深度影像或稀疏深度信息，该信息包含影像中的元素（例如 像素或特征）之深度，该影像可在以下段落中将描述的根据本发明之匹配程序中使用。
[0028] 根据决定强度影像中之至少一元素之深度的一实施例，具有已知相对位置及/或 定向之至少两个摄取装置各自摄取各自强度影像，其中在所述影像中找到对应，且所述摄 取装置之相对位置及/或定向用来计算所述强度影像中之至少一元素之深度，该深度是所 述对应中之至少一者的部分。在此情况下，匹配程序将在两个一般步骤中进行。首先，将当 前帧1与当前帧2之特征相匹配，以便根据摄取装置1与2之间的给定姿势计算其深度信 息。在后一步骤中，接着将当前特征与参考特征相匹配，其中在匹配程序期间利用深度信息 或导出的位置信息。
[0029] 根据决定强度影像中之至少一元素之深度的另一实施例，至少一摄取装置在不同 时间点自不同位置摄取强度影像，其中在不同影像中找到对应，且在不同影像之间该摄取 装置之相对位置及/或定向及所述对应之结构得以恢复且用来计算所述强度影像中之至 少一元素之深度，该深度是所述对应中之至少一者的部分。如在以上情况下一样，匹配同样 可在若干程序中进行，即，将最近的影像特征彼此相匹配及接着在与较早的参考特征之匹 配程序中并入额外信息。
[0030] 根据决定强度影像中之至少一元素之深度的另一实施例，提供有强度影像之至少 一数据库，其中针对所述强度影像中之每一者，已知总深度、或至少一影像区域之深度、或 一或多个像素之深度，且将由摄取装置摄取之强度影像（当前强度影像）与此数据库相匹 配。匹配结果用来计算当前强度影像中之至少一元素之深度。
[0031] 根据决定强度影像中之至少一元素之深度的另一实施例，提供有环境模型及关于 在摄取该强度影像时该摄取装置相对于该环境模型之位置及/或定位（其可为初始估计） 的信息，其中该环境模型及关于该摄取装置之位置及/或定位的信息得以组合并用来计算 该强度影像中之至少一元件之深度或位置估计。
[0032] 根据决定强度影像中之至少一元素之深度的另一实施例，提供有至少一感测器， 用于撷取深度信息或范围数据及该至少一感测器相对于摄取装置之至少一相对位置及/ 或定向，其中该深度信息或范围数据用来计算该强度影像中之至少一元件之深度。较佳地， 已知感测器及摄取装置两者之姿势（位置及定向）及本质参数。
[0033] 当然，此程序亦可以反复方式实施，其中使用初始位置估计来与参考特征相匹配 及计算第一姿势，使用该第一姿势来细化当前特征位置及开始另一匹配程序。
[0034] 根据一实施例，参考特征是自至少一参考影像抽取，该至少一参考影像已由不同 于该摄取装置之第二摄取装置记录。根据一实施例，该至少一参考影像之摄取时间比当前 影像之摄取时间早至少一天。
[0035] 举例而言，可使用距离度量作为根据本发明之相似性度量。根据一实施例，本发明 之方法可包括借由比较距离度量与至少一各自临界值来决定至少一各自检验参数，其中该 检验参数是用作判定是否执行匹配或影响距离度量之准则。若执行匹配，则在匹配程序中 使用各自所决定之相似性度量。
[0036] 根据本发明之一实施例，用于决定各自距离度量或其部分及各自检验参数（如以 下更详细阐述）之计算是在集成电路上以流水线方式平行执行。举例而言，集成电路之时 脉信号之每个时脉循环计算一个各自距离度量及/或检验参数。
[0037] 在本发明之一态样中，在决定各自相似性度量后，该方法进一步包含储存直至此 时已决定之相似性度量中之最相似的相似性度量及第二最相似的相似性度量，及与该最相 似的相似性度量相关联之各自当前特征描述符之索引。
[0038] 根据一实施例，比较最相似的相似性度量与第二最相似的相似性度量之衍生值， 其中若此比较满足预定条件，则提供该最相似的相似性度量及第二最相似的相似性度量、 该索引及相关联之参考特征描述符以用于进一步处理。
[0039] 该方法可进一步包含：决定计算出之距离度量中之最低的距离度量，及储存已针 对其决定该最低的距离度量之各自当前特征描述符之索引。
[0040] 根据一态样，该方法可进一步包括将当前特征描述符储存于集成电路之记忆体 (诸如SRAM)上，所述当前特征描述符是在无需等待状态的情况下自该记忆体撷取。
[0041] 根据一实施例，该方法进一步包含以下步骤：使当前特征中之每一者与至少一当 前特征描述符向量相关联，其中参考特征中之每一者包含至少一参考特征描述符向量；及 计算参考特征之参考特征描述符向量中之每一者与当前特征之当前特征描述符向量中之 每一者之间的各自相似性度量。
[0042] 在一可能实施中，将当前影像之至少一像素设定为当前影像中之各自当前特征， 艮P，影像之每个像素可表示特征。
[0043] 根据本发明之一实施例，对影像之不同解析度运行该方法。
[0044] 根据本发明之一实施例，第一特征抽取程序可用来抽取第一当前特征集合且针对 该第一当前特征集合建置第一当前特征描述符集合，且第二特征抽取程序可用来抽取第二 当前特征集合且针对该第二当前特征集合建置第二当前特征描述符集合，其中第一特征抽 取程序与第二特征抽取程序或第一特征描述符产生程序与第二特征描述符产生程序彼此 不同，且第一与第二当前特征描述符集合之特征匹配程序是由固线式逻辑组件或可组配逻 辑组件执行。第一集合与第二集合之匹配程序是彼此独立地由固线式逻辑组件执行。图3 示出总程序，其中1. . η表示不同的特征抽取方法，1. . m表示不同的特征描述符程序且将不 同的所得描述符集合相匹配。
[0045] 在另一态样中，该方法可包含：在分类的情况下，在特征匹配后执行几何验证以移 除错误的特征匹配或移除误判（false positive)。
[0046] 根据本发明之一实施例，该方法可进一步包含：提供参考特征集合之步骤，其中所 述参考特征中之每一者包含至少一第一参数，该至少一第一参数至少部分地指示该参考特 征相对于全球坐标系统之位置及/或定向，其中该全球坐标系统是地球坐标系统或物件坐 标系统，或该至少一第一参数至少部分地指示该参考特征相对于海拔之位置；使各自当前 特征与至少一第二参数相关联之步骤，该至少一第二参数至少部分地指示该当前特征相对 于全球坐标系统之位置及/或定向，或该至少一第二参数至少部分地指示该当前特征相对 于海拔之位置；及借由决定该至少一第一参数与该至少一第二参数之间的相似性度量将该 当前特征与该参考特征集合之所述参考特征中之至少一者相匹配之步骤。
[0047] 举例而言，该方法可包括在匹配各自当前特征时以该参考特征集合内之减少数目 个参考特征来定义搜寻空间之步骤，其中该搜寻空间是基于该至少一第二参数来决定。 [0048] 根据一实施例，该方法可包括考虑特征抽取程序之指示符（例如由特征抽取程序 产生之正负号）之步骤。举例而言，在特征抽取期间，SURF特征之正负号对应于高斯拉普 拉斯算子（Laplacian)之正负号。
[0049] 根据本发明之一实施例，在用于建构特征描述符之方法中，自影像抽取特征点以 获得呈二维描述（参数a0，al)形式的特征点。且使用由追踪系统提供之关于摄取装置之 定向的空间信息来针对所抽取特征点计算特征定向（参数b0，bl，b2)。举例而言，追踪系 统将摄取装置相对于世界坐标系统之定向提供为Euler角度，且特征描述符应该与重力对 准。针对所有特征获得定向之一种很简单的方法为：首先使用Euler角度将重力转换至关 联于摄取装置之坐标系统，且接着将其投影至影像平面上。进而计算影像中之重力的方向 且将其用于影像中之所有特征。此技术假设正交投影，而通常并非如此。并入相机之本质 参数放松了此假设，但基于二维影像之所有技术仍假设影像中可见之一切均位于一平面上 且因此是近似法。根据本发明之一实施例，基于相邻像素的像素强度计算且储存至少一特 征相对于共同坐标系统之一或多个方向。在匹配阶段中，仅匹配相对于共同坐标系统具有 类似方向之特征以减少所需比较之数目且降低错误匹配之比率。
[0050] 根据本发明之一态样，当前特征描述符或参考特征描述符中之至少一者是物件之 较高层级描述，从而使其不随尺度及/或旋转及/或光而改变。
[0051] 根据本发明之实施例，该方法亦可包括侦测及描述来自强度影像之特征的方法， 其不随由摄取装置与物件之间的距离产生的尺度而改变，但对于多种应用对物件之真实 (实体）尺度敏感。因此提议利用强度影像中之元素（例如像素）的深度在强度影像中之 该特定元素（像素）处进行特征侦测及/或描述。因此，可在真实（实体）尺度上侦测并描 述特征，从而提供与关于强度影像之标准的尺度不变特征描述符相比得以改良之独特性， 而不会引入对相机移动的任何约束。在一实施例中，该方法可包含以下步骤：提供由相机摄 取之强度影像；提供用于在侦测该强度影像中之至少一特征之特征侦测程序中决定该强度 影像中之至少一元素之深度的方法，其中借由在某一尺度上处理该强度影像之影像强度信 息来执行特征侦测，该尺度取决于该强度影像中之至少一元素之深度；及提供至少一侦测 到之特征的特征描述符。
[0052] 根据本发明之一实施例，该方法可进一步包含以下步骤：提供摄取装置在全球坐 标系统中之位置及定向之测量结果；根据该测量结果确定摄取装置之姿势；提供环境之三 维模型，其中该姿势结合该三维模型用来计算强度影像中之特征之至少一元素的深度，例 如，此是借助于投射自摄取装置中心穿过该特征进入该三维模型之虚拟射线。
[0053] 可借由GPS感测器/接收器、IR或RFID三角测量法，或借助于定位方法使用宽频 或无线基础结构来提供摄取装置在全球坐标系统中之位置的测量结果。可借由惯性感测 器、加速度计、陀螺仪、罗盘或者机械、电磁、声学或光学追踪系统中之至少一者提供摄取装 置在全球坐标系统中之定向的测量结果。在本发明之上下文中，惯性感测器可借由使用以 下各者之任何组合来例如不断提供包括物件或装置相对于环境之位置及/或定向的感测 器信息：磁力计（例如罗盘）、运动感测器/旋转感测器（加速度计/陀螺仪）、重力感测器 及提供此信息之其他感测器。

【专利附图】

【附图说明】
[0054] 将参考以下诸图进一步描述本发明之实施例，其中：
[0055] 图1示出将当前特征集合与参考特征集合相匹配之标准方法之流程图，
[0056] 图2是用于结合图1来说明特征之侦测、描述及匹配的描述，
[0057] 图3描述特征匹配程序之实施例及其借助于图形处理单元（GPU)之可能应用，
[0058] 图4示出应用根据本发明之一实施例之方法的示范性场景，
[0059] 图5示出根据本发明之一实施例之在匹配程序中之决定相似性度量在集成电路 上之一可能实施，
[0060] 图6描绘根据本发明之一实施例之在匹配程序中之决定相似性度量在集成电路 上之另一可能实施，
[0061] 图7示出如参考图5及图6所描述之程序之大致工作流程的流程图，
[0062] 图8不出的图有关于在匹配程序中的字汇树对最佳分格最先的效能，
[0063] 图9示出根据本发明之一实施例之用于光学姿势估计的深度抽取机制与实体尺 度特征描述符之可能组合之流程图，
[0064] 图10描绘根据本发明之另一实施例之方法的流程图，其中在匹配前检验特征是 否可在理论上适合。

【具体实施方式】
[0065] 开头已简要介绍一种初始化程序且在图1中示出该程序。在初始化程序所用时间 及初始化之成功率方面可测得改良。在行动系统上，功率消耗是另一重要方面。借由明智 选择初始化程序之最有用的构成区块来实施于硬件中且借由相应地调适软件以便利用该 最佳化，本发明提出了一种新方法。
[0066] 观察自特征侦测、特征描述至特征匹配的程序链，所有初始化程序的共同之处在 于匹配程序。在此程序中，将来自先前所记录之物件的特征与来自当前相机影像的特征相 匹配。此外，与特征抽取及特征描述相比，匹配演算法并不需要不断的且频繁的采用及改 变。
[0067] 借此，本发明之方法不仅改良时间及功率消耗，而且允许演算法之成功率得以改 良。另外，珍贵的芯片尺寸并未浪费在不断改变演算法上。采用本发明得出重大改良，同时 仅使用小的芯片区域且在信息抽取程序中保持灵活性。
[0068] 根据较佳实施例，有可能将物件分类（视觉搜寻程序）（这是将当前影像与先前已 产生之类别描述相匹配的程序），或者匹配单独的特征（特征匹配程序），所述特征可用来 运行姿势最佳化程序。记住，视觉搜寻可基于每个影像匹配若干特征。同时，整个影像可为 一特征。两种方法均受本发明支援。
[0069] 类别描述可与相机姿势相关联且亦可用来产生初始相机姿势估计。
[0070] 根据本发明，视觉搜寻程序及特征匹配程序均可适用于存在于数据库及存在于当 前影像中之不同的特征及特征描述符。在该情况下，借由硬件单元在两个独立的运行中使 用不同的特征抽取及/或特征描述方法来抽取不同特征且将其匹配（如图3中所指示）。 举例而言，首先抽取并匹配SIFT特征，接着抽取并匹配SURF特征。
[0071] 图3描述类似于上文参考图1所描述的特征匹配程序，及将该匹配应用于姿势估 计，从而呈现三维物件及画出背景影像。该呈现及画出背景影像是在图形处理器单元（GPU) 上进行。
[0072] 本发明之一优点为，有可能省去以前必要的处理步骤或以完全不同的有利组态来 运行所述处理步骤。举例而言，可省略或省去特征抽取程序，从而产生很高数目个描述符。 相反地，可选择每个像素或很高数目个随机选择之像素作为描述符中心。在此情况下，根据 本发明，每一像素或所述所选像素中之每一者将被视为特征。代替选择随机像素，可使用网 格来抽取描述符中心，例如，一条线之每10个像素抽取一次，其中每10个像素行分析一次。 要匹配之特征（每个影像约10. 〇〇〇个特征）的大幅度增加导致几千个影像之测试数据库 上成功的初始化增加了 76 %。
[0073] 加速匹配避免了不得不建置高效匹配结构，例如字汇树，其无法提供更好的结果 且仅仅是出于效能原因而建置。图8示出当使用分别具有5个分支（b)及5个层级（L)或 6个分支及6个层级的字汇树（Voc)或具有已定义之最小数目10个匹配的最佳方格最先 (BBF)方法时的效能比较（借由每个类别得以正确追踪之参考影像的百分比来指示）。BBF 方法可被视为穷举搜寻的近似法。字汇树的另一主要缺点为，其将仅传回类别，而不传回单 独的特征对应，所述特征对应是计算准确的相机姿势所必要的。
[0074] 在应用于许多特征时避免错误匹配之措施为，增加用于初始化之PR0SAC([11]) 反复之数目（高于5000)并引入额外的合理性检验（基于几何验证）。
[0075] 有利的是，在该程序期间可测试特征对是否可在理论上适合。这可借由对照参考 特征之已配准位置检验当前特征之估计位置来达成。根据本发明之此态样，提议借由考虑 其在世界坐标（或全球坐标）中的位置之（局部）知识而使搜寻空间变窄或影响用于匹配 由摄取装置拍摄之当前影像之影像特征的距离度量。全球坐标系统可为地球坐标系统或物 件坐标系统（例如，建筑物或产品包装或汽车），其具有与地球重力有关之固定的海拔或固 定的定向。因为可决定之特征的位置的自由度很大程度上取决于关于摄取装置之位置及定 向的可获得信息，所以下文参考图4及图10更具体地阐释本发明之态样之不同的示范性实 施。
[0076] 本发明之另一态样为是考虑特征抽取程序之指示符，例如由SURF特征抽取程序 产生之正负号（正或负的高斯拉普拉斯算子）。
[0077] 本发明之另一态样不仅考虑了两个特征描述符之间的最小距离，而且考虑了最小 距离与第二最佳距离之间的距离。特定言之，若第二最佳距离乘以小于0, 9之纯量因数大 于最佳匹配之距离，则将两个描述符视为匹配。此避免了误判（错误匹配之特征）的发生， 误判将导致错误的分类或导致姿势估计中的问题。
[0078] 在本发明之另一态样中，将当前影像之所有当前特征彼此相匹配，从而移除彼此 非常类似的特征（距离度量低于某一临界值）。接着将当前特征之经过滤集合与参考特征 相匹配。
[0079] 本发明之另一态样允许经反复最近点（ICP)方法对三维模型的高效匹配或对准。
[0080] 在点云集合上运行之标准ICP适用于以下步骤：
[0081] 1.使用穷举搜寻或使用基于树的搜寻来计算最近点（需要设定最大搜寻半径）；
[0082] 2.已知最近点对应，估计姿势；
[0083] 3.已知估计姿势，转换点云中之一者；
[0084] 4.若估计姿势小于临界值，则结束该程序，否则返回至步骤1。
[0085] 在此方法中，必须测试三维空间中两个点之间的许多距离，以便找到最近距离。因 为引擎是建置得足够灵活而将计算出之特征距离不仅定义为描述符之间的距离，而且定义 为三维位置之估计距离，所以可加速纯ICP或与三维描述符耦合之ICP。演算法可将数个当 前三维点传递至引擎且将其与更高数目个参考点相匹配，所述参考点是例如借由定义最大 搜寻半径而在当前三维点附近选择的。
[0086] 本发明很适合于物件分类。本发明亦很适合于相机姿势初始化，其中没有关于物 件相对于相机之姿势的先前知识可用或此先前知识不完整。
[0087] 特征侦测：
[0088] 特征是影像中之显著元素，其可为点、线、曲线、相连区域或像素之任何其他集合。 此外，根据本发明，可将像素、影像之所有像素或所选像素集合中之每一者定义为特征。 [0089] 特征侦测演算法通常为显著性侦测程序。举例而言，其找到线、边缘或微分算子之 局部极值。在文献中，此区域被称为特征侦测程序之取样窗口或测量孔径（aperture)。将 回应最终定限以决定哪些元素是特征而哪些不是。为了在某一尺度上抽取特征，在计算特 征侦测程序之回应前可相应地按比例缩放取样窗口或按比例缩放影像。接着将特征之尺寸 定义为用来侦测该特征之取样窗口之尺寸。
[0090] 关键点侦测方法之常见实例包括拉高斯拉普拉斯算子（LoG)、高斯差（DoG)、海赛 行列式（DoH)、最大稳定极值区域（MSER)、哈里斯特征或基于学习的角点侦测程序（诸如 FAST)。
[0091] 针对本发明，三维特征亦表示可能的数据来源。可借由许多方法（例如，识别局部 极值）自深度影像或三维模型抽取三维特征。
[0092] 在本发明之一态样中，整个影像亦可被视为特征。
[0093] 在本发明之另一态样中，3D数据和强度数据的组合可被用来作为输入数据，例如 [19]中所描述的。
[0094] 特征/影像描述：
[0095] 抽取之视觉特征（特征点、边缘、角点、局部极值等）需可重复，此意味：尽管视点 (定向、尺度等）、照明条件及/或影像杂讯不同，但仍应该可能进行对所述特征之抽取。 [0096] 匹配程序由找到自两个或两个以上影像抽取之至少一相对应的视觉特征组成。其 常常需要产生允许相对于某一相似性或距离度量以类似方式来描述不同影像中之相同实 体特征的描述符。[21]中提供某些特征点描述符之综述或比较。一旦产生了针对每个所抽 取特征之一个或多个描述符，则根据相似性或距离度量对其进行匹配：使用最近描述符或 基于[1]之比率测试给查询影像中之每个特征指派一匹配。
[0097] [18]描述了表示局部影像形状及其空间配置之描述符以及空间金字塔核。
[0098] [20]描述了基于特征之空间关系的描述符，此亦为一种可能性。该方法为，在集合 Pn中选择点X之η个最近邻居。自Pm选择m〈n个点。基于m中之f个点（对于交叉比率,f =5,而对于仿射不变量，f = 4)，计算所有可能的不变量。仿射不变量是两个三角区域之间 的比率：A(a, c, d)/A(a, b, c)。透视不变量是三角区域之交叉比率：(A(a, b, c)*A(a, d, e))/ (A(a，b，d)*A(a，c，e))。在[20]中，使用散列程序来匹配特征，而使用我们的引擎，则可省 去该程序。
[0099] [15]对用于匹配之三维描述符及基于深度影像之描述符进行全面综述。
[0100] 对于本发明，总的来说，描述符可有利地为自二维影像或二维影像之部分或三维 数据导出之向量，其不仅仅是借由将像素转换至不同的色空间中或正规化所述像素的值而 产生的。在本发明之另一态样中，描述符是自像素、形状或深度值之直方图、统计数据或相 对关系导出的。
[0101] 匹配程序：
[0102] 匹配程序是本发明之解决方案之关键构成区块。图5中示出根据一实施例之可能 配置。图7中示出可能的程序图。根据一实施例，其组合了以下计算：
[0103] 举例而言，可使用距离度量作为根据本发明之相似性度量。D(c，r)描述根据本发 明之在两个描述符之间的一有利距离度量。特定言之，D(c，r)描述在当前特征c之当前特 征描述符d(c)与参考特征r之参考特征描述符d(r)之间的距离度量。举例而言，如上文 参考图1所描述，分别决定并提供当前特征c及参考特征r及其特征描述符d(c)及d(r)。
[0104] 通常可决定在包括各自当前特征描述符d(c)之各自当前特征c之一或多个性质 与包括各自参考特征描述符d(r)之各自参考特征r之一或多个性质之间的各自距离度量 D (c, r) 〇
[0105] 本发明之方法可包括决定在每一各自当前特征描述符d(c)与每一各自参考特征 描述符d(r)之间的各自第一距离度量Ad以用于决定相似性度量D(c，r)。
[0106] 根据一实施例，本发明之方法可包括决定在共同坐标系统中在当前影像中的各自 当前特征描述符d( c)之位置信息x(c)及/或y(c)与各自参考特征描述符d(r)之各自位 置信息x(r)、y(r)之间的各自第二距离度量（此处为Λ Χ及/或Ay)以用于决定相似性 度量D (c，r)。举例而言，可将此计算为在由d (c)描述之各自当前特征之三维位置信息X (c) 与由d(r)描述之各自参考特征之三维位置信息x(r)之间的欧几里得距离。
[0107] 根据另一实施例，本发明之方法可包括决定各自第三距离度量λ Z以用于决定相 似性度量D (c，r)，该各自第三距离度量指示在共同坐标系统中在当前影像中的各自当前特 征描述符d(c)之位置信息z(c)与各自参考特征描述符d(r)之位置信息z(r)之间的角 度。举例而言，可将此计算为在由相机中心及各自当前特征之三维位置信息定义的第一向 量z(c)与由相机中心及各自参考特征之三维位置信息定义的第二向量z(r)之间的纯量乘 积。
[0108] 在另一实施例中，Λ z可指示在相对于全球坐标系统之相机定向与特征之各自方 向性质之间的角度，例如，该方向性质是由该特征所在之已知表面之表面法线导出。
[0109] 根据另一实施例，本发明之方法可包括决定在当前影像中的各自当前特征描述符 d (C)之纯量性质u (C)及/或V (C)与各自参考特征描述符d (r)之各自纯量性质u (r)、V (r) 之间的各自第四距离度量（此处为Au及/或Λν)以用于决定相似性度量D(c，r)。举例 而言，可根据SURF(正或负的高斯拉普拉斯算子）计算此度量。
[0110] 根据另一实施例，本发明之方法可包括，借由将各自第一、第二、第三及第四距离 度量中之至少一者与各自第一、第二、第三及第四距离度量中之至少另一者相组合来决定 各自组合式距离度量D (c，r)以用于决定各自相似性度量。
[0111] 举例而言，D(c，r)可为Διι、Δν、Δχ、Ay、Δζ及/或Ad之组合。
[0112] P(c，r)描述本发明之匹配程序之另一有利的可选部分。其可用于检验是否应该匹 配两个描述符。此主要有助于避免错误的匹配。取决于给定之临界值，P检验是否满足特 定条件。
[0113] 根据一实施例，本发明之方法可包括决定检验参数P，计算该检验参数P以判定具 有当前特征中之一者及参考特征中之一者的特征对c，r是否有资格作为有效匹配。
[0114] 根据一实施例，本发明之方法可包括，借由比较各自第二距离度量Λχ及/或Ay、 第三距离度量Λ z及第四距离度量Λ u、Λ v中之至少一者与至少一各自临界值来决定至少 一各自检验参数p (C, r)，其中该检验参数P (c, r)用来判定具有当前特征中之一者及参考 特征中之一者的特征对c，r是否有资格作为有效匹配。
[0115] 举例而言，该方法可进一步包括加权重于各自当前特征c及参考特征r中之至少 一者，或在所述性质中之一或多者之间的距离度量中之至少一者。此外，该方法可包括在决 定组合式距离度量D(c，r)时加权重于第一、第二、第三及/或第四距离度量中之至少一者。
[0116] 特定言之，可为上述分量中之每一者提供一权重（诸如'、'、^等），该权重取决 于系统可获得之信息。此处所用之信息可为来自特征抽取程序之信息或为当前特征在全球 坐标系统或相机坐标系统中之位置（例如，对于利用极线几何约束的立体匹配）。若无法获 得此种信息，则可将公式D (c，r)中之各自权重设定为零或某一值，例如取决于信息之不确 定性（uncertainty)。若给出的或可获得的关于Διι、Δν、Δχ、Ay、Δζ之信息不完整，或 没有关于Λ u、Λ ν、Λ X、Ay、Λ ζ之信息给出或可获得，则可将临界值设定为很高值或按比 例缩放，取决于不确定性信息。
[0117] 根据一实施例，如上所述之距离度量D(c，r)之各部分（诸如Διι、Δν、Δχ、Ay、 ΛΖ及Ad)可如以下方式来决定：

【权利要求】
1. 一种将影像特征与参考特征相匹配之方法，其包含以下步骤： 提供由一摄取装置摄取之一当前影像， 提供参考特征（r)，其中所述参考特征中之每一者包含至少一参考特征描述符 (d (r)), 决定该当前影像中之当前特征（c)及使所述当前特征中之每一者与至少一各自当前 特征描述符（d(c))相关联， 借由决定每一各自当前特征描述符（d(c))与每一各自参考特征描述符（d(r))之间的 一各自相似性度量（D(c，r))来将所述当前特征与所述参考特征中之至少一些相匹配，决 定该相似性度量是在一集成电路上由一固线式逻辑组件或可组配逻辑组件执行，该固线式 逻辑组件或可组配逻辑组件处理用于决定该相似性度量之逻辑功能。
2. 根据权利要求1所述之方法，其中该当前影像是一强度影像或一深度影像。
3. 根据权利要求1或2所述之方法，其包含决定在包括该各自当前特征描述符（d(c)) 之该各自当前特征（c)之一或多个性质与包括该各自参考特征描述符（d(r))之该各自参 考特征（r)之一或多个性质之间的一各自距离度量（D(c，r))，以用于决定该相似性度量 (D(c，r))。
4. 根据权利要求1至3中之一所述之方法，其中计算一检验参数（P)，以便判定具有所 述当前特征中之一者及所述参考特征中之一者的一特征对（c，r)是否有资格作为一有效 匹配。
5. 根据权利要求1至4中之一所述之方法，其包含决定在每一各自当前特征描述符 (d(c))与每一各自参考特征描述符（d(r))之间的一各自第一距离度量（Ad)，以用于决定 该相似性度量（D(c，r))。
6. 根据权利要求1至5中之一所述之方法，其包含决定在一共同坐标系统中在该当前 影像中的该各自当前特征描述符（d(c))之位置信息（ X(c)，y(c))与该各自参考特征描述 符（d(r))之位置信息（X(r)，y(r))之间的一各自第二距离度量（Λ Χ，Ay)，以用于决定该 相似性度量（D(c，r))。
7. 根据权利要求1至6中之一所述之方法，其包含决定一各自第三距离度量（ΛΖ)以 用于决定该相似性度量（D(c，r))，该各自第三距离度量指出在一共同坐标系统中在该当 前影像中的该各自当前特征描述符（d(c))之位置信息（z(c))与该各自参考特征描述符 (d(r))之位置信息（z(r))之间的一角度。
8. 根据权利要求1至7中之一所述之方法，其包含决定在该当前影像中的该各自当 前特征描述符（d(c))之一纯量性质（u(c)， V(c))与该各自参考特征描述符（d(r))之纯 量性质（u(r)，v(r))之间的一各自第四距离度量（Au，Λν)，以用于决定该相似性度量 (D(c，r))。
9. 根据权利要求4至8中之一所述之方法，其包含计算差和或者平方差和以用于决定 一各自长度或维度（i)上的该各自第一、第二、第三及/或第四距离度量。
10. 根据权利要求4至9中之一所述之方法，其包含借由将该各自第一、第二、第三及第 四距离度量中之至少一者与该各自第一、第二、第三及第四距离度量中之至少另一者相组 合来决定一各自组合式距离度量（D (c，r))，以用于决定该各自相似性度量。
11. 根据权利要求3至10中之一所述之方法，其进一步包含：在决定组合式距离度量 (D (c，r))时，加权重于所述性质中之至少一者，或在该各自当前特征与该各自参考特征之 一或多个性质之间的所述距离度量中之至少一者，或该第一、第二、第三及第四距离度量中 之至少一者。
12. 根据权利要求4至11中之一所述之方法，其包含借由比较该各自第二距离度量 (Λ X，Ay)、第三距离度量（Λ z)及第四距离度量（Λ u，Λ v)中之至少一者与至少一各自临 界值来决定至少一各自检验参数（P(c，r))，其中该检验参数（P(c，r))用来判定具有所述 当前特征中之一者及所述参考特征中之一者的一特征对（c，r)是否有资格作为一有效匹 配。
13. 根据权利要求12所述之方法，其中该至少一各自临界值及该权重取决于对该摄取 装置之一姿势之初始估计的不确定性。
14. 根据权利要求3至13中之一所述之方法，其中用于决定该各自距离度量（D (c，r)) 或其部分及该各自检验参数（P(c，r))之计算是在该集成电路上以流水线方式平行执行。
15. 根据权利要求14所述之方法，其中一个各自距离度量（D(c，r))及/或检验参数 (P(c，r))是在该集成电路之一时脉信号之每个时脉循环计算。
16. 根据权利要求14或15所述之方法，其中在决定一各自相似性度量（D (c，r))后，该 方法进一步包含储存直至此时已决定之所述相似性度量中之一最相似的相似性度量（D1) 及一第二最相似的相似性度量（D2)，及与该最相似的相似性度量（D1)相关联之该各自当 前特征描述符之一索引（cmin)。
17. 根据权利要求16所述之方法，其中比较该最相似的相似性度量（D1)与该第二最相 似的相似性度量之一衍生值（t*D2)，其中若此比较满足一预定条件，则提供该最相似的相 似性度量（D1)及该第二最相似的相似性度量（D2)、该索引（cmin)及该相关联之参考特征 描述符（d(r))以用于进一步处理。
18. 根据权利要求3至17中之一所述之方法，其进一步包含决定所述计算出之距离度 量中之一最低的距离度量（D1)，及储存已针对其决定该最低的距离度量之该各自当前特征 描述符之一索引（cmin)。
19. 根据权利要求1至18中之一所述之方法，其进一步提供：保存一参考特征描述符 向量（R)之一寄存器组，及用于保存一各自检验参数（P(c，r))及一各自距离度量（D(c，r)) 之两个累加寄存器（Pace，Dacc))，其中一次仅比较一各自当前特征描述符向量（C)及参考 特征描述符向量（R)之部分（ci及ri)。
20. 根据权利要求1至19中之一所述之方法，其进一步包括将所述当前特征描述符 (d(c))储存于该集成电路之一记忆体（SRAM)上，所述当前特征描述符（d(c))是在无需等 待状态的情况下自该记忆体撷取。
21. 根据权利要求1至20中之一所述之方法，其进一步包含： 使所述当前特征中之每一者与至少一当前特征描述符向量（C)相关联， 其中所述参考特征中之每一者包含至少一参考特征描述符向量（R)， 计算所述参考特征之所述参考特征描述符向量（R)中之每一者与所述当前特征之所 述当前特征描述符向量（C)中之每一者之间的一各自相似性度量（D(c，r))。
22. 根据权利要求1至21中之一所述之方法，其中将该当前影像之至少一像素设定为 该当前影像中之一各自当前特征。
23. 根据权利要求1至22中之一所述之方法，其中对该影像之不同解析度运行该方法。
24. 根据权利要求1至23中之一所述之方法，其中一第一特征抽取程序用来抽取一第 一当前特征集合，且针对该第一当前特征集合建置一第一当前特征描述符集合，且一第二 特征抽取程序用来抽取一第二当前特征集合，且针对该第二当前特征集合建置一第二当前 特征描述符集合，其中该第一特征抽取程序与该第二特征抽取程序或一第一特征描述符产 生程序与一第二特征描述符产生程序彼此不同，且该第一与该第二当前特征描述符集合之 特征匹配程序是由固线式逻辑组件或可组配逻辑组件执行。
25. 根据权利要求1至24中之一所述之方法，其进一步包含：在分类的情况下，在特征 匹配后执行几何验证，以移除错误的特征匹配或移除误判。
26. 根据权利要求1至25中之一所述之方法，其进一步包含： 提供一参考特征集合，其中所述参考特征中之每一者包含至少一第一参数，该至少一 第一参数至少部分地指出该参考特征相对于一全球坐标系统之一位置及/或定向，其中该 全球坐标系统是一地球坐标系统或一物件坐标系统，或该至少一第一参数至少部分地指出 该参考特征相对于一海拔之一位置， 使一各自当前特征与至少一第二参数相关联，该至少一第二参数至少部分地指出该当 前特征相对于该全球坐标系统之一位置及/或定向，或该至少一第二参数至少部分地指出 该当前特征相对于一海拔之一位置， 借由决定该至少一第一参数与该至少一第二参数之间的该相似性度量，将该当前特征 与该参考特征集合之所述参考特征中之至少一者相匹配。
27. 根据权利要求1至26中之一所述之方法，其包括在匹配该各自当前特征时以该参 考特征集合内之减少个数的参考特征来定义一搜寻空间之步骤，其中该搜寻空间是基于该 至少一第二参数决定的。
28. 根据权利要求1至27中之一所述之方法，其包括考虑该特征抽取程序之指示符的 步骤，该指示符例如为由特征抽取器产生之正负号。
29. 根据权利要求1至28中之一所述之方法，其中该当前特征描述符（d (c))或该参考 特征描述符（d(r))中之至少一者是一物件之一较高层级描述，从而使其不随尺度及/或旋 转及/或光而改变。
30. -种用以将影像特征与参考特征相匹配之集成电路（1)，其包含： 用以接收各自当前特征之数个当前特征描述符（向量c)之一接口（4)，所述当前特征 是从由一摄取装置摄取之一当前影像获得， 用以接收各自参考特征之数个参考特征描述符（向量r)之一接口（4)，及 一逻辑电路（7-15)，用以决定每一各自当前特征描述符与每一各自参考特征描述符之 间的一各自相似性度量（D (c，r))，以便将所述当前特征与所述参考特征相匹配，其中该逻 辑电路包含处理用以决定该相似性度量之逻辑功能的固线式逻辑组件或可组配逻辑组件。
【文档编号】G06K9/00GK104221031SQ201180076241
【公开日】2014年12月17日 申请日期:2011年11月18日 优先权日:2011年11月18日
【发明者】诺柏特·史托费勒, 彼得·米尔 申请人:美塔欧有限公司