估计的相机姿势来选择模型图像。可接着通过使用 经加权最小平方近似，基于在当前图像与至少一个模型图像之间获得的特征对应性来细化 所估计的相机姿势。
[0156] 在一些实施例中，所述目标的模型可包括所述目标对象的多个所存储的图像。在 一些实施例中，所述目标对象的每一所存储的图像可包括多个图像细分部，且每一图像细 分部可与点特征的计数和边缘特征的计数相关联。此外，至少一个点阔值和至少一个线阔 值可至少部分地基于与可见区中的每一图像细分部相关联的点特征的计数和边缘特征的 计数，从模型的可见区获得，其中所述模型的可见区对应于当前图像。在一些实施例中，每 一图像细分部可呈通过将模型中的每一图像细分成多个网格而获得的网格的形式。
[0157] 在目标的模型包括所述目标的多个所存储图像（其各自具有多个图像细分部）的 实施例中，一或多个度量可进一步基于：当前和先前图像之间的点匹配的空间分布的均一 性。
[0158] 提供对所掲示方面的先前描述是为了使所属领域的任何技术人员都能够制造或 使用本发明。所属领域的技术人员将容易明白对运些方面的各种修改，且在不脱离本发明 的精神或范围的情况下，本文中所界定的一般原理可应用于其它方面。
【主权项】
1. 一种对象跟踪的方法，其包括： 为包括目标对象的相机所捕获当前图像计算得分，所述得分至少部分地基于从所述相 机所捕获的所述当前图像和先前图像中的特征的比较确定的一或多个度量，且其中所述比 较是基于针对所述当前图像的所估计的相机姿势；以及 至少部分地基于所述得分与至少一个点阈值和至少一个线阈值的比较，选择基于点、 基于边缘，或组合的基于点和边缘的特征对应性方法中的一者，所述至少一个点阈值及所 述至少一个线阈值是从所述目标的模型获得的。2. 根据权利要求1所述的方法，其中所述一或多个度量包括以下各项中的至少一者： 所述当前图像与所述先前图像之间的特征匹配的数目； 相对于所述当前图像与所述先前图像之间的特征匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的特征点匹配的平均归一化互相关NCC得分。3. 根据权利要求1所述的方法，其中所述目标的所述模型包括所述目标对象的多个所 存储的图像。4. 根据权利要求3所述的方法，其进一步包括： 使用所述选定特征对应性方法来确定所述当前图像与至少一个模型图像之间的特征 对应性，基于所述所估计的相机姿势来选择所述模型图像，以及 通过使用经加权最小平方近似，基于在所述当前图像与所述至少一个模型图像之间获 得的所述特征对应性来细化所述所估计的相机姿势。5. 根据权利要求3所述的方法，其中： 所述目标对象的每一所存储的图像包括多个图像细分部，每一图像细分部与点特征的 计数和边缘特征的计数相关联，且 其中所述至少一个点阈值和所述至少一个线阈值是至少部分地基于与所述模型的可 见区中的每一图像细分部相关联的点特征的所述计数和边缘特征的所述计数，从所述可见 区获得，其中所述模型的所述可见区对应于所述当前图像。6. 根据权利要求5所述的方法，其中所述每一图像细分部为通过将所述模型中的每一 图像细分成多个网格而获得的网格。7. 根据权利要求5所述的方法，其中所述一或多个度量包括： 所述当前和所述先前图像之间的点匹配的空间分布的均一性； 所述当前和所述先前图像之间的良好匹配的数目； 所述当前和所述先前图像之间的不良匹配的数目； 相对于所述当前图像与所述先前图像之间的特征匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的特征点匹配的平均归一化互相关NCC得分。8. 根据权利要求1所述的方法，其中至少部分地基于针对所述先前图像获得的先前相 机姿势且基于所述当前图像中的所述目标对象的所估计地点，获得所述当前图像的所述所 估计的相机姿势。9. 根据权利要求1所述的方法，其中： 所述至少一个点阈值提供所述模型对基于点的特征跟踪的适合性的指示，且 所述至少一个线阈值提供所述模型对基于线的特征跟踪的适合性的指示。10. -种用户装置UD，其包括： 相机，其经配置以捕获包括目标对象的多个图像， 存储器，其经配置以存储所述目标对象的模型；以及 处理器，其耦合到所述相机和所述存储器，所述处理器经配置以： 为所述相机所捕获当前图像计算得分，所述得分至少部分地基于从所述相机所捕获的 所述当前图像和先前图像中的特征的比较确定的一或多个度量，且其中所述比较是基于针 对所述当前图像的所估计的相机姿势；以及 至少部分地基于所述得分与至少一个点阈值和至少一个线阈值的比较，选择基于点、 基于边缘，或组合的基于点和边缘的特征对应性方法中的一者，所述至少一个点阈值及所 述至少一个线阈值是从所述目标对象的所述模型获得的。11. 根据权利要求10所述的UD，其中所述一或多个度量包括以下各项中的至少一者： 所述当前图像与所述先前图像之间的特征匹配的数目； 相对于所述当前图像与所述先前图像之间的匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的特征点匹配的平均归一化互相关NCC得分。12. 根据权利要求10所述的UD，其中所述目标对象的所述模型包括所述目标对象的多 个所存储的图像。13. 根据权利要求12所述的UD，其中所述处理器进一步经配置以： 使用所述选定特征对应性方法来确定所述当前图像与至少一个模型图像之间的特征 对应性，基于所述所估计的相机姿势来选择所述模型图像，以及 通过使用经加权最小平方近似，基于在所述当前图像与所述至少一个模型图像之间获 得的所述特征对应性来细化所述所估计的当前相机姿势。14. 根据权利要求12所述的UD，其中： 所述目标对象的所述多个所存储的图像中的每一者包括多个图像细分部，且每一图像 细分部与点特征的计数和边缘特征的计数相关联，且 其中所述处理器进一步经配置以： 至少部分地基于与所述模型的可见区中的每一图像细分部相关联的点特征的所述计 数和边缘特征的所述计数，从所述可见区获得所述至少一个点阈值和所述至少一个线阈 值，所述模型的所述可见区对应于所述当前图像。15. 根据权利要求14所述的UD，其中所述每一图像细分部为通过将所述模型中的每一 图像细分成多个网格而获得的网格。16. 根据权利要求14所述的UD，其中度量包括： 所述当前和所述先前图像之间的特征点匹配的空间分布的均一性； 所述当前图像与所述先前图像之间的特征匹配的数目； 相对于所述当前图像与所述先前图像之间的特征匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的特征点匹配的平均归一化互相关NCC得分。17. 根据权利要求10所述的UD，其中所述处理器进一步经配置以： 至少部分地基于针对所述先前图像获得的先前相机姿势且基于所述当前图像中的所 述目标对象的所估计地点，为所述当前图像确定所述所估计的相机姿势。18. 根据权利要求10所述的UD，其中： 所述至少一个点阈值提供所述模型对基于点的特征跟踪的适合性的指示，且 所述至少一个线阈值提供所述模型对基于边缘的特征跟踪的适合性的指示。19. 一种设备，其包括： 成像装置，其用于捕获包括目标对象的多个图像； 存储装置，其用于存储所述目标对象的模型，所述存储装置耦合到所述成像装置； 用于为所述成像装置所捕获的当前图像计算得分的装置，所述得分至少部分地基于从 所述成像装置所捕获的所述当前图像和先前图像中的特征的比较确定的一或多个度量，且 其中所述比较是基于所述当前图像的所估计的成像装置姿势；以及 用于至少部分地基于所述得分与至少一个点阈值和至少一个线阈值的比较，选择基于 点、基于边缘，或组合的基于点和边缘的特征对应性方法中的一者的装置，所述至少一个点 阈值以及所述至少一个线阈值是从所述目标对象的所述所存储的模型获得的。20. 根据权利要求19所述的设备，其中所述一或多个度量包括以下各项中的至少一 者： 所述当前图像与所述先前图像之间的特征匹配的数目； 相对于所述当前图像与所述先前图像之间的匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的点匹配的平均归一化互相关NCC得分。21. 根据权利要求19所述的设备，其中所述目标对象的所述模型包括所述目标对象的 多个图像。22. 根据权利要求21所述的设备，其进一步包括： 用于使用所述选定特征对应性方法来确定所述当前图像与至少一个模型图像之间的 特征对应性的装置，基于所述当前相机姿势来选择所述模型图像，以及 用于通过使用经加权最小平方近似，基于在所述当前图像与所述至少一个模型图像之 间获得的所述特征对应性来细化所述所估计的当前成像装置姿势的装置。23. 根据权利要求21所述的设备，其中： 所述目标对象的所述多个图像中的每一者包括多个图像细分部，每一图像细分部与点 特征的计数和边缘特征的计数相关联，且 其中所述设备进一步包括： 用于至少部分地基于与所述模型的可见区中的每一图像细分部相关联的点特征的所 述计数和边缘特征的所述计数，从所述可见区获得所述至少一个点阈值和所述至少一个线 阈值的装置，所述模型的所述可见区对应于所述当前图像。24. 根据权利要求23所述的设备，其中度量包括： 所述当前和所述先前图像之间的特征点匹配的空间分布的均一性； 所述当前图像与所述先前图像之间的特征匹配的数目； 相对于所述当前图像与所述先前图像之间的特征匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的特征点匹配的平均归一化互相关NCC得分。25. -种包括指令的非暂时性计算机可读媒体，所述指令在由处理器执行时，实施方法 中的步骤，所述步骤包括： 为包括目标对象的相机所捕获当前图像计算得分，所述得分至少部分地基于从所述相 机所捕获的所述当前图像和先前图像中的特征的比较确定的一或多个度量，且其中所述比 较是基于针对所述当前图像的所估计的相机姿势；以及 至少部分地基于所述得分与至少一个点阈值和至少一个线阈值的比较，选择基于点、 基于边缘，或组合的基于点和边缘的特征对应性方法中的一者，所述至少一个点阈值及所 述至少一个线阈值是从所述目标对象的模型获得的。26. 根据权利要求25所述的计算机可读媒体，其中度量包括以下各项中的至少一者： 所述当前图像与所述先前图像之间的特征匹配的数目； 相对于所述当前图像与所述先前图像之间的特征匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的特征点匹配的平均归一化互相关NCC得分。27. 根据权利要求25所述的计算机可读媒体，其中所述模型包括所述目标对象的多个 所存储的图像。28. 根据权利要求27所述的计算机可读媒体，其进一步包括： 使用所述选定特征对应性方法来确定所述当前图像与至少一个模型图像之间的特征 对应性，基于所述所估计的相机姿势来选择所述模型图像，以及 通过使用经加权最小平方近似，基于在所述当前图像与所述至少一个模型图像之间获 得的所述特征对应性来细化所述所估计的相机姿势。29. 根据权利要求27所述的计算机可读媒体，其中： 每一所存储的图像包括多个图像细分部，每一图像细分部与点特征的计数和边缘特征 的计数相关联，且 其中所述至少一个点阈值和所述至少一个线阈值是至少部分地基于与所述模型的可 见区中的每一图像细分部相关联的点特征的所述计数和边缘特征的所述计数，从所述可见 区获得，其中所述模型的所述可见区对应于所述当前图像。30. 根据权利要求29所述的计算机可读媒体，其中所述一或多个度量包括： 所述当前图像与所述先前图像之间的点匹配的空间分布的均一性； 所述当前图像与所述先前图像之间的特征匹配的数目； 相对于所述当前图像与所述先前图像之间的特征匹配的预期数目的特征匹配比例；或 所述当前图像与所述先前图像之间的点匹配的平均归一化互相关NCC得分。
【专利摘要】所揭示实施例涉及用于稳健的基于特征的跟踪的设备、系统和方法。在一些实施例中，可为包括目标对象的相机所捕获的当前图像计算得分。所述得分可基于从所述相机所捕获的所述当前图像和先前图像中的特征的比较确定的一或多个度量。所述比较可基于针对所述当前图像的所估计的相机姿势。在一些实施例中，可基于所述得分与点阈值和/或线阈值的比较来选择基于点、基于边缘，或组合的基于点和边缘的特征对应性方法中的一者，从所述目标的模型获得所述点和线阈值。可通过使用所述选定方法建立所述当前图像与模型图像之间的特征对应性来细化所述相机姿势。
【IPC分类】G06T7/20
【公开号】CN105283905
【申请号】CN201480033435
【发明人】迪拉杰·阿胡贾, 金其勇, 洋海·钱, 赛义德·赫萨蒙迪恩·纳杰菲·舒什塔里
【申请人】高通股份有限公司
【公开日】2016年1月27日
【申请日】2014年5月16日
【公告号】EP3008695A1, US20140368645, WO2014200665A1