法，其中沿具有相同的预定初始深度值的平面 初始化所述目标3D点中的每一者。
7. 根据权利要求5所述的处理器实施方法，其中所述追踪所述3D目标进一步包括将所 述目标3D点中的至少一者的所述参考位置与从所述一或多个后续图像提取的经更新的2D 位置相比较。
8. 根据权利要求5所述的处理器实施方法，其中细化所述3D目标进一步包括： 确定所述目标3D点中的一或多者的经更新的深度值；以及 用所述经更新的深度值来替换所述所指派的预定初始深度值。
9. 根据权利要求8所述的处理器实施方法，其进一步包括： 确定满足具有经更新的深度值的所述目标3D点的阈值数目，其中所述阈值数目是基 于来自所述一或多个后续图像中的相应后续图像的经更新的深度值而被满足；以及 将所述相应后续图像指派作为第二参考图像。
10. 根据权利要求9所述的处理器实施方法，其中所述3D目标的所述细化进一步包括 通过用从所述第二参考图像所提取的多个2D感兴趣点三角测量所述目标3D点来执行对所 述3D目标的又一细化。
11. 一种计算机可读非暂时性存储媒体，其含有可执行的程序指令，所述程序指令使数 据处理装置执行用于视觉同时定位与建图的方法，所述方法包括： 根据第一参考图像且在处理后续图像之前初始化三维3D目标； 处理一或多个后续图像； 以六自由度来追踪所述3D目标；以及 基于对所述一或多个后续图像的所述处理来细化所述3D目标。
12. 根据权利要求1所述的媒体，其进一步包括： 在初始化所述3D目标之后便显示所述3D目标的经正确地对准、定位和设定距离的增 强现实表示。
13. 根据权利要求12所述的媒体，其进一步包括： 当以六自由度来追踪所述3D目标时，更新所述3D目标的所述增强现实表示。
14. 根据权利要求11所述的媒体，其中所述处理一或多个后续图像进一步包括： 从所述一或多个后续图像来提取2D感兴趣点。
15. 根据权利要求11所述的媒体，其中初始化所述3D目标进一步包括： 从所述参考图像提取2D感兴趣点的参考集合； 确定目标3D点，其中每一目标3D点对应于2D感兴趣点的所述参考集合中的一个2D感兴趣点；以及 将预定初始深度值指派给每一目标3D点。
16. 根据权利要求15所述的媒体，其中沿具有相同的预定初始深度值的平面初始化所 述目标3D点中的每一者。
17. 根据权利要求15所述的媒体，其中所述追踪所述3D目标进一步包括将所述目标 3D点中的至少一者的所述参考位置与从所述一或多个后续图像提取的经更新的2D位置相 比较。
18. 根据权利要求15所述的媒体，其中细化所述3D目标进一步包括： 确定所述目标3D点中的一或多者的经更新的深度值；以及 用所述经更新的深度值来替换所述所指派的预定初始深度值。
19. 根据权利要求18所述的媒体，其进一步包括： 确定满足具有经更新的深度值的所述目标3D点的阈值数目，其中所述阈值数目是基 于来自所述一或多个后续图像中的相应后续图像的经更新的深度值而被满足；以及 将所述相应后续图像指派作为第二参考图像。
20. 根据权利要求19所述的媒体，其中所述3D目标的所述细化进一步包括通过用从所 述第二参考图像所提取的多个2D感兴趣点三角测量所述目标3D点来执行对所述3D目标 的又一细化。
21. -种用于视觉同时定位与建图的数据处理装置，其包括： 处理器；以及 存储装置，其耦合到所述处理器且可配置以用于存储指令，所述指令在由所述处理器 执行时使所述处理器执行以下步骤： 根据第一参考图像且在处理后续图像之前初始化三维3D目标； 处理一或多个后续图像； 以六自由度来追踪所述3D目标；以及 基于对所述一或多个后续图像的所述处理来细化所述3D目标。
22. 根据权利要求21所述的数据处理装置，其进一步包括用以执行以下步骤的指令： 在初始化所述3D目标之后便显示所述3D目标的经正确地对准、定位和设定距离的增 强现实表示。
23. 根据权利要求22所述的数据处理装置，其进一步包括用以执行以下步骤的指令： 当以六自由度来追踪所述3D目标时，更新所述3D目标的所述增强现实表示。
24. 根据权利要求21所述的数据处理装置，其中所述处理一或多个后续图像进一步包 括用以执行以下步骤的指令： 从所述一或多个后续图像提取2D感兴趣点。
25. 根据权利要求21所述的数据处理装置，其中初始化所述3D目标进一步包括用以执 行以下步骤的指令： 从所述参考图像提取2D感兴趣点的参考集合； 确定目标3D点，其中每一目标3D点对应于2D感兴趣点的所述参考集合中的一个2D感兴趣点；以及 将预定初始深度值指派给每一目标3D点。
26. 根据权利要求25所述的数据处理装置，其中沿具有相同的预定初始深度值的平面 初始化所述目标3D点中的每一者。
27. 根据权利要求25所述的数据处理装置，其中所述追踪所述3D目标进一步包括将所 述目标3D点中的至少一者的所述参考位置与从所述一或多个后续图像提取的经更新的2D 位置相比较。
28. 根据权利要求25所述的数据处理装置，其中细化所述3D目标进一步包括用以执行 以下步骤的指令： 确定所述目标3D点中的一或多者的经更新的深度值；以及 用所述经更新的深度值来替换所述所指派的预定初始深度值。
29. 根据权利要求28所述的数据处理装置，其进一步包括用以执行以下步骤的指令： 确定满足具有经更新的深度值的所述目标3D点的阈值数目，其中所述阈值数目是基 于来自所述一或多个后续图像中的相应后续图像的经更新的深度值而被满足；以及 将所述相应后续图像指派作为第二参考图像。
30. 根据权利要求29所述的数据处理装置，其中所述3D目标的所述细化进一步包括用 以执行以下步骤的指令：通过用从所述第二参考图像所提取的多个2D感兴趣点三角测量 所述目标3D点来执行对所述3D目标的又一细化。
31. -种用于视觉同时定位与建图的设备，其包括： 用于根据第一参考图像且在处理后续图像之前初始化三维3D目标的装置； 用于处理一或多个后续图像的装置； 用于以六自由度来追踪所述3D目标的装置；以及 用于基于对所述一或多个后续图像的所述处理来细化所述3D目标的装置。
32. 根据权利要求31所述的设备，其进一步包括： 用于在初始化所述3D目标之后便显示所述3D目标的经正确地对准、定位和设定距离 的增强现实表示的装置。
33. 根据权利要求32所述的设备，其进一步包括： 用于在以六自由度来追踪所述3D目标时更新所述目标的所述增强现实表示的装置。
34. 根据权利要求31所述的设备，其中所述处理一或多个后续图像进一步包括： 用于从所述一或多个后续图像提取2D感兴趣点的装置。
35. 根据权利要求31所述的设备，其中初始化所述3D目标进一步包括： 用于从所述参考图像提取2D感兴趣点的参考集合的装置； 用于确定目标3D点的装置，其中每一目标3D点对应于2D感兴趣点的所述参考集合中 的一个2D感兴趣点；以及 用于将预定初始深度值指派给每一目标3D点的装置，每一目标3D点对应于2D感兴趣 点的所述参考集合中的一个2D感兴趣点。
36. 根据权利要求35所述的设备，其中沿具有相同的预定初始深度值的平面初始化所 述目标3D点中的每一者。
37. 根据权利要求35所述的设备，其中所述追踪所述3D目标进一步包括用于将所述目 标3D点中的至少一者的所述参考位置与从所述一或多个后续图像提取的经更新的2D位置 相比较的装置。
38. 根据权利要求35所述的设备，其中细化所述3D目标进一步包括： 用于确定所述目标3D点中的一或多者的经更新的深度值的装置；以及 用于用所述经更新的深度值来替换所述所指派的预定初始深度值的装置。
39. 根据权利要求38所述的设备，其进一步包括： 用于确定满足具有经更新的深度值的所述目标3D点的阈值数目的装置，其中所述阈 值数目是基于来自所述一或多个后续图像中的相应后续图像的经更新的深度值而被满足； 以及 用于将所述相应后续图像指派作为第二参考图像的装置。
40. 根据权利要求39所述的设备，其中所述3D目标的所述细化进一步包括用于通过 用从所述第二参考图像所提取的多个2D感兴趣点三角测量所述目标3D点来执行对所述3D 目标的又一细化的装置。
【专利摘要】本发明描述用于快速视觉同时定位与建图的设备和方法。在一个实施例中，立即根据第一参考图像且在处理后续图像之前初始化三维3D目标。在一个实施例中，处理一或多个后续参考图像，且以六自由度来追踪所述3D目标。在一个实施例中，基于所处理的所述一或多个后续图像来细化所述3D目标。
【IPC分类】G06T7-00
【公开号】CN104781849
【申请号】CN201380056667
【发明人】格哈德·赖特迈尔, 亚历山德罗·穆洛尼
【申请人】高通股份有限公司
【公开日】2015年7月15日
【申请日】2013年10月18日
【公告号】EP2915140A1, US20140126769, WO2014070483A1