用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统的制作方法

用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统的制作方法
【专利说明】用于确定摄像机相对于真实环境的至少一个对象的姿态的方 法和系统
[0001 ]本申请为分案申请，其原申请是于2011年10月12日（国际申请日为2010年2月12 日）向中国专利局提交的专利申请，申请号为201080016314.0,发明名称为"用于确定摄像 机相对于真实环境的至少一个对象的姿态的方法和系统"。
技术领域
[0002] 本发明设及用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系 统，用于创作中，例如，用于地球空间数据库或增强的现实应用，其中由拍摄真实环境真实 对象的摄像机产生至少一幅或两幅图像。根据所确定的摄像机姿态，可W根据创作或增强 的现实技术，利用虚拟对象增强一幅或多幅图像。
【背景技术】
[0003] 已知有运样的应用，其利用所谓的增强现实(AR)技术W虚拟对象增强至少在摄像 机上产生的图像。在运样的应用中，禪合到诸如微处理器的处理单元的摄像机拍摄真实环 境的画面，其中在显示屏上显示真实环境，除真实环境之外还可W显示虚拟对象，从而利用 显示屏上任何种类的虚拟对象增强显示屏上显示的真实环境。在运样的应用中，为了利用 虚拟对象增强图像，需要微处理器确定摄像机相对于真实环境至少一个对象的位置和取向 (所谓的姿态），W便微处理器正确地利用任何虚拟对象增强拍摄的图像。在运种语境中，利 用任何虚拟对象正确地增强拍摄图像意味着，显示虚拟对象，使得虚拟对象W透视上和尺 度上正确的方式拟合到图像景色中。
[0004] 用于确定摄像机姿态的一种已知方法利用的是摄像机拍摄的真实环境对应部分 的虚拟参考模型，其中利用开始就知道的姿态近似值将虚拟参考模型投射到图像中并与真 实环境的对应部分重叠。然后，图像处理跟踪算法使用虚拟参考模型判断摄像机相对于真 实环境的姿态，例如，通过特征检测和参考模型和真实环境对应部分之间的比较。
[0005] 用于确定摄像机姿态的另一种已知方法使用了放入真实环境中并在拍摄图像时 被摄像机拍摄的标记。然后，图像处理跟踪算法使用该标记，尤其是利用已知的图像处理方 法分析图像中的标记，W确定摄像机相对于真实环境的姿态。
[0006] 上述方法的缺点是，必须首先构思并存储虚拟参考模型，运非常消耗时间和资源， 如果能够在任何真实环境中自发地使用AR技术，运几乎是不可能的。对于使用标记，用户必 须在拍摄图像之前在起始步骤中在真实环境中放置标记，运也非常耗时且麻烦。具体而言， 出于运些原因，几乎不能将运些方法用于任何消费产品，例如具有集成摄像机和显示器的 移动电话或其他移动装置。
[0007] 此外，从现有技术知道有所谓的来自运动和同时定位和跟踪(SLAM)方法的结构。 所有运些方法都用于确定摄像机相对于真实世界或真实世界一部分的位置和取向（姿态）。 如果预先没有可用的信息，在一些情况下，不可能确定摄像机相对于真实世界或真实世界 一部分的绝对姿态，而仅确定摄像机姿态从特定时间点开始的变化。在上述应用中，可W使 用SLAM方法得到距平点的取向，但缺点是不能确保识别出地平面或某个其他平面。此外，利 用运样的方法，通过沿例如IOcm距离平移摄像机并向系统传送所涵盖的距离，仅可W得到 初始比例尺。此外，SLAM方法需要在不同摄像机姿态下拍摄的至少两幅图像(所谓的帖）W 及校准的摄像机。在如下文献中披露了另一种已知的技术：Ge;rhard ReitmayrJom W.Drummond，（'Initialisation for Visual Tracking in Urban Environments''， Engineering Department Cambridge,University Cambridge，UK(Reitmayr，G.和 Drummond,T.W.(2007),Initialisation for Visual Tracking in Urban Environments in：6th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2007)，13-16Nov 2007,化rajapan)。基于模型的跟踪系统与测量3D转速、3D加速 度和3邮兹场强度的传感器组件集成，W在快速移动时更加鲁棒并具有通过重力和磁场传感 器的绝对取向参照系。利用针对摄像机姿态动力学的恒速模型，与标准的扩展卡尔曼滤波 器进行传感器融合。利用SCAAT型方法（Greg Welch和GaiT Bishop. Scaat: incremental tracking with incomplete information,Proc.SIGGRAPH'97,pages 333-344,New York， NY，USA，1997〇ACM Press/Addison-Wesley Publishing Co.)中的单一测量功能结合不同 的输入，例如来自跟踪系统的摄像机姿态或来自传感器的测量结果。
[0008] 在Gerhard Reitmayr,Tom W.Drummond的"Robust Model-based Tracking for Outdoor Augmented Reality"中披露了另一项技术（Gerhard Reitmayr和Tom Drummond, Going Out:Robust Model-based Tracking for Outdoor Augmented Reality，Proc.IEEE ISMAR' 06，2006，Santa Barbara，Cal ifornia，USA)。跟踪系统依赖于要跟踪的景色的3D模 型。在此前的系统中，3D模型描述了凸角边缘和封闭面。使用摄像机姿态的先验估计，将运 个3D模型投射到针对每帖的摄像机视图中，计算边缘的可见部分。
[0009] 因特网上还有另一种应用称为"mydeco"，其中可W利用虚拟对象增强显示真实环 境的图像。不过，运种系统需要设置地平面的旋转，对于用户而言运相当麻烦。
[0010] 在Petri Honkamaa，Jani Jaeppinen，Charles Woodward的('A Lightweight Approach for Augmented Reality on Camera Phones using 2D Images to Simulate 3护（ACM International Conference Proceeding Series；Vol.284,Proceedings of the 6th international conference on Mobile and ubiquitous multimedia，OuIu， Finland,化ges 155-159，Year of 化blication:2007，ISBN:978-1-59593-916-6)中，描述 了使用人工交互进行初始化，尤其是借助于参考模型和用户对其操控，是一种适当的方式， 因为对于用户而言跟踪初始化是一项容易的任务，但使其自动化会需要事先了解环境、相 当强的处理能力和/或额外的传感器。此外，运种交互方案与环境无关，可W在"任何时候， 任何地方"应用。
[0011] 在US 7,002,551中，公开了一种用于提供光学透视增强现实比例尺修改显示的方 法和系统。它包括传感器套装，包括罗盘、惯性测量单元和视频摄像机，用于精确测量用户 当前的取向和角旋转速率。可W包括传感器融合模块W产生对用户角旋转速率和当前取向 的统一估计，提供给取向和速率估计模块。取向和速率估计模块W静态或动态(预测)模式 工作。绘图模块接收取向；绘图模块使用该取向、来自位置测量系统的位置W及来自数据库 的数据在光学显示器中绘示对象处于其正确取向和位置的图形图像。位置测量系统可有效 地进行位置估计，用于产生对象的计算机产生图像，W与实景合并，该系统与绘制模块连 接。位置测量系统的范例是差分GPS。因为用户正在观看距离相当远的目标(例如通过双筒 望远镜），所W由于位置测量系统中的位置误差导致的配准误差得到最小化。
[0012] 因此，有益的是，提供一种方法和系统，用于确定摄像机相对于真实环境的至少一 个对象的姿态，用于创作或增强现实应用中，可W利用更少的处理要求和/或W更高的处理 速度执行其，更具体而言，提供事先无需对环境了解太多而创作3D对象的方法，在必要时， 能够集成用户的交互W服务于姿态估计。

【发明内容】

[0013] 本发明的实施例包括W下方面。在第一方面中，提供了一种用于确定摄像机相对 于真实环境中至少一个对象的姿态的方法，用于创作或增强现实应用中，包括W下步骤：由 拍摄真实环境真实对象的摄像机产生至少一个第一图像;从与所述摄像机相关联的至少一 个取向传感器或从算法产生第一取向数据，所述算法分析所述第一图像W找到并确定表示 所述摄像机取向的特征;提供用于分配摄像机到第一图像中显示的真实环境第一对象的距 离的模块，所述模块产生表示所分配的摄像机到第一对象的距离的距离数据，并利用距离 数据和第一取向数据确定摄像机相对于与真实环境的第一对象相关的坐标系的姿态。
[0014] 在第二方面中，提供了一种用于确定摄像机相对于真实环境中至少一个对象的姿 态的方法，用于创作或增强现实应用中，包括W下步骤：由拍摄真实环境对象的摄像机产生 至少一个图像;在图像显示模块上显示图像;从与所述摄像机相关联的至少一个取向传感 器或从算法产生取向数据，所述算法分析所述图像W找到表示所述摄像机取向的特征;提 供被显示为与所述图像中的真实环境