l是采集第一图像的摄像机的摄像机固有参数矩阵，K2是采集第二图像的摄 像机的固有参数矩阵，t是两个摄像机视图之间的平移，R为旋转。
[0067] 令Pl和p2为图像1和图像2中的两个对应点，它们证实了 ：
[006引 p2T Fpl=O
[0069] 因此F是按比例定义的。有了 K和F，可W得到成比例的实质矩阵
[0070] E=[t]x R
[0071] 可W从点对应关系直接计算实质矩阵。因此，为了得到成比例的平移t和旋转R(要 获得更多信息，参见B.Horn:Recovering baseline and orientation from essential matrixjournal of the Optical Society of Ame;rica，Januaryl990)。既然在两幅图像 中都可见到平面，就可能计算出单应性，其将图像I中运个平面上的每个点转换成图像2中 的其对应点。可W将单应性写为：
[0072] G=K2(R+t/d nT化 1-1
[0073] 其中n为第一摄像机视图中表达的平面的法向矢量，是第一视图的摄像机中屯、和 平面之间的距离。如果我们知道两幅图像包含该平面且该平面具有很多特征点，检测位于 平面上的点非常容易，例如:验证同一单应性的最大点集。另一种可能是探测平面W从对应 关系重构3D点并找到包括大数量3D点的平面(任选地，接近平行于从权利要求1中的取向的 平面，例如，W减小捜索空间并改进鲁棒性）。从单应性G，能够巧次)得到R，并能够得到t/ d，能够得到n(利用OD Faugeras,F Lustman的Motion and Structure From Motion in a Piecewise Planar Environment的算法，Intern . J . of Pattern Recogn . and Artific.Intelige.，Vol.2,No.,3.(1988)，pp.485-508)。
[0074] 由此可W看到要解决的问题，有了 t的尺度将得到d，有了 d将得到t的尺度（"a")。 两个视图之间的平移(车中的里程表或GPS-O会给出t的尺度。一个特征Pl的距离给出了运 个特征的深度Z，我们知道：
[0075] Z pl=Kl[x y z]
[0076] -在P在该平面上时，我们有
[0077] nT[x y Z] = d,运意味着d = z r/Kl-ipl.
[0078] -在Pi不在平面上时，需要求解
[0079] K2(z 服l-ipl+alpha t0)=be1:a p2
[0080] 其中to是与真实平移共线的矢量，范数等于I，未知数为a和0，非常容易找到解(方 程比未知数多）。
[0081] 两个特征X=[x y Z]和X' = [x'y'z']之间的距离允许得到t的尺度：
[0082] 实际上给出了I |X-X'| HMzKripl-z'Kl-iplpl'l I。利用方程
[0083] K2(Z 服l-ipl+alpha t)=be化 p2
[0084] 能够表达z和z'，使得z = Aa且z'=A'a，其中A仅取决于K，R，t(成比例），p巧日p2，而 A'仅取决于Kl，K2，R，t(成比例），pl'和p2'（运些参数或者是假设给出的或者是上文计算 的)。
[00化]alpha= I |X-X'I I / I IA-A'I I
[0086] 在步骤Cl中，从对第一图像的先前处理提供摄像机相对于第一图像中真实对象的 姿态，使用摄像机相对于第一图像中真实对象的姿态和至少一个关系确定摄像机相对于第 二图像中真实对象的姿态，至少一个关系即基本矩阵和"a"，用于确定姿态的平移参数tx， ty，tz，由定义摄像机位置和取向的参数tx，ty，tz，rx，巧，rz ( "t"代表平移，V'代表S个不 同维度上的旋转参数)构成。
[0087] 具体而言，使用针对第一图像记录的距离数据和第一取向数据确定第一图像中的 至少一个放置坐标系(例如坐标系33)及其在第一图像中的位置和取向（如上所述），其中基 本矩阵和V'用于为第二图像中的放置坐标系分配对应于第一图像中相应位置和取向的位 置和取向。在图2帥示出了运种情况，其中，第二图像60(根据"转换"的放置坐标系33定位） 中示出了图2A中的参考模型50(根据放置坐标系33定位），位置和取向对应于第一图像30中 的相应位置和取向（即，参考模型的后方转向第一图像30中的壁）。
[0088] 根据实施例，提供至少一个关系（基本矩阵和a)的步骤还可W包括一种或多种W 下步骤：
[0089] 提供至少一个表示拍摄第一图像和第二图像之间摄像机运动的参数(步骤BI)。例 如，在步骤Bl中提供至少一个参数可W包括提供拍摄第一图像时摄像机的第一位置参数和 拍摄第二图像时摄像机的第二位置参数，位置参数是由定位系统或探测器，例如用户GPS的 探测器产生的。可W由卫星定位系统、无线网络定位机构、移动电话蜂窝位置机构和高度测 量装置，例如高度计，中的至少一种产生第一和第二位置参数中的至少一个。注意，（来自 tx，ty，tz的)一个平移尺度的测量值或t的范数注意求解a。
[0090] 提供至少一个表示在第一和第二图像中都可见的真实环境两个特征间距离的参 数(步骤B2)。任选地，可W应用参考模型50给出的尺度生成的2D-3D对应(任选地，假设参考 模型在一个平面上）（步骤B3)向步骤B2提供输入。
[0091] 通过假设它们在平面上并假设参考模型50位于平面上来提供至少一个表示在图 像之一中都可见的真实环境两个特征间距离的参数(步骤B2)，参考模型的尺度为两个特征 之间的距离提供尺度。
[0092] 而且，可W查询摄像机之一的位置附近特征（包括3D位置或特征距离）的数据库， 获得图像之一中的特征和数据库中特征之间的特征对应关系。可W利用在已知姿态拍摄的 图像源生成运个数据库，像GOOGLE饭Streetvi ew。匹配来自两个位置的重叠图像的特 征并使用上述机制。
[0093] 提供至少一个表示真实环境的至少一个特征(在两幅图像中都匹配)和一个摄像 机之间距离的参数(步骤B4)。例如，所提取的靠近摄像机投影中屯、或接近距离测量单元的 特征是瞄准。
[0094] 此外，在步骤Cl中，在第二图像中放置了放置坐标系(位置和取向对应于第一图像 中的相应位置和取向）之后，确定两幅图像中相对于放置坐标系的姿态。此外，确定两幅图 像中所有匹配的特征对应关系的3D位置。在步骤C2中，利用上文所述的特征3D位置或利用 单应性约束，可W确定主平面，例如地平面。
[00M]继续步骤C3，例如，通过沿着平面法线移动，将第一图像中的放置坐标系定位在地 平面上。
[0096] 图9-12示出了与前述场景不同的场景。在图9-12中，图9-11所示的图像对应于摄 像机拍摄的第一图像，于是像前述场景那样，利用附图标记30表示。另一方面，图12示出了 由同一或不同摄像机拍摄的与前述第二图像60对应的第二图像。
[0097] 转到步骤C4,如图9-12所示，该方法前进到根据第一图像中确定的放置坐标系33a 将至少一个虚拟对象(例如，图9中的对象71a，可W是参考模型或要与现实世界叠加的任何 虚拟对象)与真实环境叠加。之后，根据现在位于第一图像中先前确定的地平面上的放置坐 标系33a(在将坐标系33a移动到所确定的地平面之后，现在被显示为图9中的对象7化，新定 位的坐标系表示为33b)将虚拟对象与真实环境叠加。该过程继续进行，沿着地平面移动放 置坐标系33b(换言之，调节x，y)。如图10所示，在地平面上移动并定位放置坐标系33b，使得 根据第一图像中的（原始）放置坐标系33a的虚拟对象（对象71a)的投影基本等于或接近 (即，基本对应于)根据在地平面上移动并定位的放置坐标系33b的虚拟对象(对象7化)的投 影。如图11所示，该过程可W继续，任选地缩放虚拟对象7化（即，改变尺度，例如其高度），使 其对应于用户一开始在第一图像30中放置的虚拟对象(对象71a)的原始尺度。
[0098] 另一种实现运一目的的可能性是从摄像机中屯、在对象一点（例如位于下部)上发 射射线。下一步是使射线与平面相交。然后，最后，绘制虚拟对象，使得该点与交点重叠。
[0099] 可W针对所有放置的虚拟对象逐一进行校正对象位置的过程，未必改变放置坐标 系，但改变虚拟模型与放置坐标系的关系（tx，ty，tz，rx，巧，rz)。
[0100] 如图12所示，现在根据第二图像60中地平面上移动的放置坐标系将虚拟对象7化 与真实环境叠加，其中图12示出，可W从实际的地平面位移第一图像30中假设的放置坐标 系。
[0101] 应当指出，可W在背景中执行虚拟对象71a、71b的叠加，即不在显示屏上显示，而 是仅仅在算法中叠加，用于确定在地平面上正确定位的最终放置坐标系。可W在任意其他 图像中使用运一地平面，用于将任何虚拟对象与真实环境叠加，不管其他图像的相应远景 如何。
[0102] 尽管已经参考示范性实施例描述了本发明，但本领域的技术人员将理解，可W进 行各种改变，可W用等价元件替代其元件而不脱离本发明的范围。此外，可W做出很多修改 W针对本发明的教导调整特定状况或材料，而不脱离其实质范围。因此，意在本发明不限于 公开的具体实施例，而是本发明将包括落在所附权利要求范围之内的所有实施例。
【主权项】
1. 一种用于将虚拟模型与真实环境重叠以用于创作或增