039] 结合步骤4.0,系统正在接收用户的指令，用于由用户操控参考模型50,参考模型 的操控包括如下至少一种:在平面上第一图像30之内的特定位置移动参考模型50,该平面 至少部分由取向数据定义；W及改变参考模型50的尺度或变量，例如移动参考模型50和/或 改变参考模型50的高度(在图1中，表示为移动和缩放参考模型）。
[0040] 在下一步中，利用虚拟参考模型50,由其利用图像30中实际显示的其参数，例如高 度，确定摄像机11和真实对象31之间的距离数据。就此而言，系统假设用户已在图像之内正 确放置了参考模型50,使得参考模型50的比例对应于图像30中真实对象31、32的比例。从参 考模型50的尺度，考虑到固有摄像机参数，可W导出摄像机11和真实对象31之间的距离。然 后利用来自步骤4.0的距离数据和来自步骤2.0的取向数据确定摄像机11相对于真实对象 31(或相对于与对象31相关联的坐标系33)的姿态。根据其最终位置和取向，参考模型50界 定坐标系33的位置和取向。根据步骤5.0,根据确定的摄像机姿态，将图2B或图5所示的至少 一个虚拟对象40与第一图像30中的真实环境叠加。如图2B所示，可W取消参考模型50。
[0041] 用户操控参考模型50可W包括W下步骤中的至少一个:使用两个手指，借助触摸 屏触摸参考模型，使手指彼此远离W增大尺寸，使手指彼此靠近W减小参考模型的尺寸(在 具有来自传感器的距离测量结果时，运可能不是必要的），使用两个手指，借助于触摸屏触 摸参考模型，彼此相对地旋转手指，W绕着垂直于地平面的轴旋转参考模型，利用至少一个 手指触摸参考模型，并移动手指W在平面上移动参考模型。
[0042] 在取向传感器表示摄像机的视轴取向接近平行于地面或向上看时，可W决定激活 W替代W上交互方法的另一种交互可能是运样的方法:其中，用户操控参考模型可W包括 W下步骤中的至少一个：
[0043] -使用两个手指，借助触摸屏触摸参考模型，使手指彼此远离W使模型更接近观看 者，移动发生于假定的地平面上并平行于假定的地平面与包含摄像机中屯、的平面的交叉 线，摄像机坐标系中的X为零。
[0044] -使用两个手指，借助触摸屏触摸参考模型，使手指彼此靠近W使模型远离观看 者，移动发生于假定的地平面上并平行于假定的地平面与包含摄像机中屯、的平面的交叉 线，摄像机坐标系中的X为零。
[0045] -使用两个手指，借助触摸屏触摸参考模型，并彼此相对地旋转手指，W便绕着垂 直于假定地平面的轴旋转参考模型。
[0046] -利用至少一个手指触摸参考模型并上下移动手指，W便平行于假定地平面的法 线移动参考模型。
[0047] -利用至少一个手指触摸参考模型并左右移动手指，W便在假定地平面上并平行 于假定地平面和包含摄像机中屯、的平面的交叉线移动参考模型，摄像机坐标系中的y为零。
[0048] 根据另一实施例，提供用于分配摄像机11到真实对象31的距离的模块包括提供与 摄像机11相关联的测量装置，例如距离传感器，用于测量表示摄像机11和真实对象31之间 距离的至少一个参数，其中基于该至少一个参数产生距离数据。例如，测量装置包括W下装 置之一：由摄像机的聚焦单元、距离传感器、至少一个飞行时间摄像机和/或一个或多个立 体摄像机提供的距离。
[0049] 根据图3的实施例，测量装置14可W与摄像机11相关联，用于测量摄像机和对象31 之间的距离。与摄像机11禪合的处理装置13被布置成从实测距离产生距离数据，并利用距 离数据和取向数据确定摄像机相对于对象31的初始姿态。可W依据在地平面上的位置W及 绕平行于平面法线的轴的旋转细化初始姿态。就此而言，图4示出了在知道与聚焦对象(在 图4中与桌子31不同）的距离W及描述取向传感器提供的地平面法线的两个角度的情况下， 如何确定摄像机11的姿态的范例。生成描述平面相对于摄像机旋转的旋转矩阵的一种可能 是将第一矩阵列设置为重力矢量(可W由取向传感器提供）。将第二矩阵矢量设置为与垂直 于重力矢量的平面平行的任意矢量。可W利用两个其他列的矢量积获得第=矩阵列。所有 列都应当被归一化。
[0050] 在本发明的实施例中，该方法还包括提供表示摄像机绕垂直于地平面的轴的旋转 的参数，例如，由旋转传感器或罗盘提供(在图6中表示为Z旋转）。运使得如上所述的第二矩 阵矢量不是任意的。一开始可W正确地对模型取向，该模型与地球坐标系，例如表示北的标 志相关。
[0051] 在另一种方法中，提供用于分配摄像机11到真实对象31的距离的模块可W包括提 供至少一个参数并使用固有的摄像机参数，其表示图像30中可见的真实环境两个特征间的 距离，例如桌子31的桌腿和柜子32的一个边缘之间的距离。另一种有帮助的范例是提供位 于地平面上的两个特征的距离。在适当的图像处理算法示出探测到的特征且用户从其对真 实环境的了解提供距离之后，可W由用户W交互的方式提供该参数。
[0052] 也可W通过任何适当方式组合用于提供分配摄像机11到真实对象31的距离的模 块的任何上述方式。
[0053] 如图3所示，使用距离数据和取向数据确定图像30中的至少一个放置坐标系，例如 坐标系33,其中相对于放置坐标系33使至少一个虚拟对象40与真实环境叠加。在仅有一幅 图像时，没有例如指向地的距离传感器，系统可能无法精确确定用于分配其上的对应坐标 系的地平面。就此而言，假设放置坐标系33大致为地坐标系。如下文更详细所述，可W利用 从摄像机不同姿态拍摄的相同场景的第二图像确定地平面，从而确定地坐标系。
[0054] 参考图5,示出了与真实环境叠加的虚拟模型40,应当指出，虚拟模型40也可W充 当上文参考图2A所述的参考模型50。
[0055] 在图像30所示的房间中叠加虚拟模型40,用户可W获得如果在现实世界的房间中 放入真实的沙发将如何与虚拟模型40对应的印象。因此，用户可W使用其移动电话拍摄图 像并利用任何种类的虚拟对象增强图像，其中技术人员知晓各种应用。另一种应用例如可 W是:在现实世界的图画中放置对象并具有摄像机的GPS位置和绝对取向，利用本发明确定 虚拟模型40的姿态，允许馈送定位在地球上的对象的全局数据库，像GOOGLE液化dh。
[0056] 在图6中，如上所述，更详细地示出了上述过程。在初始化步骤中，一开始假设参考 模型50的距离。根据用户的主观印象在平面(平面平行于地平面)上移动参考模型50和/或 改变参考对象的尺度/参数，可W确定必要的平移数据。
[0057]参考图更详细地解释了用于确定摄像机取向而不利用取向传感器的遵循"线条取 陆'方式的算法：
[0化引隐没点是平行线交叉点的图像。令vx、vy、vz为隐没点，VX为"无穷远点Ix= (1，0， 0,0^的图像(x轴），vy为"无穷远点Iy=(0，l，0,0^的图像(y轴），vz为"无穷远点Iz = (0， 0，1，0)"的图像^轴）。此外，令乂义的齐次坐标为乂义=[111，乂1，巧1]=1(*[1?*]*山。可^利用 inv化)*vx并随后将其归一化到1获得矩阵R的第一列。此外，令vy的齐次坐标为Vy= [u2， v2，w2]=K*[R t]*Iy。可W利用inv化)*vy并随后将其归一化到1获得矩阵R的第二列。最 后，令VZ的齐次坐标为VZ= [u3，v3，w3] =K*[R t]*Iz。可W利用inv化)*vz并随后将其归一 化到1获得矩阵R的第=列。如果vx、vy和VZ中仅有两个点可用，那么仍然能够使用矢量积计 算第S个，例女日vz = vx'vy。参见Z.Kim，（'Geometry of vanishing points and its application to external calibration and realtime pose estimation''， Inst .Transp. Stud.，Res .Rep .UCB-ITS-RR-2006-5, Uni V.化1 if ,Berkeley ,CA ,2006，获取 更多细节。
[0059] 根据图8,将更详细地解释根据同一场景但从不同姿态拍摄的至少一个第二图像 或更多图像计算地坐标系的方法。
[0060] 该方法包括由摄像机(可W是与拍摄第一图像的摄像机相同或不同的摄像机，其 固有参数也是已知的）产生第二图像60的步骤，该摄像机从不同姿态拍摄真实环境的真实 对象(例如，图像30的对象31)。
[0061] 在下一步骤中，提取来自第一图像30和第二图像60的至少一个相应特征，其中匹 配相应特征W提供表示第一图像和第二图像之间对应关系的至少一个关系(在图8中在步 骤A2中该关系表示为"基本矩阵"，根据比例尺定义该矩阵(要获得更多细节，参见Multiple View Geometry In Computer Vision第11章，第二片反，Richard Hartley和Andrew Zisse;rman，Camb;ridge University Press，Ma;rch 2004)在步骤B5中确定表示为 V'的化比 例尺）。根据步骤Al,可W使用从拍摄第二图像时的新姿态导出的第二取向数据减少所需特 征的量或检查基本矩阵的结果。结果，第一图像的放置坐标系33可W过渡到第二图像。
[0062] 当然可W利用取向传感器支持基本矩阵的计算，减少所需特征匹配的量。
[0063] 在下文中，更详细地解释缺失V'的计算：
[0064] 从第一图像（图像1)和第二图像（图像2)之间的点对应关系，能够构建出基本矩 阵：
[00化]F=K2-T[t]x 服-1
[0066] 其中K