测量设备和控制方法

专利名称：测量设备和控制方法
技术领域：
本发明涉及一种在摄像设备拍摄测量对象的图像时使用 该测量对象的模型来测量该摄像设备的位置和方位的测量设备 和控制方法。
背景技术：
例如，在才是供现实空间和虚拟空间的组合显示的混合现实 感系统中，需要测量拍摄现实空间的图像的照相机(以下将其适 当称为照相机)等的摄像设备的位置和方位。
过去，采用具有的已知3D位置的标记的方法是众所周知的 用于测量摄像设备的位置和方位的方法。在该方法中，使用在 拍摄图像中检测到的标记在拍摄图像内的位置与通过基于摄像 设备的大致的位置和方位将标记的3 D位置投影在成像平面上 所获得的投影位置之间的距离作为误差，并且估计位置和方位 以便优化使该误差最小化的目标函数。而且，所采用的标记通 常具有特殊的易于检测的几何或色调相关的特征。
此外，已公开了 一种利用测量对象的模型来测量位置和方 位的方法，在该方法中，采用测量对象的结构，并且将构成测 量对象的平面的边界视为边缘。应该注意，这里所使用的术语 "边缘"是指在拍摄图像中观察到浓度的较大变化的区域。
Tom Drummond和Roberto Cipolla在"Real-time visual tracking of complex structures", IEEE Transactions of Pattern Analysis and Machine Intelligence. Vol. 24, No. 7， pp.932-946， 2002(以下称之为文献l)中说明了 一种借助作为测量对象的几 何特征的线段(称为测量线段)来估计位置和方位的方法。在该方法下，从摄像设备的大致的位置和方位来看，将测量线段的 三维位置投影在成像平面上，并且通过利用在拍摄图像中所检 测到的边缘与投影测量线段之间的距离作为目标函数，来估计
<i置禾口方4立。
以下给出该技术的概述。
-使用大致估计的位置和方位，将来自测量对象的测量线段 投影在拍摄图像上。
-通过搜索投影测量线段附近的拍摄图像中的像素，获得浓 度发生局部变化的边缘区域的位置。
-执行优化，从而缩小投影测量线段与边缘区域的位置之间 的距离。
-更新估计的位置和方位的值。
由于只要已知对象3D模型，就可以使用对象3D模型作为测 量设备的测量对象，因而这种基于使用测量对象中存在的测量 线段的位置和方位估计具有广泛的应用范围。另外，在上述估 计中，拍摄图像内的边缘搜索的范围仅限于投影测量线段周围 的图像。因此，这提供如下优点与在从整个拍摄图像通过图 像处理检测边缘时获得模型的距离的方法相比，可以缩短处理 时间。因此，该位置和方位估计已用于头部位置估计等的混合 现实感中需要实时处理的摄像设备的对准。
在文献l中，使用形状相对简单的测量对象作为测量对象， 并且摄像设备与测量对象之间的距离改变也不大。因此，在视 野中的测量对象模型的方位发生微小变化时，在所观察的边缘 几乎不发生变化，这使得位置和方位的估计成为可能。
在实际环境中，通常将测量对象的影子等视为边缘，这通 常使得位置和方位估计不可靠。在L. Vacchetti, V. Lepetit和P. Fua的"Combining edge and texture information for real-timeaccurate 3D camera tracking", Proceedings of International Symposium on Mixed and Augmented Reality, pp. 48-57, 2004(以
下称之为文献2)中，将所观察的多个边缘的其中一个与测量线 段相关联，并且进行优化计算，从而最小化关联边缘与投影在 成像平面上的测量线段之间的距离。根据文献2，在包括待测量 的边缘以外的边缘的环境中，可以利用用以通过重复使用上述 关联相关的假定使得误差最小化所执行的收敛，来进行鲁棒的 位置和方位估计。
迄今为止提出的方法在测量对象与观察该测量对象的摄 像设备之间的相对位置关系变化不大时都可以很好地工作。然 而，当摄像设备与人的运动结合时，即，当人为了导航等握持 摄像设备本身并且移动时，就会出现问题。这些问题是由于以 下事实而引起的当人围绕建筑物或在户外行走时，测量对象 和摄像设备的相对位置发生相当大的变化。
这里，作为例子，图2A 2H示出握持摄像设备的人正沿着 室内走廊行走的情况。图2A、 2C、 2E和2G表示从里面行走的 人的视点位置看到的建筑物结构的边缘。图2B、 2D、 2F和2H 是示出从上面看的室内环境的图，其中，黑点表示正在行走的 人的位置，并且附加给黑点的三角形表示正在行走的人的注一见 方向。在图2A、 2C、 2E和2G中的各位置所获得的俯视图对应 于图2B、 2D、 2F禾口2H。
如果观察图2A中门的边缘和图2C中门的边缘，我们可以发 现尽管我们正在看同 一观察对象，即，同一个门，但是由于 视点和对象的相对位置的不同，因而可以观察到的图像几何特 征的结构已改变。此外，图2E和图2G示出正在行走的人快速向 走来的方向回看的情况。可以看出，此时，由正在行走的人观 察到的对象从接近的门的边缘突然变成向远处延伸的走廊的边缘。因此，在测量对象为室内或室外结构并且四处携带摄像设
备的应用中，经常发生图2A、 2C、 2E和2G所示的视点变化。
当所观察的对象和摄像设备的相对位置改变时，在拍摄图 像上的投影和测量对象的几何特征中出现问题。即，当观察处 于相对远离摄像设备的位置的详细几何特征时，投影图像上相 互接近的投影几何特征之间的间隔变窄，并且，在某些情况下， 可能将多个几何特征投影在小于l个像素内。为了处理这种情 况，设想根据几何特征和摄像设备的相对位置关系来切换几何 特征，但是，必需以系统方式预先设置几何特征和摄像设备的
相对位置之间的关系。
然而，在可以回头看的走廊等的环境中出现的难题是多个 模型之间的延迟切换。而且，基本上，难以检测拍摄图像中小 于l个像素的线段。因此，当接近的几何特征处于远处时，变得 难以在拍摄图像内的各个投影几何特征中检测到双方的图像几 何特征，这就影响了估计结果。同时，由于根据接近的投影几 何特征所获得的图像几何特征搜索区域重叠，因而变得更加难 以实现有效处理。
此外，在用于获得位置和方位的优化计算过程中不得不重 复执行非线性计算。因此，当对图像几何特征检测等的处理花
费大量时间时，在达到足够的精度之前就停止迭代。这在需要 视频帧率的实时处理以及位置和方位的精度的混合现实感技术 中是不期望的。

发明内容
考虑到上述问题做出了本发明，并且本发明提供一种可以 在不受摄像设备与测量对象之间的相对位置关系的影响的情况 下有效获得摄像设备的位置和方位的测量设备和方法。根据本发明的一个方面，提供一种测量设备，用于测量用 于拍摄一 个或更多个测量对象的图像的摄像设备相对于测量对 象的相对位置和方位，所述测量设备包括图像获取部件，用
于从所述摄像设备获取拍摄图像；投影部件，用于基于所述摄 像设备的位置和方位，将所述测量对象的3 D模型的几何特征投 影到所述拍摄图像上，以获得投影几何特征；选择部件，用于 基于在所述拍摄图像中所述投影几何特征间的距离，从由所述 投影部件获得的所述投影几何特征中选择要用于计算位置和方 位的投影几何特征；以及计算部件，用于使用由所述选择部件 选择的所述投影几何特征、以及在所述拍摄图像中检测到的与 所选择的所述投影几何特征相对应的图像几何特征，来计算所 述摄像设备相对于所述测量对象的相对位置和方位。
根据本发明的另一方面，提供一种用于测量设备的控制方 法，所述测量设备用于测量用于拍摄一个或更多个测量对象的 图像的摄像设备相对于测量对象的相对位置和方位，所述控制 方法包括如下步骤图像获取步骤，用于从所述摄像设备获取 拍摄图像；投影步骤，用于基于所述摄像设备的位置和方位， 将所述测量对象的3 D模型的各几何特征投影到所述拍摄图像 上，以获得投影几何特征；选择步骤，用于基于在所述拍摄图 像中所述投影几何特征间的距离，从在所述投影步骤中获得的 所述投影几何特征中选择要用于计算位置和方位的投影几何特 征；以及计算步骤，用于使用在所述选择步骤中选择的所述投 影几何特征、以及在所述拍摄图像中检测到的与所选择的所述 投影几何特征相对应的图像几何特征，来计算所述摄像设备相 对于所述测量对象的相对位置和方位。
通过以下参考附图对典型实施例的说明，本发明的其它特 征将显而易见。


图l是示出根据实施例l的测量设备的功能结构的图。
图2A ~ 2H示出在视点变化时所观察到的图像几何特征的 分布的差异。
图3是说明实施例1的测量设备中所使用的图像几何特征 的搜索起点和搜索对应点的图。
图4是示出根据本发明实施例的测量设备的功能结构的图。
图5是示出在用于混合现实感应用中时的根据本发明实施 例的测量设备的结构的图。
具体实施例方式
下面参考附图详细说明本发明的优选实施例。
实施例1
图l是示出测量设备100和摄像设备50的框图。图l示出测量 "i殳备100中的处理的流程和凄t据流。应该注意，作为由未示出的 CPU执行存储在未示出的ROM或RAM中的控制程序的结果，部 分或全部实现以下示出的测量i殳备100的结构。换句话i兌，可以 通过在常见计算机上执行用于执行下述处理的控制程序来实现 测量设备IOO。
在本实施例的测量设备100中，通过拍ii图像输入单元iio 和粗略输入单元130(附图中标记为"粗略位置/方位输入单元") 来连接拍摄场景的图像的摄像设备50、以及获取摄像设备50的 大致的位置和方位的粗略测量设备70(附图中标记为"粗略位置 /方位测量设备")。而且，从几何特征输入单元120获取描述测 量对象对准所使用的几何特征的测量对象的3 D模型6 0 。几何特征输入单元120可以被配置成从装载的存储介质接受3D模型60 作为输入(读取)，或者可以被配置成通过网络等从外部接受3D 模型60作为输入。测量设备100的目的是在摄像设备50拍摄包 括通过测量对象的3D模型60所描述的测量对象的场景的图像 时，使用拍摄图像信息，以获得摄像设备50相对于测量对象的 相对位置和方4立。
应该注意，在本实施例中，允许测量^:备100进行位置和 方位估计的条件是在由摄像设备5 0拍摄的场景的拍摄图像中 包括测量对象的图像。应该注意，当在拍摄图像中没有测量对 象的图像时，可以"照原样"使用粗略测量设备70的测量值。
摄像设备50是利用由CCD或CMOS元件构成的光电转换元 件的2D摄像设备。而且，摄像设备50通过拍摄图像输入单元110 将视频信号发送给测量设备IOO。拍摄图像输入单元110被配置 成允许通过信号线缆(线路)或无线地进行视频信号的传送。此 外，可以釆用将摄像设备50包含在测量设备100中的形式，或者 采用将用于实现测量设备10 0的处理的结构包含在摄像设备5 0 的处理器中的形式。
测量对象的3D模型60是包括测量对象的3D几何信息的模 型，并且包括作为由摄像设备50拍摄的图像中的边缘所检测到 的几何特征。总的来说，可以使用CAD和其它设计数据作为3D 模型60。而且，还可以配置3D模型60以允许输入由测量装置所 测得的值作为3D模型。应该注意，商品化的3D测量应用程序可 以用于编辑3D模型。此外，还可以利用测量工具测量建筑物中 的墙表面和门的边缘。在本实施例中，假定在可以附接到测量 设备10 0并可以从测量设备10 0移除的存储介质上提供目标测量 对象，以允许测量设备100切换测量对象。因此，利用能够从可 移动存储介质读取数据的接口来安装测量设备10 0的几何特征输入单元120。
另一方面，当处理现有固定测量对象时，可以使用非易失
性存储器或存储介质将3D模型信息包含在测量设备100中。即， 可以在执行测量之前以某种方式将测量对象的3D模型60提供 给测量设备IOO。因此，可以通过存储在外部存储介质上的多个 3D模型来指定3D模型60,以及可以通过网络从远程服务器获取 3D才莫型60。
此外，由于测量设备100可以包含可从拍摄图像检测到的 几何特征数据，因而测量设备100可以被配置成包括用于转换各 种31)模型数据格式的处理单元。
粗略测量设备70是用于提供摄像设备50的大致的位置和 方位的设备。可以使用测量6DoF(六自由度)，即，使用磁场或 超声波的传感器在空间中的位置和方位的设备。应该注意，还 可以利用通过设置已知位置处的具有图形特征的标记并从拍摄 图像检测这些标记而获得的摄像设备50的粗略位置和方位。
而且，由于只要理解摄像设备50相对于测量对象的大致相 对位置和方位就足够了，因此， 一旦可以使用测量设备100获得
高精度的位置和方位，则可以在以后利用这些位置和方位结果。 因此，如果在将摄像设备50置于预定初始位置之后启动了位置 和方位测量，则可以不需要粗略测量设备70。这样，用于获得 粗略位置和方位的方法对本发明的实施不施加限制，并且可以 使用任何方法来获取位置和方位。
接着将说明位置和方位测量设备10 0的结构。 位置和方位测量设备100包括输入单元，用于输入来自 其它装置的信息；处理单元，用于基于来自输入单元的信息， 估计摄像设备相对于测量对象的相对位置和方位；以及输出单 元，用于输出摄像设备的位置和方位，从而其它装置可以使用该摄像设备的位置和方位。下面说明作为用于输入的单元的拍 摄图像输入单元110、几何特征输入单元120以及粗略输入单元
130。
首先，给出对于用以获取拍摄图像的摄像设备50的结构的 说明。通过拍摄图像输入单元110将摄像设备50连接到测量设备 100。在本实施例中，假定拍摄图像输入单元110具有用于视频 信号输入的连接器，该连接器与符合视频信号输出规格的、摄 像设备50的—见频输出端连接。
接着，将给出关于测量对象的3D模型60的读取的说明。假 定3D模型60的格式是测量设备100支持的格式。应该注意，在 处理设计CAD数据的情况下，几何特征输入单元120具有相应 的CAD格式分析能力，这使得可以处理任何模型数据。假定从 各个模型格式提取并保持与图像几何特征相对应的模型数据，
从而在拍摄图像中检测用于估计设备的位置和方位的测量对 象。换句话说，几何特征输入单元120基于根据粗略测量设备70 的摄像设备50的位置和方位，选择拍摄图像中存在的测量对象 的模型，并且保持该模型。
在本实施例中，假定几何特征包括一条或多条线段，并且 针对各线段至少包含两个点，即，3D起点和终点。应该注意， 如下所述，可以通过剪切(clip)生成起点和纟冬点两者。如果以通 过几何特征建立的模型坐标系表示构成线段的各点的坐标，贝'J 可以通过参考模型坐标系中的位置和方位与在扩展成实际空间 尺度期间所使用的比例因子，将起点和终点两者与现实空间相 匹酉己。
接着将说明从粗略测量设备70获取粗略位置和方位。假定 粗略测量设备70基于来自随同摄像设备50移动的传感器的信 息，测量摄像设备的大致位置和方位。在本实施例中，假定通过串行通信获取粗略测量设备70的信息。粗略输入单元130通过 串行通信，从粗略测量设备70荻取安装有传感器的摄像设备50 的大致位置和方位。此外，可以在粗略输入单元130或粗略测量 设备70中对适当的传感器进行偏移调整。
接着说明本实施例中的测量设备100的位置和方位估计所 涉及的处理。
通过参考水平同步信号和垂直同步信号，图像获取单元 200对通过拍摄图像输入单元110传送的拍摄图像，即，摄像设 备50的视频信号进行采样，并且将该拍摄图像保存为2D图像数 据。假定与摄像设备5 0的摄像定时同步地执行测量设备10 0的各 单元所进行的处理。从摄像设备50输出的视频同步信号可以用 于确认摄像定时。而且，当期望在摄像设备50中使用低偏斜光 学元件时，在使用表现偏斜的光学元件的情况下，可以预先校 准该镜头的偏斜，并使用该偏斜进行校正。更具体地，图像获 取单元2 0 0保持以数学模型的形式来近似正使用的镜头的偏斜 的参数。当其它处理单元(例如，图像几何特征搜索单元600) 检查拍摄图像的像素浓度时，图像获取单元200使用所保持的参 数来对偏斜进行校正，并提供该像素浓度。这样，检查像素浓 度的处理单元可以检查基于镜头偏斜校正等式校正后的像素位 置处的浓度，这还使得可以在允许近似的偏斜范围内维持拍摄 图像中的边缘的线性。
接着说明由本实施例中的测量设备10 0的几何特征投影单 元300所进行的处理。假定这里所使用的"几何特征"由起点和终 点这两点组成。而且，假定已将几何特征的坐标系转换成基于 基准坐标系的表示。
基准坐标系中的点的坐标[xw， yw, Zw]t和照相机坐标系中 的拍摄图像中的坐标[ux Uy]使用透视投影变换的矩阵P以如下方式相关。 等式l<formula>formula see original document page 16</formula>
这里，获h 4卡为齐次坐才示变4奐表示(homogeneous coordinate transformation representation), 并且使用所获得的h 计算[UxUy]T。而且，如果元素为R"、 R12、 R13、 R21、 R22、 R23, R31、 R32和R33的矩阵R(3x3矩阵)是基准坐标系中的方位旋转矩 阵，并且1=[" ty tz]是平行移动矢量，则可以以下面的方式表示 上面的等式中的P。
等式2<formula>formula see original document page 16</formula>
这里，fx、 fy是水平和垂直方向上的焦距，并且Px、 Py是水
平和垂直方向上的主点坐标。
如果预先校准了与摄像设备50中使用的光学元件的偏斜
有关的参数，则上面的等式的参数中的参数fx、fy和Px、 Py变为
已知值。此外，尽管作为照相机的方位分量的R具有9个分量，
但是使用关于三个独立矢量的旋转所产生的表示就足够了 。因 此，使用通过三个变量表示关于旋转轴的旋转角度的方法，来 表示旋转变换。即，如果旋转轴的矢量为k^d，并且旋转角
度为ra,则将按如下表示旋转矩阵R。 等式3(1 - cos ) + cos r。 (1 - cos r。) - /;sim; r,义(1 - c。s ra ) + sin/; ^ (1 - cos ra) + ^sim; rv2 (1 - cos r。) + cos ,。 r》,z (1 - cos r。) - ,,inr。 W (1 - cos r。) - r,im; (1 - cos r。) + —r。
(1 - cos r。) + cos r。
应该注意，在相对于旋转轴，1^2+1^2+1"22=1的条件下，并且 方位为co，则下面的等式成立。 等式4
几何特征的起,泉和终点可以经过透视j殳影变换，并且被变 换成照相机坐标系中的拍摄图像内的点。
实际上，通过对依靠光学元件在CCD或CMOS等成^象元件 上形成图像的光进行采样来获得拍摄图像。因此，成像元件的 范围是预先确定的。几何特征投影单元3 0 0仅保持起点或终点包 含在拍摄图像区域中的几何特征，作为透视投影变换计算的结 果。当在拍摄图像区域内仅包括几何特征的一个点，即，或者 起点或者终点时，使用该线段与拍摄图像区域的边界的交点作 为新的起点或终点。这样的处理是在计算机图形中称为"剪切" 的典型处理。
此外，在现实环境下，投影几何特征有时存在于投影几何 特征被其它对象遮挡并且不能观察到该投影几何特征的位置。 在这种情况下，如在上述文献l中所述，可以使用关于由多个几 何特征所构成的3D模型表面的信息来判断是否可以观察到投 影几何特征。
接着说明投影几何特征选择单元400。投影几何特征选择 单元400使由几何特征投影单元300所投影的各个几何特征经过 基于画面(拍摄图像中的)上的几何特征之间的距离来判断是否 将它们用于位置和方位计算的处理。首先，投影几何特征选择单元400获得投影几何特征在拍 摄图像中的距离。这里，给出对于第i个投影几何特征的说明。
第i个投影几何特征的起点为Ps(i^[xSi, ySi]T,并且其终点为 Pe(i)==[xei， yej]T。以下面的方式计算投影几何特征在拍摄图像 中的距离Di。 等式5
当距离Di短于预定阈值D'时，判断为该投影几何特征将不 用于获得随后的边缘的距离的处理。另一方面，当距离Di的长 度等于或大于D'时，假定该投影几何特征随后将用于基于边缘 距离的位置和方位估计处理。
应该注意，当位置和方位发生微小变化时，投影长度几乎 保持相同，这允许在重复位置和方位估计处理时基于距离I)i的 值的緩存的有效处理。
此外，在本实施例中，基于该投影几何特征和其它投影几 何特征之间的相互距离，对是否使用该投影几何特征进行判断。 在本实施例中，对于已经过投影变换的第i个投影几何特征的起 点Ps(i)和终点Pe(i),获得与直到第(i-1)个投影几何特征为止的 处理后的投影几何特征中所选择使用的投影几何特征的起,#、和 终点的距离。应该注意，第i个投影几何特征的起点Ps(i)和终点 Pe(i)分别是Ps(i)二[xSj ySi]T和Pe(i)^xei yej]T。然后，将最短距离 与预定阈值进行比较，并且判断为将不使用小于该阔值的距离。
作为上述处理的结果，在投影图像中的平行和相邻的投影 几何特征中，不使用作为与已选择使用的线段邻近的线段或判 断为具有等于或小于D'的长度的线段。作为执行这些选择操作 的结果，减少了进行下述的拍摄图像中的边缘搜索的图像区域中的值检查的频率，并且可以执行有效处理。此外，使用邻近 投影几何特征的边缘搜索区域的重叠，使得可以动态处理由于 摄像设备和测量对象之间的位置关系的变化而观察到的边缘变 化。此外，作为不使用判断为具有等于或小于D'的长度的线段 的结果，从经过计算的项中排除不允许获得足够信息来确定线 段方向的线段。
接着，对于已经过几何特征投影单元300的透视投影变换 的投影几何特征中由投影几何特征选择单元400所选择使用的 投影几何特征，投影几何特征搜索设置单元500计算用于在拍摄 图像中执行边缘搜索的点。接着参考图3说明对于投影几何特征 搜索设置单元500的图像几何特征的搜索起点和搜索相应点(搜 索终点)的设置。
在图3中，给出第i个投影几何特征(本实施例中的投影测量 线段)301的说明。第i个投影几何特征301的起点在Ps(i)=[xsi, ysif,并且其终点在Pe(ih[xei， yei]T。通过下面的等式表示连接 Ps(i)和Pe(i)的矢量Vj:
等式6
并且通过下面的等式表示标准化矢量 等式7<formula>formula see original document page 19</formula>
接着，沿着连接Ps(i)和Pe(i)的线段设置等距的搜索起点 c(i,m)。这里，m的范围是0 Mi,其中，使用预定搜索线段间隔 B根据下面的等式获得Mi。
等式8<formula>formula see original document page 20</formula>
在上面的等式中，[](高斯符号)表示没有超过给定数的最大
整数。使用作为结果的Mi,实际搜索间隔bi为 等式9
然后，通过下面的等式表示搜索起点C(i,m):
等式IO
从搜索起点C(j,m)开始在与测量线段垂直的方向上执行拍摄 图像中的边缘的搜索。搜索范围是从各搜索起点C(i,m)开始并且 延伸到搜索相应点S + (i，m)和S —(i，m)的线段区域，其中，横过该线段 区域进行边缘即图像几何特征的搜索。如果投影测量线段的标 准化矢量7,的法向矢量为,那么下面的关系成立
等式ll
下面还将上述的法向矢量指定为"标准化法向矢量Vii""。
如果从搜索相应点到搜索起点的距离为d,则搜索相应点
S + (,，m)的位置将为
等式12
,s'V,) =c(,,') +<，
并且，对侧的搜索相应点S —(i，m)的位置将为
等式13
r(',"o =c(,, ，) _^丄.应该注意，在将这里的标准化法向矢量VL的方向设置成与 投影几何特征垂直时，完全可以将搜索方向设置成允许在投影 几何特征附近搜索图像几何特征的方向。
具体地，可以4吏用通过在上、下、左和右四个方向上、或 者在另外还包括右上、右下、左上和左下的八个方向上对标准 化法向矢量Vjj进行量化所获得的矢量。选择相对于标准化法向 矢量V」j具有小差异的标准化矢量方向，使得可以有效处理图像
几何特征搜索。
此外，还可以预先在3D模型中描述几何特征搜索方向，并 且使用通过使搜索方向经过透视投影变换所产生的矢量。
图像几何特征搜索单元600基于从图像获取单元200所获 得的拍摄图像中由投影几何特征搜索设置单元5 0 0所设置的搜 索起点和搜索相应点之间的像素浓度，检测图像几何特征。例 如，图像几何特征搜索单元600检测读取的相邻像素的浓度具有 (超过预定阈值的点中的)明显浓度梯度的点，并且保持此时感 兴趣的像素的位置作为图像几何特征检测位置。
此外，增加处理的总效率的有效方法是参考从图像获取 单元200获取图像时开始已经历的时间，并判断已经历的时间是 否超过预定值，如果超过预定值，则设置为中断检测处理。
计算单元700(附图中标记为"位置/方位计算单元")基于拍 摄图像中由图像几何特征搜索单元600所检测到的图像几何特 征的位置和与该位置相对应的测量对象的投影测量线段的位置 之间的距离，计算并更新测量对象和摄像设备的相对位置和方 位。这里，给出关于计算单元700的摄像设备的位置和方位的计 算和更新的处理的说明。
通过执行优化计算，从而减小根据估计的位置和方位所观 察到的测量对象的几何特征的投影位置与所观察到的实际拍摄图像平面上的图像几何特征的位置之间的差，可以获得摄像设 备的更新后的位置和方位。在本实施例中，如上所述，使用测 量线段作为几何特征。
这里，将所观察到的图像几何特征的位置与测量对象的几 何特征的投影位置之间的距离当作误差，并且使用该误差作为 误差函数E。误差函数E接受照相机的位置t二 [txty tz]T、根据关
于旋转轴的淡:转角度的照相才几的方位ro = [cox coy 2]7和基准坐 标系中的所观察到的目标点的位置Xw二 [xwywzw]T，作为输入。
如果投影位置为U' = [U'x U'y]T,并且所观察到的位置为U =
l U x U y ],则可以由它们的差来表示拍摄图像的误差函数。
等式14
<formula>formula see original document page 22</formula>
总的来说，位置和方位与观察目标点的位置之间的关系是 非线性的，这是为什么通过上述等式所表示的误差函数E对于 输入也是非线性函数的原因。由于在本实施例中使用线段作为
投影几何特征，因而投影点为U" = [U"x U"y]T，其中该投影点使 通过边缘搜索检测到的观察点U = [Ux Uy]T与通过从该点向投影
线段绘制法线所获得的交点相匹配。在这种情况下，使用等式
15作为误差函数。 等式15
<formula>formula see original document page 22</formula>
如果在摄像设备的位置和方位经过微小变化的范围中对 于上述等式的线性近似使用 一阶泰勒展开，则可以以下面的方
式重写该等式。
等式16<formula>formula see original document page 23</formula>
通过将该等式的左右部分乘以J的转置矩阵JT，可以按照下
面表示校正矢量A的等式。 等式18
<formula>formula see original document page 23</formula>
进行更新直到校正矢量A的值减小为止，这使得可以获得 高精度的位置和方位。尽管上述方法示出基于牛顿法的解法， 但是显然可以使用其它方法进行优化计算。
应该注意，由于众所周知的非线性优化技术能够足以减小 图像几何特征的位置与通过将测量对象的几何特征投影到拍摄 图像上所获得的投影几何特征的位置之间的所观察到的图像中的距离，因而在本实施例中可以应用这些非线性优化技术。例
如，存在这样一种方法对于大致估计的位置和方位，生成大
量显示变量值附近的微小差的随机组合，获得各组合的误差， 并利用具有小误差值的组合。
而且，假定如果通过计算单元700处理后的误差低于预定 值，则终止基于相应的拍摄图像的位置和方位估计，并且通过 输出单元140输出该结果(摄像设备80的位置和方位)。如果该误 差大于预定值，则将更新后的位置和方位传递给几何特征投影 单元300,并且使用更新后的位置和方位执行基于边缘搜索结果 的位置和方位估计。如果在计算单元700中所进行的更新的次数 超过预定值，则意味着不能平稳进行位置和方位的估计。在这 种情况下，在本实施例中，将粗略输入单元130的值输出给输出 单元140。基于这种处理，测量设备100可以输出位置和方位计 算结果，虽然它们表示低精度粗略位置和方位。此时，还可以 将表示是否已精确地判断了位置和方位的值输出给输出单元 140。通过进行这些处理，该设备可用于允许测量设备100的用 户判断是否将输出的位置和方位测量值校正成高精度。例如， 在利用混合现实感技术的应用中，假定连续执行位置和方位测 量，并且表示位置和方位测量处理没有成功的信息使得可以更 改应用程序所进行的处理。
应该注意，尽管以上给出的说明是关于获得位置和方位的 所有六个参数的情况，但是，相同技术还可应用于通过其它方
式获得一些参数并随后获得其余参数的情况。例如，可以以类 似方式处理在将摄像设备安装在三角架上的环境下获得方位的 情况，或者处理使用用于测量相对于重力轴的倾斜的传感器所 产生的测量值倾斜角度来优化位置和方位的四个参数的情况。 应该注意，尽管上述实施例l示出了使用构成测量对象的3D模型的线段作为几何特征的情况，但是在实际实施中不局限 于使用线段。例如，即使几何特征为点、圆、椭圓等，都可以 应用本发明。
例如，如果几何特征为点，则投影图像中点的分布根据摄 像设备和测量对象的相对位置而变化。如果已投影在投影图像 上的点与拍摄图像中的几何特征的投影点之间的距离小于一个 像素，则将难以分离并检测各个图像几何特征。因此，通过在 本实施例中使用的投影几何特征选择单元400中进行与上述实 施例中的相同处理，可以解决这一问题。
如上所述，根据实施例l，基于投影几何特征的位置关系， 适当选择用于位置和方位计算的几何特征。因此，可以以有效 方式获得摄像设备的位置和方位，而不受摄像设备和测量对象 的相对位置的影响。
实施例2
上述实施例l说明了这样一种方法，在该方法中，在拍摄图 像中搜索与投影几何特征的位置相对应的图像几何特征，并且 估计位置和方位，以降低它们之间的距离。在检测拍摄图像中 的图像几何特征期间所进行的线段的检测中，可以使用普通 Sobel算子和Canny算子。这里，将拍摄图像中通过图像处理所 检测到的线段(将其适当地称为边缘)称为边缘元素。
关于投影几何特征和边缘元素的匹配，假定获得了粗略位 置和方位，可以将处于投影几何特征附近的边缘中具有类似长 度、方向等的边缘处理相关联，并且可以估计位置和方位，以 缩小与这些边缘元素的距离。在这种情况下，可以通过根据拍 摄图像中的距离确定几何特征的使用来减少多余的关联处理。
实施例3
当测量对象是描述整个建筑物结构的模型等的具有很大线段的3 D模型时，位置和方位估计所需的几何特征根据摄像设备 50和测量对象之间的距离，经过相当大的变化。因此，如果不 能以有效方式进行处理，则难以在照相机的成像间隔内进行位 置和方位估计。在实际实施中，在拍摄图像中，位置和方位估 计所需的几何特征可以具有特定长度，并且可以具有各种方向。 因此，因为即使中断了图像几何特征搜索处理，也能够完 成位置和方位估计所需的几何特征的处理，因而，考虑位置和 方位估计所需的几何特征的处理顺序的处理，使得可以处理很 大的几何特征，同时维持位置和方位的精度。
图4是示出具有几何特征排序单元800的实施例3的测量设 备100的结构的流程图，其中，几何特征排序单元800表示确定 模型的处理顺序的几何特征排序部件。应该注意，除几何特征 排序单元800以外，图4所示的结构与实施例l(图l)的结构相同。 因此，这里给出的说明集中于几何特征排序单元800所进行的处 理。
在实施例3中，假定如果几何特征为线段，则几何特征排 序单元8 0 0计算拍摄图像中的投影几何特征的长度，并且从最长 至最短对它们进行排序。而且，如果使用线段附近所分布的点 和像素作为几何特征，则可以使用定义像素分布的分布值来进
行排序。应该注意，尽管这里的说明是参考投影几何特征的长 度这一情况，但是在实际实施中，为了能够实现实施例3的效果， 进行排序使得可以以优先方式处理位置和方位估计期间允许有 效图像几何特征检测的线段就足够了 。
例如，存在这样一种排序方法升高拍摄图像中允许容易 的图像几何特征检测的几何特征的优先程度。在初始化期间，
将所有优先程度设置成"未检测"，其后，使所有投影几何特征 经过一次检测。接着，保存在拍摄图像中的图像几何检测期间所获得的相邻像素之间的浓度差，并且使用浓度差进行排序。 而且，这可以应用于以下情况如果注—见方向改变，并且爿见察 几何特征变得不同，则基于边缘搜索处理动态地改变优先程度
被设置为"未检测"的几何特征。而且，在几何特征投影单元300
中转换成照相机坐标系的转换期间，还计算从照相机视点位置
开始的几何特征的深度方向。因此，几何特征排序单元800从深 度方向靠近该视点的特征开始进行排序，作为结果，可以首先 处理对于位置和方位精度具有显著影响的边缘。
而且，还可以使用这样一种方法将保持预定数量的几何 特征的排序结果的表保存在几何特征排序单元800中，并且不保 存超过该预定数量的结果，这在使处理更有效方面是有效的。
实施例4
接着示出将上述实施例中所述的测量设备100应用于混合 现实感的例子。
图5是示出将根据实施例5的测量设备10 0应用于基于混合 现实感技术将虚拟对象CG与测量对象合成的方式的示意图。在 图5中，测量对象10是形状已知的3D对象。假定由多个面构成 具有曲面的构成面。而且，观察测量对象的角度不局限于特定 方式。
通过拍摄图像输入单元110将摄像设备5 0所拍摄的图像输 入给测量设备IOO。而且，为了合成图像，还将摄像设备50连接 到色度4建合成i殳备(chroma隱key compositing apparatus)920的图 像输入单元921。假定已将测量对象10的3D模型60登记在测量 设备100中。
当在拍摄图像中存在测量对象10时，测量设备100使用输 出单元140输出摄像设备50的位置和方位测量的结果。CG描绘 设备910通过输入单元911从测量设备100接受摄像设备50的位置和方位。CG描绘设备910使用从输入单元911输入的位置和方
位作为CG视点位置，并且使虚拟对象经过CG描绘，从而将描 绘的图像输出给CG图像输出单元912。这里，CG描绘设备910 在测量对象10上描绘作为虛拟对象的两个圆柱体941 ，并且使用 CG图像输出单元912输出虚拟对象CG图像940等的图像。应该 注意，虚拟对象CG图像940的背景颜色是由色度键合成设备920 所设置的色度键匹配颜色。
色度键合成设备920从图像输入单元921接受摄像设备50 的拍摄图像作为输入，并且从色度键目标图像输入单元922取得 虛拟对象CG图像940。然后，色度键合成设备920合成虚拟对象 CG图像940与拍摄图像，其中，在虛拟对象CG图像940中，具 有色度4建匹配颜色的区域为透明，并且^f吏用色度4建合成图像输 出单元923输出所生成的合成图像930。作为上述处理的结果， 将输出的合成图像930变成图像，在该图像中，具有在拍摄的测 量对象上描绘的两个圓柱体941，即，虚拟对象。
根据实施例4，为了检查组件与组件的千涉，可以在画面 上与使用CAD所设计的虚拟组件一起观察实际组件。而且，由 于操作者通过观看头安装显示器(HMD: Head Mount Display) 上的合成图像930可以容易地进行上述检查，因而这是优选的。
如果将注视方向设置在与此时的摄像设备的方向相同的 方向上，则头部单元的位置和方位可以与正观察的现实空间一 致，这使得可以预期基于混合现实感来提高可操作性。此外， 可以使用单个计算机程序实现测量设备IOO、 CG描绘设备910 和色度键合成设备920。
根据上述实施例，可以以有效方式获得摄像设备的位置和 方位，而不受摄像设备和测量对象之间的相对位置关系的影响。
其它实施例
28尽管作为本发明典型实施例说明了上述典型结构，但是， 通常，使用实现本发明的处理部件的设备和照相机就足够了 。 例如，如果以在蜂窝式电话或便携式计算机上实现本发明的处 理配置的程序的形式执行处理，则获得相同效果。此外，还可 以4吏用位置和方位测量结果实现用于呈现与邻近i殳施和位置有 关的信息的二维服务。
尽管上面说明了 一些实施例，但是本发明可以有例如系 统、装置、方法、程序或存储介质等实施例。具体地，本发明 可应用于由多个装置构成的系统、也可应用于由单个装置构成 的设备。
应该注意，本发明包括以下情况通过直接或远程向系统 或设备提供软件程序，并允许该系统或设备的计算机读取并执 行所提供的程序代码，来实现上述实施例的功能。在这种情况 下，所提供的程序对应于在实施例的附图中所示的流程图。
因此，由于可以在计算机上实现功能处理这一情况，因而 安装在计算机上的程序代码可以实现本发明。
在这种情况下，只要具有程序的功能，实施例可以采用各 种形式，例如对象代码、由解释程序执行的程序、提供给OS的 脚本数据等。
以下介质可用作用于提供该程序的计算机可读存储介质。 例如，存储介质可以为软(floppy "W)盘、硬盘、光盘、磁光盘、 MO、 CD-ROM、 CD-R、 CD-RW、磁带、非易失性存储卡、ROM 或DVD(DVD陽ROM、 DVD画R)等。
另外，使用客户端计算机上的浏览器连接到因特网主页， 并且从该主页将本发明的计算机程序下载到硬盘或其它记录介 质上，这可以作为提供该程序的方法。在这种情况下，下载的 程序可以是具有自动安装功能的压缩文件。而且，还可以通过
29将构成本发明的程序的程序代码分成多个文件，并且从不同主 页下载各文件，来实现本发明。换句话说，允许多个用户下载 在计算机上实现本发明的功能处理所使用的程序文件的WWW 服务器也包括在本发明中。
而且，可以采用以下形式对本发明的程序进行加密，将 加密后的程序存储在CD-ROM或其它存储介质上，并且将其分 发给用户。在这种情况下，可以允许满足一定条件的用户通过 因特网从主页下载解密加密所使用的密钥信息，并且使用该密 钥信息执行加密程序，并将该程序安装在计算机上。
而且，除基于计算机执行读入的程序实现实施例的上述功 能以外，还可以基于该程序的指令，与运行在计算机上的OS等 协作，实现实施例的功能。在这种情况下，OS等执行部分或全 部实际处理，并且基于这种处理实现上述实施例的功能。
此外，可以通过将从记录介质读取的程序写入设置在与计 算机连接的扩展单元或插入计算机中的扩展板中的存储器中， 来实现上述实施例的部分或全部功能。在这种情况下，在将程 序写入扩展板或扩展单元之后，设置在该扩展板或扩展单元中 的C P U等基于该程序的指令进行部分或全部实际处理。
尽管参考典型实施例说明了本发明，但是应该理解，本发 明不局限于所公开的典型实施例。所附权利要求书的范围符合 最宽的解释，以包含所有修改、等同结构和功能。
权利要求
1. 一种测量设备，用于测量用于拍摄一个或更多个测量对象的图像的摄像设备相对于测量对象的相对位置和方位，所述测量设备包括图像获取部件，用于从所述摄像设备获取拍摄图像；投影部件，用于基于所述摄像设备的位置和方位，将所述测量对象的3D模型的几何特征投影到所述拍摄图像上，以获得投影几何特征；选择部件，用于基于在所述拍摄图像中所述投影几何特征间的距离，从由所述投影部件获得的所述投影几何特征中选择要用于计算位置和方位的投影几何特征；以及计算部件，用于使用由所述选择部件选择的所述投影几何特征、以及在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的图像几何特征，来计算所述摄像设备相对于所述测量对象的相对位置和方位。
2. 根据权利要求l所述的测量设备，其特征在于，所述投 影部件用于通过将构成测量对象的3 D模型并与可以在所述拍 摄图像中检测到的图像几何特征相对应的线段投影到所述拍摄 图像上，来获得所述投影几何特征。
3. 根据权利要求1或2所述的测量设备，其特征在于，所述 计算部件包括设置部件，用于为所选择的所述投影几何特征设置所述拍 摄图像中的一个或更多个点，并获得各点处的搜索方向；以及搜索部件，用于基于由所述设置部件设置的所述点和所述 搜索方向，在所述拍摄图像中搜索图像几何特征。
4. 根据权利要求1或2所述的测量设备，其特征在于，所述 投影几何特征是线段，所述选择部件用于如果所述投影几何特 征与至少一个先前确定的投影几何特征相距至少预定距离，则选择该投影几何特征。
5. 根据权利要求1或2所述的测量设备，其特征在于，还包 括几何特征排序部件，所述几何特征排序部件用于为由所述投 影部件获得的所述测量对象的多个投影几何特征设置所述选择 部件的处理的顺序。
6. 根据权利要求5所述的测量设备，其特征在于，所述几几何特征在所述拍摄图像中的长度的顺序。
7. 根据权利要求5所述的测量设备，其特征在于，所述几 何特征排序部件用于将所述投影几何特征排序成基于在所述拍 摄图像中检测相应的图像几何特征的能力的高低的顺序。
8. 根据权利要求1或2所述的测量设备，其特征在于，所述 投影几何特征是线段，所述选择部件用于如果所述投影几何特 征在所述拍摄图像中的长度大于预定阈值，则选择该投影几何 特征。
9. 一种用于测量设备的控制方法，所述测量设备用于测量 用于拍摄一个或更多个测量对象的图像的摄像设备相对于测量 对象的相对位置和方位，所述控制方法包括如下步骤图像获取步骤，用于从所述摄像设备获取拍摄图像； 投影步骤，用于基于所述摄像设备的位置和方位，将所述测量对象的3D模型的各几何特征投影到所述拍摄图像上，以获得投影几何特征；选择步骤，用于基于在所述拍摄图像中所述投影几何特征间的距离，从在所述投影步骤中获得的所述投影几何特征中选 择要用于计算位置和方位的投影几何特征；以及计算步骤，用于使用在所述选择步骤中选择的所述投影几 何特征、以及在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的图像几何特征，来计算所述摄像设备相对于 所述测量对象的相对位置和方位。
10. 根据权利要求9所述的控制方法，其特征在于，所述投 影步骤包括通过将构成测量对象的3D模型并与可以在所述拍 摄图像中检测到的图像几何特征相对应的线段投影到所述拍摄 图像上，来获得所述投影几何特征。
11. 根据权利要求9或10所述的控制方法，其特征在于，所 述计算步骤包括设置步骤，用于为在所述选择步骤中选择的所述投影几何 特征设置所述拍摄图像中的 一个或更多个点，并获得各点处的 搜索方向；以及搜索步骤，用于基于在所述设置步骤中设置的所述点和所 述搜索方向，在所述拍摄图像中搜索图像几何特征。
12. 根据权利要求9或10所述的控制方法，其特征在于，所 述投影几何特征是线段，所述选择步骤包括如果所述投影几何 特征与至少一个先前确定的投影几何特征相距至少预定距离，则选择该投影几何特征。
13. 根据权利要求9或10所述的控制方法，其特征在于，还 包括几何特征排序步骤，所述几何特征排序步骤包括为在所述 投影步骤中获得的所述测量对象的多个投影几何特征设置所述 选择步骤中的处理的顺序。
14. 根据权利要求13所述的控制方法，其特征在于，所述 几何特征排序步骤包括将所述投影几何特征排序成基于所述投 影几何特征在所述拍摄图像中的长度的顺序。
15. 根据权利要求13所述的控制方法，其特征在于，所述 几何特征排序步骤包括将所述投影几何特征排序成基于在所述 拍摄图像中检测相应的图像几何特征的能力的高低的顺序。
16.根据权利要求9或10所述的控制方法，其特征在于，所 述投影几何特征是线段，所述选择步骤包括如果所述投影几何 特征在所述拍摄图像中的长度大于预定阈值，则选择该投影几何特征。
全文摘要
本发明涉及一种测量设备和控制方法。该测量设备(100)使用摄像设备(50)获取拍摄图像，其中该测量设备(100)测量用于拍摄一个或更多个测量对象(10)的图像的摄像设备(50)相对于测量对象的相对位置和方位。而且，基于摄像设备(50)的位置和方位，将测量对象(10)的3D模型中存在的各个几何特征投影到拍摄图像上，从而获得投影几何特征。然后，基于在拍摄图像中投影几何特征间的距离，从作为结果所生成的投影几何特征中选择要用于计算位置和方位的投影几何特征。然后，使用所选择的投影几何特征、以及在拍摄图像中检测到的与所选择的投影几何特征相对应的图像几何特征，来计算摄像设备(50)相对于测量对象的相对位置和方位。
文档编号G01B11/00GK101294793SQ20081009347
公开日2008年10月29日 申请日期2008年4月28日 优先权日2007年4月26日
发明者内山晋二, 小林一彦 申请人:佳能株式会社