专利名称：用于相机跟踪的方法和设备的制作方法
技术领域：
以下描述涉及一种跟踪相机的姿态的方法和设备，更具体地，涉及一种基于使用至少三台相机拍摄的帧来跟踪每台相机的姿态的方法和设备。
背景技术：
相机跟踪会是计算机化视觉系统中的基础问题。相机跟踪旨在于自动地从视频序列恢复相机运动。相机跟踪的基本构思在于选择在帧的序列中出现的场景点，并同时基于二维(2D)点的一组对应关系来估计选择的场景点的三维(3D)位置和相机运动。相机跟踪可具有许多应用，诸如深度恢复、3D重建、位置识别和自助机器人导航。特别地，随着数字相机的广泛使用，已经可容易地使用单目相机，并且单目相机的价格正在变得更加便宜。因此，跟踪单目相机的方法被广泛使用。然而，不可从使用单目相机拍摄的图像恢复动态对象的3D信息。由于累积误差，可能会难以从使用单目相机拍摄的图像精确地恢复大尺度场景的相机运动。已经提出了使用立体相机来恢复相机运动和深度映射的若干方法。然而，当使用立体相机拍摄图像时，可能会难以处理图像中的闭塞(occlusions)。
发明内容
通过提供一种基于使用至少三台相机拍摄的帧来跟踪相机姿态的方法来实现前述和/或其它方面，所述方法包括:提取和跟踪多帧中的至少一个第一特征，并基于第一特征跟踪多帧的每一帧中的每台相机的姿态；基于至少一个单帧的每一帧的至少一个第二特征来跟踪所述至少一个单帧的每一帧中的每台相机的姿态。所述至少一个第二特征的每一个可相应于所述至少一个第一特征中的一个，所述至少一个单帧的每一帧可以是与多帧连续的帧中的跟踪的第二特征的数量小于门限的初始帧的先前帧。所述跟踪多帧中的至少一个第一特征的步骤可包括:从多帧中的第一帧的至少三个图像中提取第三特征，跟踪第三特征直到多帧中的最后帧，通过从跟踪的第三特征中移除具有动态轨迹的特征来确定第一特征，以及基于第一特征来估计多帧的每一帧中的每台相机的姿态。提取第三特征的步骤可包括:从第一帧的至少三个图像中提取点，以产生尺度不变特征变换(SIFT)描述符，以及通过使用产生的SIFT描述符之间的描述符比较来匹配提取的点并通过将匹配的点连接作为特征，来产生第三特征。提取第三特征的步骤还可包括使用几何约束移除第三特征中的异常值。几何约束可包括对极约束、二次投影约束和深度范围约束中的至少一个。所述跟踪所述至少一个单帧的每一帧中的每台相机的姿态的步骤可包括:将多帧的随后的帧设置为当前帧，在当前帧中提取与第一特征的一个相应的第二特征，当第二特征的数量大于或等于门限时，估计当前帧中的每台相机的姿态，以及将当前帧的随后的帧设置为新的当前帧，并当第二特征的数量大于或等于门限时，在新的当前帧中提取第二特征。所述跟踪多帧中的至少一个第一特征的步骤可包括:当第二特征的数量小于门限时，再次跟踪多帧的每一帧中的每台相机的姿态。通过提供一种基于使用至少三台相机拍摄的帧来跟踪相机姿态的设备来实现前述和/或其它方面，所述设备包括:多帧处理单元，提取和跟踪多帧中的至少一个第一特征，并基于第一特征跟踪多帧的每一帧中的每台相机的姿态；单帧处理单元，基于至少一个单帧的每一帧的至少一个第二特征来跟踪所述至少一个单帧的每一帧中的每台相机的姿态。所述至少一个第二特征的每一个可对应于所述至少一个第一特征中的一个，所述至少一个单帧的每一帧可以是与多帧连续的帧中的跟踪的第二特征的数量小于门限的初始帧的先前帧。多帧处理单元可包括:特征提取器，从多帧中的第一帧的至少三个图像中提取第三特征；特征跟踪单元，跟踪第三特征直到多帧中的最后帧；动态点检测器，通过从跟踪的第三特征中移除具有动态轨迹的特征来确定第一特征；相机姿态估计器，基于第一特征来估计多帧的每一帧中的每台相机的姿态。动态点检测器可计算第三特征的每一个的四维(4D)轨迹子空间，并可基于4D轨迹子空间确定第三特征的每一个是否具有动态轨迹。特征提取器可从第一帧的至少三个图像中提取点，以产生SIFT描述符，并可通过使用产生的SIFT描述符之间的描述符比较来匹配提取的点并通过将匹配的点连接作为特征，来产生第三特征。特征提取器可使用几何约束移除第三特征中的异常值。单帧处理单元可包括:当前帧设置单元，将多帧的随后的帧设置为当前帧；当前帧特征估计器，在当前帧中提取与第一特征的一个对应的第二特征；门限比较器，当第二特征的数量大于或等于门限时，估计当前帧中的每台相机的姿态。当第二特征的数量大于或等于门限时，当前帧设置单元可将当前帧的随后的帧设置为新的当前帧，并当第二特征的数量大于或等于门限时，可在新的当前帧中提取第二特征。当第二特征的数量小于门限时，多帧处理单元可再次运行。将在接下来的描述中部分阐述实施例的另外的方面，还有一部分通过描述将是清楚的，或者可以经过本公开的实施而得知。
通过下面结合附图对实施例进行的描述，这些和/或其它方面将会变得清楚和更易于理解，其中:图1示出用于描述根据实施例的相机跟踪设备的操作的示图。图2示出根据实施例的用于跟踪相机的姿态的设备的配置。图3示出根据实施例的跟踪相机的姿态的方法。
图4示出根据实施例的多帧处理操作。图5示出根据实施例的特征提取操作。图6示出根据实施例的特征跟踪操作。图7示出根据实施例的动态点检测操作。图8示出根据实施例的相机姿态估计操作。图9示出根据实施例的单帧处理操作。
具体实施例方式现将详细参考实施例,在附图中示出实施例的示例,其中,相似的标号始终表示相似的元件。以下通过参照附图对实施例进行描述以解释本公开。三目相机可包括三台同步的相机。所述三台同步的相机可以是共线配置。以下，术语“姿态”可被替换为位置，术语“序列”可指示通过连续捕捉场景产生的一系列图像。三目序列可指示由包括在三目相机中的三台相机中的每一台连续捕捉场景而产生的三个序列。三维(3D)位置M可被表示为[X，Y，Z]t。这里，X、Y和Z可分别指示场景点的X坐标、Y坐标和Z坐标。场景点的二维(2D)图像位置m可被表示为[u，v]T。相机变换可被模型化为K[R|t]。在该示例中，K可以是内部矩阵(intrinsicmatrix), [R| t]可以是投影矩阵(projective matrix)。内部矩阵可基于相机的内部属性。相机的内部属性可包括根据沿图像的X轴和y轴的像素的焦距、X轴与y轴之间的斜率以及基本点(principle point)。基本点可指示相机中心到图像平面的投影。外部矩阵(extrinsic matrix)可对包括旋转R和平移t的相机运动进行建模。因此，投影过程可被表示为Am = K[R|t]M。这里，入可表示比例因子。“运动结构”("Structure-from-motion")可指不从图像测量m’估计所有M和[R|t]。当选择的场景点全部是静态的时，上述估计可以是高度可靠的。然而，当场景包括多个运动对象时，一些点在捕捉期间可具有多于单个3D位置，从而上述估计可能会被严重地干扰。为了确定点是否是静态的，可检查与所述点相应的所有的2D图像位置的对是否满足对极几何(epipolar geometry)。当立体装束(rig)可用时，匹配的点的3D位置可通过三角测量被更可靠地计算。两个图像属于相同帧，可直接从立体装束获得左视图与右视图之间的相对姿态。与3D位置相关联的信息可被用于特征跟踪。特征跟踪可指示连接与相同场景点相应的图像点。图1示出用于描述根据实施例的相机跟踪设备的操作的示图。当使用能够拍摄左图像、中间图像和右图像的三目相机时，中间图像中的预定像素很少在左图像和右图像两者中均闭塞。此外，当使用三目相机时，在每个时间戳可获得三个图像。因此，可采用比对极几何更强的几何约束，以准确地计算跟踪的特征的3D位置并移除异常值(outlier)。在三目相机的配置中，可假设三目相机中的三台相机的相对姿态固定。此外，可假设三台相机的内部参数在捕捉期间不改变。因此，相机姿态跟踪设备100的输入值可包括三目序列、内部矩阵以及三台相机的相对相机姿态。相机位置跟踪设备100的输出值可包括每个图像的外部矩阵。外部矩阵可包括旋转矩阵和平移矢量。例如，可通过诸如“用于Matlab的相机校准工具箱”的工具来校准三台相机的内部参数和位置。当两台相机的外部相机参数是[1 |幻2时，可根据等式I来计算所述两台相机之间的相对位置:等式I
权利要求
1.一种基于使用至少三台相机拍摄的帧来跟踪相机姿态的方法，所述方法包括: 提取和跟踪多帧中的至少一个第一特征，并基于第一特征跟踪多帧的每一帧中的每台相机的姿态；以及 基于至少一个单帧的每一帧的至少一个第二特征来跟踪所述至少一个单帧的每一帧中的每台相机的姿态， 其中，所述至少一个第二特征的每一个相应于所述至少一个第一特征中的一个，所述至少一个单帧的每一帧是与多帧连续的帧中的跟踪的第二特征的数量小于门限的初始帧的先前帧。
2.如权利要求1所述的方法，其中，所述跟踪多帧中的至少一个第一特征的步骤包括: 从多帧中的第一帧的至少三个图像中提取第三特征； 跟踪第三特征直到多帧中的最后帧； 通过从跟踪的第三特征中移除具有动态轨迹的特征来确定第一特征；以及 基于第一特征来估计多帧的每一帧中的每台相机的姿态。
3.如权利要求2所述的方法，其中，提取第三特征的步骤包括: 从第一帧的至少三个图像中提取点，以产生尺度不变特征变换SIFT描述符；以及通过使用产生的SIFT描述符之间的描述符比较来匹配提取的点并通过将匹配的点连接作为特征，来产生第三特征。
4.如权利要求3所述的方法，其中，提取第三特征的步骤还包括: 使用几何约束移除第三特征中的异常值。
5.如权利要求4所述的方法，其中，几何约束包括对极约束、二次投影约束和深度范围约束中的至少一个。
6.如权利要求1所述的方法，其中，所述跟踪所述至少一个单帧的每一帧中的每台相机的姿态的步骤包括: 将多帧的随后的帧设置为当前帧； 在当前帧中提取与第一特征的一个对应的第二特征； 当第二特征的数量大于或等于门限时，估计当前帧中的每台相机的姿态；以及将当前帧的随后的帧设置为新的当前帧，并当第二特征的数量大于或等于门限时，在新的当前帧中提取第二特征。
7.如权利要求6所述的方法，其中，所述跟踪多帧中的至少一个第一特征的步骤包括: 当第二特征的数量小于门限时，再次跟踪多帧的每一帧中的每台相机的姿态。
8.一种基于使用至少三台相机拍摄的帧来跟踪相机姿态的设备，所述设备包括: 多帧处理单元，提取和跟踪多帧中的至少一个第一特征，并基于第一特征跟踪多帧的每一帧中的每台相机的姿态；以及 单帧处理单元，基于至少一个单帧的每一帧的至少一个第二特征来跟踪所述至少一个单帧的每一帧中的每台相机的姿态， 其中，所述至少一个第二特征的每一个相应于所述至少一个第一特征中的一个，所述至少一个单帧的每一帧是与多帧连续的帧中的跟踪的第二特征的数量小于门限的初始帧的先前帧。
9.如权利要求8所述的设备，其中，多帧处理单元包括:特征提取器，从多帧中的第一帧的至少三个图像中提取第三特征； 特征跟踪单元，跟踪第三特征直到多帧中的最后帧； 动态点检测器，通过从跟踪的第三特征中移除具有动态轨迹的特征来确定第一特征； 以及 相机姿态估计器，基于第一特征来估计多帧的每一帧中的每台相机的姿态。
10.如权利要求9所述的设备，其中，动态点检测器计算第三特征的每一个的四维(4D)轨迹子空间，并基于4D轨迹子空间确定第三特征的每一个是否具有动态轨迹。
11.如权利要求9所述的设备，其中，特征提取器从第一帧的至少三个图像中提取点，以产生尺度不变特征变换SIFT描述符，并通过使用产生的SIFT描述符之间的描述符比较来匹配提取的点并通过将匹配的点连接作为特征，来产生第三特征。
12.如权利要求11所述的设备，其中，特征提取器使用几何约束移除第三特征中的异常值。
13.如权利要求12所述的设备，其中，几何约束包括对极约束、二次投影约束和深度范围约束中的至少一个。
14.如权利要求8所述的设备，其中，单帧处理单元包括: 当前帧设置单元，将多帧的随后的帧设置为当前帧； 当前巾贞特征估计器，在当前巾贞中提取与第一特征的一个对应的第二特征； 门限比较器，当第二特征的数量大于或等于门限时，估计当前帧中的每台相机的姿态，其中，当第二特征的数量大于或等于门限时，当前帧特征设置单元将当前帧的随后的帧设置为新的当前帧，并当第二特征的数量大于或等于门限时，在新的当前帧中提取第二特征。
15.如权利要求14所述的设备，其中，当第二特征的数量小于门限时，多帧处理单元再次运行。
16.—种跟踪至少三台相机的每一台的姿态的方法，所述方法包括: 从使用所述至少三台相机拍摄的至少两个连续帧中提取第一静态特征； 跟踪从所述至少两个连续帧中提取的第一静态特征； 基于跟踪的第一静态特征来估计所述至少三台相机的每一台的姿态； 从使用所述至少三台相机拍摄的至少一个单帧中提取第二静态特征；以及 基于提取的第二静态特征来跟踪在每个单帧中的所述至少三台相机的每一台的姿态。
17.如权利要求16所述的方法，其中，第二静态特征相应于第一静态特征。
全文摘要
一种用于相机跟踪的方法和设备。所述相机姿态跟踪设备可基于使用至少三台相机拍摄的帧来跟踪相机姿态，可提取和跟踪多帧中的至少一个第一特征，并可基于第一特征跟踪多帧的每一帧中的每台相机的姿态。当在多帧中跟踪了第一特征时，相机姿态跟踪设备可基于至少一个单帧的每一帧的至少一个第二特征来跟踪所述至少一个单帧的每一帧中的每台相机的姿态。所述至少一个第二特征的每一个可相应于所述至少一个第一特征中的一个，所述至少一个单帧的每一帧可以是与多帧连续的帧中的跟踪的第二特征的数量小于门限的初始帧的先前帧。
文档编号G06T7/00GK103218799SQ20121028678
公开日2013年7月24日 申请日期2012年8月13日 优先权日2012年1月18日
发明者金智元, 章国锋, 朴斗植, 李皓荣, 刘浩敏, 鲍虎军 申请人:三星电子株式会社