利用直射变换翘曲函数配准第一和第二图像的至少一个部分的方法
【专利摘要】本发明涉及一种用于配准第一图像的至少一个部分和第二图像的至少一个部分的方法，包括如下步骤：提供真实环境的第一图像（T）和关联到第一图像的坐标系，真实环境的第二图像（I），以及拍摄第二图像（I）时拍摄装置（D）相对于真实环境的取向（R）和/或距离（d1，d2，…，dN）的测量值。然后从关联到第二图像（I）的至少一个部分的测量值确定直射变换翘曲函数（P）。该方法还包括如下步骤：通过应用对应的所确定直射变换翘曲函数（P）变换第二图像（I）的至少一个部分，确定第二翘曲函数（A），其用于利用图像配准方法配准第二图像的变换（Ip）的至少一个部分与第一图像（T）的至少一个部分，以及利用所述直射变换翘曲函数（P）和第二翘曲函数（A）配准第二图像（I）的至少一个部分和第一图像（T）的至少一个部分。
【专利说明】利用直射变换翘曲函数配准第一和第二图像的至少一个部分的方法
[0001]本发明涉及一种利用直射变换翅曲函数(collineation warping function)配准第一和第二图像的至少一个部分的方法。此外，本发明涉及一种包括用于实施该方法的软件代码段的计算机程序产品。
[0002]在诸如增强现实(AR)应用的计算机视觉应用中常常需要上述方法。例如，给定第一图像T为模板图像，计算机视觉领域中的很多应用要求在空间上将第二图像I，即当前摄像机图像的至少一部分与模板图像配准。范例包括全景拼合和摄像机姿态估计，例如对于视频透视增强现实应用。假设没有任何透镜畸变的完美针孔摄像机，从对应于平面表面的模板任何部分到其在当前摄像机图像中的对应位置的变换由3D平移、随后的3D旋转、最后的图像平面上的透视的投影构成。可以利用表示模板中2D点和摄像机图像中2D对应点之间的透视变换的直射变换W完整描述这种变换。
[0003]常常由可逆的(3X3)矩阵表示直射变换。取决于比例来定义矩阵，其具有八个自由度，可以写作:
[0004]W=
[0005][plp2p3]
[0006][p4p5p6]
[0007][p7p81]
[0008]直射变换定义一对一和向上翅曲(onto warping)。直射变换翅曲函数如下将来自第一图像的点X=[U, V]变换成第二图像中的点X’ =[U’，V’ ]:
[0009]U，= (plu+p2v+p3) / (p7u+p8v+l)
[0010]V，= (p4u+p5v+p6) / (p7u+p8v+l)
[0011]这样的翘曲保持了共线性、并发性、接触度和交比(cross ratio)。每个翘曲点有两次除法，使得翘曲在计算成本方面很昂贵。
[0012]在对应矩阵的项p7和p8等于零时，直射变换翘曲被称为仿射翘曲。因此直射变换能够被表示为矩阵A=
[0013][plp2p3]
[0014][P4p5p6]
[0015][001]因此，仿射翘曲函数如下将来自第一图像的点x=[u，v]变换成第二图像中的点 X’ =[u’，V’ ]:
[0016]u’=plu+p2v+p3
[0017]V’ =p4u+p5v+p6
[0018]注意，在这种情况下，用于仿射翘曲运算的次数低于标准直射变换翘曲函数的运算次数。特别地，由于在仿射翘曲函数中没有除法，所以在计算能力有限的装置上要快得多。
[0019]此外，仿射翘曲保持了平行性和距离比等。
[0020]在采集第一和第二图像，使得图像平面平行于特定平面表面时，那么对应于该平面表面的直射变换翘曲为仿射翘曲。
[0021]在现有技术中，本领域中公开了以下参考文献:
[0022][I]C.Steger.0cclusion,clutter,and illumination invariant objectrecognition.1nt.Arc.Phot0.Remote Sensing,XXXIV，part3A:345-350，2002。
[0023][2]B.Lucas and T.Kanade.An iterative image registration technique withan application to stereo vision.1n Proceedings of the International JointConference on Artificial Intelligence, 1981。
[0024][3]Wonwoo Lee et al.Point-and-Shoot for Ubiquitous Tagging on MobilePhones.Proc.1nternational Symposium on Mixed and Augmented Reality 2010。
[0025][4]Myung Hwangboj Jun-Sik Kimj and Takeo Kanade.1nertial-Aided KLTFeature Tracking for a Moving Camera.The2009IEEE/RSJ International Conferenceon Intelligent Robots and Systems。
[0026][5]Loboj J.and Dias, J.Vision and Inertial Sensor Cooperation UsingGravity as a Vertical Reference.1EEE Transactions on Pattern AnalysisandMachine Intelligence.Volume:25Issue:12，pages1597—1608。
[0027][6]Simon Baker and Iain Matthews.Equivalence and Efficiency of ImageAlignment Algorithms.Proceedings of the2001IEEE Conference on Computer Visionand Pattern Recognition。
[0028][7] S.Hinterstoisserj V.Lepetitj S.Benhimanej P.Fuaj and N.Navab.LearningReal-Time Perspective Patch Rectification.1nternational Journal ofComputerVision,2010。
[0029]图1中示出了找到上述变换的标准方法。
[0030]在第一步骤SI中，由摄像机拍摄或从源加载一个或多个模板或参考图像(第一图像)。然后，首先拍摄或加载当前图像(第二图像)(步骤S2)。在下一步骤S3中，进行实际估计。已经发现，直射变换翘曲函数将当前图像的至少一部分与模板图像中的对应位置配准。在各种技术中，可以在迭代求极小值过程中这样做，其中将模板图像中的第一组像素与当前摄像机图像中的计算组像素比较，该摄像机图像中的用于比较的计算组像素在每次迭代时变化，例如参见范例[2]。
[0031]从数学上讲，用于将摄像机图像的至少一部分与模板图像的至少一部分配准的所有方法都进行八维非线性优化。目标是找到翘曲参数的矢量，该矢量使得能够获得对应于模板图像的所有像素在模板和翘曲当前图像之间相似性度量的极值。这通常是计算成本很高的任务。
[0032]最后，在步骤S4中，将找到的直射变换翘曲函数W用于应用中。
[0033]标准方法存在如下限制:
[0034]找到配准当前图像的至少一部分与模板图像的直射变换翘曲函数所需的八维非线性优化成本很高，使得依赖于它的应用对处理能力有限的移动装置特别有挑战性。在迭代方式中，例如在Lucas-Kanade[2]中，必须要在每次迭代中计算当前图像中像素的昂贵非线性翘曲，以便计算与模板的相似性。
[0035]除了计算复杂之外，在离线步骤中通过很多可能方式对模板进行变换的方法中，存储器的消耗可能会极大。随着预计算变换的次数的增加，存储器的消耗会随着自由度(DoF)的增加而增加(呈指数形式)。对于任意的刚性变换，有6个DoF(3D平移和3D旋转)。对于每个当前图像，这样的方法都试图找到最接近当前一个的预计算变换，例如参见[1]，所需的大量预计算数据使得它们在诸如移动电话的存储器受限装置上不可行。
[0036]已经提出了解决方案，其中弱透视投影通过缩放的正交投影(即线性变换)而近似地透视。尽管这种近似允许计算比非线性翘曲一般更快的线性翘曲，但如果在当前图像中模板接近光轴但远离摄像机，则它只能用于图像配准。
[0037]仿射变换仅支持平移、共面旋转和缩放。这也能实现快速的线性翘曲，但由于所有点所在的平面必须始终平行于图像平面，所以应用范围非常有限。
[0038]例如，[3]中的作者使用移动拍摄装置的由加速度计测量的取向来将他们使用的图像校正为模板图像。不过，在将当前摄像机图像与模板图像对准期间，它们根本不考虑装置的取向。
[0039][4]中的作者使用附着于摄像机的陀螺仪从KLT跟踪器中的当前图像到下一当前图像预测它们跟踪的特征的位置和取向。这对于快速的摄像机移动来说尤其有用。
[0040][5]中的作者使用附着于立体摄像机的惯性传感器来判断哪些特征位于地平面上，哪些不是。它们还能够检测源自地平面(例如房间的角落)的垂直特征。
[0041]将惯性传感器与上述计算机视觉的方法组合并非旨在配准摄像机图像的至少一部分与模板图像，而仿射变换和弱透视投影仅提供了对问题的近似。这些仅对非常具体的情况有效。
[0042]因此希望有一项技术，能够针对任意摄像机的位置和取向，获得用于配准当前摄像机图像的至少一部分与模板图像的至少一部分所需的直射变换翘曲函数，从而以更低的计算成本实现与标准方法相似的结果。
[0043]根据本发明的一方面，提供了一种用于配准第一和第二图像的至少一个部分的方法，包括如下步骤:
[0044]a.提供真实环境的第一图像和关联到第一图像的坐标系，
[0045]b.提供真实环境的第二图像，
[0046]c.提供拍摄第二图像时拍摄装置相对于真实环境的取向和/或距离的测量值，
[0047]d.从关联到第二图像的至少一个部分的测量值确定直射变换翘曲函数，
[0048]e.通过应用对应的所确定直射变换翘曲函数变换第二图像的至少一个部分，
[0049]f.确定第二翘曲函数，用于利用图像配准方法配准第二图像的变换的至少一个部分与第一图像的至少一个部分，以及
[0050]g.利用所述直射变换翘曲函数和第二翘曲函数配准第二图像的至少一个部分和第一图像的至少一个部分。
[0051]因此，本发明提出通过包括拍摄装置的实测取向，如上所述减小找到直射变换翘曲函数W的所需的复杂性，该函数用于在空间上配准拍摄的当前图像与模板图像。具体而言，可以将直射变换翘曲函数W分解成可以直接从实测取向计算的直射变换翘曲函数P和需要估计的仿射变换A。找到A比找到W更便宜且更稳定，因为它需要估计更少的参数，如下文更详细阐述的那样。
[0052]根据实施例，由惯性传感器、加速度计、陀螺仪、指南针、或机械、电磁、声学或光学跟踪系统中的至少一种提供取向的测量值。在本发明的上下文中，惯性传感器例如可以利用如下任意组合连续提供传感器信息，包括对象或装置相对于环境的位置和/或取向:磁强计(例如指南针)、运动传感器/旋转传感器(加速度计/陀螺仪)、重力传感器和提供这种信息的其他传感器。
[0053]根据另一实施例，由飞行时间摄像机、立体摄像机、无线电信号的三角测量、相位测量差异或使用基于结构光的方法的装置中的至少一种提供距离的测量值。提供距离信息的传感器可以是使用基于结构化光的方法的装置，其中光是可见的或红外的(例如，Microsoft的已知Kinect摄像机)。
[0054]根据实施例，取向的测量值包括基于重力矢量测量值计算的二维旋转。第一图像的至少一个部分对应于相对于实测重力矢量处于已知取向的物理对象。所述直射变换翘曲函数然后可以与相对于实测重力矢量处在已知取向的虚像平面相关。
[0055]根据另一实施例，所述取向的测量值包括在拍摄装置拍摄第二图像时拍摄装置相对于真实环境的三维旋转。
[0056]例如，从取向和/或距离的取向测量值，计算拍摄装置相对于与第一图像相关联的坐标系的取向并用于在步骤d)中确定直射变换翘曲函数。所述直射变换翘曲函数可以与对准到坐标系的虚像平面相关。
[0057]根据另一演变，进一步从距离的测量值，确定拍摄装置到物理对象的距离，用于计算拍摄装置在坐标系中的一维平移。
[0058]例如，从第二图像中一组N个点的距离测量值确定取向，其中N至少为三。
[0059]根据实施例，第一图像和/或第二图像是假设为逐片平面的三维物理对象的图像。例如，第二翘曲函数是仿射翘曲函数。
[0060]根据另一实施例，所述图像配准方法基于迭代求极小值过程，其中将第一图像中的第一组像素与第二图像中的计算组像素比较，该第二图像中的用于比较的计算组像素在每次迭代时变化。例如，配准中的比较是基于图像强度差异。通过这种方式，可以计算光测误差。可以将这一误差用于搜索参数集更新的非线性优化的成本函数。
[0061]可以通过利用梯度下降的方法确定第二翘曲函数，所述方法例如是逆组合、逆相力口、正组合或正相加方法，如[6]中所述。此外，可以利用基于学习的方法确定第二翘曲函数，其中已经事先计算了模板图像(第一图像)的不同视图，并确定与当前变换最接近的预计算变换，例如[I]或[7]中所述。
[0062]具体而言，可以将第二翘曲函数的参数的初始估计值提供给迭代求极小值过程。例如，利用拍摄第一图像和拍摄第二图像之间拍摄装置的运动估计值，确定翘曲函数参数的初始估计值。
[0063]根据本发明实施例，在步骤c )中，进一步提供至少第三图像(例如一个或多个其他模板图像)和相应的关联坐标系，第二图像至少部分包含第一图像和至少第三图像的对象，其中逐个针对第一图像和至少第三图像执行步骤d) _g)。
[0064]例如，第一图像和/或至少第三图像及其关联坐标系是离线采集的。
[0065]根据另一实施例，第一图像和/或至少第三图像及其关联坐标系是在线采集和/或更新的。在这种情况下，除了找到位于水平面上的共面模板和当前图像中对应区域之间的变换之外，还可以通过相同方式找到两个或更多当前图像中共面水平区域之间的变换。不过，所有图像都需要投影到虚像平面上。
[0066]这样允许进行图像拼合以获得地板或天花板的全景。一种有趣的性质是能够容易地识别不在用于拼合的平面(例如位于地板上的小物体或天花板处的灯)上的点，因为根据摄影机位置，这些点覆盖的像素的外观在投影的摄像机图像中是不同的，而平面上的所有点都理想地保持其外观。可以将此用于地平面的自动密集分割。
[0067]在本发明的可能实施方式中，将配准第二图像的至少一个部分的结果用于确定拍摄装置的姿态。例如，将所确定的拍摄装置的姿态用于增强现实应用中。
[0068]本发明的另一方面还涉及一种计算机程序产品，其适于加载到数字计算机的内部存储器中并包括软件代码段，在所述产品运行于所述计算机上时，利用其执行根据本发明所述的方法。
[0069]现在将参考示范性实施例连同附图的以下描述，解释本发明，附图中:
[0070]图1示出了用于图像配准的标准方法的流程图；
[0071]图2示出了根据本发明实施例用于图像配准的示范性方法的流程图；
[0072]图3示出了根据本发明实施例用于至少有第三图像的图像配准的示范性方法的流程图；
[0073]图4示出了利用已知的3DoF摄像机取向和已知的任意模板取向，配准模板图像和根据本发明实施例的摄像机拍摄的当前图像的过程的可视化；
[0074]图5示出了利用已知的2DoF摄像机取向和找平的模板，配准模板图像和根据本发明实施例的摄像机拍摄的当前图像的另一过程的可视化；
[0075]图6示出了利用深度感测摄像机和未知的任意模板取向，配准模板图像和根据本发明实施例的摄像机拍摄的当前图像的另一过程的可视化。
[0076]参考以下附图，将更详细地解释根据本发明各方面的方法实施例。本领域技术人员将理解，以下描述仅仅是根据本发明的方法的各方面的可能实现，也可以将方法或其步骤用于应当配准第一和第二图像的任何其他领域或应用中。
[0077]在下文中，假设提供了一种拍摄装置D，例如摄像机，用于拍摄真实环境的图像，具有本征参数的估计值，即本征摄像机的参数。连接的是直接输送或从环境中在图像中拍摄的至少三个点的实测距离确定摄像机取向R的测量值。我们打算在空间上配准当前摄像机图像I与模板T。在下文中，提出一种手段，通过包括拍摄装置D的实测取向R来减小T和I的视觉配准复杂性。出于清晰和可读性的原因，说明书针对的是表示平面物体正前方视图的模板图像，目的是将整个模板T与I中的对应像素配准。不过，也可以将该方法推广到可以被认为是逐片平面的目标。例如，可以通过将模板图像的部分关联到物理对象的局部平面区域来简单地实现这个目的。
[0078]在下文中，参考图2，其示出了根据本发明的实施例的用于图像配准的示范性方法的流程图。图2示出了通常的方法，将根据图4-6中所示的范例进一步解释该方法。根据本发明各方面，用于找到直射变换翘曲函数W(该函数配准平面模板T的至少一部分与其在任意视角下拍摄的当前摄像机图像I中的对应位置)的方法，是首先在步骤SI中拍摄或加载第一图像T作为具有关联坐标系CS的模板。在步骤S2中，加载或拍摄第二图像I作为当前摄像机图像。在步骤S3中，测量拍摄装置(即摄像机)的取向或加载拍摄第二图像时的取向。在步骤S4中使用装置取向R、坐标系CS和第二图像I计算第二图像I在虚像平面VIP上的投影。利用直射变换翘曲函数P进行这种变换，该函数是摄像机取向R和CS的函数。
[0079]将变换的图像Ip与第一图像T配准的变换是线性的，该变换可以利用仿射单应性描述。在步骤S5中估计这种单应性(例如，在迭代求极小值过程中，例如使用LucasKanade [2]的已知算法计算)。同样有很多方法这样做，但由于单应性A是仿射单应性，所以估计它比上文参考标准方法所述估计直射变换翘曲函数计算复杂性更低。在以下步骤S6中，计算P和A的组合作为变换原始当前图像至少一个部分的直射变换翘曲函数W。最后在步骤S7中，诸如增强现实应用的应用使用这一投影变换W。本领域的技术人员要理解的是，在步骤S5和步骤S6中，都可以通过在任一方向翘曲来实现配准。例如，在步骤S5中，可以确定A，从而将变换的图像Ip配准到第一图像T，或者可以通过将第一图像T配准到变换的图像Ip来确定A的逆矩阵。
[0080]在本发明的实施例中，进一步提供至少第三图像T3和关联的坐标系CS3，第三图像是额外的模板图像，将如图3中所示扩展图2中的流程图。在图3的步骤SI中，除了第一图像T及其关联的坐标系CS之外，还至少提供第三图像T3与关联的坐标系CS3。如前所述，在图3的步骤S2和S3中，拍摄或加载第二图像I，并测量或加载拍摄装置D的取向R。然后将I和R提供给核心算法，在步骤S4、S5和S6中将当前图像I与模板图像配准。由执行步骤S4-S6的核心算法的实例处理每个模板图像与关联的坐标系，即第一和至少第三图像。最后在步骤S7中使用所得的直射变换翘曲函数W、W3、…。
[0081]相对于标准方法的根本差异和改善是，直射变换翘曲函数W被分解成受约束的，例如仿射变换A以及可以直接从拍摄装置D的实测取向R计算的直射变换翘曲函数P。将原始当前图像I与模板图像T配准——如标准方法中所做——是利用图像配准方法找到非线性翘曲函数W的八维非线性优化问题。在这种情况下，必须要估计完整的直射变换翘曲函数。在根据本发明的新方法中，仅需要确定受约束的，例如仿射变换A。
[0082]这使得提出的方法比标准方法又快又稳定。对于基于预计算模板视图的图像配准技术，新的方法还需要较少的存储器。
[0083]在下文中，将参考图4-6中所示的三种示范性实施方式解释根据本发明的方法各方面。
[0084]图4示出了配准到任意但已知取向的平面模板(即，平面模板图像T的法线η以及用于定义矢量u的旋转是已知的)以及拍摄装置的给定当前3DoF取向的可视化。如果拍摄装置D的实测取向R描述了相对于静态世界坐标系的三维旋转，提议离线或在线在世界坐标系中定义静态平面模板图像T的三维法线η以及一个垂直矢量U。在运行时间，由于取向度量的漂移可以更新η和U。
[0085]给定拍摄装置D的n、u和当前取向R，提议利用直射变换翘曲函数P向虚像平面VIP上投影当前摄像机图像I，其中该虚像平面VIP垂直于模板图像T的已知法线η并与模板图像T的已知矢量u平行(参见图4)。
[0086]在这一变换的图像Ip中，将位于模板图像T上的任何点集表示为数学上类似的和直立的。更确切地说，图像Ip中的外观是均匀缩放，随后对图像τ中原点进行平移的结果。那么，将这一变换的当前图像Ip配准到模板图像T是三维非线性优化问题，可以利用仿射单应性A完整描述找到线性翘曲作为变换，仿射单应性仅支持均匀缩放、X和y (两个图像轴)上的平移。
[0087]总之，参考图2的流程图，在图4的范例中，分别做出以下假设或实施:拍摄装置的当前3DoF取向是已知的；模板图像T相对于全局坐标系的取向是已知的；可以利用能够测量拍摄装置D在全局坐标系中的3D取向的任何装置实施步骤S3 ;取向测量值R是全局坐标系中的3D旋转，P (X，P)表示与装置坐标系平行的虚像平面VIP上的投影；A (x，P)是支持x、y、z平移(3D)的仿射单应性。
[0088]图5示出了给定相对于重力的2DoF摄像机取向时，配准到水平平面模板的可视化。一些传感器，像惯性传感器，仅提供拍摄装置相对于重力矢量的2维旋转。在这种情况下，取向的测量值R仅描述重力矢量的方向。这里，可以使用如参考图4所述的类似方法，其限于位于找平(水平)平面上的模板，例如位于工作台上的杂志，位于地板或涂漆天花板上的马赛克。利用直射变换翘曲函数P，向垂直于实测重力η的虚像平面VIP上投影当前摄像机图像I。这样获得了变换的图像Ιρ，其中将位于模板图像T上的任何点集表示为数学上类似的。更确切地说，Ip中的外观与原点的均匀缩放结果是全等的。或者从视觉上讲，变换的摄像机图像Ip看起来似乎是从模板图像T的顶部正交地获得的(参考图5)。[0089]那么，将这一变换的当前图像Ip配准到模板图像T是六维非线性优化问题，可以利用仿射单应性A完整描述找到线性翘曲作为变换。这种单应性仅支持沿两个图像轴平移、均匀缩放和共面旋转。
[0090]总之，参考图2的流程图，在图5的范例中，分别做出以下假设或实施:模板图像T在找平的平面上；可以利用加速度计实施步骤S3 ;取向测量值R是重力的方向，因此是2D旋转的方向；Ρ (X，P)表示垂直于实测重力的虚像平面VTP上的投影；A (X，P)是支持X、y、z平移和共面旋转(4D)的仿射单应性。
[0091]图6示出了给定摄像机坐标系中模板法线的情况下，对任意取向的平面模板进行配准的可视化。如果拍摄装置或连接的装置D提供了针对当前图像I的特定像素的实测深度信息，如果本征摄像机参数是已知的，那么可以计算摄像机坐标系中个体像素的3D位置。在已经利用标准方法将当前摄像机图像I与任意取向的模板图像T成功配准之后，在后续的当前图像中，提议首先对接近中间区域(R2)的当前摄像机图像I中的至少三个像素采样实测深度(dl，d2，d3，…，dN)，其中模板在上一当前图像(区域Rl)中，参见图6。这里的假设是，这些像素仍然包含当前图像中的模板。然后将平面拟合到对应于所采样像素的3D点，并使用具有法线η的这个平面作为虚像平面VIP，如图6中所示。
[0092]将把利用直射变换翘曲函数P投影到这个虚像平面VIP上的当前摄像机图像I称为Ip。可以利用支持X和y (图像轴)上的平移、共面旋转和均匀缩放的仿射单应性A描述将Ip与模板图像T空间上配准。
[0093]总之，参考图2的流程图，在图6的范例中，分别做出以下假设或实施:利用深度感测摄像机，例如对假设包含模板的摄像机图像中的至少三个像素深度采样的已知Microsoft Kinect摄像机实施步骤S3 ;取向测量值R是拍摄装置坐标系中模板的法线的方向，因此是2D旋转的方向；P (X，P)表示垂直于实测模板法线的虚像平面VTP上的投影；A(X，P)是支持X、1、z平移和共面旋转(4D)的仿射单应性。
[0094]在下文中，将描述本发明各方面的进一步任选改善或额外应用。技术人员将认识到，以下说明描述了本发明各方面的可能应用情形，但不将本发明限于这一应用领域。在优选实施例中，可以将本发明用于运行于装备摄像机的移动计算装置上的实时增强现实应用。该应用的目标例如是在拍摄位于水平表面上的真实平面物体的实况视频流上覆盖虚拟信息，例如计算机图形模型。在这种应用中进行的叠加考虑了摄像机和平面物体之间的相对姿态，表示计算机图形模型也是在移动装置在改变其相对于平面物体的位置和取向时被无缝地集成到实况视频流中。运行于移动计算装置上的应用可以包括提供摄像机相对于位于水平表面上的平面物体的相对位置(3D平移)和取向(3D旋转)的算法。可以从(3X3)直射变换矩阵获得3D平移和旋转，这表示该算法首先找到将参考图像变换成当前采集的图像的最优(3X3)直射变换矩阵，然后在知道移动计算装置摄像机本征参数的情况下提取3D平移和旋转。
[0095]在当前上下文中，如果使用移动计算装置相对于重力矢量的取向，可以由惯性传感器提供这样的数据，给定平面物体位于水平表面上的事实，可以对当前图像进行预翘曲，使得未知的直射变换矩阵变为仿射的。这种方法在计算要求和效率方面改进了在实况视频流上无缝整合计算机图形模型所需的3D平移和旋转的过程，因为减少了未知的自由度。
【权利要求】
1.一种用于配准第一图像的至少一个部分和第二图像的至少一个部分的方法，包括如下步骤: a.提供真实环境的第一图像(T)和关联到第一图像的坐标系， b.提供真实环境的第二图像(I)， c.提供拍摄第二图像(I)时拍摄装置(D)相对于真实环境的取向(R)和/或距离(dl，d2，...，dN)的测量值， d.从关联到第二图像(I)的至少一个部分的测量值确定直射变换翘曲函数(P)， e.通过应用对应的所确定直射变换翘曲函数(P)变换第二图像(I)的至少一个部分， f.确定第二翘曲函数(A)，其用于利用图像配准方法配准第二图像的变换(Ip)的至少一个部分与第一图像(T)的至少一个部分，以及 g.利用所述直射变换翘曲函数(P)和第二翘曲函数(A)配准第二图像(I)的至少一个部分和第一图像(T)的至少一个部分。
2.根据权利要求1所述的方法，其中由惯性传感器、加速度计、陀螺仪、指南针或机械、电磁、声学或光学跟踪系统中的至少一种提供取向(R)的测量值。
3.根据权利要求1或2所述的方法，其中，由飞行时间摄像机、立体摄像机、无线电信号的三角测量、相位测量值的差异或使用基于结构光的方法的装置中的至少一种提供距离(dl，d2，…，dN)的测量值。
4.根据前述权利要求中的任一项所述的方法，其中取向(R)的测量值包括基于重力矢量(η)的测量值计算的二维旋转。
5.根据权利要求4所述的方法，其中第一图像(T)的至少一个部分对应于相对于实测重力矢量(η)处于已知取向的物理对象。
6.根据权利要求5所述的方法，其中所述直射变换翘曲函数(P)与相对于实测重力矢量(η)处在已知取向的虚像平面(VIP)相关。
7.根据权利要求1到3中的一项所述的方法，其中取向(R)的测量值包括在拍摄装置(D)拍摄第二图像(I)时拍摄装置相对于真实环境的三维旋转。
8.根据前述权利要求中的任一项所述的方法，其中从取向(R)和/或距离(dl，d2，…，dN)的测量值，计算拍摄装置(D)相对于与第一图像相关联的坐标系的取向，该取向用于在步骤d)中确定所述直射变换翘曲函数(P)。
9.根据权利要求8所述的方法，其中所述直射变换翘曲函数(P)与对准到坐标系的虚像平面(VIP)相关。
10.根据权利要求8或9所述的方法，其中进一步从距离的测量值，确定拍摄装置(D)到物理对象的距离(dl，d2，…，dN),以计算拍摄装置在坐标系中的一维平移。
11.根据权利要求8到10中的任一项所述的方法，其中从在第二图像(I)中具有N个点的一组的距离(dl，d2，…，dN)的测量值确定所述取向，其中N至少为三。
12.根据前述权利要求中的任一项所述的方法，其中第一图像(T)和/或第二图像(I)是假设为逐片平面的对象的图像。
13.根据前述权利要求中的任一项所述的方法，其中第二翘曲函数(A)是仿射翘曲函数。
14.根据前述权利要求中的任一项所述的方法，其中所述图像配准方法基于迭代求极小值过程，其中将第一图像(T)中的第一组像素与第二图像(I)中的计算组像素比较，该第二图像中用于比较的计算组像素在每次迭代时变化。
15.根据权利要求14所述的方法，其中所述图像配准方法中的比较基于图像强度差巳
16.根据权利要求14或15中的任一项所述的方法，其中将第二翘曲函数(A)的参数的初始估计值提供给迭代求极小值过程。
17.根据权利要求16所述的方法，其中利用拍摄第一图像(T)和拍摄第二图像(I)之间拍摄装置(D)的运动估计值，确定第二翘曲函数(A)的参数的初始估计值。
18.根据前述权利要求中的任一项所述的方法，其中在步骤c)中 -进一步提供至少第三图像和关联的坐标系，并且 -第二图像(I)至 少部分包含第一图像(T)的对象和至少第三图像的对象，并且 -逐个针对第一图像(I)和至少第三图像执行步骤d) -g)。
19.根据权利要求18所述的方法，其中第一图像(T)和/或至少第三图像及其关联坐标系被尚线米集。
20.根据权利要求18或19所述的方法，其中第一图像(T)和/或至少第三图像及其关联坐标系被在线采集和/或更新。
21.根据前述权利要求中的任一项所述的方法，其中将配准第二图像(I)的至少一个部分的结果用于确定拍摄装置(D)的姿态。
22.根据权利要求21所述的方法，其中将所确定的拍摄装置(D)的姿态用于增强现实应用中。
23.一种计算机程序产品，其适于加载到数字计算机的内部存储器中并包括软件代码段，在所述产品运行于所述计算机上时，利用该软件代码段执行根据权利要求1到22中的任一项所述的方法。
【文档编号】G06T3/00GK103597513SQ201180069485
【公开日】2014年2月19日 申请日期:2011年3月23日 优先权日:2011年3月23日
【发明者】S·本希马宁, D·库尔茨 申请人:Metaio有限公司