自动场景校准的制作方法
【专利摘要】此处描述了一种校准三维成像系统（300）的方法。在校准期间，相对于第一及第二参数而确定三维成像系统的位置（340）及取向（330），其中第一参数包含了现实世界的垂直方向（Vw），第二参数包含由该成像系统捕捉到的三维场景的原点。使用该第一及第二参数获取导出校准矩阵（Mc2w），该校准矩阵被用于将测量值（360）从三维成像系统的虚拟坐标系（Mc）转换为与现实世界相关的现实坐标系（Mw）。在信号处理（380）前，使用校准矩阵（Mc2w）来校正测量值（360）。还确定了逆校准矩阵（Mw2c）。实现对三维成像系统设置的连续监测（370）及调整，并相应地调整校准矩阵（Mc2w）及其逆矩阵（Mw2c）。
【专利说明】自动场景校准
【技术领域】
[0001]本发明涉及相机校准，且更特定地涉及相对于现实世界的三维(3D)感测相机的位置及取向的自动校准。
【背景技术】
[0002]三维(3D)或深度感测相机，即，结构光3D相机、飞行时间3D相机、以及立体视觉3D相机，是获取深度图像的成像装置。深度图像表示场景到3D的距离。3D相机装置，以及它们提供的深度图像，被用于分析捕捉到的场景中的静态及动态3D元素，诸如物体及用户。
[0003]分析捕捉到的场景包括对物体和/或用户的检测、定位、及标识以及对它们的各自分析。在这样的分析过程中发生的一个常见问题是相机的未知取向。例如，如果将相机绕其光轴顺时针或逆时针旋转90度，场景中垂直取向的物体在深度图像中可显示为水平。因此有利的是了解相机的相关参数，从而在分析捕捉到的场景时可得到更好的结果。
[0004]相机校准是其中确定相机真实参数的过程。真实相机参数常被作为校正参数使用并且，在多数情况下，可用线性变换表示，即，相机校准矩阵，例如，可被用于从现实世界坐标系到特定相机的相机坐标系的射影映射。
[0005]相机参数包括内部及外部参数，并在文献中被广泛提出，例如，Janne HeikkilS的《使用隐含图像校正的四步相机校准程序》(“A Four-step Camera Calibration Procedurewith Implicit Image Correction”),或S.Malek等人的《一种增强现实系统的校准方法》(“Calibration Method for an Augmented Reality System，，)等。
[0006]内部参数包含成像装置的光学规范，诸如图像格式、主点、及焦距。它们可被建模且结合至应用于与相机坐标系相关的数据的变换矩阵中，从而在场景捕捉时校正一些嵌在畸变。也可将透镜畸变认为是非内部参数考虑，但由于它是非线性变换，因此不会直接结合至变换矩阵。
[0007]外部参数包含相机相对于世界坐标系的3D位置及3D取向。相机坐标系与相机相关联，且定义变换矩阵以提供数据测量值从相机坐标系到世界坐标系的投影。
[0008]通过将3D相机作为简单的针孔考虑，外部参数可以仅仅是需要确定并应用从而提供方便的校正及/或变换的相关参数。
[0009]为了找到外部参数，必须考虑相机的垂直、横向、及纵向轴，分别为横摆(yaw)、俯仰(pitch)、及侧倾(roll)轴，因为它们定义了相机坐标系。更确切地说，横摆轴是从相机顶部画到底部的轴，并垂直于其他两轴。俯仰轴是从相机左侧延伸到右侧的轴，与相机传感器的Y轴平行。侧倾轴是沿相机主体光轴从后到前的法线方向画出的轴。基本上，相机坐标系原点位于传感器芯片上，例如，位于传感器芯片的左上角或中心处。以下参考图6对其进行详细描述。
[0010]此外，需要考虑场景中的相机位置。需要通过在场景中寻找或定义参考点来估算该位置，该参考点被设定为现实世界坐标系的原点。[0011]已知多个校准相机的方法。其中大多数方法涉及二维(2D)相机，有一些涉及三维(3D)相机。进一步地，通常在静态相机上离线地而非实时地执行校准。位于场景中的标记也可用于帮助校准过程。这样的校准过程经常包括数个步骤并需要用户互动。
[0012]此外，这些方法并不意在对3D相机的所有可能取向进行校正，而且，它们常限于与处于特定取向的相机一起使用，例如，一般向下或一般水平取向的相机。
[0013]US-A-2010/0208057公开了一种用于确定相机相对于真实环境中至少一个物体的姿态。该种方法包括分析该物体的所捕捉的图像以确定相机相对于该物体的位置的距离数据以及取向数据，使用该距离数据及取向数据来提供与相机有关的姿态信息。
[0014]在 Jorge Lobo 和 Jorge Dias 发表在 IEEE Transactions on PatternAnalysisand Machine Intelligence, 25卷，12期，2003年12月的文献《使用重力作为垂直参考的视觉及惯性传感器协作》(“Vision and Inertial Sensor Cooperation Using Gravity asa Vertical Reference”)中，描述了一种在传感器系统中使用惯性传感器数据的方法。消失点及消失线与惯性传感器数据一起使用以确定地平面，从中可导出地平线各点与像点之间的映射。
[0015]Vieville等人在《来自使用垂直提示的视觉及惯性传感器的自我运动及结构的计算〉〉(“Computation of ego-motion and structure from Visual and Inertial SensorsUsing the Vertical Cue”)描述了通过建立环境的三维深度及运动图，使用视觉及里程计传感器，来复原场景的三维数据结构及运动的方法。使用图像中的垂直线与真实取向的三维垂直线对齐。
[0016]US-A-2010/0103275描述了一种具有集成加速度计的静态2D数码相机，其中测量侧倾轴及俯仰轴及变化并用作输入，因此所显示的图像被校正并与常规水平和垂直显示装置方向对齐。所述方法仅适用于水平和/或垂直相机轴的变化以便在风景和肖像模式之间切换。
[0017]W0-A-2010/082933描述了一种系统，其中将场景图像中的标记或物体与原始场景中的对应标记或物体对齐以便执行几何相机校准。因此通过分析目标模型和目标本身之间的不匹配来确定相机参数。
[0018]US-2011/0128388公开了 一种相机校准系统，包括坐标数据生成装置以及坐标数据识别装置。坐标数据生成装置生成与现实场景中多个真实位置对应的多个映射坐标数据。坐标数据识别装置从坐标数据生成装置接收现实场景的图像以及映射坐标数据。它确定与现实位置对应的图像位置，且然后计算与这些图像位置对应的图像坐标数据。从图像坐标数据以及映射坐标数据中，确定坐标变换矩阵。
[0019]EP-A-2154650描述了一种使用从相机坐标系统到世界坐标系统的变换矩阵，对来自由3D相机所获取的图像数据的场景坐标进行实时或接近实时的计算方法。这种方法依赖于检测在所获取的3D图像中一个或多个平面、选择其中一个平面(例如，地面)作为参考平面。然后，相对于所选择的参考平面来确定3D相机的位置、侧倾、及俯仰取向参数。一旦3D相机安装到其适当位置(B卩，地面必须在相机的视锥中并被相机看到，从而可使用基于随机样本一致性(RANSAC)的平面检测来检测到)时，可通过执行多个含少量人工干预的步骤实现这样的校准。一旦设立了校准矩阵，然后一直使用，直到相机设置改变。那时，必须手动启动新的校准程序。
【发明内容】
[0020]本发明涉及深度感测相机装置关于其外部参数的校准，例如，该相机相对于场景的位置及取向。该种校准提供校准矩阵。
[0021]本发明的一个目的在于促进可包含动态方面的设施校准，例如，相对于场景可随时间变化的相机的位置及取向。这是对相机位置及取向不随时间变化的固定设施的补充。
[0022]此外，可在检测到外部相机参数发生任何变化时启动校准程序。这样的校准程序可用于更新预定的校准矩阵。
[0023]因此本发明的一个目标是提供一种方法，该方法提供对于场景内该相机的取向和位置的自动确定。
[0024]本发明的另一个目标是提供一种不需要人工操纵而对相机提供校准的方法。
[0025]本发明的另一个目标是提供一种确定变换的方法，该变换允许从在相机或虚拟坐标系中表达的数据测量值到施加或真实坐标系中表达的数据的正向和反向的应用。
[0026]本发明的又一步目标是提供一种方法以及系统，使用从所捕捉的场景本身或使用与相机相关联的外部测量装置所确定的垂直方向，来确定相对于现实世界坐标系的该相机的参考坐标系。
[0027]本发明的另一个目标是提供一种避开(circumvent)场景中地面低能见度的方法。
[0028]本发明的又一个目标是提供一种系统，通过迭代地调整相机来改进并自动化相机坐标系和现实世界坐标系之间的校准程序，以使相机坐标系中至少一个轴与由现实世界坐标系所定义的平面对齐。
[0029]根据本发明的第一个方面，提供了一种校准三维环境三维飞行时间成像系统的方法，这种方法包括以下步骤:
[0030]a)确定该三维成像系统的参考正交虚拟三维坐标系，该参考正交虚拟三维坐标系具有水平、垂直、以及深度轴，其中水平轴以及垂直轴分别与三维成像系统中传感器的水平及垂直轴对齐，其深度轴与该传感器的由其水平及垂直轴所定义的平面正交；
[0031]b)在虚拟坐标系中获得现实世界的垂直方向；
[0032]c)相对于参考坐标系确定现实三维正交坐标系，其具有水平、垂直、以及深度轴，其中旋转垂直轴从而相对于垂直方向对齐；
[0033]d)确定场景中的一点作为现实三维正交坐标系新的原点；
[0034]e)导出从虚拟三维坐标系原点到被定义为场景中新原点的点的平移向量；
[0035]f)导出旋转矩阵，用于将虚拟三维坐标系变换为现实世界三维正交坐标系；以及
[0036]g)导出三维成像系统的校准矩阵，作为由该平移向量所平移的旋转矩阵；
[0037]其特征在于，本方法还包括将由现实世界三维坐标系的垂直轴及深度轴所定义的平面对齐为与虚拟三维坐标系(M。)的虚拟垂直轴与虚拟深度轴所定义的平面共面的步骤。
[0038]应当认识到此处使用的术语“三维成像系统”还包括使用传感器捕捉场景的三维相机。
[0039]术语“现实世界坐标系”以及“虚拟坐标系”分别涉及世界坐标系以及相机坐标系。
[0040]此外，可从校准矩阵导出逆校准矩阵。
[0041]可导出现实世界的垂直方向作为使用测量单元所确定的重力向量的反向向量，其中测量单元，例如，至少一个惯性测量装置。
[0042]可选地，步骤b)可包括从水平面的法线导出现实世界的垂直方向。该水平面可由以下步骤确定:
[0043]i )用处于第一取向的三维成像系统捕捉场景；
[0044]ii)使用平面拟合算法来确定场景中多个平面；以及
[0045]iii)将场景中的一个参考平面确定为地面。
[0046]通过使用平面拟合算法来确定水平面，校准程序中，该地面在不必要可见。
[0047]在这种情况下，iii)可包括确定该参考平面最佳地满足了以下至少一项的一个平面:统计模式；最大表面；以及最小表面积。
[0048]可选地，步骤iii)可包括作为如下的组合来确定参考平面:场景主成分分析的统计模式；最大表面；以及最小表面积。
[0049]在一个实施例中，通过满足统计模式来确定参考平面的步骤包括，例如，在多个平面中选择:表面积大于Im2的一个表面；相对于该平面法线具有最低协方差值的一个表面；以及位于距离相机超过Im的一个表面。应当理解也可能用到其他表面积及与相机距离的值。
[0050]在另一可选实施例中，步骤b)可包括从场景中特定的用户站姿导出现实世界垂直方向，该垂直方向是与以预定校准姿态站立的用户的垂直方向对齐的方向。
[0051 ] 在这个可选实施例中，这种方法可进一步包括从预定校准姿态导出水平轴及垂直轴的步骤。在这种情况下，世界三维坐标系与所导出的水平及垂直轴对齐。
[0052]理所当然地，具有预定姿势或姿态的适当物体可代替采用特定站姿的用户用于确定垂直轴。
[0053]在又一个实施例中，步骤b)包括从场景中检测到的边缘导出现实世界的垂直方向。
[0054]步骤b)可进一步包括通过组合以下两个或多个步骤来提炼垂直方向:将现实世界垂直方向(Vw)导出为使用测量装置所确定的重力向量的反向向量；从场景中一平面的法线中导出现实世界的垂直方向(Vw);从场景中特定用户站姿获取现实世界垂直方向(Vw)，该垂直方向(Vw)是与以预定校准姿态站立用户的垂直方向对齐的方向；以及从场景检测到的边缘导出现实世界的垂直方向(vw)。
[0055]步骤d)可包括确定使用如下项之一来确定该点:空间中一预定点；确定用户各点的最低位置；地面上一点；检测到的某一平面上的一点；以及场景中某预定物体的位置。
[0056]可相对于现实坐标系的原点来确定相机的位置，该原点可被确定为位于用户或物体的位置底部，或被确定为位于场景中某一平面上。可手动地或自动地确定相机相对于现实坐标系的位置。
[0057]在一个实施例中，这种方法进一步包括了如果检测到以下情况中至少一项的变化时自动改进校准矩阵的步骤:相对于三维环境的三维成像系统位置及取向，虚拟坐标系中与由现实坐标系中两个轴所定义的平面对齐的至少一个轴。优选地，通过控制支持三维成像系统的机动系统，虚拟坐标系的至少垂直轴与Z-Y面，即，现实世界坐标系的垂直轴及深度轴所定义的平面对齐。
[0058]理想的是，将该校准矩阵存储在存储器中。在信号处理之前使用该校准矩阵校正相机测量值。然而，如果相机的位置及取向的至少一个发生变化时，可需要更新校准矩阵。可使用机动工具自动调整相机的位置和取向并相应地更新对应的校准矩阵。
[0059]根据本发明的另一个方面，提供了一种具有惯性测量单元的深度感测成像系统，该深度传感成像系统根据上述方法操作。
[0060]根据本发明又一个方面，提供了一种深度传感成像系统，具有机动工具，用于根据上述方法调整该深度传感系统的位置和取向中的至少一项。
[0061]根据本发明另一个方面，提供了一种三维飞行时间成像系统，具有根据上述方法操作的校准工具。
【专利附图】
【附图说明】
[0062]为了更好地理解本发明，现仅通过示例的方式参考附图，其中:
[0063]图1示出根据本发明的可能设置，其中相机至少部分指向地面；
[0064]图2示出根据本发明的另一种可能设置，其中相机具有相对于场景而言不同的位置和取向；
[0065]图3示出根据本发明的一种通用自动校准程序的流程图；
[0066]图4示出根据本发明的一种手动校准程序的流程图，其中使用用户的姿态来确定现实世界坐标系的垂直方向以导出校准矩阵；
[0067]图5示出一种自动校准程序的流程图，其中使用加速度计测量值来确定现实世界的垂直方向，并利用机动系统迭代地调整相机取向以满足优选的捕捉设置；以及
[0068]图6示出3D相机装置的示意图，示出相机的定向侧倾、俯仰、及横摆轴。
[0069]发明实施方式
[0070]将参考特定实施例及附图对本发明进行描述，但本发明不限于这些例子。所述附图仅为示意而非限制性的。在附图中，为了示意目的，部分元素的尺寸可能被夸大而非按比例画出。
[0071]应理解此处所使用的术语“垂直”及“水平”指的是附图的特定方向，这些术语并不限于所述的特定实施例。
[0072]本发明涉及一种用于机器视觉的几何校准的方法及系统。更特定地，涉及三维(3D)相机的校准，且包括外部相机参数的静态和动态检测模式，从而改进对捕捉到的场景的管理和分析。这样的校准包括从现实世界坐标系中确定相机的旋转和平移。
[0073]在欧氏几何中，平移是一种仿射变换，将所有的点在指定方向上移动一个固定距离。对于一个已知点P，其齐次向量卢可以写为:
- P''
[0074]P =
P:1
[0075]平移向量P，也可写为:
【权利要求】
1.一种在三维环境下校准三维飞行时间成像系统的方法，所述方法包括如下步骤: a)确定三维成像系统的参考正交虚拟三维坐标系(M。)，所述参考正交虚拟三维坐标系(Mc)具有水平、垂直、及深度轴，其中所述水平轴及所述垂直轴分别与位于所述三维成像系统内的传感器的水平轴及垂直轴对齐，且所述深度轴与所述传感器的由所述传感器的水平轴及垂直轴所定义的平面正交； b)在虚拟坐标系(M。)中获得现实世界的垂直方向(Vw)； c)相对于所述参考坐标系来确定现实世界三维正交坐标系(Mw)，所述现实世界三维正交坐标系(Mw)具有水平、垂直、和深度轴，其中旋转所述垂直轴使之对齐所述垂直方向(Vw); d)确定场景中的一点作为所述现实世界三维正交坐标系(Mw)新的原点； e)从所述虚拟三维坐标系(M。)的原点到定义为所述场景的新原点的点，导出平移向量(Tv)； f)导出旋转矩阵(Md，用于将所述虚拟三维坐标系变换为所述现实世界三维坐标系，以及； g)导出所述三维成像系统的校准矩阵(Me2w)作为由所述平移向量所平移的旋转矩阵； 其特征在于，所述方法还包括将由所述现实世界三维坐标系的垂直轴及深度轴所定义的平面与所述虚拟三维坐标系(M。)的虚拟垂直轴与虚拟深度轴所定义的平面对齐从而共面的步骤。
2.根据权利要求1所述的方法，其特征在于，步骤g)还包括从所述校准矩阵(Mcat)导出逆校准矩阵(Mw2。)，用于将所述现实世界三维坐标系变换为虚拟三维坐标系。
3.根据权利要求1或2所述的方法，其特征在于，步骤b)包括将导出所述现实世界的垂直方向(Vw)作为使用测量装置所确定的重力向量的反向向量，所述测量装置包括至少一个惯性测量单元。
4.根据权利要求1或2所述的方法，其特征在于，步骤b)包括从场景中一平面的法线导出所述现实世界的垂直方向(Vw)，所述场景中的平面由如下步骤确定: i)用处于第一取向的所述三维成像系统捕捉场景； ii)使用平面拟合算法来确定所述场景中的多个平面；以及 iii)确定所述场景中的一个参考平面作为地面。
5.根据权利要求4所述的方法，其特征在于，步骤iii)包括将最佳地满足如下项的一个确定为所述参考平面:统计模式；最大表面；以及最小表面积。
6.根据权利要求4所述的方法，其特征在于，步骤iii)包括作为如下项的组合，确定所述参考平面:所述场景的主成分分析的统计模式；最大表面；以及最小表面积。
7.根据权利要求1或2所述的方法，其特征在于，步骤b)包括从所述场景中特定用户站姿导出所述现实世界的垂直方向(vw)，所述垂直方向(Vw)是与以预定校准姿态站立的用户的所述垂直方向对齐的方向。
8.根据权利要求7所述的方法，其特征在于，还包括如下步骤:从所述预定校准姿态来导出水平轴及垂直轴，并将所述现实世界三维坐标系(Mw)与所导出的水平及垂直轴对齐。
9.根据权利要求1至3中任意一个所述的方法，其特征在于，步骤b)包括从在所述场景中检测到的边缘中导出所述现实世界的垂直方向(Vw)。
10.根据权利要求1或2所述的方法，其特征在于，步骤b)包括通过组合两个或更多的如下步骤，来对垂直方向(Vw)进行优化:导出所述现实世界的垂直方向(Vw)作为使用测量装置所确定的重力向量的反向向量；从所述场景中一平面的法线导出所述现实世界的垂直方向(Vw);从所述场景中的特定用户站姿导出所述现实世界的垂直方向(vw)，所述垂直方向(Vw)是与以预定校准姿态站立用户的垂直方向对齐的方向；以及从场景检测到的边缘获取现实世界垂直方向(Vw)
11.根据上述权利要求中任意一个所述的方法，其特征在于，步骤d)包括确定新的原点时采用以下方法之一:使用空间中一预定点；定义用户的各点的最低位置；位于检测到的平面上的一点；以及所述场景中预定物体的位置。
12.根据上述权利要求中任意一个所述的方法，其特征在于，还包括当检测到以下项中至少一项发生变化时自动改进校准矩阵(Me2w)的步骤:相对于三维环境的三维成像系统的位置及取向、虚拟坐标系(M。)中与由所述现实世界坐标系(Mw)中两个轴所定义的平面对齐的至少一个轴。
13.根据权利要求12所述的方法，其特征在于，还包括通过控制支承三维成像系统的机动系统，将所述虚拟坐标系(M。)的至少垂直轴与所述现实世界坐标系(Mw)的所述Y-Z平面对齐的步骤。
14.一种具有惯性测量单元的深度感测成像系统，所述深度感测成像系统按照根据上述任一权利要求所述的方法操作。
15.一种具有机动工具的深度感测成像系统，用于调整以下至少一项:按照根据权利要求1至13中任一个所述的方法操作的深度感测成像系统的位置及取向。
16.一种三维飞行时间成像系统，具有根据权利要求1至13中任一个所述方法操作的校准工具。
【文档编号】G06T7/00GK103718213SQ201380002407
【公开日】2014年4月9日 申请日期:2013年1月14日 优先权日:2012年1月13日
【发明者】X·巴埃莱, J·马丁内斯冈萨雷斯 申请人:索弗特凯耐提克软件公司