确定摄像头相对于环境的姿态的方法
【专利摘要】本发明提供了一种确定摄像头相对于环境的姿态的方法。通过根据一组初始图像确定点对应关系并且然后对于该点对应关系应用2点运动估计以确定摄像头的一组初始姿态来获得可移动摄像头相对于环境的姿态。根据一组初始姿态和点对应关系生成点云。然后，对于每个下一图像，确定点对应关系和对应的姿态，同时对点云进行更新。
【专利说明】确定摄像头相对于环境的姿态的方法
【技术领域】
[0001]本发明一般地涉及使用计算机视觉用于运动估计，并且更具体地，涉及使用该运动估计用于车载摄像头的姿态确定以检测车辆附近的障碍物。
【背景技术】
[0002]从利用安装在车辆上的摄像头获取的车辆附近的环境(例如,道路或车库)的视频进行诸如车辆或机器人的对象的准确的运动估计在车辆和机器人导航中是重要的问题。大多数传统方法使用摄像头模型(单眼或立体)或者运动模型(平面或非平面)。为了从图像的序列确定车辆相对于环境的相对运动，诸如随机样本一致性(RANSAC)的假想-测试框架中的最少数目的特征对应关系在存在异常值时产生准确的结果。
[0003]使用车载摄像头根据视频序列进行稠密深度估计当车辆特别是在诸如车库、码头、马路、停车场和一般道路等等的受约束环境中后退时对于诸如检测移动中的车辆附近的人和障碍物的安全应用来说是特别有用的。
[0004]极小解
[0005]Nister的已知的利用RANSAC框架的五点法是针对存在异常值时的运动估计的优选方法。在两个摄像头之间的相对运动的情况下，在运动参数中存在六个自由度(DOF):三个DOF用于旋转并且三个DOF用于平移。对于具有单个投影中心的传统摄像头来说，仅能够确定五个参数，即，平移仅能够确定到一定标度。因此，需要五个特征对应关系中的极小值来确定运动参数。
[0006]例如，能够使用哈里斯角点、Kanade-Lucas-Tomasi跟踪器(KLT)和尺度不变特征变换(SIFT)来获得特征对应关系。通常，极小方法导致对于运动的有限数目的解，并且基于物理约束或额外的点对应关系来选择正确的运动。
[0007]极小解已知用于若干校准和3D重构问题:径向畸变的自动校准、立体三点问题、五点相对姿态问题、六点焦距问题、六点广义摄像头问题、用于估计抛物反射折射基础矩阵的九点问题、九点径向畸变问题、利用六个对应关系的点面配准、用于利用点或线的立体设置的姿态估计以及用于利用点和线的单眼设置的姿态估计。
[0008]受限运动模型
[0009]通常由相关应用来约束摄像头的相对运动。例如，安装在车辆上的摄像头并不是通常都具有6D0F。如果行进面是平面，则摄像头仅能够具有三个DOF (两个平移DOF和一个旋转DOF )。
[0010]Scaramuzza等人已经示出了对于特定类别的车辆、自行车和机器人，能够仅利用一个参数来对运动进行参数化。因此，能够使用I点方法。潜在的想法是存在旋转瞬时中心(ICR)，并且车辆遵从围绕该ICR的圆形路径。
[0011]当可以使用惯性测量单元(IMU)时，能够利用重力矢量获得两个测量角度。剩余的未知量是能够利用四次方程由三点运动估计方法求解的三个参数(I个旋转DOF和2个平移D0F)。该运动估计方法对于诸如蜂窝电话的手持数字装置中的摄像头来说能够是有用的。
[0012]另一方法对于平面运动序列使用2点运动估计方法。这可用于安装在机器人上的摄像头在平面上移动时的室内机器人自我运动估计。自由度的数目为三(I个旋转DOF和2个平移D0F)。然而，相对运动仅能够恢复到某一标度。在RANSAC框架中，所要求的迭代数目通常在确定运动所要求的点数减小时较小。考虑到方程的复杂度，该方法利用牛顿-拉夫逊算法迭代地确定解，这消耗时间并且不能用于实时应用。
[0013]同时定位和图创建(SLAM)
[0014]SLAM使用运动模型来平滑摄像头的轨迹并且约束用于3D环境重构的特征对应关系的搜索区域。SLAM是用于利用视觉特征观察来融合惯性测量的方法。当前摄像头姿态以及视觉地标的3D位置被结合地进行估计。基于SLAM的方法负责摄像头的姿态与观察特征的3D位置之间的相关性。然而，基于SLAM的方法由于适当地处理相关性的计算很复杂而具有高计算复杂度，并且因此，在具有成千上万的特征的环境中执行基于视觉的SLAM对于实时应用来说是有问题的。
【发明内容】
[0015]很多可移动对象(例如，车辆、自行车、机器人和人)能够配备有摄像头。本发明的实施方式提供了一种从通过安装在对象上的单个摄像头获取的对象附近的环境的图像序列估计对象的相对运动。运动估计能够然后用于检测环境中可能干扰安全操作和车辆的移动的障碍物。由于摄像头被固定到对象，因此，能够从摄像头的姿态确定对象的运动。
[0016]如这里一般性地定义的。姿态包括3D位置和3D取向。每个姿态的平移位置和角取向能够具有最多三个自由度(D0F)。
[0017]对于机器人学和计算机视觉来说，不完全约束和平面性下的运动估计方法的性能是已知的。现有技术的方法通常使用最少数目的关于运动模型的点对应关系。已知的是，这样的极小方法当在诸如RANSAC的假想-测试框架中使用时是高效的并且容纳异常值。
[0018]本发明的实施方式利用受到共面和正交性约束的单个二次(二阶多项式)方程解析地求解平面2点运动估计。即，该方法是非迭代的，这与利用牛顿-拉夫逊迭代算法的现有技术方法不同。非迭代方法是更高效的，不存在局部极小问题，并且能够实时地执行，这对于车辆安全应用来说是很必要的。
[0019]虽然现有技术2点运动估计以2D生成视觉上准确的车辆轨迹，但是运动的准确性由于很多行进表面的非平面性导致不足以执行稠密3D重构。
[0020]因此，实施方式对于一组初始图像使用2D相对运动方法，之后对于每个随后的下一图像进行3点2D至3D摄像头姿态估计。
[0021]利用该混合方法，能够为产生用于障碍物检测应用的稠密深度图的平面扫描过程生成准确的运动估计。
【专利附图】
【附图说明】
[0022]图1是根据本发明的实施方式的具有摄像头的车辆和与地平面共面的运动估计位置；
[0023]图2是根据本发明的实施方式的2点运动估计的坐标变换的示意图；[0024]图3是根据本发明的实施方式的确定车载摄像头的姿态的方法的流程图；以及
[0025]图4是根据本发明的实施方式的用于确定稠密深度图的平面扫描过程的流程图。
【具体实施方式】
[0026]本发明提供了一种用于从由安装在可移动对象上的摄像头获取的可移动对象附近的环境103的视频中的一系列图像确定摄像头姿态的方法。对象能够是轿车、卡车、自行车、滑行的飞机、机器人、人等等。由于摄像头与对象是固定的关系，因此，摄像头的姿态能够用于确定对象的姿态、对象的运动以及对象附近的可能的障碍物。
[0027]如这里一般地定义的，姿态包括摄像头的位置和取向。平移位置T和角取向R均能够具有最多三个自由度。
[0028]运动估计
[0029]图1示出了车辆101的平面运动的两点运动估计。车辆的运动与地平面111基本上共面。摄像头102沿着坐标系Q、C2, C3> C4在与地平面平行的平面112上移动。图示出了分别处于两个坐标系C1和C2的相对于摄像头的两个3D点P1和P2的投影线。
[0030]坐标系变换
[0031]我们使用摄像头坐标系、用于环境的世界坐标系和中间坐标系。在校准和初始使用过程中，世界坐标系被变换到初始摄像头坐标系。例如，在图1中，坐标系C1对应于变换后的世界坐标系。接下来的坐标系C2 — C3 — C4，然后显示摄像头的运动。
[0032]图2示出了根据本发明的实施方式的用于2点运动估计方法的坐标变换技术的一般概念。我们的目标在于确定摄像头坐标系C1和C2之间的运动(H)，即姿态。注意的是，C1是从世界坐标系进行的·变换。我们将坐标系C1和C2分别变换到两个中间坐标系C' !和C' 2。我们确定C' I和C' 2之间的运动(R，T)。
[0033]方法
[0034]离线预处理
[0035]图3示出了根据本发明的实施方式的姿态确定的一般方法。
[0036]在操作开展之前，摄像头能够被校准321并且能够如下详细描述地那样对地平面进行估计322。这能够在一次离线预处理320中执行。步骤321和322产生摄像头参数和地平面参数325。这使得世界坐标系能够变换到初始摄像头坐标系。
[0037]实时处理
[0038]在操作过程中，安装在例如车辆101上的摄像头102获取车辆附近的环境的一系列图像310。例如，车辆在道路上行驶，并且想要检测可能的障碍物。通常，摄像头大致指向地平面。一系列图像包括一组初始图像Ii (i=l，…，m)311和接下来的图像Ii (i=m+l,…，η) 312。该组初始图像包括例如20个图像(B卩，m=20)。
[0039]从该组初始图像331确定330点对应关系。向点对应关系应用350两点运动估计以获得一组初始姿态Pi (1=1,..., m) 3550该组初始姿态用于生成370点云361。点云优选是“稀疏的”。这里，稀疏不是不确定的相对术语，而是在数字解析领域中传统上已知和定义的术语。
[0040]由于摄像头与车辆处于相对固定的几何关系，因此，摄像头的姿态能够用于确定车辆的运动，并且更具体地，用于定位视频中看到的能够干扰车辆的移动的障碍物。[0041]上述2点运动估计产生视觉上准确的路上车辆轨迹。然而，运动的准确性由于道路的非平面性而不足以执行稠密3D重构。因此，我们对于该组初始图像311使用2点相对运动估计350，之后对于接下来的下一图像312进行3点2D至3D摄像头姿态估计380。即，关于点云，对于每个下一图像312确331定点对应关系。3点2D至3D摄像头姿态估计380应用于这些点对应关系以确定下一图像的姿态381，并且姿态用于更新375点云。初始图像的姿态Pi (i=l，…，m) 355和下一图像的姿态pi (i=m+l,..., η) 381的序列基本上显示了摄像头所经历的运动。
[0042]使用该混合方法，我们为产生用于障碍物检测应用的准确的稠密深度图430的平面扫描过程420生成准确的运动估计。该方法的准确性足以重构位于小距离(小于2米)处的小对象(IOcm宽的柱和尺寸30cm的盒)。下面参考图4描述平面扫描过程。
[0043]能够利用车辆中的处理器(例如，车辆导航系统的一部分)执行图3-4中所示的步骤。该方法能够实时地操作。还能够使用图形处理单元(GPU)。
[0044]2点运动估计-步骤350
[0045]运动估计350获得用于两个图像的相对姿态。两个图像中的对应的特征点P和P’由本质矩阵E相关:
[0046]ρ，τΕρ=0..(I)
[0047]注意的是，ρ和P’表示为球面图像坐标中的单位矢量，即P和P’是反向投影到单位球上的像素，从而I IpI I = I Ip’ 11=1。当摄像头被校准321时，这也始终是可能的。
[0048]能够利用关系E=[T] XR来确定本质矩阵E，其中，R是3X3旋转矩阵，并且[T] X是3X I平移矢量T的斜对称矩阵:
【权利要求】
1.一种确定摄像头相对于环境的姿态的方法，其中，所述摄像头是可移动的，所述方法包括: 从由所述摄像头获取的所述环境的一组初始图像确定点对应关系； 对于所述点对应关系应用2点运动估计以确定所述摄像头的一组初始姿态；以及根据所述一组初始姿态和所述点对应关系生成点云，并且对于每个下一图像，执行下述步骤: 从所述下一图像确定所述点对应关系； 从所述下一图像的所述点对应关系和所述点云确定所述摄像头的姿态；以及 根据所述下一图像的所述点对应关系和所述姿态更新所述点云， 其中，上述步骤在处理器中执行。
2.根据权利要求1所述的方法，其中，所述点云是稀疏的。
3.根据权利要求1所述的方法，其中，所述应用的步骤进一步包括: 解析地求解用于所述2点运动估计的二次方程。
4.根据权利要求1所述的方法，所述方法进一步包括: 将平面扫描过程应用于具有所述姿态的所述图像以产生稠密深度图。
5.根据权利要求3所述的方法，其中，在随机样本一致性RANSAC框架中进行所述2点运动估计。
6.根据权利要求5所述的方法，其中，利用至少两个点对应关系生成所述RANSAC框架中的假设。
7.根据权利要求1所述的方法，其中，所述摄像头安装在车辆上。
8.根据权利要求4所述的方法，所述方法进一步包括: 利用所述稠密深度图检测障碍物。
9.根据权利要求1所述的方法，其中，所述2点运动估计进一步包括: 从所述点对应关系获得投影线； 将第一摄像头坐标系中的所述投影线变换到第一中间坐标系，并且将第二摄像头坐标系中的所述投影线变换到第二中间坐标系； 利用受到共面性和正交性约束的二次方程确定所述第一中间坐标系与所述第二中间坐标系中的所述投影线之间的运动；以及 利用在所述第一中间坐标系与所述第二中间坐标系中计算出的运动确定所述第一摄像头坐标系和所述第二摄像头坐标系中的所述投影线之间的运动。
【文档编号】H04N13/02GK103578117SQ201310326837
【公开日】2014年2月12日 申请日期:2013年7月31日 优先权日:2012年8月1日
【发明者】S·拉姆阿里加姆, 田口裕一, 朱梦龙 申请人:三菱电机株式会社