用于确定第一坐标系与第二坐标系之间的运动的方法与流程

本发明总体涉及计算机视觉，更具体地涉及使用特征点对应来确定在道路上的车辆的两个坐标系之间的运动，其中，各坐标系与摄像头的摄像头坐标系对应，该摄像头例如单目或立体摄像头。

背景技术：

视觉测程(visualodometry)是指使用来自由例如安装在物体上的一个或更多个摄像头获取的图像的特征确定运动物体从一个位置到另一个位置的运动的问题，该运动物体例如车辆或机器人。已知几种方法使用诸如点的几何图元来估计运动。例如，可以使用5个或更多个点对应以使用在一个坐标系中的2d点到另一坐标系之间的对应以确定运动，参见nister，“anefficientsolutiontothefive-pointrelativeposeproblem”pami，2004。

还存在2d到3d姿态估计方法，其用于基于由先前的立体图像重构建的部分3d点云来估计运动物体的位置，参见kitt等人,“visualodometrybasedonstereoimagesequenceswithransac-basedoutlierrejectionscheme”iv，2010年。

一种方法在迭代最近点(icp)方法中使用3d到3d点对应来确定立体摄像头之间的运动，参见milella等人，“stereo-basedego-motionestimationusingpixeltrackinganditerativeclosestpoint”，iccvs，2006年。

投票策略已用于计算视觉测程，参见us20120308114,“votingstrategyforvisualego-motionfromstereo”，并且机器学习过程已用于估计摄像头姿态，参见wo2014130404，“methodanddeviceforcalculatingacameraorobjectpose”。

技术实现要素：

本发明的实施方式提供了一种用于确定第一坐标系与第二坐标系之间的运动的方法。方法从训练数据构建紧凑姿态过渡图。该图可以用于在不执行任何明确的运动或姿态确定的情况下获得视觉测程。

通常，运动或姿态估计涉及多项式方程组的求解。该方法不需要任何代数方程组来获得姿态。相反，该方法简单地针对最佳运动在姿态过渡图中进行搜索。在姿态过渡图中，各节点表示两个连续摄像头位置之间的可能相对姿态。两个相对姿态之间的边表示在进行视觉测程的同时在连续帧中具有这两个相对姿态的可能性。

方法与使用诸如3或5点姿态估计这样的运动估计过程的用于视觉测程的其他方法不同。

方法使用评分函数，该评分函数基于点对应确定距离度量，其可以从姿态过渡图有效地识别正确的运动。

附图说明

[图1]

图1是根据本发明的实施方式的在我们的视觉测程过程中使用的用于确定第一坐标系与第二坐标系之间的运动的方法的流程图；

[图2]

图2是根据本发明的实施方式的三个连续图像和两个连续相对姿态的示意图；以及

[图3]

图3示出了根据本发明的实施方式的用于两个连续帧之间的可能相对姿态的后过渡图。

具体实施方式

如图1所示，本发明的实施方式提供了一种用于确定第一坐标系与第二坐标系之间的运动的方法。例如，该方法可以用于视觉测程应用，其中，该方法使用来自由例如安装在运动物体110上的一个或更多个摄像头120获取的场景130的图像的特征确定该物体从一个位置到另一个位置的运动，该物体例如车辆或机器人。

该方法使用从训练数据110构建的紧凑姿态过渡图300，参见图3。该图然后可以用于在不执行任何明确的运动或姿态确定的情况下获得视觉测程。

大多数现有技术视觉测程方法通过对随机抽样一致(ransac)方法的多项式方程求解，使用明确的运动或姿态确定。

我们不使用明确的运动确定，并且我们不使用ransac。我们的方案使用姿态过渡图和点对应来“搜索”相对姿态，而不是直接确定对应。

对我们方法的输入是由已校准的摄像头获取的图像序列101。从图像序列，我们提取103关键点、关键点的描述符，以确定匹配的关键点。

在训练期间，我们从训练数据110构建102姿态过渡图300。姿态过渡图300表示可能的运动假设。在该图中，每个节点表示在由获取的场景130的视频中的两个连续图像之间的相对姿态的候选，该视频例如设置在车辆110上的摄像头120获取。连接两个节点的各边表示两个连续相对姿态之间的可能运动。

为了进行这一点，我们使用由安装在运动125上的摄像头获取的数千个地面实况相对姿态，运动物体125例如道路130上的车辆110。通过去除冗余姿态来对这些相对姿态群集并压缩。使用已压缩的姿态组，我们构建对从一个相对姿态到另一相对姿态的状态过渡进行编码的紧凑图。

对于视频中的每个图像，我们使用传统的关键点检测器来检测关键点，诸如加速鲁棒特征(surf)。我们还在步骤103中提取surf描述符，并且匹配所有连续的图像对。

对于姿态过渡图中的每个相对姿态，我们识别104如步骤105中所示的一致的内点(inlier)匹配的数量。

我们使用内点上的评分函数来确定产生得分的距离度量。距离度量识别最佳运动106，该最佳运动106可以被输出。

方法可以在如本领域中已知的由总线连接到存储器和输入/输出接口的处理器中执行。

如图2所示，我们分别示出三个连续的图像f(t-2)201、f(t-1)203以及f(t)205。图像f(t-2)与f(t-1)之间的相对姿态由pi202给出。类似地，图像f(t-1)与f(t)之间的相对姿态由pj204给出。

如图3所示，我们描述了用于在训练期间构建后过渡图300中的基本构思。在该图中，每个节点表示在从场景130的视频中的两个连续图像之间的相对姿态的候选，该视频例如由设置在车辆110上的摄像头120获取。连接两个节点的各边表示两个连续相对姿态之间的可能运动。

例如，在图3中，边302表示与在相对姿态pm之后具有相对姿态pr对应的可能运动。换言之，如图2所示，存在三个图像f(t-2)201、f(t-1)203以及f(t)125，使得f(t-2)与f(t-1)之间的相对姿态是pm，并且f(t-1)与f(t)之间的相对姿态是pr。节点pk304上的环303指示可以存在都等于相对姿态pk的两个连续相对姿态。

后过渡图是使用训练视频序列即训练数据110来构建的。我们使用分析运动估计过程和光束平差(bundle)调整机构来获得连续帧之间的相对姿态。换言之，我们使用传统的分析相对和绝对姿态估计过程来生成地面实况。

我们还可以使用全球定位系统(gps)和/或惯性测量单元(imu)来获得用于训练数据的相对姿态信息。假设qi(其中，i＝{1,2,..,m})为来自训练数据的所有连续图像对的相对姿态。然后，我们对这些姿态群集，使得类似的全部相对姿态属于一个群集，并且我们使用来自一个群集的代表相对姿态。通过这样做，我们获得的较小的相对姿态组pi，其中，i＝{1,2,…,n}，其中，n<<m。

使用该较小的相对姿态组，我们以以下方式构建图2所示的过渡图。

1.初始化n个节点，其中，各节点与组pi(i＝{1,2,…,n})中的相对姿态对应。

2.对于每个连续的相对姿态qi和qj：

a.如果经压缩的组中的最近相对姿态是pi和pj，那么我们添加从pi到pj的边。

b.如果经压缩的组中的最近相对姿态都是pk，那么我们添加针对节点pk的自身环。

假设f(t-2)、f(t-1)以及f(t)为三个连续的图像。假设f(t-2)与f(t-1)之间的相对姿态由pi给出。我们使用以下评分函数来确定f(t-1)与f(t)之间的当前相对姿态pj：

得分(pj)＝内点(pj)+s*w(pi,pj)

其中，s是调节内点和w的相对重要性的尺度参数。参数s可以是学习的或是人工固定的。内点(pj)通过使用相对姿态pj来获得。与从pi到pj的状态过渡对应的权重是w(pi,pj)。

该方法可以用于多个应用，包括但不限于自主驾驶应用中的汽车，诸如用于移动机器人、手持设备以及无人机的精确定位和视觉测程。