用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备与流程

本发明涉及用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备。

背景技术：

驾驶员辅助系统领域中的许多子模块，无论其是基于雷达还是摄像机，都有一定的失败可能性。为了在运载工具广泛系统(vehiclewidesystem)中使用它们的输出信号，除该信号之外还接收某种质量估计是重要的。该质量估计应给出信号是否正确且在某个准确带宽内的信息。来自比如单目摄像机的传感器的估计自我运动的模块尤其需要该重要信息。

这样的模块的输出常用于比如摄像机校准的应用，或用作用于对象跟踪器(例如用于车道标志、运载工具及行人跟踪器)的自我运动输入。在这些应用中，错误输入可能导致错误且关键性的系统反应。信号质量的附加信息常被称为置信度。

技术实现要素：

本发明的基本目的是提供一种允许生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的有意义的置信度测量的方法。进一步地，本发明的目的是提供一种用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的设备。

本发明下的目标由独立权利要求的特征所满足。在从属权利要求中陈述了本发明的有利的进一步的发展和方面。

在本发明的一个方面中，提供一种生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法。根据该方法，特别是在训练模式或离线模式中，当运载工具正在移动时通过摄像机捕捉连贯的训练图像。另外，确定针对训练图像的地面实况(ground-truth)数据。根据训练图像计算光流向量，并且针对每个训练图像估计第一输出信号。该估计基于光流向量，并且第一输出信号指示摄像机的定向和/或定向的改变。摄像机的定向可以由俯仰角和横摇角给出，并且摄像机的定向的改变可以指示自我运动。针对每个训练图像，将第一输出信号分类为正确信号或错误信号。第一输出信号的分类取决于针对相应的训练图像的第一输出信号多么好地符合地面实况数据。另外，针对每个训练图像确定光流场性质，其中光流场性质从训练图像导出。然后生成基于第一输出信号的分类将光流场性质分离成两类的分离函数。

在已经在训练模式或离线模式中生成分离函数之后，该分离函数可用在运行时间期间或在线模式中，以提供针对估计的有意义的置信度测量。在运行时间期间由同一摄像机或安装在同一运载工具或另一运载工具上的另一摄像机捕捉连贯的图像。在在运行时间期间使用另一摄像机和/或另一运载工具的情况下，另一摄像机和/或另一运载工具可以被分别同样地构造成如在训练模式期间使用的摄像机和运载工具一样。根据在运行时间期间捕捉到的图像计算光流向量并针对每个图像估计第二输出信号，其中第二输出信号指示摄像机的定向和/或定向的改变。估计基于根据在运载工具移动时在运行时间期间捕捉到的图像而计算的光流向量。针对在运行时间期间捕捉到的每个图像，确定光流场性质，其中光流场性质从在运行时间期间捕捉到的训练图像导出。特别地，在运行时间期间确定的光流场性质与在训练模式中确定的光流场性质是同类的。通过使用确定的光流场性质和分离函数，生成针对第二输出信号中的每个的置信度信号。例如，通过使用过去在训练模式中生成的分离函数，可以将光流场性质分成两类。在该情况下，置信度信号取决于相应图像的光流场性质的类别。

在一个实施例中，过滤第二输出信号中的至少一些。在过滤期间，置信度信号可以被用作用于相应图像的第二输出信号的加权因子。进一步地，针对第二输出信号中的每个的置信度信号可以被用于决定相应的第二输出信号是否用于过滤。例如，可以假设仅具有高置信度的第二输出信号被过滤。特别地，卡尔曼过滤器用于过滤。

过滤步骤的结果可以用于确定摄像机的定向和/或定向的改变。

在另一实施例中，通过执行以下步骤在训练模式中从训练图像导出光流场性质。首先从训练图像中的一个选择多个点并从随后的训练图像选择对应点。定义光流向量，其中每个光流向量将一个训练图像中的点中的一个连接到随后的训练图像中的对应点。还以相同的方式定义针对其他训练图像的光流向量。进一步地，计算每个光流向量的估计误差。特别地，估计误差是第一输出信号的估计误差。将光流向量写到针对每个训练图像的直方图(histogram)中，其中针对相应的训练图像的直方图表示光流向量的计算出的误差的分布。由于每个训练图像的第一输出信号已经被分类为正确信号或错误信号，因此可以以相同的方式对针对相应的训练图像的直方图进行分类。

在运行时间期间，可以以与在训练模式中相同的方式从在运行时间期间捕捉到的图像导出光流场性质。从在运行时间期间捕捉到的图像中的一个选择多个点并从随后的图像选择对应点。定义连接一个图像中的点和随后的图像中的对应点的光流向量。另外，定义针对在运行时间期间捕捉到的其他图像的光流向量。针对每个光流向量，计算估计误差。特别地，估计误差是第二输出信号的估计误差。将光流向量写到针对每个图像的直方图中。针对相应图像的直方图表示光流向量的估计误差的分布。

可以通过使用分离函数将在运行时间期间从图像导出的光流场性质分成两类，例如，正确肯定(truepositives)和正确否定(truenegatives)。进一步地，可以基于被分成两类的光流场性质而生成置信度信号。

这两类可以由包含正确肯定的一类和包含正确否定的另一类组成。

第二输出信号可以包括自我运动估计，并且置信度信号可以指示自我运动置信度。特别地，自我运动估计提供摄像机在两个摄像机位置之间的相对偏航角、俯仰角和横摇角以及平移参数。

进一步地，第二输出信号可以包括对摄像机相对于表面、特别是路面的俯仰角和横摇角的估计，并且置信度信号可以指示俯仰角和横摇角的置信度。可以假设未估计偏航角，并且因此第二输出信号不包括对偏航角的估计。

可以借助于机器学习技术生成分离函数。

根据本发明的另一方面，提供一种用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的设备。设备被配置成：接收在运载工具正在移动时通过摄像机捕捉到的连贯的训练图像；接收针对训练图像的地面实况数据；根据训练图像计算光流向量并针对每个训练图像基于光流向量估计第一输出信号，第一输出信号指示摄像机的定向和/或定向的改变；取决于第一输出信号多么好地符合地面实况数据，将针对每个训练图像的第一输出信号分类为正确信号或错误信号；针对每个训练图像确定从训练图像导出的光流场性质；以及生成分离函数，其基于第一输出信号的分类将光流场性质分离成两类。

设备可以包括上面结合生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法而公开的实施例。

附图说明

将在下文中参考实施例和各图以示例性的方式较详细地描述本发明。在这些图中示出：

图1用于对自我运动估计进行置信度测量和使用估计的置信度过滤自我运动的系统和设备的示意性表示；

图2图示了俯仰角θ的几何图形的摄像机测视图的示意性表示；

图3图示了横摇角ρ的几何图形的摄像机后视图的示意性表示；

图4从地面实况数据导出的偏航角和根据捕捉到的图像估计的偏航角的图示；

图5具有针对图像计算的光流向量的该图像的示意性表示；

图6用于对自我运动估计进行置信度测量和使用估计的置信度过滤自我运动的设备的功能的示意性表示。

具体实施方式

图1图示了允许对自我运动估计进行置信度测量和使用估计的置信度过滤自我运动的系统1。系统1包括设备2、摄像机3和速度传感器4。摄像机3安装在运载工具上，并且捕捉例如在运载工具前面的区域的图像。速度传感器4测量该运载工具的速度。摄像机3和速度传感器4分别给设备2提供捕捉到的图像和测量到的速度数据。设备2使用捕捉到的图像和测量到的速度数据以便估计并输出关于摄像机3的定向及运动的数据。为该目的，设备2可以包括处理器并采用在下文中解释的算法。

在下文中，在继续描述针对自我运动估计的置信度测量和对自我运动的过滤之前，解释了摄像机3捕捉到的两个图像之间的单应性。从移动的运载工具的连续位姿捕捉到的路面5的两个图像之间的单应性包括关于摄像机相对于路面5的横摇角和俯仰角的信息。在图2和3中定义了所用坐标系，所述图2和3分别示出摄像机3的侧视图和后视图。坐标系被固定到摄像机3，并具有正交的坐标x、y和z。路面5的法向量是n＝[nx，ny，nz]^t。图2示出坐标系的y-z平面，其中俯仰角θ被定义为法向量n到y-z平面上的投影与y轴之间的角。图3示出坐标系的x-y平面，其中横摇角ρ被定义为法向量n到x-y平面上的投影与y轴之间的角。进一步地，可以在x-z平面中定义未在图2和3中图示的偏航角φ。

单应性中包括关于俯仰角θ和横摇角ρ的信息，所述单应性表示从摄像机3的两个不同位置相继捕捉到的路面5的两个不同图像之间的投影变换。单应性矩阵h被如下定义

并且包括内部摄像机校准矩阵k、摄像机3的坐标系原点与路面5之间的距离d，以及两个摄像机位置之间的相对旋转r和平移t。按照由归一化的平移向量t′、速度传感器4测量到的运载工具速度v以及在两个图像捕捉之间流逝的时间δt组成的tt′vδt计算度量平移t。

摄像机3在运载工具移动时捕捉连贯的图像。根据覆盖图像的均匀分布的特征网格计算光流向量。光流向量线性地连接两个相继捕捉到的图像中的两点，所述两点表示世界中的同一对象。例如，摄像机3捕捉第一图像，接着在时间δt之后，摄像机3捕捉第二图像。选择来自第一图像的第一点和来自第二图像的第二点，其中第一点和第二点表示同一对象。光流向量然后连接第一点和第二点。对于摄像机3捕捉到的每个图像，针对每个网格点计算这样的光流向量。

光流向量用于实时的自我运动估计，其估计旋转和平移参数。特别地，在两个摄像机位置之间，如果两个图像捕捉之间的运载工具的速度v和时间δt已知，则自我运动估计提供相对偏航角δφ、相对俯仰角δθ和相对横摇角δρ，以及平移参数，例如(tx，ty，1)或(tx·vδt，ty·vδt，vδt)/||(tx，ty，1)||2。

为了生成置信度信号，需要定义信号何时正确或不正确的信号定义。可借助于地面实况做出该定义。可以经由保证较准确的参数估计但一般需要大量计算时间的方法或者通过使用用以创建地面实况的imu(惯性测量单元)传感器来获得地面实况，所述方法例如光束平差法(bundleadjustment)，所述传感器例如九轴传感器。特别地，可以通过光束平差法根据在训练模式期间捕捉到的图像来计算地面实况数据。用于准确地测量地面实况数据的传感器不是必需的。

以不同的方式记录用于确定俯仰角θ和横摇角ρ的地面实况数据。在该情况下，在运载工具不动时，摄像机定向被准确地确定。可以通过提供俯仰角θ和横摇角ρ的任何静态的外部摄像机校准方法来完成该摄像机定向确定。当运载工具移动时，在一定准确度范围中，假设摄像机3到路面5的定向与校准的地面实况类似。

在训练模式或离线模式中，在运载工具正在移动时通过摄像机3捕捉连贯的训练图像，并且记录针对训练图像的地面实况数据。针对每个训练图像估计第一输出信号。例如，第一输出信号指示摄像机定向的俯仰角和横摇角。根据摄像机3捕捉到的图像估计第一输出信号。由于地面实况数据提供正确的俯仰角和横摇角，可以将每个第一输出信号分类为正确信号或错误信号。第一输出信号的分类取决于针对相应训练图像的第一输出信号多么好地符合地面实况数据。

图4示出了在训练模式中对100个帧/图像执行的测量和估计的示例。图4图示了针对每个帧的从地面实况数据导出的偏航角和根据捕捉到的图像估计的偏航角。利用距地面实况数据的预定的恒定距离来定义阈值带，以避免在阈值边界处的不安全数据。阈值带具有两个分支，一个低于地面实况数据并且一个高于地面实况数据。两个分支都具有预定的恒定宽度和距地面实况数据的预定的恒定距离。以相同的方式，可以将根据图像估计的俯仰角和横摇角与针对从地面实况数据导出的俯仰角及横摇角的阈值带进行比较。

基于对根据图像估计的偏航角、俯仰角及横摇角与从地面实况数据导出的偏航角、俯仰角及横摇角的比较，通过将第一输出信号分离成由正确肯定和正确否定组成的两类而针对每个帧/图像对第一输出信号进行分类。在针对给定帧的估计的偏航角、俯仰角及横摇角中的至少一个位于相应阈值带外部或阈值带两分支中的一个的宽度内部的情况下，相应图像的第一输出信号被分类为正确否定。只有在针对给定帧的所有估计的偏航角、俯仰角及横摇角位于相应阈值带两分支之间且没有接触到阈值带分支时，相应图像的第一输出信号才被分类为正确肯定。

通过分离成两类，可以关于训练集而建立正确信号和错误信号的清楚定义。在下一步骤中，针对在运行时间期间未知的数据泛化该定义。为了泛化，创建新颖的分类方法来标识来自基于摄像机的运动传感器的输出是否正确。为了置信度生成而创建特征集，其利用从视觉量程传感器无论如何生成的数据。

为了置信度测量而创建的特征集可以包括针对每个训练图像确定的光流场性质。针对网格中的每个点计算光流向量，并且针对每个光流向量估计计算误差，特别是对极误差。针对每个图像，将光流向量的被估计的误差写在直方图中。

定义阈值s的非负集。阈值s定义直方图的仓(bin)。直方图的每个仓指示相应图像中的具有在与相应仓相关联的范围内的误差的光流向量的数目。特别地，针对每个光流特征对(x，x′)，我们评估目标e(x，x′，ω，t)，根据其我们已经计算出自我运动，并选择最小阈值使得e或-e(如e为负)小于s。这些结果被写入直方图中，进一步使用所有特征对的量使所述直方图归一化。

图5示意性地示出了摄像机3捕捉到的图像，其中网格覆盖图像。图5还在各网格点处示出针对该图像计算的光流向量。已针对每个光流向量计算了估计误差。具有较浅颜色的光流向量是直方图的特定仓的内点(inlier)，即，针对这些光流向量计算出的估计误差小于和特定仓相关联的阈值s。具有较深颜色的光流向量是仓的外点(outlier)。

除了内点的局部化直方图(椎状)之外，特征集还可以包括使用当前的自我运动对特征点从帧i到帧i+1的重投影与图像i+1中的适当的特征点之间的角度的定向直方图(椎状)。

可以使用对目标的基于区域的评估来进一步改善内点的直方图，即内点的局部化直方图。在此，我们将图像分成例如4个相同大小的区域并针对每个区域计算上面提及的直方图。可以针对每个区域继续该方法以得到更小的区域，即更多级别。归一化现在可以是不同的，并且被基于区域(区域中的特征的数目)或全局(所有特征的数目)计算。

由于每个训练图像的第一输出信号已被分类为或正确肯定或正确否定，因此可以以相同的方式对从每个图导出的光流场性质、特别是直方图进行分类。换言之，按照相应的第一输出信号的分类将每个训练图像的光流场性质分类为正确肯定或正确否定。针对相应的训练图像确定的光流场性质可以由多维空间中的点表示。生成分离函数，其基于第一输出信号的分类将光流场性质分离成两类，即正确肯定和正确否定。

使用上面提及的所有或所选的前述光流场特征，训练神经网络或线性svm(支持向量机)或具有径向基函数核的svm。应注意，也可以使用任何其他学习算法来生成分离函数。

当数据集的确不平衡且“坏数据”的量的确低时，如果自我运动估计执行良好，则针对每个特征向量xi，我们另外对正确否定使用加权参数来降低该不平衡(过采样)的影响。

已经在训练模式中生成的分离函数允许评定在运行时间期间估计的摄像机定向参数的准确度。在运行时间期间，即在在线模式中，与训练模式相比，可以使用另一摄像机和另一运载工具，其中在运行时间期间使用的摄像机和运载工具被分别同样地构造成如在训练模式中使用的摄像机和运载工具一样。

在运行时间期间，摄像机3在运载工具正在移动时捕捉连贯的图像，并且针对每个图像，从图像导出与在训练模式中相同种类的光流场性质。

在本实施例中，针对覆盖相应图像的网格的每个网格点计算光流向量。另外，针对每个光流向量估计光流向量的计算误差。针对每个图像，光流向量被写在直方图中，其中定义直方图的仓的阈值s与在训练模式中使用的阈值s相同。如果在训练模式中确定的光流场性质包括进一步的特征，例如，特征点从帧i到帧i+1的重投影与帧i+1中的相关特征点之间的误差的方向/角度的定向直方图，则在运行时间期间也确定同类的特征。针对每个图像，光流场性质由多维空间中的点表示。通过使用在训练模式中生成的分离函数，将在运行时间期间确定的光流场性质分成两类——正确肯定和正确否定。可以针对在运行时间期间捕捉到的每个图像生成置信度信号，其指示针对相应图像确定的光流场性质是属于正确肯定的类别还是正确否定的类别。

在运行时间期间，基于捕捉到的图像针对每个图像估计第二输出信号。第二输出信号指示摄像机的定向和/或定向的改变，例如，第二输出信号可以包括自我运动估计。置信度信号用于评定第二输出信号的准确度。

使用过滤器，特别是卡尔曼过滤器，设备2使第二输出信号平滑。当使用该过滤器改变输出时，置信度也必然被波及(propagate)。

在此使用置信度信号来决定相应的第二输出信号能否可以用于随后的过滤，并且在定义中使用的置信度带也给出了关于第二输出信号的准确度的信息。例如，仅正确肯定用于过滤，并且所有正确否定都被放弃。准确度可以作为卡尔曼过滤器所需的测量协方差信息用于过滤器。通过经由将分类问题延伸到不同的准确度带来定义另外的置信水平，还可以将原始信号馈送到具有不同协方差值的过滤器中。

如果以使得过滤器一致且拒绝错误的第二输出信号的这样的方式选择过滤器参数，则通过评估过滤器估计协方差，例如通过检查过滤器协方差的行列式，可以根据置信度和信号输入而生成针对过滤器输出的新置信度信号。

在此，当自我运动的参数可以被分离地过滤时，索引i描述第i个过滤器。由过滤器协方差定义。使用成χ-方形的分布确定ai，并且ni是由正态分布给出的归一化因子。

图6示意性地总结了用于对自我运动估计进行置信度计算以及使用估计的置信度过滤自我运动的设备2的功能。

除了自我运动置信度的计算之外，对针对摄像机定向估计的置信度的计算也是可能的，所述摄像机定向估计例如摄像机相对于路面的俯仰角和横摇角。在该情况下，可以选择不同的或另外的性质。可能的性质是自我运动置信度、单应性内点的计数、单应性内点与自我运动内点的比、路平面内点分布的形心的位置，以及从偏航速率和运载工具速度导出的真实世界的曲线半径。所有或所选的前述性质可以用于导出分离功能。

可以通过上面由等式(1)给出的单应性矩阵h来描述摄像机3到路面5的定向。光流向量用作输入数据以借助于单应性矩阵h估计俯仰角和横摇角。单应性内点的计数是符合单应性矩阵h的估计的光流向量的数目。在预定误差容限内符合估计的单应性矩阵h的光流向量是内点。路平面内点分布的形心的位置可以指示路平面内点的形心相对于图像中心的偏移。

可以通过任何静态的外部摄像机校准方法获得用于分类器训练的地面实况数据。经训练的分类器能够评定被估计的摄像机定向角度的准确度。特别地，超过某一阈值走廊(corridor)(估计与地面实况之间的差异)的被估计的摄像机定向角度得到低置信度，在该阈值走廊内部的摄像机定向角度得到高置信度。

利用该方法，我们能够确定针对当前帧/图像的定向角度估计是否有用/可靠。通过从使角度(随时间过去)平滑的过程移除具有低置信度的帧，该置信度还可以用于改善在线的外部摄像机校准算法。

参考标记的列表

1系统

2设备

3摄像机

4速度传感器

5路面