使用图像中的特征点估算车辆动态的系统和方法
【专利说明】使用图像中的特征点估算车辆动态的系统和方法
与相关申请交叉引用
[0001]本申请主张2014年5月16日提交的名称为“全景摄像机系统(VPM)与车辆动态”的美国临时专利申请序号N0.61/994，686的优先权日的权益。
技术领域
[0002]本发明总地涉及一种用于估算移动平台动态的系统和方法，并且更特别地涉及，通过匹配来自车辆上的全景摄像机系统的摄像机的重叠图像中的特征点来估算车辆动态的系统和方法。
【背景技术】
[0003]现代车辆通常包括一个或多个摄像机，该摄像机可提供倒车辅助、拍摄车辆驾驶员的图像以确定驾驶员困倦或注意力、提供车辆行驶时道路图像用于避免碰撞目的、提供结构辨别，诸如道路标记等。其他的车辆视图应用包括车道感测系统，其用于感测车辆行驶车道并在车道中央驾驶车辆。许多上述已知车道感测系统为各种应用检测道路上的车道标识，诸如车道偏离警告(LDW)、车道保持(LK)、车道居中(LC)等，并且通常使用位于车辆前部或位于车辆后部的单一摄像机以提供用于检测车道标识的图像。
[0004]本领域已提出，在车辆上提供环景摄像机系统，其包括前视摄像机、后视摄像机以及左侧和右侧摄像机，其中摄像机系统使用来自摄像机的图像生成车辆及周围区域的自顶向下(top-down)的视图，并且其中图像在车辆角部处相互重叠。自顶向下的视图可以显示给车辆驾驶员，以看到车辆周围的情况用于在倒车、泊车等。未来的车辆可能不使用后视镜，而可以替代地包括由环景摄像机提供的数字图像。
[0005]2013年4月9日授予Zhang(张)等人的题目为“具有环景系统的全速车道感测”的美国专利申请公开号N0.2013/0293717，转让给本申请的受让人，并且通过引用方式并入本文，公开了一种通过检测道路车道标识来在车辆上提供车道感侧的系统和方法，其中该系统采用了提供车辆周围的自顶向下视图图像的环景摄像机系统。该方法包括在自顶向下视图中检测左侧和右侧车道边界线，并且然后确定图像中的车道边界线在该自顶向下视图图像中从图像帧至下一个图像帧是否对齐以及在图像与图像之间是否对齐。
[0006]对于许多基于摄像机的车辆应用而言，精确校准摄像机相对于车辆的定位和定向至关重要。摄像机校准通常指估算大量摄像机参数，包括内在参数和外在参数，其中内在参数包括焦距、光心、径向畸变参数等，并且外在参数包括摄像机位置、摄像机定向等。摄像机外在参数校准通常包括确定将摄像机图像坐标与车辆坐标关联的一组参数，反之亦然。一些摄像机参数，诸如摄像机焦距、光心等，是稳定的，而另一些参数，诸如摄像机的定向和位置，是不稳定。例如，摄像机的高度取决于将会不时地变化的车辆的负载。
[0007]在已知的环景摄像机系统中，来自摄像机的图像在车辆的角部处重叠，其中摄像机校准过程将相邻图像“拼接”在一起，使得单独图像中的公共元素直接相互重叠，以提供期望的自顶向下视图。在车辆制造期间，这些摄像机图像被拼接在一起以提供该图像使用任何数量的校准技术，从而使得当车辆初次投入使用时，摄像机被正确地校准。使用的一种校准技术是将车辆定位于具有交替的明的和暗的正方形的测试板图案上，其中正方开的每个点被便当地识别。在显影图像中，使用这些点允许摄像机校准软件校正图像的位置，这样使得在相同位置识别出相邻图像中的重叠点。
[0008]然而，一旦车辆投入使用，则可能发生各种情况，其可能导致摄像机定向和位置变化，其中摄像机的校准包括导致自顶向下图像中产生未对准的误差。这些情况可能包括车辆的负载，其导致摄像机位置(诸如高度)和/或摄像机定向(诸如俯仰角)相对于世界坐标发生改变；对车辆的小撞击，其可能改变摄像机的定位和定向等。但是，处理来自摄像机的图像以生成自顶向下视图的当前视频处理模块(VPM)无法在车辆使用时在线重新校准摄像机。相反，车辆操作者必须将车辆带至有能力以在车辆制造期间所进行的同样方式重新校准摄像机的经销商或其他授权服务中心，这具有显而易见的缺点。
【发明内容】
[0009]本公开描述了一种通过匹配平台上的摄像机的重叠图像中的特征点来估算移动平台动态的系统和方法，比如车辆上的全景摄像机系统中的摄像机。该方法包括识别全景摄像机系统中任意两个摄像机的重叠图像区域，识别该重叠图像区域内的公共特征点，以及确定该重叠图像区域内的公共特征点不在同一位置。该方法还包括由公共特征点之间的匹配估算三自由度车辆动态参数，以及使用车辆动态参数估算俯仰角、侧倾角和高度变量中一个或多个的车辆动态。本发明包括以下方案:
1、一种使用来自车辆上的全景摄像机系统的摄像机的图像估算车辆动态的方法，所述方法包括:
识别全景摄像机系统中任意两个摄像机的一个或多个重叠图像区域；
识别一个或多个重叠图像区域内的公共特征点；
确定重叠图像区域内所识别的公共特征点在重叠图像区域内不在同一位置；
由公共特征点之间的匹配估算三自由度的车辆动态参数；以及
使用车辆动态参数估算俯仰角、侧倾角和高度变量中的一个或多个的车辆动态。
2、如方案I中所述的方法，其中识别公共特征点包括识别重叠图像区域内的关注区，所述关注区包括公共特征点。
3、如方案I中所述的方法，其中识别公共特征点包括识别来自两个摄像机的图像中的公共特征点，所述公共特征点为世界坐标中相同点位置的投影。
4、如方案I中所述的方法，其中估算车辆动态包括基于公共特征点之间的差异求解动态方程，以获得车辆的俯仰角、侧倾角和/或高度变量的估算值。
5、如方案I中所述的方法，其中估算车辆动态包括确定旋转矩阵和转换矢量。
6、如方案5中所述的方法，其中估算车辆动态包括运用下列方程:
(U，V) Cl^ (U，V) C2，
(U，v)cl— Xci,
(u，V) C2— X C2j
Xcl — R V2Cl*Rdyn* (Xw+t W2v)V2C1，
Xc2 — R V2C2*Rdyn* (Xw+tW2V) +tV2C2， 其中(U，v)?是来自第一摄像机Cl的图像中的一个特征点，其为世界点XwW投影，(u,v)C2是来自第二摄像机C2的图像中的另一个特征点，其为世界点XWK投影，RV2?是摄像机Ci在车辆坐标V中的旋转矩阵，i是摄像机索引，t是转换矢量，dyn表示车辆动态，以及w是世界坐标。
7、如方案1中所述的方法，其中估算车辆动态包括提供时间跟踪和平滑。
8、如方案1中所述的方法，其中全景摄像机系统包括四个摄像机，其中第一摄像机定位于车辆前部，第二摄像机定位于车辆后部，第三摄像机定位于车辆左侧以及第四摄像机定位于车辆右侧。
9、如方案8中所述的方法，其中来自第一摄像机的图像与来自第三摄像机的图像重叠，来自第一摄像机的图像与来自第四摄像机的图像重叠，来自第二摄像机的图像与来自第三摄像机的图像重叠，以及来自第二摄像机的图像与来自第四摄像机的图像重叠。
10、一种使用来自移动平台上的摄像机的图像估算平台动态的方法，所述方法包括:
识别任意两个摄像机的一个或多个重叠图像区域；
识别所述一个或多个重叠图像区域内的公共特征点；
确定重叠图像区域内所识别的公共特征点在所述重叠图像区域内不在同一位置；
由公共特征点之间的匹配估算三自由度动态参数；以及
使用所述动态参数估算俯仰角、侧倾角和高度变量中的一个或多个的平台动态。
11、如方案10中所述的方法，其中识别公共特征点包括识别来自两个摄像机的图像中的是世界坐标中相同点位置的投影的公共特征点。
12、如方案10中所述的方法，其中识别公共特征点包括识别重叠图像区域内的关注区，所述关注区包括公共特征点。
13、如方案10中所述的方法，其中估算平台动态包括基于公共特征点之间的差异求解动态方程，以获得平台的俯仰角、侧倾角和/或高度变量的估算值。
14、如方案10中所述的方法，其中估算平台动态包括确定旋转矩阵和转换矢量。
15、如方案10中所述的方法，其中多个摄像机是全景摄像机系统的部分。
16、如方案15中所述的方法，其中全景摄像机系统包括四个摄像机，其中第一摄像机定位于平台前部，第二摄像机定位于平台后部，第三摄像机定位于平台左侧以及第四摄像机定位