基于车载俯视相机的车辆运动测量方法与流程

本发明涉及一种车辆运动测量方法，主要包括车辆绝对速度、侧偏角以及横摆角速度的测量，特别涉及一种测试准确，测试范围广、适应性好的基于车载俯视相机的车辆运动测量方法。

背景技术：

现有相关的车速传感技术主要以轮速传感器为主，通过传感器检测车轮转速，进行修正计算，得出车速等各种参数，该类系统可以在某些良好的道路及匀速工况下，较准确测量被测车辆对应车轮(轴)处的车速。但此类系统对于制动、滑移以及加速工况下的车速测量准确性较差。现有相关车辆侧偏角的信息无法直接测量，多利用GPS以及车载惯性传感器测量数据根据车辆动力学模型估计而得。此类方法应用工况有限且传感系统代价较高。现有车辆横摆角速的测量主要依赖于惯性传感器(陀螺仪)，此类传感器测量值容易随温度变化产生零点漂移。上述三测量量均为重要车辆动力学状态，需要多现有传感器组合才能同时测量，系统复杂且成本较高。

现有技术：申请号：CN200310118017.9，公开日2004.07.07，公开了一种车速检测装置，具有：设置在下部行驶体上并连接变速器(111、211)的输出轴的车速检测用泵(112、212)，和设置在下部行驶体和上部旋转体的连接部的油压用回转接头(115、215)，和设置在上部旋转体上并由车速检测用泵驱动的车速检测用电动机(116、216)，和检测车速检测用电动机的旋转速度信号并产生车速检测信号的车速传感器(118)，和通过车速检测信号计算出车速、进行变速器的速度档选择等的行驶控制的控制器(120)。这种车速检测装置，不但能够获得正确的车速而且能够长期地获得正确的车速。但此类系统对于制动、滑移以及加速工况下的车速测量准确性较差。

技术实现要素：

本发明的目的在于解决上述现有技术此技术方案制动、滑移以及加速工况下的车速测量准确性较差，现有相关车辆侧偏角的信息无法直接测量，大多利用车载惯性传感器基于车辆动力学模型估计而得，准确性较差，同时对应测量极低速工况下的车辆速度也无法给出准确测量的问题，提供了一种基于车载俯视相机的车辆运动测量方法。

本发明解决其技术问题所采用的技术方案是：一种基于车载俯视相机的车辆运动测量方法，包括以下步骤：

步骤一：通过车载下视相机持续获取道路图像；

步骤二：对获取的所有道路图像进行预处理；

步骤三：预估时间轴相邻帧图片中重合部分作为ROI区域进行提取；

步骤四：对ROI区域进行FAST特征点提取；

步骤五：基于所提取的FAST特征点生成SURF特征向量；

步骤六：根据步骤五中提取的SURF特征向量，利用FLANN特征匹配库对时间轴相邻帧图片进行特征匹配；

步骤七：利用RANSAC算法选取时间轴相邻帧图片进行特征匹配后的匹配样本，通过匹配样本计算得出Homography矩阵；

步骤八：对计算所得的Homography矩阵进行奇异值分解，获取车载下视相机的平动信息T与转动信息R；执行步骤九并同时执行步骤一；

步骤九：通过公式：计算得出实时车速V的绝对值；

通过公式：计算得出车辆的实时侧偏角β；

通过公式：计算车辆横摆角速度

公式中：T_x为X轴方向车载下视相机的实时平动速度；T_y为y轴方向车载下视相机的实时平动速度；R_z为相机绕z轴的转动分量，t_s为单位时间步长。

本发明通过对行驶道路路面特征点提取与分析，获取相机的运动信息，并转化为相应车辆状态信息输出。本方法主要意义在于能够在大滑移率的极限工况下，提供实时车速与侧偏角的重要车辆状态信息，为该工况下的车辆控制系统提供稳定有效的输入信号。本发明基于FAST特征点与SURF特征描述进行车速与车辆侧偏角测量。此特征描述方法不受旋转缩放等因素的影响，并且可进行实时运算。该方法的车速测量不受车辆纵向滑移限制(光滑路面以及制动工况)，并且可以测量极低速工况下的车辆速度(低至0.1m/s)。该方法可根据侧偏角定义直接测量汽车侧偏角信息相对其他现有间接状态估计算法更为直接，准确。该方法可实时运行并适用于室内外场景。

作为优选，在所述步骤二中，对获取的所有道路图像依次进行灰度化处理和除畸变处理，在除畸变处理中，所用参数为预定参数，获取道路图像的单位时间步长和图像参数均为预定参数。

作为优选，在所述步骤三中，预估时间轴相邻帧图片中重合部分作为ROI区域进行提取的方法包括初次提取方法和常态提取方法，若拍摄图像为车辆起步阶段，即需要比较的图像为重置后时间轴上的第一帧图像和第二帧图像则执行初次提取方法，否则执行常态提取方法；

初次提取方法：预先设定重置后时间轴第二帧图片中区域作为重合部分直接进行提取；

常态提取方法：根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算得出时间轴相邻帧图片中重合部分。

ROI区域即感兴趣区域，ROI区域名称为自定义名称，选取的是在时间轴上相邻帧图像重叠部分，可以通过图像对比直接得出，但是图像对比直接得出的方式需要计算资源较多，所以，根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算得出时间轴相邻帧图片中重合部分。本发明采用的方法较为合理，具体的说，根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算预估移动距离，根据预估移动距离和相机本身参数可以获得图片的移动速度，取景时尚未移除的部分就是图像重叠部分。

作为优选，通过时间轴相邻帧图片直接比较，计算得出时间轴相邻帧图片中重合部分作为ROI区域进行提取。如果计算资源丰富，计算速度极快的情况下，选用此种技术，能够获得最为准确的数据。

作为优选，所述步骤七中，利用RANSAC算法选取正确匹配样本，计算Homography矩阵：通过m个循环，随机选取4个匹配特征，计算Homography矩阵，对剩余特征按该矩阵匹配结果进行打分，像素点匹配距离小于某阈值M，则视为正确匹配，选取打分最高的Homography矩阵，利用其对应的所有正确匹配特征对，重新计算得到最终Homography矩阵；在步骤七中循环数m与距离阈值M均为预设值。

作为优选，所述Homography矩阵表示为：其中，R为相机平动信息、T为相机转动信息、d为图像平面对应的深度、N为图像平面对应的法向信息、K为相机内部参数矩阵，对计算所得Homography矩阵进行奇异值分解，获得相机平动信息T与转动信息R；令：

∑＝diag(σ1，σ2，σ3)，V＝[v1，v2，v3]

上述奇异值分解理论上有四组解，如下所示：

上述奇异值分解理论上有四组解，如下所示：

解1：

解2：

解3：

R₃＝R₁，N₃＝-N₁，

解4：

R₄＝R₂，N₄＝-N₂，

选择方向最接近于[0，0，1]的法向量N对应的该组解。

根据实际相机几何投影限制，图像平面深度必须为正，因此对应法向量N必须为正值，由相机安装几何角度确定(垂直于地面)，选择接近于[0，0，1]的法向量N对应的该组解。

本发明中，FAST：此特征检测算法来源于corner的定义，采用机器学习的方法，按如下标准定义特征点：对于某像素点p，以其为中心的16个像素点，若其中有n个连续的像素点亮度值均大于p点亮度加上某阈值t(或小于p点亮度减去某阈值t)，则p为特征点；可设置参数为像素点数n，亮度阈值t以及是否使用非极大值抑制(Non-Maximum Suppression)。该方法多用于角点检测。

SURF：一种具有尺度与旋转特征不变性的特征描述算法，描述性强，速度快。过程包括基于上述特征圆的特征向量方向分配以及基于4*4子集的二维哈尔小波求和的特征值分配。

FLANN：一种快速近似最近邻搜索函数库，能够自动选择两个近似最近邻算法(K-d决策树以及优先搜索K-均值决策树)中最优的算法。

RANSAC：一种鲁棒的回归方法，用于排除误匹配特征。

Homography：两张图像中对应匹配特征点的投影变换矩阵

SIFT：尺度不变特征转换(SIFT)算法是一种特征提取的方法。它在尺度空间中寻找极值点，并提取出其位置、尺度、旋转不变量，并以此作为特征点并利用特征点的邻域产生特征向量。SIFT算法对于光线、噪声、和微小视角改变的容忍度相当高，且对于部分遮挡的物体也有较高的识别相率。

本发明的实质性效果是：本发明通过对行驶道路路面特征点提取与分析，获取相机的运动信息，并转化为相应车辆状态信息输出。本方法主要意义在于能够在大滑移率的极限工况下，提供实时车速与侧偏角的重要车辆状态信息，为该工况下的车辆控制系统提供稳定有效的输入信号。本发明基于FAST特征点与SURF特征描述进行车辆绝对速度、侧偏角以及横摆角速度测量。此特征描述方法不受旋转缩放等因素的影响，并且可进行实时运算。该方法的车速测量不受车辆纵向滑移限制(光滑路面以及制动工况)，并且可以测量极低速工况下的车辆速度(低至0.1m/s)。该方法可根据侧偏角定义直接测量汽车侧偏角信息相对其他现有间接状态估计算法更为直接，准确。该方法可同时测量多个重要车辆动力学参数、系统结构简单、成本低。该方法可实时运行并适用于室内外场景。

附图说明

图1为本发明的一种流程示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

实施例：

一种基于车载俯视相机的车辆运动测量方法，包括以下步骤：

步骤一：通过车载下视相机持续获取道路图像；

步骤二：对获取的所有道路图像进行预处理；对获取的所有道路图像依次进行灰度化处理和除畸变处理，在除畸变处理中，所用参数为预定参数，获取道路图像的单位时间步长和图像参数均为预定参数。

步骤三：预估时间轴相邻帧图片中重合部分作为ROI区域进行提取；预估时间轴相邻帧图片中重合部分作为ROI区域进行提取的方法包括初次提取方法和常态提取方法，若拍摄图像为车辆起步阶段，即需要比较的图像为重置后时间轴上的第一帧图像和第二帧图像则执行初次提取方法，否则执行常态提取方法；

初次提取方法：通过延时时间计算和调正，预先设定重置后时间轴第二帧图片中区域作为重合部分直接进行提取；

常态提取方法：根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算得出时间轴相邻帧图片中重合部分。具体的说，根据步骤九中获取的实时车速V和设定的获取道路图像的单位时间步长通过积分计算预估移动距离，根据预估移动距离和相机本身参数可以获得图片的移动速度，取景时尚未移除的部分就是图像重叠部分。

步骤四：对ROI区域进行FAST特征点提取；

步骤五：基于所提取的FAST特征点生成SURF特征向量；

步骤六：根据步骤五中提取的SURF特征向量，利用FLANN特征匹配库对时间轴相邻帧图片进行特征匹配；

步骤七：利用RANSAC算法选取时间轴相邻帧图片进行特征匹配后的匹配样本，通过匹配样本计算得出Homography矩阵；利用RANSAC算法选取正确匹配样本，计算Homography矩阵：通过m个循环，随机选取4个匹配特征，计算Homography矩阵，对剩余特征按该矩阵匹配结果进行打分，像素点匹配距离小于某阈值M，则视为正确匹配，选取打分最高的Homography矩阵，利用其对应的所有正确匹配特征对，重新计算得到最终Homography矩阵；在步骤七中循环数m与距离阈值M均为预设值。

步骤八：对计算所得的Homography矩阵进行奇异值分解，获取车载下视相机的平动信息T与转动信息R；

所述Homography矩阵表示为：其中，R为相机平动信息、T为相机转动信息、d为图像平面对应的深度、N为图像平面对应的法向信息、K为相机内部参数矩阵，对计算所得Homography矩阵进行奇异值分解，获得相机平动信息T与转动信息R；令：

∑＝diag(σ1，σ2，σ3)，V＝[v1，v2，v3]

上述奇异值分解理论上有四组解，如下所示：

解1：

解2：

解3：

R₃＝R₁，N₃＝-N₁，

解4：

R₄＝R₂，N₄＝-N₂，

选择方向最接近于[0，0，1]的法向量N对应的该组解。

根据实际相机几何投影限制，图像平面深度必须为正，因此对应法向量N必须为正值，由相机安装几何角度确定(垂直于地面)，选择接近于[0，0，1]的法向量N对应的该组解。

本实施例在执行步骤九并同时执行步骤一；

步骤九：通过公式：计算得出实时车速V的绝对值；

通过公式：计算得出车辆的实时侧偏角β；

通过公式：计算车辆横摆角速度

公式中：T_x为X轴方向车载下视相机的实时平动速度；T_y为y轴方向车载下视相机的实时平动速度；R_z为相机绕z轴的转动分量，t_s为单位时间步长。

如果计算资源丰富，计算速度极快的情况下，选用通过时间轴相邻帧图片直接比较，计算得出时间轴相邻帧图片中重合部分作为ROI区域进行提取，采用此种技术，能够获得最为准确的数据。

本实施例中：

FAST：此特征检测算法来源于corner的定义，采用机器学习的方法，按如下标准定义特征点：对于某像素点p，以其为中心的16个像素点，若其中有n个连续的像素点亮度值均大于p点亮度加上某阈值t(或小于p点亮度减去某阈值t)，则p为特征点；可设置参数为像素点数n，亮度阈值t以及是否使用非极大值抑制(Non-Maximum Suppression)。该方法多用于角点检测。

SURF：一种具有尺度与旋转特征不变性的特征描述算法，描述性强，速度快。过程包括基于上述特征圆的特征向量方向分配以及基于4*4子集的二维哈尔小波求和的特征值分配。

FLANN：一种快速近似最近邻搜索函数库，能够自动选择两个近似最近邻算法(K-d决策树以及优先搜索K-均值决策树)中最优的算法。

RANSAC：一种鲁棒的回归方法，用于排除误匹配特征。

Homography：两张图像中对应匹配特征点的投影变换矩阵

SIFT：尺度不变特征转换(SIFT)算法是一种特征提取的方法。它在尺度空间中寻找极值点，并提取出其位置、尺度、旋转不变量，并以此作为特征点并利用特征点的邻域产生特征向量。SIFT算法对于光线、噪声、和微小视角改变的容忍度相当高，且对于部分遮挡的物体也有较高的识别相率。

本发明的实质性效果是：本发明通过对行驶道路路面特征点提取与分析，获取相机的运动信息，并转化为相应车辆状态信息输出。本方法主要意义在于能够在大滑移率的极限工况下，提供实时车速与侧偏角的重要车辆状态信息，为该工况下的车辆控制系统提供稳定有效的输入信号。本发明基于FAST特征点与SURF特征描述进行车辆绝对速度、侧偏角以及横摆角速度测量。此特征描述方法不受旋转缩放等因素的影响，并且可进行实时运算。该方法的车速测量不受车辆纵向滑移限制(光滑路面以及制动工况)，并且可以测量极低速工况下的车辆速度(低至0.1m/s)。该方法可根据侧偏角定义直接测量汽车侧偏角信息相对其他现有间接状态估计算法更为直接，准确。该方法可同时测量多个重要车辆动力学参数、系统结构简单、成本低。该方法可实时运行并适用于室内外场景。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。