机离地高度； (1-3)、通过鼠标选取待匹配图像，即右图像中位于地面上的一个特征点并记录图像坐 标利用区域匹配算法，以像素点（\，1)为中心的矩形窗口mXn为匹配基元，其中 m，n表示矩形窗口的长宽，单位：像素，在匹配图像，即左图像相同坐标的周围一定范围内 进行搜索匹配，得到相似度最高的同名像素点（ Xl，yi); (1-4)、根据获取到的左右图像的匹配像素点，分别计算水平方向和垂直方向的实际视 差值，公式为：其中，匕和Py分别表示水平X方向和垂直y方向的视差值； (1-5)、利用得到的理论视差值以及实际视差值，得到较为精确的双目摄像机两个坐标 方向上的主点差参数dx，dy，公式如下：4. 根据权利要求2所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤 (2) 中的实时采集左右图像，在左图像中通过高斯模型构建场景的背景图像，利用背景差分 法进行前景运动目标的检测和提取，其具体如下： (2-1)、利用高斯模型构建图像背景帧，在T帧训练样本内建立初始高斯模型n(X，y。，〇。)，其中：yD，〇C为初试模型的均值和均方差，对当前帧图像每个像素点建立高斯模型n(X，yt, 〇t)，下标t表示帧序号，xt,yt, 〇 4分别表示当前帧右图像的像素值，均值和均 方差，高斯背景模型的更新公式为：其中xti，yti，〇tl分别表示上一帧右图像的像素值、均值和均方差，a是引入的常 数，表示背景更新速度的快慢； (2-2)、根据当前帧图像与背景图像的差值运算，检测判断前景目标区域并提取：其中，x，y表示像素位置坐标，fk(x，y)表示当前帧，即第k帧右图像，Bk(x，y)表示背景 帧图像，队为满足阈值条件的右图像像素点的灰度值，T表示背景差的阈值，由实验确定。5. 根据权利要求2所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤 (3) 中的依据主点差进行位置校正，对已提取的前景目标区域，按照自适应的窗口立体匹配 方法进行立体匹配，得到当前帧视差图像，其具体如下： (3-1)、实时采集左右摄像机的图像，根据步骤（1)所述的左右摄像机主点差，对左图 像进行两个坐标方向的平移（dx，dy)，以校正主点差对立体匹配的影响，用于精确视差的计 算； (3-2)、针对步骤（2)提取的右图像前景目标区域Dk (x，y)，得到视差图像，首先设Dk(x，y)为参考图像，左图像为匹配图像，将Dk(x，y)中的像素点为中心，大小为mXn像素 的块的一个自适应窗口为匹配基元，然后在匹配图像中以视差范围内每个像素点为中心， 大小同为 mXn的窗口，依次计算Dk(X，y)中待匹配像素的窗口相关性测量值，记为NCC(X，y,d)， 其相关性测量值表达式如下：其中，X，y为图像像素坐标，I1分别表示Dk(x，y)和左图像中的像素灰度值，7；,7；分 别表示Dk(x，y)和左图像中以匹配像素点为中心的窗口内像素平均灰度值，d为沿基线方 向在视差范围内的偏移量，对相关性测量NCC(x，y，d)值进行三节点插值，得到相关性测量 NCC(x，y，d)最大值所对应的偏移量d，即是所得的视差； 利用上述区域匹配的方法对Dk (x，y)中所有灰度值大于O的像素点进行视差计算得到 当前帧前景区域的视差图像，每一像素点的初始自适应窗口宽度为5列，高度是3行，在初 始大小的窗口内统计像素的灰度方差，如果灰度方差小于某一门限，说明窗口内包含太少 的结构信息，则将匹配窗口的宽度放大50%，继续其灰度方差的判断，直至大于门限或窗口 大小达到12X6,所用门限值由实验确定。6. 根据权利要求2所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤 (4)中的对得到的视差图像进行后续处理，包括：5点中值滤波平滑、去误检区，同时计算前 景区域中每个像素点对应的二维地平面的高度，得到二维映射图像，其具体如下： (4-1)、采用5点中值滤波的方法进行中值平滑滤波处理，消除弱纹理区域的错误匹配 以及孤立视差点； (4-2)、去除地面阴影区域，在前期获取到地面的视差值匕后，视差图中前景目标两侧 视差值与Pg相等的像素区域，分别为ZZp根据车辆左右对称的特征，适当消除其中面积 较大的部分，使其与另一侧对称； (4-3)、计算前景车辆目标图像中每个像素点对应的二维地平面的垂直投影位置，生成 二维映射图像，坐标映射关系为：其中，u和V为图像像素坐标系中的像素坐标，u。和V。为图像的主点坐标，pp。分 别为地面视差值及该坐标前景点的视差值； (4-4)、根据上述步骤获取到前景目标视差图后，根据平行双目测距原理，将视差值转 换为高度值，转换计算公式为：其中，C^dci分别表示前景目标和地面离双目摄像机的距离，f，B分别表示焦距和基线 距离，为通过步骤（3)计算的前景目标像素点的视差值，Hci表示前景目标点的离地高 度，转换后得到前景目标的深度图，即每个像素点的值表示前景目标高度。7. 根据权利要求2所述的基于双目立体视觉的车辆检测方法，其特征在于，所述步骤 (5)中的通过获取到的二维映射图像以及视差和前景区域的参数信息，检测车辆并计算获 得车速、车高、车型相关参数，其具体如下： (5-1)、根据步骤（4)得到的前景目标深度图，取前景目标高度的最大值作为车身高 度，对最大高度值有效性做判断：当最大高度值的数量大于阈值时，判定其有效，否则舍去 最大值，选取下一个最大值再次做有效性判断，阈值由实验确定； (5-2)、根据步骤（2)提取的前景目标区域，获得该区域的长宽信息，通过世界坐标系 与图像坐标系的等比关系公式，获得车身的长宽参数，公式为：其中L和W表示前景目标的像素长宽，Xp和Yp表示图像的像素长宽，即分辨率，单位： 像素，X和y为双目平行摄像机拍摄视角的实际长度和宽度，单位：cm，1和w表示前景区域 实际长宽数据，单位：cm; (5-3)、根据步骤（4)获取的表示目标高度的深度图，对深度图逐列进行扫描，统计每 列的最大高度值，作为绘制车身侧面轮廓的点； (5-4)、根据相邻两帧前景目标在图像中的位置差计算车速；首先，以步骤（5-3)的获 取的车身轮廓作为匹配基元，将前一帧的车身轮廓图作为参考图像，当前帧的作为匹配图 像检测两帧之间的位置差，采用以下公式计算获得车速信息：其中D为两帧间车身轮廓位置差，单位：像素，Xp表示图像的长度，单位：像素，X表示 双目平行摄像机拍摄视角的实际长度，单位：cm，d为前景车辆目标的每秒移动距离，单位： cm/秒，式中24为帧率，即拍摄视频的每秒帧数。
【专利摘要】本发明公开了一种基于双目立体视觉的车辆检测系统和方法，系统包括双目平行摄像机、DSP处理器、通信等模块，采用上述系统自顶向下垂直安装于车道上方对道路车辆进行实时检测，其方法步骤为：(1)事先对左右摄像机进行主点差标定，获得精确的主点差参数；(2)实时采集左右图像进行前景运动目标的检测和提取；(3)对已提取获得的前景目标区域进行立体匹配，得到当前帧视差图像；(4)对得到的视差图像进行后续处理并去除误检区域，同时得到二维地平面映射图像；(5)通过计算获得车速、车高、车型等相关参数。本发明采用双目摄像机，利用立体视觉原理，得到物体的深度信息，解决了单目视觉技术普遍存在的对光线变化敏感、易受阴影干扰的问题。
【IPC分类】G06K9/00, G08G1/01
【公开号】CN105225482
【申请号】CN201510556400
【发明人】朱秋煜, 沈春龙, 赵保珠, 邢羽峰, 王辉, 汪森
【申请人】上海大学
【公开日】2016年1月6日
【申请日】2015年9月2日