专利名称：基于道路和车辆自身信息的单目视觉车距测量方法
技术领域：
本发明属于汽车主动安全驾驶领域，特别是一种基于道路和车辆自身信息的单目
视觉车距测量方法。
背景技术：
目前，主流的车距测量的技术分为两类一是基于雷达传感器的超声波测距、红外 线测距、微波测距、激光测距；另一个是基于视觉传感器的单目视觉测距、双目立体视觉测 距等。雷达传感器虽然能够较好的完成对实体目标的检测，但普遍价格较高，而且无法准 确地判断实体目标的类别，而视觉传感器的价格相对便宜，且可以获得更直观、更丰富的信 息，所以基于视觉的测距技术是公认的最有前景的一种技术。 发明专利200710025166. 9中提到的"基于双目视觉的车距测量方法"，该方法利 用装在车前方的两个相机拍摄前方道路信息，应用立体视觉技术获取测距所需的参数，该 方法应该是有效的。但是，也存在着一些问题1、由于立体视觉的原理要求只有当物体出现 在两个相机的公共视野里时，才能进行测距；2、在车辆体视测距中，两个相机之间的距离越 近，公共视野就越大，但远距离测距误差也越大；两个相机之间的距离越远，远距离测距误 差降低，但公共视野也就越小，这在车辆测距中是个很难调和的矛盾；3、立体视觉技术需要 进行的立体匹配运算，计算复杂度高，运算速度慢，在车辆高速行驶过程中，无法达到较高 的实时性，这将严重影响车辆的安全性。 —些基于单目视觉的车距测量方法主要是通过检测车辆的外形和轮廓的几何特 征来测距的，被证明是有效的，但是其不足的地方也很明显首先，由于汽车车型的多样型， 形状特征和长宽比信息变化范围很大，无法找到一个有效的模板对各类车辆进行检测，从 而影响测距；其次，由于视角的原因，车辆的外形轮廓会发生畸变，有的时候甚至无法将车 辆拍全，车辆的对称性特征被破坏，所以在实际应用中还有很多局限性。
发明内容
本发明的目的在于提供一种能够自动根据道路信息和车辆的车牌信息准确测出 前方车辆距离的基于道路和车辆自身信息的单目视觉车距测量方法。 实现本发明目的的技术方案为基于道路和车辆自身信息的单目视觉车距测量方 法，步骤如下 步骤1 :所述摄像机安装在挡风玻璃后面或车辆顶部，用于拍摄前方道路图像；
步骤2 :根据设置的摄像机的参数，确定行道线宽度与车距的变换关系fl、车牌类 型及车牌面积与车距的变换关系f2、车牌的字符高度与车距的变换关系f3 ;
步骤3 :从所述道路图像中，检测前方车道标志线，根据获取的所述的车道标志线 建立车道模型；若检测不到，执行步骤6 ; 步骤4:检测前方车辆在道路上的阴影，获取阴影所在的所述车道模型中的车道 宽度，记为Wl ;并计算车道标志线在图像最底行上的车道宽度W2个像素；再根据行道线宽度W1、W2与车距的变换关系fl得到车辆距离Dl ; 步骤5 :若所述的车辆距离D1大于阈值T1，则输出车辆距离D1，结束；否则若小于 阈值T1，则执行步骤6; 步骤6 :检测和验证前方汽车车牌的矩形区域，将获取的前方汽车车牌的矩形区 域的面积记为S、车牌的类型标记为I ; 步骤7 :对该类型I的车牌，若步骤6所述的车牌面积S小于阈值T2 [I]，则按f2 计算车车辆距离，将获得的所述的车辆距离记为D2，输出车辆距离D2，结束；否则若所述的 车牌面积S大于阈值T2 [I]，则执行步骤8 ; 步骤8 :计算车牌区域中字符的高度，根据字符高度按f3计算车辆距离，将获得的 所述的车辆距离记为D3，输出车辆距离D3，结束。 本发明与现有技术相比，其显著优点为1、在技术上具有高实时性、高鲁棒性的特 点；2、系统配置简单，硬件成本低；3、适合多种型号车辆，易于大规模推广。
图l是本发明基于道路和车辆自身信息的单目视觉车距测: 图2是本发明基于道路和车辆自身信息的单目视觉车距领
检测流程图。 图3是本发明基于道路和车辆自身信息的单目视觉车距领 距中车牌水平中心线的求取流程图。 图4是本发明基于道路和车辆自身信息的单目视觉车距领 距中车牌面积的求取流程图。 图5是本发明基于道路和车辆自身信息的单目视觉车距测: 距中车牌号字符高度的求取流程图。
t方法的流程图。 量方法的车道标志线
量方法的车牌信息测
量方法的车牌信息测
t方法的。车牌信息测
具体实施例方式
本发明的基于道路和车辆自身信息的单目视觉车距测量方法分三种情况
(1)在远距离时采用图像中汽车所在的车道宽度来测量车距。 为了保证车辆行驶的安全、有序、通畅，在我国的高速公路和城市道路上都画有交
通标志线，其中最主要的就是车道分割线，几乎每天公路上都有车道分割线或者道路边缘
线，这些标志线在起到疏导交通作用的同时也可以作为测距的准绳。由于照相机的成像原
理，装在驾驶车上的摄像机拍摄的道路图像中，路上平行的车道线在图像中会变成交叉线，
原本等宽度的车道看上去宽度不等了 ，近处的车道宽度大，远处的车道宽度小，也就是说图
像中车道的宽度和实际距离是有着必然关系的，实际上根据投影成像公式，这种关系是可
知的。所以据此原理，我们提出了根据图像中汽车所在的车道宽度来测量车距的方法。
(2)在中等距离时根据车牌类型及在图像中的面积来计算出车辆距离。 车辆测距的前提是要能够准确地定位车辆，我们提出了基于机器视觉方法定位汽
车车牌的方法来定位车辆，然后根据车牌在图像中的面积来计算出车辆距离。众所周知，车
牌是汽车上的一个固有特征，无论车型的变化是多么大，但是车牌的尺寸大小变化是很小
的，事实上在我国，汽车车牌的尺寸主要就是两种规格现行的92式机动车号牌国标尺寸蓝牌和黑牌是440X140mm，大车牌(黄牌)前牌尺寸同前，后牌为440 X 220mm。可以说在 千变万化的道路行驶环境中，车牌是一个可以较容易通过机器视觉去定位的显著的、稳定 的车辆自身信息。车牌在图像中的面积和车距之间是有着必然联系的，车牌的图像面积越 小车距越远，车牌的图像面积越大车距越近，即可以根据车牌在图像中的面积来计算出车 辆距离。但是由于车牌有小牌(440X140mm)和大牌(440X220mm)之分，同样的车牌图像 面积，大牌和小牌表示的车距是不一样的，所以还要判断被定位车牌是大牌还是小牌。大牌 和小牌虽然都是长方形，但是它们的长宽比不同，通过被定位车牌在图像中的长宽比可以 区分车牌的种类，然后再根据面积通过变换计算出车距。根据原理，该方法还可以对多部车 辆进行车距检测。
(3)在较近距离时采用车牌内字符的高度来计算车距。 由于车牌安装时往往带有一定的车牌边框，从而在车距很小时，影响了车牌面积 的准确度；但在车距很小时，车牌内字符的高度可以很精确地测量得到，而且车牌内字符的 高度在近距离时也能很好地代表车距，因此在近距离时，采用车牌内字符的高度来计算车距。 下面结合附图对本发明作进一步详细描述。 首先在车辆内部安装面向前方的摄像机，并设置摄像机的参数；从摄像机中获取 前方路面和车辆的图像，并进行车牌检测、车道线检测和车辆定位；然后根据车牌面积大小 或车道线宽度信息来进行前方车辆测距。结合图l，具体步骤如下 步骤1 :摄像机安装在车辆挡风玻璃后面或车辆顶部，保证能拍摄到前方的路面 情况，安装方式有一定的要求，就是在行车过程中要让摄像机与汽车保持相对静止。可考虑 将摄像机安装在汽车内部，以免受到下雨等气候的影响。对于不同类型的车型的安装，对于 摄像机来说意味着不同的外部参数，包括摄像机相对地面的高度、摄像机相对右车轮外侧 的距离、摄像机光轴与水平平面的夹角、摄像机光轴与垂直平面的夹角，以及摄像机的水平 和垂直视场角等。摄像机的参数，主要为检测车牌和行道线服务，并为从图像中提取的信息 变换到实际车距的计算提供参数。 步骤2 :车距变换关系确定。根据设置的摄像机的参数，确定行道线宽度与车距的 变换关系fl、车牌类型及车牌面积与车距的变换关系f2、车牌的字符高度与车距的变换关 系f3。值得一提的是，摄像机首次安装好后摄像机参数和车距变换关系即可固定，无需特别 的后续维护。 步骤3 :从所述道路图像中，检测前方车道标志线，根据获取的所述的车道标志线 建立车道模型；若检测不到，执行步骤6 ;车道标志线检测首先包括四种道路约束假设，包 括道路形状假设、道路宽度和道路平坦假设、道路特征一致假设、感兴趣区域假设。具体步 骤如图2 : 步骤31 :对道路灰度图像，采用阈值穷举法采用一系列阈值得到一系列的二值图 像。在每个二值图像中，大于等于阈值的像素在二值图像中的值为a，反之为b;
步骤32 :对每一幅二值图像沿水平方向进行扫描，使用链码跟踪轮廓算法(本发 明采用了下面这篇文章提出的链码跟踪轮廓算法[REN Mingiu， YANG Jing-yu， SUN Han-Tracing boundary contours in a binary image, mage and Vision Computing,2002， 20(2) :125-131])，在链码中寻找所有满足一定长度和一定角度的、且值为a的直线段；并在该幅二值图像中，从获取的所述的直线为起始点，沿水平方向，向两边寻找满足一定宽度 范围的值为a的水平直线段； 步骤33 :将在所有的二值图像中得到的步骤22所述的水平直线段累计成一幅新 的图像，记为A。图像A中像素点的灰度值是该点在所有二值图像中符合条件的水平直线段 上的出现的次数，即图像A是车道线的结构信息的汇总； 步骤34:将图像A进行平滑处理，再在A中寻找满足一定宽度范围的、灰度值大于 t的水平直线段，将该直线段上的像素坐标连同其在A中的灰度值记录到数组C中； [OO37] 步骤35 :对数组C中的像素坐标进行其灰度值加权的Hough变换，找到Hough投 影值最高的N条直线段，记为数组L[N]; 步骤36 :在L[N]中搜寻满足一定角度范围，相距一定距离范围的直线，记为数组
步骤37 :R[1]…R[M]即为车道标志线。 步骤4:检测前方车辆在道路上的阴影，获取阴影所在的所述车道模型中的车道 宽度，记为Wl ;并计算车道标志线在图像最底行上的车道宽度W2个像素；再根据行道线宽 度Wl、 W2与车距的变换关系fl得到车辆距离Dl ;车辆阴影定位的目的是要在图像中找到 车辆下沿与道路的相交行，以该行的车道宽度作为测距的标准。通常在图像中，车辆与道路 相交的地方存在阴影，阴影处的灰度值明显偏低，依据该特点来检测所述的车辆下沿与道 路的相交行，具体步骤如图3: 步骤41 :根据检测到的车道标志线，在每相邻的两条车道线之间的图像区域中，
计算车道标志线在前方道路图像第y行中的左行道线的坐标xl[y]和右行道线的坐标 x2[y]，并将xl[y]适当縮小和x2[y]适当放大。 步骤42 :先把位于xl[y]和x2[y]之间的像素在前方道路图像中的灰度值的统计 到直方图P中，再将P中灰度值最小的KGO (x2[y]-xl[y]+l)/2)个像素的灰度值累加到 Sum中，最后令Z[y] = Sum/K。 步骤43 :对图像中的所有行执行步骤51和步骤52 ;在Z[y]选择出最靠近本车的
且在一定范围内值突然变小的Z[y0]。 步骤44 :y0即位前方车辆对应的阴影位置。 步骤5 :基于行道线的车距D1测量。若D1大于T1，则输出车辆距离D1，结束；否 则，认为车辆距离过近，采用车牌信息来进行车辆测距则更加精确。 步骤6 :车牌区域的类型和面积，检测和验证前方汽车车牌的矩形区域，将获取的 前方汽车车牌的矩形区域的面积记为S、车牌的类型标记为I ; 由于汽车车牌本身的形状特征，以及车牌内部有密集字符的纹理特征，本发明使 用了一种基于连通区域轮廓分析的车牌定位方法，具体步骤如图4 : 步骤61 :根据检测到的车道标志线，在每相邻的两条车道线之间的图像区域中， 采用阈值穷举法得到一系列的二值图像； 步骤62 :在每一幅二值图像中，使用链码跟踪算法跟踪连通域轮廓(本发明 采用了下面这篇文章提出的链码跟踪轮廓算法[RENMingiu， YANG Jing-yu， SUN Han. Tracingbo皿dary contours in abinary image, mage and Vision Computing, 2002， 20(2) :125-131])，根据车牌轮廓长宽比和车牌内字符长宽比的特征，以及轮廓周长和面积
7的特点，筛选出符合车牌和字符的特征的轮廓线，记在轮廓集合G中；计算选中的各轮廓在
垂直方向上的中心Y，并用数组E记录每个Y出现的次数。E即包含有效车牌信息的垂直中 心Y坐标的投影； 步骤63 :数组E中投影分布最集中的位置即为车牌的水平中心位置CY ;
步骤64 :对每个二值图像中选出的各轮廓，设其最小和最大纵坐标分别为Yl和 Y2，若满足Yl < CY < Y2，则将这些轮廓对应的区域(本发明采用了下面这篇文章提出的跟 踪填充算法来得到轮廓包围的区域[REN，Ming-wu，YANG Wan-kou，YANG Jing-yu，ANew And Fast Contour Filling Algorithm, Pattern Recognition,2005，38(12) :2564-2577])累 计在一幅图像D中；对D中向水平方向进行投影，得到最可能的M对上边界和下边界；对D 中向垂直方向进行投影，得到最可能的N对左边界和右边界；按照不同类型车牌的长宽比， 得到车牌的最佳的左、右、上、下边界和车牌类型。 步骤7 :对该类型I的车牌，若步骤6所述的车牌面积S小于阈值T2 [I]，则按f2 计算车车辆距离，将获得的所述的车辆距离记为D2，输出车辆距离D2，结束；否则若所述的 车牌面积S大于阈值T2 [I]，则执行步骤8 ;采用车牌的字符高度来进行车辆测距则更加精 确。 步骤8 :计算车牌区域中字符高度，根据字符高度按f3计算车辆距离，将获得的所 述的车辆距离记为D3，输出车辆距离D3，结束。步骤如图5 : 步骤81 :根据检测到的车道标志线，在每相邻的两条车道线之间的图像区域中， 采用阈值穷举法得到一系列的二值图像； 步骤82 :在每一幅二值图像中，使用链码跟踪算法跟踪各连通域的轮廓，根据车 牌轮廓长宽比和车牌内字符长宽比的特征，以及轮廓周长和面积的特点，筛选出符合车牌 和字符的特征的轮廓线，记在轮廓集合G中；计算选中的各轮廓在垂直方向上的中心Y，并 用数组E记录每个Y出现的次数；E即包含有效车牌信息的垂直中心Y坐标的投影；
步骤83 :对每个二值图像中选出的各轮廓，设其最小和最大纵坐标分别为Yl和 Y2，若满足Yl < CY < Y2且长宽比满足字符的特征，则对其高度Y2-Y1+1累计到数组F中。 F即包含有效车牌字符的高度的投影。 步骤84 :数组F中投影分布最集中的位置即为车牌字符的高度H。
权利要求
一种基于道路和车辆自身信息的单目视觉车距测量方法，其特征在于，步骤为步骤1所述摄像机安装在挡风玻璃后面或车辆顶部，用于拍摄前方道路图像；步骤2根据设置的摄像机的参数，确定行道线宽度与车距的变换关系f1、车牌类型及车牌面积与车距的变换关系f2、车牌的字符高度与车距的变换关系f3；步骤3从所述道路图像中，检测前方车道标志线，根据获取的所述的车道标志线建立车道模型；若检测不到，执行步骤6；步骤4检测前方车辆在道路上的阴影，获取阴影所在的所述车道模型中的车道宽度，记为W1；并计算车道标志线在图像最底行上的车道宽度W2个像素；再根据行道线宽度W1、W2与车距的变换关系f1得到车辆距离D1；步骤5若所述的车辆距离D1大于阈值T1，则输出车辆距离D1，结束；否则若小于阈值T1，则执行步骤6；步骤6检测和验证前方汽车车牌的矩形区域，将获取的前方汽车车牌的矩形区域的面积记为S、车牌的类型标记为I；步骤7对该类型I的车牌，若步骤6所述的车牌面积S小于阈值T2[I]，则按f2计算车车辆距离，将获得的所述的车辆距离记为D2，输出车辆距离D2，结束；否则若所述的车牌面积S大于阈值T2[I]，则执行步骤8；步骤8计算车牌区域中字符的高度，根据字符高度按f3计算车辆距离，将获得的所述的车辆距离记为D3，输出车辆距离D3，结束。
2. 根据权利要求1所述的基于道路和车辆自身信息的单目视觉车距测量方法，其特征在于，在所述步骤3中，即在车道标志线检测过程中采用的步骤如下步骤31 :对道路灰度图像，采用阈值穷举法采用一系列阈值得到一系列的二值图像；在每个二值图像中，大于等于阈值的像素在二值图像中的值为a，反之为b ;步骤32:对每一幅二值图像沿水平方向进行扫描，使用链码跟踪轮廓法，在链码中寻找所有满足一定长度和一定角度的、且值为a的直线段；并在该幅二值图像中，从获取的所述的直线为起始点，沿水平方向，向两边寻找满足一定宽度范围的值为a的水平直线段； 步骤33 :将在所有的二值图像中得到的步骤32所述的水平直线段累计成一幅新的图像，记为A ;图像A中像素点的灰度值是该点在所有二值图像中符合条件的水平直线段上的 出现的次数，即图像A是车道线的结构信息的汇总；步骤34 :将图像A进行平滑处理，再在A中寻找满足一定宽度范围的、灰度值大于t的水平直线段，将该直线段上的像素坐标连同其在A中的灰度值记录到数组C中；步骤35 :对数组C中的像素坐标进行其灰度值加权的Hough变换，找到Hough投影值 最高的N条直线段，记为数组L[N];步骤36 :在L[N]中搜寻满足一定角度范围，相距一定距离范围的直线，记为数组步骤37 :R[1]…R[M]即为车道标志线。
3. 根据权利要求1所述的基于道路和车辆自身信息的单目视觉车距测量方法，其特征在于，所述步骤4中，即检测前方车辆在道路上的阴影的方法的步骤如下步骤41 :根据检测到的车道标志线，在每相邻的两条车道线之间的图像区域中，计算 车道标志线在图像中第y行中的左行道线的坐标xl[y]和右行道线的坐标x2[y]，并将xl[y]适当縮小和x2[y]适当放大; 步骤42 :先把位于xl[y]和x2[y]之间的像素在前方道路图像中的灰度值的统计到直 方图P中，再将P中灰度值最小的KGO (x2[y]-xl[y]+l)/2)个像素的灰度值累加到Sum 中，最后令Z[y] = Sum/K ;步骤43 :对图像中的所有行执行步骤41和步骤42 ;在Z[y]选择出最靠近本车的且在 一定范围内值突然变小的Z[yO];步骤44 :y0即位前方车辆对应的阴影位置。
4. 根据权利要求1所述的基于道路和车辆自身信息的单目视觉车距测量方法，其特征 在于，所述步骤6中，即检测前方汽车车牌区域的方法的步骤如下步骤61 :根据检测到的车道标志线，在每相邻的两条车道线之间的图像区域中，采用 阈值穷举法得到一系列的二值图像；步骤62 :在每一幅二值图像中，使用链码跟踪算法跟踪各连通域的轮廓，根据车牌轮 廓长宽比和车牌内字符长宽比的特征，以及轮廓周长和面积的特点，筛选出符合车牌和字符的特征的轮廓线，记在轮廓集合G中；计算选中的各轮廓在垂直方向上的中心Y，并用数 组E记录每个Y出现的次数；E即包含有效车牌信息的垂直中心Y坐标的投影； 步骤63 :数组E中投影分布最集中的位置即为车牌的水平中心位置CY ;步骤64 :对每个二值图像中选出的各轮廓，设其最小和最大纵坐标分别为Yl和Y2，若 满足Yl < CY < Y2，则将这些轮廓包围的区域累计在一幅图像D中，D中像素的灰度值是该 像素被这些轮廓经过和包围的次数；对D向水平方向进行投影，得到最可能的M对上边界和 下边界；对D向垂直方向进行投影，得到最可能的N对左边界和右边界；按照不同类型车牌 的长宽比，得到车牌的最佳的左、右、上、下边界和车牌类型。
5. 根据权利要求1所述的基于道路和车辆自身信息的单目视觉车距测量方法，其特征 在于，所述步骤8中，即计算车牌区域中字符高度的方法的步骤如下步骤81 :根据检测到的车道标志线，在每相邻的两条车道线之间的图像区域中，采用 阈值穷举法得到一系列的二值图像；步骤82 :在每一幅二值图像中，使用链码跟踪算法跟踪各连通域的轮廓，根据车牌轮 廓长宽比和车牌内字符长宽比的特征，以及轮廓周长和面积的特点，筛选出符合车牌和字 符的特征的轮廓线，记在轮廓集合G中；计算选中的各轮廓在垂直方向上的中心Y，并用数 组E记录每个Y出现的次数；E即包含有效车牌信息的垂直中心Y坐标的投影；步骤83 :对每个二值图像中选出的各轮廓，设其最小和最大纵坐标分别为Y1和Y2，若 满足Yl < CY < Y2且长宽比满足字符的特征，则对其高度Y2-Y1+1累计到数组F中，F即 包含有效车牌字符的高度的投影；步骤84 :数组F中投影分布最集中的位置即为车牌字符的高度H。
全文摘要
本发明公开了一种基于道路和车辆自身信息的单目视觉车距测量的方法。该方法用于驾驶车在道路上依靠自身的装置自动测定前方汽车距离，达到防止车辆追尾碰撞、提醒驾驶员安全驾驶的目的。具体为，在车辆前部安装一个面向前方的摄像机，从摄像机中获取前方路面和车辆的图像；进行车道标志线和前方车辆检测，以及汽车车牌定位；根据在道路图像中的车辆所在的车道宽度与车距之间的变换关系得到车辆距离，或根据图像中车牌的尺寸信息与车距之间的变换关系得到车辆距离，或者根据车牌中字符的高度与车距之间的变换关系得到车辆距离。本发明可以准确地测量出前方车辆的距离，具有高实时性、高鲁棒性的优点，硬件成本低，适合多种型号车辆，易于推广。
文档编号G01B11/14GK101750049SQ20081023577
公开日2010年6月23日 申请日期2008年12月5日 优先权日2008年12月5日
发明者任明武, 唐振民, 杨静宇, 赵春霞 申请人:南京理工大学