基于双目视觉的倒车障碍物自动检测及预警方法
【专利摘要】本发明的基于双目视觉的倒车障碍物自动检测及预警方法，步骤包括：1)对双目摄像头进行标定；2)对双目视频帧图像对去除纹理不丰富的路面区域；3)提取右目图像中的轮廓，确定左目图像的裁剪量；4)根据裁剪后的左目图像，与完整的右目图像，获取基于左目图像的视差图；5)根据左目图像的视差图，确定右目图像的拼接位置，并进行左右目图像的拼接；6)对左右目图像的拼接图，提取疑似障碍物轮廓及其外接矩形；7)计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在拼接图中进行障碍物及其距离标记，分级预警即成。本发明的方法，简单实用，准确率高。
【专利说明】基于双目视觉的倒车障碍物自动检测及预警方法
【技术领域】
[0001]本发明属于汽车智能辅助安全驾驶【技术领域】，涉及一种基于双目视觉的倒车障碍物自动检测及预警方法。
【背景技术】
[0002]汽车是当今世界最主要的交通工具之一，随着汽车数量的增加，车辆的安全辅助驾驶技术越来越受到人们的关注，倒车是汽车驾驶中非常重要的一项，由于人的视角范围、后视镜存在盲区、司机误操作、新手不熟练等原因，极易导致倒车事故的发生，安装倒车辅助装置能够有效地减少倒车事故的发生几率。目前常用的倒车辅助装置主要有两类:即倒车探头和倒车影像。
[0003]倒车探头主要有雷达、激光、超声波等设备，雷达电磁波、激光光波、超声波等在遇到障碍物后发生反射，探头接收到反射信号后计算障碍物的距离信息并给出报警，其缺点是探头的感知区域有限，检测范围具有局限性，对不在感知区域内的物体，如台阶、较细障碍物、突出的钢筋等容易出现漏检现象；另外，倒车探头不能给驾驶人提供一种可视的车后方影像。倒车影像是通过车尾安装的摄像头为驾驶人提供车后方的可视影像，驾驶人通过显示屏看到车后方的实景，但它不自动检测障碍物也不提供预警，所以驾驶人必须主动关注显示屏上的影像，依赖经验自主判断后方有无障碍物以及障碍物离车的距离；倒车探头和倒车影像结合，使驾驶人看到倒车影像的同时，还有倒车探头给出预警，但由于该组合装置只是简单结合，具体是针对哪个障碍物的预警依旧需要驾驶人自己去判断，且该组合装置依旧没有解决倒车探头的漏检问题。
[0004]目前也有关于基于单目和双目视觉的倒车障碍物距离计算的研究。
[0005]基于单目视觉的障碍物距离测量需要对安装好的单目摄像头的高度和俯仰角进行测量，并通过标定和计算来实现对障碍物距离的测量，这种方法虽然设计简单，但是由于这种方法的距离计算精度依赖于摄像头安装高度和俯仰角度的测量，测距精度不高，对于处于地面附近的被测点的测量较为准确，如果被测点距离地面有一定高度，则测量结果存在较大误差。
[0006]基于双目视觉的障碍物距离测量，需要获取双目视差图，但是现有的获取双目视差图的匹配方法，一是易受纹理不丰富的区域的影响以及没有对左目图像左侧区域进行裁剪处理，导致视差图匹配不准确，从而影响距离计算的精度；二是视差图匹配的速度较慢，实时性差，反应时间短。
【发明内容】
[0007]本发明的目的是提供一种基于双目视觉的倒车障碍物自动检测及预警方法，解决了现有技术中基于双目视觉的倒车设备，视差图易受纹理不丰富区域、以及左目图左侧区域误匹配的影响，导致障碍物距离计算精度不高、双目视差图匹配速度较慢的问题。
[0008]本发明所采用的技术方案是，一种基于双目视觉的倒车障碍物自动检测及预警方法，具体按照以下步骤实施:
[0009]步骤1:对安装在车辆尾部的双目摄像头进行标定；
[0010]步骤2:对倒车时双目摄像头拍摄的双目视频帧图像对，去除纹理不丰富的路面区域；
[0011]步骤3:提取右目图像中的轮廓，确定左目图像的裁剪量；
[0012]步骤4:根据裁剪后的左目图像，与完整的右目图像，获取基于左目图像的视差图；
[0013]步骤5:根据左目图像的视差图，确定右目图像的拼接位置，并进行左右目图像的拼接；
[0014]步骤6:对左右目图像的拼接图，去除纹理不丰富的路面区域，提取疑似障碍物轮廓及其外接矩形；
[0015]步骤7:计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在拼接图中进行障碍物及其距离标记，采用声光分级预警，即成。
[0016]本发明的有益效果是，在车辆尾部中间位置一定高度处安装双目摄像头，对双目摄像头进行标定；对倒车时双目摄像头拍摄的双目视频帧图像对，分别利用分块区域生长法去除纹理不丰富的路面区域；提取右目图像中的轮廓，利用反向轮廓模板匹配法确定左目图像的裁剪量；根据裁剪后的左目图像，与完整的右目图像，再利用正向轮廓模板匹配法，获取基于左目图像的视差图；根据视差图，确定右目图像的拼接量，进行左右目图像的拼接；去除拼接图中纹理不丰富的路面区域，提取疑似障碍物轮廓及其外接矩形；根据视差图以及标定的拟合公式，计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在显示屏显示出的拼接图中进行障碍物及其距离标记，声光分级预警。
[0017]本发明方法实现了倒车过程中的障碍物的自动检测及距离预警，通过疑似障碍物的筛选提高了倒车障碍物检测的准确度；通过视差图的改善和双目参数的拟合提高了障碍物距离计算的精度；通过最大视差值对匹配搜索范围的限制和轮廓模板匹配法提高了视差图匹配的速度，使得倒车障碍物检测的速度满足了倒车的实时性需求。
【专利附图】
【附图说明】
[0018]图1是本发明方法的右目图像与左目图像的轮廓模板匹配示意图；
[0019]图2是本发明方法的左目图像与右目图像的轮廓模板匹配示意图；
[0020]图3是本发明方法的基于左目图像的视差图示意图；
[0021]图4是本发明方法的分级预警示意图。
【具体实施方式】
[0022]下面结合附图和【具体实施方式】对本发明进行详细说明。
[0023]本发明的基于双目视觉的倒车障碍物自动检测及预警方法，具体按照以下步骤实施:
[0024]步骤1:对安装在车辆尾部的双目摄像头进行标定
[0025]对安装在车辆尾部中间一定高度位置的双目摄像头，测量其盲区的物理长度，记为Zmin，设最低障碍物的物理高度为Hmin，高度小于Hmin的物体不被视为障碍物，设标定用棋盘格的内角点数为Pq，记棋盘格的物理高度为HQ，HQ ( Hmin ;测量双目摄像头刚好将最低障碍物拍全时，双目摄像头与最低障碍物之间的物理距离，记为Zmax,利用双目摄像头拍摄垂直放置在N个不同物理距离Zi, Zi e [Zmin, Zmax], i = 1，2，3，…，N处的棋盘格，N≥5，得到N组双目图像对，检测N组双目图像对中棋盘格的角点，记N个左目图像中棋盘格的各个角点坐标为j = l，2^“，PQ，i = 1，2，…，N,记N个右目图像中棋盘格的各个角点坐标为0?;/ -,yrij )，j = I, 2，…，PQ, i = I, 2，…，N,计算N组左右目图像对中对应角点的横坐标差的平均值，即视差值，计算公式如下:
【权利要求】
1.一种基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于，具体按照以下步骤实施: 步骤1:对安装在车辆尾部的双目摄像头进行标定； 步骤2:对倒车时双目摄像头拍摄的双目视频帧图像对，去除纹理不丰富的路面区域； 步骤3:提取右目图像中的轮廓，确定左目图像的裁剪量； 步骤4:根据裁剪后的左目图像，与完整的右目图像，获取基于左目图像的视差图； 步骤5:根据左目图像的视差图，确定右目图像的拼接位置，并进行左右目图像的拼接; 步骤6:对左右目图像的拼接图，去除纹理不丰富的路面区域，提取疑似障碍物轮廓及其外接矩形； 步骤7:计算疑似障碍物的像素高度，筛选出障碍物，计算障碍物的距离，并在拼接图中进行障碍物及其距离标记，采用声光分级预警，即成。
2.根据权利要求1所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于:所述的步骤I中， 对安装在车辆尾部的 双目摄像头，测量其盲区的物理长度，记为Zmin,设最低障碍物的物理高度为Hmin,高度小于Hmin的物体不被视为障碍物，设标定用棋盘格的内角点数为PQ，记棋盘格的物理高度为HQ，HQ ( Hmin ;测量双目摄像头刚好将最低障碍物拍全时，双目摄像头与最低障碍物之间的物理距离，记为Zmax，利用双目摄像头拍摄垂直放置在N个不同物理距离Zi, Zi e [Zmin, Zmax], i = 1，2，3，…，N处的棋盘格，N≥5，得到N组双目图像对，检测N组双目图像对中棋盘格的角点，记N个左目图像中棋盘格的各个角点坐标为( %；.，yiij )，j=I, 2, ---,Pq, i = 1，2，…，N,记N个右目图像中棋盘格的各个角点坐标为)，j =.1,2, -,PQ, i = 1,2,…，N，计算N组左右目图像对中对应角点的横坐标差的平均值，即视差值，计算公式如下:
3.根据权利要求2所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于:所述的步骤2中， 对倒车时双目摄像头拍摄的双目视频帧图像对，记左目图像为L，右目图像为R，对双目图像对分别进行灰度化处理，记左目灰度图像为LG，右目灰度图像为RG，规定左目灰度图像LG下方区域为代表路面的小块，记为S，其左上角坐标为b.s,..&,)，右下角坐标为(xsb ^sb )，坐标计算公式如下:
4.根据权利要求3所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于:所述的步骤3中， 置路面区域去除后的右目图像RGs中的非白色的路面上物体区域为黑色，对其左侧2XDmax部分，进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_Ri，i =1，2，…，NK，Ne为轮廓的个数，计算各个轮廓LK_Ri，i = 1，2，…，Nk的外接矩形的面积，找出外接矩形面积最大的轮廓区域，其外接矩形左上角坐标记为(x^~)，右下角坐标记为 ，y RMb ).在右目灰度图像RG中，以Ct，y KMf )为左上角点，RMh，RMt,)为右下角点所围成的矩形区域记为RectMax，以其作为模板；在左目灰度图像LG中，以(?./, +KyRMtI k=O, I, 2...Dmax为左上角点及以(--k = O, I, 2...Dmax为右下角点构成的矩形区域记为RectMaxLk, k = O, I, 2，吣0_，作为被匹配区域，随着k从O到Dmax变化，从左向右移动，利用归一化互相关方法进行右目灰度图像RG上的模板区域RectMax依次和左目灰度图像LG上的被匹配区域RectMaxLk, k = O, I, 2，吣0_的匹配,公式如下:
5.根据权利要求4所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于:所述的步骤4中， 记基于左目图像的视差图为D印th,其高度为H,宽度为W,其初始化设视差图Depth的左侧O~&部分的视差值为0，即置黑；规定步骤2中的LGs右侧&~W部分中的白色区域，即路面区域在视差 图Depth中的视差值为0，即置黑；规定非路面区域在视差图D印th中的视差值为255，即置白； 对步骤2中的左目图像LGs中的非白色的路面上的物体区域置为黑色，对其右侧&~W部分进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_Li，i = 1，2，- ,NljNl为轮廓的个数，计算各个轮廓LK_Li，i = l,2,…，队的外接矩形，其外接矩形左上角坐标记为OcRti= I, 2.…，Nl,右下角坐标记为(--.,--), i = l,2...., Nl, 在左目灰度图像LG中，以(场,.，7取)，i = 1，2，…，队为左上角点，(XRbiJRbi), i =I, 2，…，Nlj为右下角点，该左上角点与右下角点构成的矩形区域记为Recti, i = l,2,..., Nl,分别以Recti, i = 1，2，...，Nl作为模板； 在右目灰度图像RG中，依次以(M -KyRnl k = O, I, 2…D_，i = 1，2，- ,Nl为左上角点，以(-- ~k^yRbi^ k = O, I, 2...Dmax, i = l,2,..., Nl为右下角点，该左上角点与右下角点构成的区域记为&〃At，k = 0，1,2,吣0_，i = 1,2,…，队，作为被匹配区域，随着k从O到Dmax变化，从右向左移动，利用归一化互相关方法依次进行左目灰度图像LG中模板区域Recti, i=1，2，...，Nl 和右目灰度图像 RG 中被匹配区域，k = 0，1，2，-Dmax, i = 1，2，...，Nl的匹配，公式如下:
6.根据权利要求5所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于:所述的步骤5中，根据步骤4中的视差图Depth,在区域RectDi, i = I, 2,...，Nl中找到面积最大的区域，记为RectDmax，取该矩形区域的视差值作为右目图像的拼接位置，记为Kr, Ke e O, I, 2...Dmax ； 采用加权平均融合法，对左目图像L(x，y)与右目图像R(x，y)中以(W_2XKK，0)为左上角坐标，(W，H)为右下角坐标围成的子区域进行拼接，记拼接图像为P(x，y)，其高度为H，宽度为W+KK，拼接公式如下:
7.根据权利要求6所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于:所述的步骤6中，对步骤5中的拼接图P进行灰度化，记为PG，以步骤2中的S作为路面区域，将拼接灰度图PG分为mXn，m≥2，η≥2的小块，记为KPi，i = 1，2...πιΧη，对各小块KPi, i = 1，2...ηιΧη从左到右,从下到上依次遍历该小块中各像素的灰度值,当第一次得到的像素值与步骤2中ave_gray的差小于阈值T = 2的点就作为该小块的种子点,各小块的种子点记为PPi，i e 1,2,…mXn ;分别以PPi，i e 1，2，"^mXn为种子点，依次对拼接灰度图PG进行漫水填充区域生长，生长的正、负阈值分别设置为Tjkjs = 90和T_neg = 50，将生长区域赋为白色，这些白色区域就是被去除的路面区域，非白色区域为路面上的物体，路面去除后的拼接灰度图像PG记为PGs ； 置图像PGs中的非白色的路面上物体区域为黑色，对其进行路面上物体的轮廓提取，提取到的各个物体的轮廓记为LK_
8.根据权利要求7所述的基于双目视觉的倒车障碍物自动检测及预警方法，其特点在于:所述的步骤7中，根据步骤I的公式⑷以及步骤4的视差值Di, i = 1，2，…，队，计算视差值为Di, i = 1，2，...，队时，最低障碍物的像素高度yi，公式如下:Yi = aoX Dj2+bo X Dj+co, i = 1，2，...，NL， (10) 计算步骤4视差图Depth中各个矩形区域RectDi, i = I, 2,.'Nl的像素高度HRi, i =I, 2,…，Nlj,公式如下:
【文档编号】G06K9/62GK104021388SQ201410203724
【公开日】2014年9月3日 申请日期:2014年5月14日 优先权日:2014年5月14日
【发明者】胡涛, 贺鹏艳, 范彩霞, 景翠宁 申请人:西安理工大学