一种基于多幅子图与图像显著性分析的车辆检测方法与流程

文档序号:15616178发布日期:2018-10-09 21:26阅读:200来源:国知局

本发明涉及车辆检测领域,具体涉及一种基于多幅子图与图像显著性分析的车辆检测方法。



背景技术:

前方碰撞预警系统(forwardcollisionwarning),fcw能够通过雷达系统来时刻监测前方车辆,判断本车于前车之间的距离、方位及相对速度,当存在潜在碰撞危险时对驾驶者进行警告。fcw系统本身不会采取任何制动措施去避免碰撞或控制车辆。

做为fcw中重要的一环,基于视觉传感器的移动车辆检测成为众多同行研究的焦点之一。目前的基于视觉传感器的移动车辆检测方法,在处理大逆光情况时往往难以将目标车辆检出,因为此时不论是车底阴影还是车尾灯等信息都与周围环境存在较低的对比度,传统预处理的手段往往不再适用;而对于滑动窗口的检测手段,则需要大量训练代价并伴有高虚警的风险。因此,大逆光情况往往是各种新兴车辆检测方法挑战的场景之一。



技术实现要素:

为了解决上述问题,本发明提供了一种基于多幅子图与图像显著性分析的车辆检测方法。本发明提供的一种基于多幅子图与图像显著性分析的车辆检测方法,时间复杂度低,实时性高,可以适应多种不同的诸如雨天或者夜间等场景。

本发明采用的技术方案如下:

一种基于多幅子图与图像显著性分析的车辆检测方法,包括如下步骤:

s1,基于多幅子图融合的显著性预处理;

s2,对含有目标车辆的候选目标区域进行边界修正;

s3,将修正后的目标候选区域进行精确判断;

s4,多帧联合与去重合;

s5,输出目标窗口区域坐标,完成车辆检测。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s1包括如下步骤:

s11,将原始图像划分为若干子图;

s12,针对每幅子图,获取与该子图对应的子区域显著性图像,并将其映射到0-255范围内得到子区域显著性分析图像;遍历子区域显著性分析图的每个像素点,获取在子区域显著性分析图中的每个像素点的子区域显著性分析图像像素值;

s13,将子图映射到0-255的范围内得到子区域拉伸图像;

s14,获取每个像素点的子区域目标图像像素值,所述子区域目标图像像素值=子区域显著性分析图像像素值-子区域拉伸图像像素值;

s15,根据各个像素点的子区域目标图像像素值得到子区域目标图像,将子区域目标图像进行二值化处理,得到突出了显著性物体的子区域二值图像。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述子图根据目标车辆在原始图像中可能出现的位置与尺寸进行划分,各个子图中至少存在一个子图使得在该子图内包括目标车辆与周围环境形成相对强烈的对比度。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s12包括如下步骤:

s121,针对每个子区域原始图像,遍历该子区域原始图像,获取该子区域原始图像各个像素的频率,获取像素值的最大值与最小值;

s122,计算每个子区域原始图像中每个像素点到其他像素点的频率的距离之和,做为衡量该点像素对比度的一种度量;

s123,在每个子区域原始图像中利用步骤s22中各个像素点的频率的距离之和做指数运算,做为该像素点的显著性特征值;

s124,根据子区域原始图像各个像素点的显著性特征值获取与子区域原始图像对应的子区域显著性图像;

s125,遍历子区域显著性图像,获取子区域显著性特征值的最大值和最小值;

s126,计算距离之和的变化幅度,即使用子区域显著性特征值的最大值减去子区域显著性特征值的最小值,将子区域原始图像映射到0-255的范围内;

s127,将子区域显著性图像映射到0-255的范围内得到子区域显著性分析图像。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s122中的距离包括欧式距离。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s125还包括:当子区域显著性特征值的最大值和最小值相等时,舍弃对该子区域显著性图像的后续步骤。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s127还包括:将每个子区域显著性分析图中显著性特征值的归一化系数,做为该子区域原始图像的显著性特征值映射回原始图像中时的加权参数,所述原始图像中的各个包含目标车辆的子区域显著性图像被分别加权,然后再映射到0-255的范围内得到子区域显著性分析图像。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s2包括如下步骤:

s21,将步骤s15得到的子区域二值图像中长度满足要求的候选线做为目标车辆的底边候选线,以所述底边候选线的长做为边长画正方形候选区域,对各个矩形候选区域进行边界检查,去除不符合的矩形候选区域;

s22,对所述正方形候选区域的底边进行上浮与左右扩充操作后,与原所述正方形候选区域的底边形成一个感兴趣区域;

s23,对所述感兴趣区域进行尺度判断:如果尺度小于等于最小宽度,则将感兴趣区域映射返回到原始图像中,在原始图像的感兴趣区域中求取竖直方向的sobel梯度;所述最小宽度为预先设定在抽样图像中可以分辨车辆的最小宽度;否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度;

s24,将sobel梯度图投影到水平方向得到梯度直方图;

s25,根据竖直sobel梯度计算目标车辆的左边界坐标与右边界坐标。此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内,否则该方法无效。所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s25包括如下步骤:

s251,将步骤s23得到的竖直sobel梯度求取绝对值,将所述绝对值投影到水平方向;

s252,在水平方向的左右各1/2区域内求取邻域内的第一最大值并返回第一最大值的坐标,将最大值的坐标定为左右边界的候选之一;

s253,由于,求得的最大值未必就是车的左右边界,在步骤s252获取的最大值的某个极小的邻域内,将所述竖直sobel梯度的绝对值在水平方向的投影置零;再次在水平方向的左右各1/2区域内求取邻域内的第二最大值并返回第二最大值的坐标,将第二最大值的坐标定为左右边界的候选之一;

s254,左右边界各有两个候选坐标,从第一最大值与第二最大值中选出置信度相对高的候选坐标:

s255,对左右边界的候选坐标进行过滤,获取左边界坐标与右边界坐标。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s255包括如下步骤:

在前面确定了目标车辆的左边界候选坐标与右边界候选坐标后,根据底边的长度是否满足大于阈值,决定是否回到原图进行下面操作;

s2551,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在左边界候选坐标a的左侧取临时区域la1,在左边界候选坐标a的右侧取临时区域la2,将两个区域做差la1-la2,然后求和,将最后的和sum_la做为左边界候选坐标a的可信度分数;

同时,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在左边界候选坐标b的左侧取临时区域lb1,在左边界候选坐标b的右侧取临时区域lb2,将两个区域做差lb1-lb2,然后求和,将最后的和sum_lb做为左边界候选坐标b的可信度分数;取sum_la与sum_lb中最大值对应的候选坐标做为左边界坐标;

s2552,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在右边界候选坐标c的左侧取临时区域rc1,在右边界候选坐标c的右侧取临时区域rc2,将两个区域做差rc1-rc2,然后求和,将最后的和sum_rc做为右边界候选坐标c的可信度分数;

同时,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在右边界候选坐标d的左侧取临时区域rd1,在右边界候选坐标d的右侧取临时区域rd2,将两个区域做差ld1-ld2,然后求和,将最后的和sum_ld做为右边界候选坐标d的可信度分数;取sum_rc与sum_rd中最大值对应的候选坐标做为右边界坐标。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s3包括将步骤s255获取的左边界坐标与右边界坐标构成的目标候选区域送给分类器进行判断,将判断结果为“是车辆”的目标区域输出至步骤s4。优选的,所述分类器包括adaboost、svm、cnn、其他分类器。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s4包括如下步骤:

s41,根据当前帧前面的多帧图像在一定邻域范围内一直有检测目标车辆的结果,当前帧在该邻域内也产生一定的候选窗口,将所述候选窗口送给所述分类器进行判断,将判断结果为“是车辆”的目标区域送给去重合模块;

s42,去重合模块在汇总所有的目标区域,对其进行是否重合的判定,然后对有重合区域的目标区域进行置信度判定,将置信度高的目标区域留下,置信度低的目标窗口去除。

本发明提出一种基于多幅子图与图像显著性分析的车辆检测方法及装置,利用大逆光情况下,虽然目标车辆在整体图像中的对比度很弱,但是总会存在一定的邻域区间,使得在该邻域区间内,目标车辆的对比度相对较强,从而在该子区域内将车辆目标与背景分离开来;然后将多个子图信息融合起来,进行后续的边界修正与精确目标检测。

本发明利用多幅子图融合与显著性分析结合的方法,解决了诸如大逆光等情况的弱对比度情况下车辆目标难以被检测出来的问题,同时本发明方法在正常光照情况下也有良好的检测效果,具备很强的适应性。

本发明利用分别对多幅子图进行显著性分析,然后对分析结果进行加权融合的方法,确定出含有目标车辆的候选区域,然后对这些候选区域进行边界校正并进行精确判断,进而检测出车辆目标。本发明方法时间复杂度低,实时性高,可以适应多种不同场景,比如雨天和夜间等。

本发明对当前帧检测出来的目标车辆区域与之前多帧联合检测出来的候选目标区域都进行分类器判别,并利用窗口去重合机制去除有重叠区域的目标区域,提高了车辆的检出率,同时在一定程度上抑制了虚警。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一种基于多幅子图与图像显著性分析的车辆检测方法的车辆检测流程图;

图2是本发明一种基于多幅子图与图像显著性分析的车辆检测方法的检测图像中目标车辆的流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例

如图1所示,本发明使用经过采样的图像y通道信息进行车辆目标的检测。首先经过基于图像分层的显著性分析来进行预处理,得到筛选后的含有目标车辆的候选区域;然后,对含有目标车辆的候选目标区域进行边界修正;之后,将修正后的含有目标车辆的候选区域送给分类器进行精确判断;之后,根据多帧联合机制与图像去重合机制处理后得到最终的目标车辆区域。

一种基于多幅子图与图像显著性分析的车辆检测方法,包括如下步骤:

s1,基于多幅子图融合的显著性预处理;

s2,对含有目标车辆的候选目标区域进行边界修正;

s3,将修正后的目标候选区域进行精确判断;

s4,多帧联合与去重合;

s5,输出目标窗口区域坐标,完成车辆检测。

如图2所示,上述步骤s1包括如下步骤:

s11,将原始图像划分为若干子图;所述子图根据目标车辆在原始图像中可能出现的位置与尺寸进行划分,各个子图中至少存在一个子图使得在该子图内包括目标车辆与周围环境形成相对强烈的对比度。

s12,针对每幅子图,获取与该子图对应的子区域显著性图像,并将其映射到0-255范围内得到子区域显著性分析图像;遍历子区域显著性分析图的每个像素点,获取在子区域显著性分析图中的每个像素点的子区域显著性分析图像像素值;具体包括如下步骤:

s121,针对每个子区域原始图像,遍历该子区域原始图像,获取该子区域原始图像各个像素的频率,获取像素值的最大值与最小值;

s122,计算每个子区域原始图像中每个像素点到其他像素点的频率的距离之和,做为衡量该点像素对比度的一种度量;所述距离优选欧式距离。

s123,在每个子区域原始图像中利用步骤s22中各个像素点的频率的距离之和做指数运算,做为该像素点的显著性特征值;

s124,根据子区域原始图像各个像素点的显著性特征值获取与子区域原始图像对应的子区域显著性图像;

s125,遍历子区域显著性图像,获取子区域显著性特征值的最大值和最小值;当子区域显著性特征值的最大值和最小值相等时,舍弃对该子区域显著性图像的后续步骤。

s126,计算距离之和的变化幅度,即使用子区域显著性特征值的最大值减去子区域显著性特征值的最小值,将子区域原始图像映射到0-255的范围内;

s127,将子区域显著性图像映射到0-255的范围内得到子区域显著性分析图像。将每个子区域显著性分析图中显著性特征值的归一化系数,做为该子区域原始图像的显著性特征值映射回原始图像中时的加权参数,所述原始图像中的各个包含目标车辆的子区域显著性图像被分别加权,然后再映射到0-255的范围内得到子区域显著性分析图像。

s13,将子图映射到0-255的范围内得到子区域拉伸图像;

s14,获取每个像素点的子区域目标图像像素值,所述子区域目标图像像素值=子区域显著性分析图像像素值-子区域拉伸图像像素值;

s15,根据各个像素点的子区域目标图像像素值得到子区域目标图像,将子区域目标图像进行二值化处理,得到突出了显著性物体的子区域二值图像。

上述步骤s2包括如下步骤:

s21,将步骤s15得到的子区域二值图像中长度满足要求的候选线做为目标车辆的底边候选线,以所述底边候选线的长做为边长画正方形候选区域,对各个矩形候选区域进行边界检查,去除不符合的矩形候选区域;

s22,对所述正方形候选区域的底边进行上浮与左右扩充操作后,与原所述正方形候选区域的底边形成一个感兴趣区域;

s23,对所述感兴趣区域进行尺度判断:如果尺度小于等于最小宽度,则将感兴趣区域映射返回到原始图像中,在原始图像的感兴趣区域中求取竖直方向的sobel梯度;所述最小宽度为预先设定在抽样图像中可以分辨车辆的最小宽度;否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度;

s24,将sobel梯度图投影到水平方向得到梯度直方图;

s25,根据竖直sobel梯度计算目标车辆的左边界坐标与右边界坐标。此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内,否则该方法无效。所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。具体包括如下步骤:

s251,将步骤s23得到的竖直sobel梯度求取绝对值,将所述绝对值投影到水平方向;

s252,在水平方向的左右各1/2区域内求取邻域内的第一最大值并返回第一最大值的坐标,将最大值的坐标定为左右边界的候选之一;

s253,由于,求得的最大值未必就是车的左右边界,在步骤s252获取的最大值的某个极小的邻域内,将所述竖直sobel梯度的绝对值在水平方向的投影置零;再次在水平方向的左右各1/2区域内求取邻域内的第二最大值并返回第二最大值的坐标,将第二最大值的坐标定为左右边界的候选之一;

s254,左右边界各有两个候选坐标,从第一最大值与第二最大值中选出置信度相对高的候选坐标:

s255,对左右边界的候选坐标进行过滤,获取左边界坐标与右边界坐标。在前面确定了目标车辆的左边界候选坐标与右边界候选坐标后,根据底边的长度是否满足大于阈值,决定是否回到原图进行下面操作;

s2551,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在左边界候选坐标a的左侧取临时区域la1,在左边界候选坐标a的右侧取临时区域la2,将两个区域做差la1-la2,然后求和,将最后的和sum_la做为左边界候选坐标a的可信度分数;

同时,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在左边界候选坐标b的左侧取临时区域lb1,在左边界候选坐标b的右侧取临时区域lb2,将两个区域做差lb1-lb2,然后求和,将最后的和sum_lb做为左边界候选坐标b的可信度分数;取sum_la与sum_lb中最大值对应的候选坐标做为左边界坐标;

s2552,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在右边界候选坐标c的左侧取临时区域rc1,在右边界候选坐标c的右侧取临时区域rc2,将两个区域做差rc1-rc2,然后求和,将最后的和sum_rc做为右边界候选坐标c的可信度分数;

同时,取宽度的1/5做为临时高度,取宽度的1/3做为临时高度,在右边界候选坐标d的左侧取临时区域rd1,在右边界候选坐标d的右侧取临时区域rd2,将两个区域做差ld1-ld2,然后求和,将最后的和sum_ld做为右边界候选坐标d的可信度分数;取sum_rc与sum_rd中最大值对应的候选坐标做为右边界坐标。

上述的一种基于多幅子图与图像显著性分析的车辆检测方法,其中,所述步骤s255包括如下步骤:

上述步骤s3包括将步骤s255获取的左边界坐标与右边界坐标构成的目标候选区域送给分类器进行判断,将判断结果为“是车辆”的目标区域输出至步骤s4。优选的,所述分类器包括adaboost、svm、cnn、其他分类器。

上述步骤s4包括如下步骤:

s41,根据当前帧前面的多帧图像在一定邻域范围内一直有检测目标车辆的结果,当前帧在该邻域内也产生一定的候选窗口,将所述候选窗口送给所述分类器进行判断,将判断结果为“是车辆”的目标区域送给去重合模块;

s42,去重合模块在汇总所有的目标区域,对其进行是否重合的判定,然后对有重合区域的目标区域进行置信度判定,将置信度高的目标区域留下,置信度低的目标窗口去除。

另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

当然,对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1