一种用于车辆安全辅助视频图像处理方法
【专利摘要】本发明公开了一种用于车辆安全辅助视频图像处理方法，将车载视频设备采集的图像进行处理，该方法包括图像增强、降噪、强光抑制方法、道路线检测方法和障碍物监测方法，本发明处理方法采用改进后的Retinex算法对图像进行局部的增强，同时采用动态直方图映射的算法进行全局的图像增强，将两种增强的结果以权重的形式结合，得到最终的增强图像，具有实现视图像增强、消噪、色彩锐化等效果、提高图像对比度、清晰度，以得到与原始图像接近、符合人眼视觉特性的图像、路边线检测、障碍物测距的特点。
【专利说明】一种用于车辆安全辅助视频图像处理方法
【技术领域】
[0001]本发明属于一种车载设备【技术领域】，涉及一种用于辅助车辆安全的视频图像的处
理方法。
【背景技术】
[0002]随着汽车数量的增多，交通安全已成为社会关注的焦点，减少交通事故，保证行车安全人们一种关心的问题，车辆安全辅助驾驶系统也成为目前车辆系统的研究热点之一。目前车辆安全辅助驾驶系统主要通过视频采集技术获取丰富的道路环境信息，供驾驶员行车时参考。此类系统有两种方式，一是采用热成像技术，但存在图像模糊，价格昂贵的问题，而是采用可见光摄像机，但是在雾、雪、霾等恶劣天气情况下，存在获取的信息量不足，观察距离受限的问题。而且，目前的车载视频安全辅助系统还存在功能单一，成本居高的问题。
【发明内容】
[0003]本发明的目的在于改进已有技术的不足而提供一种实现视图像增强、消噪、色彩锐化等效果、提高图像对比度、清晰度，以得到与原始图像接近、符合人眼视觉特性的图像、路边线检测、障碍物测距的用于车辆安全辅助视频图象处理方法。
[0004]本发明的目的是这样实现的，一种用于车辆安全辅助视频图像处理方法，将车载视频设备采集的图像进行处理，其特点是该方法包括图像增强、降噪、强光抑制方法、道路线检测方法和障碍物监 测方法，其中所述的图像增强、降噪、强光抑制方法是:
a、对视频中的每帧图像单独分析，首先对图像进行平滑处理，以去除图像中的噪声，得到图像的直方图H和图像的归一化方差C ；
b、对图像应用改进的多尺度Retinex算法，采用三个尺度的模板得到不同尺度下增强的图像11、12、13，再根据图像的归一化方差C的值，选择不同的权重系数wl、w2、w3，根据权重将不同尺度下的增强图像进行融合，得到最终的增强图像I，I=wl*Il + w2*I2 + w3*I3,权重的选择方式如下:
0=0.7 时，wl=0.5，w2=0.3，w3=0.2
0.3〈C〈0.7 时，wl=0.3，w2=0.4，w3=0.3
C〈0.3 时，wl=0.2，w2=0.3，w3=0.5
其中wl/Il，w2/I2, w3/I3分别代表小尺度、中尺度和大尺度的权重及增强后的图像；
C、根据图像分析的结果，应用动态直方图映射算法，选取a，b两点，a, b两点的横坐标Xa、Xb由直方图两端各5%的能量值对应的灰度级别确定，a, b两点的纵坐标值计算如下:Ya=Xa*(1-β)
Yb=Xb* (1+ β)
其中β为直方图偏向O或255程度的度量，设Hl为图像直方图中0-127量级的总和，Η2为直方图中128-255量级的总和，则:β =|Η1-Η2|/Η可见，若图像分布的较为均衡，则Hl与H2约接近，β就会趋近为O，图像所做的变换幅度就较小；相反若图像中灰度分布不均衡，算法就会根据直方图分布动态映射像素值；
d、将Retinex算法和动态直方图映射算法的结果以各占50%权重的方式结合起来，得到最终的图像；
所述的道路线检测方法:
a、进行车载近红外灯照射区域划分，得出红外灯照射区域和非照射区域；由于近红外灯照射区域集中在车辆的正前方，且在周围光源较少的情况下，其亮度一般远高于未照射区域，则可使用图像的最大类间方差方法进行图像区域的分割，得到近红外灯照射区域和非照射区域，具体方法如下:得到图像的直方图H，然后应用图像的最大类间方差方法得到图像的分割阈值T，则图像中的像素被阈值分为两类，即红外灯照射区域R和非照射区域R，;
b、计算当前红外灯照射区域内图像的平均方差C，作为道路粗糙程度的度量，其公式为:C=sum(ρ (i)-p (1-1) )/2,其中求和函数sum遍历整个红外灯照射区域R ；
C、从红外灯照射区域的中下部开始进行区域的生长，初始生长区域为图像最下面正中央的矩形区域，其尺寸为M*N，M和N —般设置为20-40之间的值，然后比较此区域左、右和上面的矩形区域，若其矩形内方差与照射区域方差近似则认为是红外照射区域，当区域生长停止时，得到的区域即为使用此方法得到的红外照射区域，此区域由左右两条直线围成，左面直线为LI，右面直线为Rl ；
d、因红外照射灯照射的区域成三角形，在视频中自然形成两条直线边界，使用经典的霍夫变换的方法可检测图像中的直线，检测出的左面直线为L2，右面直线为R2 ；
e、分别对左面和右面的两条直线L1、L2和Rl、R2进行再拟合，生成最终的行车边沿线L和R ;
f、由于行车中路况复杂，及车辆抖动等原因，得到的行车边沿线L和R会不断抖动，通过对拟合出的边沿线进行低通滤波去除了其抖动得到最终的马路线，其低通滤波过程为:
L(i)=a*L(i) + b*L(i_l) + c*L(i_3)
其中a、b、c为各时刻直线所占的比重，同时设置阈值1'_(*&1^6，只有当行车线的变动超过此阈值时，才改变行车线位置；
所述的障碍物监测:
a、获得行车线区域后，行车线即为所述的低通滤波后得到的L(i)，即获得了车辆行驶前方道路区域的位置，计算获得的视频图像下方SOpixel高的道路区域中图像的方差C，若此方差小于预设的阈值T，则可判定此区域为平坦的，计算此区域的图像平均灰度Y，作为正常道路区域的平均灰度；
b、将道路区域中大于平均灰度Y的像素标出，经过去噪、滤波等操作去除噪声点后，再进行像素的聚类，若得到某一区域的平均灰度值大于道路的平均灰度值Y，则此区域就被判定为可能存在障碍物。
[0005]本发明与已有技术相比具有以下显著特点和积极效果:本发明结合了基于Retinex的视频增强算法和动态直方图映射的图像处理方法，采用改进后的Retinex算法对图像进行局部的增强，同时采用动态直方图映射的算法进行全局的图像增强，最后根据图像分析的结果将两种增强的结果以权重的形式结合起来，得到最终的增强图像。通过对视频的实时分析自适应的调整算法的权重和参数，使得其可以适应各种天气和光照情况。
[0006]通过改进后的Retinex算法和动态直方图映射算法的结合实现图像增强、消噪、色彩锐化等处理；本发明对视频中的每帧图像单独分析，首先对图像进行平滑处理，以去除图像中的噪声，由于视频图像的内容变化较大，单一的算法参数无法应用到不同的视频场景中，对实际的视频处理算法来说，必然需要使用自适应的图像处理方法，而这些方法首先需要分析图像得到图像的统计信息，作为设定参数的依据；传统的多尺度的Retinex算法的三通道的权重相同，对于细节不同的图像来说，无法取得最好的增强效果，本发明提出根据图像内细节丰富程度给予不同尺度的增强图像以不同权重的思想，很好的适应了不同图像内容和场景的增强要求；本发明根据图像分析的结果，应用动态直方图映射算法，若图像分布的较为均衡，图像所做的变换幅度就较小，相反若图像中灰度分布不均衡，算法就会根据直方图分布动态映射像素值；由于视频处理的复杂性，单一的算法难以应付所有的场景，或在任意场景中都取得最优的效果，这就需要将多种算法得到的结果综合起来，本算法将Retinex算法和动态直方图映射算法的结果以一定的权重比例结合起来，得到最终的图像。权重关系可设置为经验值，一般取(0.5，0.5)，即两种算法各占一半的比重。
[0007]本算法通过对图像中道路边缘的分析，辅助驾驶员对道路线的观察。其设计难点在于:由于马路边缘的不规则，可能影响算法对其的检测，道路本身的凹凸不平也会导致检测结果不稳定。本算法通过使用边缘检测、区域生长、局部粗糙度分析和低通滤波等算法，最大程度上实现了马路边缘线的辅助检测；根据夜视图像的特点，本发明首先通过预设参数将图像划分为近红外灯照射区域和非照射区域，区域的划分与车载红外灯的照射角度、安装位置相关；然后通过在近红外区域内检测图像的平均方差得到道路粗糙程度的一个度量，这个度量作为区域生长和边缘拟合的参数；马路区域的生长从视频的中间下方开始进行，向上方和两边生长；然后对生长出来的道路区域，进行马路边沿的拟合生成马路线；由于道路特性的复杂，生成的马路线可能会有较高频率的变化，这一变化会影响驾驶员的视觉感官，而通过对生成的马路线进行低通滤波可使其较为稳定。
[0008]经过本发明方法进行处理过的图像，符合人眼视觉特性，视频图像在色彩、亮度、对比度、物体细节显示方面等都得到了改善，并且增加了在雾、霾、尘等天气情况下可视距离，利于行车安全。
【专利附图】
【附图说明】
[0009]下面结合附图和实施例对本发明做进一步详细说明。
[0010]图1为本发明直方图映射曲线。
【具体实施方式】
[0011]实施例，一种用于车辆安全辅助视频图像处理方法，将车载摄像设备采集的图像进行处理，包括图像增强、降噪、强光抑制方法、道路线检测方法和障碍物监测方法，其中所述的图像增强、降噪、强光抑制方法是:
a、对视频中的每帧图像单独分析，首先对图像进行平滑处理，以去除图像中的噪声，然后得到图像的直方图H和图像的归一化方差C，由于视频图像的内容变化较大，单一的图像处理算法参数无法应用到不同的视频场景中，对实际的视频处理算法来说，必然需要使用自适应的图像处理方法，而这些方法首先需要分析图像得到图像的统计信息，作为设定参数的依据；
b、对图像应用改进的多尺度Retinex算法，采用三个尺度的模板得到不同尺度下增强的图像11、12、13，再根据图像的归一化方差C的值，选择不同的权重系数wl、w2、w3，根据权重将不同尺度下的增强图像进行融合，得到最终的增强图像I，I=wl*Il + w2*I2 + w3*I3,权重的选择方式如下:
0=0.7 时，wl=0.5，w2=0.3，w3=0.2
0.3〈C〈0.7 时，wl=0.3，w2=0.4，w3=0.3
C〈0.3 时，wl=0.2，w2=0.3，w3=0.5 其中wl/Il，《2/12，w3/I3分别代表小尺度、中尺度和大尺度的权重及增强后的图像，各尺度之间划分的界限是由多尺度Retinex算法本身定义；传统的多尺度的Retinex算法的三通道的权重相同，对于细节不同的图像来说，无法取得最好的增强效果，本算法提出根据图像内细节丰富程度给予不同尺度的增强图像以不同权重的思想，很好的适应了不同图像内容和场景的增强要求；
C、根据图像分析的结果，应用动态直方图映射算法，直方图映射曲线如图1所示:
图中a，b两点的横坐标Xa，Xb由直方图两端各5%的能量值对应的灰度级别确定，a, b两点的纵坐标值计算如下:
Ya=Xa* (1-β) Yb=Xb* (1+ β )
其中β为直方图偏向O或255程度的度量，设Hl为图像直方图中0-127量级的总和，Η2为直方图中128-255量级的总和，则:β =|Η1-Η2|/Η
可见，若图像分布的较为均衡，则Hl与Η2约接近，β就会趋近为0，图像所做的变换幅度就较小，相反若图像中灰度分布不均衡，算法就会根据直方图分布动态映射像素值；d、由于视频处理的复杂性，单一的处理方法难以应付所有的场景，或在任意场景中都取得最优的效果，这就需要将多种处理方法得到的结果综合起来，本发明是将Retinex算法和动态直方图映射算法的结果以一定的权重比例结合起来，得到最终的图像。权重关系可设置为经验值，一般取(0.5,0.5)，即两种算法各占一半的比重；
所述的道路线检测方法:
a、进行车载近红外灯照射区域划分，得出红外灯照射区域和非照射区域；由于近红外灯照射区域集中在车辆的正前方，且在周围光源较少的情况下，其亮度一般远高于未照射区域，则可使用图像的最大类间方差方法进行图像区域的分割，得到近红外灯照射区域和非照射区域，具体方法如下:得到图像的直方图H，然后应用图像的最大类间方差方法得到图像的分割阈值T，则图像中的像素被阈值分为两类，即红外灯照射区域R和非照射区域R，;
b、计算当前红外灯照射区域内图像的平均方差C，作为道路粗糙程度的度量，其公式为:C=sum(P (i)-p (1-1) )/2,其中求和函数sum遍历整个红外灯照射区域R ；
C、从红外灯照射区域的中下部开始进行区域的生长，初始生长区域为图像最下面正中央的矩形区域，其尺寸为M*N，M和N —般设置为20-40之间的值，然后比较此区域左、右和上面的矩形区域，若其矩形内方差与照射区域方差近似则认为是红外照射区域，当区域生长停止时，得到的区域即为使用此方法得到的红外照射区域，此区域由左右两条直线围成，左面直线为LI，右面直线为Rl ；
d、因红外照射灯照射的区域成三角形，在视频中自然形成两条直线边界，使用经典的霍夫变换的方法可检测图像中的直线，检测出的左面直线为L2，右面直线为R2 ；
e、分别对左面和右面的两条直线L1、L2和Rl、R2进行再拟合，生成最终的行车边沿线L和R ;
f、由于行车中路况复杂，及车辆抖动等原因，得到的行车边沿线L和R会不断抖动，通过对拟合出的边沿线进行低通滤波去除了其抖动得到最终的马路线，其低通滤波过程为:
L⑴=a*L(i) + b*L(1-l) + c*L(i_3)，其中a、b、c为各时刻直线所占的比重，一般a、
b、c各取1/3即可，同时设置阈值T_change，只有当行车线的变动超过此阈值时，才改变行车线位置；
所述的障碍物监测:
a、获得行车线区域后，行车线即为所述的低通滤波后得到的L(i)，即获得了车辆行驶前方道路区域的位置，计算获得的视频图像下方SOpixel高的道路区域中图像的方差C，若此方差小于预设的阈值T，则可判定此区域为平坦的，计算此区域的图像平均灰度Y，作为正常道路区域的平均灰度；
b、将道路区域中大于平均灰度Y的像素标出，经过去噪、滤波等操作去除噪声点后，再进行像素的聚类，若得到某一区域的平均灰度值大于道路的平均灰度值Y，则此区域就被判定为可能存在障碍物。
【权利要求】
1.一种用于车辆安全辅助视频图像处理方法，将车载视频设备采集的图像进行处理，其特征是该方法包括图像增强、降噪、强光抑制方法、道路线检测方法和障碍物监测方法，其中所述的图像增强、降噪、强光抑制方法是: a、对视频中的每帧图像单独分析，首先对图像进行平滑处理，以去除图像中的噪声，得到图像的直方图H和图像的归一化方差C ； b、对图像应用改进的多尺度Retinex算法，采用三个尺度的模板得到不同尺度下增强的图像11、12、13，再根据图像的归一化方差C的值，选择不同的权重系数wl、w2、w3，根据权重将不同尺度下的增强图像进行融合，得到最终的增强图像I，I=wl*Il + w2*I2 + w3*I3,权重的选择方式如下: c=0.7 时，wl=0.5，w2=0.3，w3=0.2 . 0.3〈C〈0.7 时，wl=0.3，w2=0.4，w3=0.3
C〈0.3 时，wl=0.2，w2=0.3，w3=0.5 其中wl/Il，w2/I2, w3/I3分别代表小尺度、中尺度和大尺度的权重及增强后的图像； C、根据图像分析的结果，应用动态直方图映射算法，选取a，b两点，a, b两点的横坐标Xa、Xb由直方图两端各5%的能量值对应的灰度级别确定，a, b两点的纵坐标值计算如下:Ya=Xa*(1-β)
Yb=Xb* (1+ β) 其中β为直方图偏向O或255程度的度量，设Hl为图像直方图中0-127量级的总和，Η2为直方图中128-255量级的总和，则:β =|Η1-Η2|/Η 可见，若图像分布的较为均衡，则Hl与Η2约接近，β就会趋近为0，图像所做的变换幅度就较小；相反若图像中灰度分布不均衡，算法就会根据直方图分布动态映射像素值；d、将Retinex算法和动态直方图映射算法的结果以各占50%权重的方式结合起来，得到最终的图像； 所述的道路线检测方法: a、进行车载近红外灯照射区域划分，得出红外灯照射区域和非照射区域；由于近红外灯照射区域集中在车辆的正前方，且在周围光源较少的情况下，其亮度一般远高于未照射区域，则可使用图像的最大类间方差方法进行图像区域的分割，得到近红外灯照射区域和非照射区域，具体方法如下:得到图像的直方图H，然后应用图像的最大类间方差方法得到图像的分割阈值T，则图像中的像素被阈值分为两类，即红外灯照射区域R和非照射区域R，; b、计算当前红外灯照射区域内图像的平均方差C，作为道路粗糙程度的度量，其公式为:C=sum(p(i)-p(1-l))/2,其中求和函数sum遍历整个红外灯照射区域R ； C、从红外灯照射区域的中下部开始进行区域的生长，初始生长区域为图像最下面正中央的矩形区域，其尺寸为M*N，M和N —般设置为20-40之间的值，然后比较此区域左、右和上面的矩形区域，若其矩形内方差与照射区域方差近似则认为是红外照射区域，当区域生长停止时，得到的区域即为使用此方法得到的红外照射区域，此区域由左右两条直线围成，左面直线为LI，右面直线为Rl ； d、 因红外照射灯照射的区域成三角形，在视频中自然形成两条直线边界，使用经典的霍夫变换的方法可检测图像中的直线，检测出的左面直线为L2，右面直线为R2 ； e、分别对左面和右面的两条直线L1、L2和Rl、R2进行再拟合，生成最终的行车边沿线L和R ; f、由于行车中路况复杂，及车辆抖动等原因，得到的行车边沿线L和R会不断抖动，通过对拟合出的边沿线进行低通滤波去除了其抖动得到最终的马路线，其低通滤波过程为:
L(i)=a*L(i) + b*L(i_l) + c*L(i_3) 其中a、b、c为各时刻直线所占的比重，同时设置阈值T_change，只有当行车线的变动超过此阈值时，才改变行车线位置； 所述的障碍物监测: a、获得行车线区域后，行车线即为所述的低通滤波后得到的L(i)，即获得了车辆行驶前方道路区域的位置，计算获得的视频图像下方SOpixel高的道路区域中图像的方差C，若此方差小于预设的阈值T，则可判定此区域为平坦的，计算此区域的图像平均灰度Y，作为正常道路区域的平均灰度； b、将道路区域中大于平均灰度Y的像素标出，经过去噪、滤波等操作去除噪声点后，再进行像素的聚类，若得到某一区域的平均灰度值大于道路的平均灰度值Y，则此区域就被判定为可能存在障碍物。
【文档编号】G06T5/00GK103745433SQ201310641988
【公开日】2014年4月23日 申请日期:2013年12月5日 优先权日:2013年12月5日
【发明者】宋优春, 宋永生, 张寅生, 林春亮, 郭忠岳, 赵浩志 申请人:莱阳市科盾通信设备有限责任公司