一种基于迹范数的道路能见度检测方法与流程

本发明涉及道路能见度检测技术领域，更具体地说，涉及一种基于迹范数的道路能见度检测方法。

背景技术

在天气糟糕的情况下，路面能见度降低，司机情绪也受到影响，是影响交通事故发生的主要因素之一。因此，研究灾害天气下道路能见度检测方法和算法，对于提高道路能见度检测准确度、缓解交通矛盾具有重要意义。

能见度是由国际照明委员会(internationalcommissiononillumination，cie)定义，具体内容为：肉眼没有任何帮助的条件下，所能识别的物体的最大距离称之为当前的能见度距离。悬浮在大气中的固体和液体微粒对光的散射是影响能见度的主要原因，同时，能见度的目测估计值随个人的视觉而变化。传统的能见度检测仪价格昂贵，且难以密集布设，检测精度不高。为提高检测精度，节约资源，节省开支，基于视频分析的道路能见度检测算法已成为计算机视觉技术应用的主要热点之一，有望取代传统能见度检测仪。

基于视频分析的道路能见度检测算法具有速度快，成本低等特点，目前受到广泛应用。通过对交通摄像视频进行自动化分析，可以获取与人眼感知相同的特征信息，同时可以检测雾、靋、霾等低能见度天气，特别是在不定时间和地点突然生成的团雾。

发明人之前已经实现了两种基于视频分析的道路能见度检测方法和算法：基于路面亮度特征点的道路能见度检测算法、基于路面固有亮度估算视频分析的道路能见度检测算法，其中，基于路面亮度特征点的道路能见度检测方法，其核心思想方法是：以视频图像的整体亮度变化特征为基础，采用区域增长方法寻找初始亮度、高度基本一致的车道行驶域，并通过分析roi(regionofinterest,兴趣域)区域内路面像素的亮度变化趋势，以获得变化特征点，再结合ptz摄像机成像映射标定求解大气消光系数，计算道路能见度值。其算法流程如图1所示。但此方法在路面成像过程中，真实空间(3d)向图像二维空间转换时，物体高度信息经常被丢失，如路侧路基、建筑成像可能在地平线之上等等，这将导致提取到的道路图像特征点难以通过摄像机标定算法转换为具体的能见度值。并且由于大气光散射的作用，图像中路面像素亮度随着距离呈现一定的变化关系。路面上路基、车道分割线等亮度的跳变，可能导致路面亮度提取过程中误差较大。

基于路面固有亮度估算视频分析的道路能见度检测算法，在成像过程中，在将真实3维空间转换为图像2维空间时，物体高度信息容易丢失。去除车道分割线及车辆的影响之后，获取的路面区域的亮度会发生截断，因此不能直接取该亮度的中值为该行的特征视亮度。杨娴等提出一种基于采样估算路面视亮度的能见度检测方法。算法流程如图2所示：

首先通过对路面区域采样，构建多组亮度幂函数关系计算固有亮度，接着对采样点进行计算获得能见度距离，最后对计算结果进行均值聚类。为了消除路基及车道分割线以及路上车辆对路面视亮度的计算的干扰，能见度计算之前要提取路面亮度一致区域作为计算对象，采用区域增长算法，结合mask区域内亮度判断准则，获取精确路面区域，保证路面亮度的一致性。实验证实该算法具有计算量小、计算精度高的优点，但是由于运算过程中采用了对高阶幂次的估计和计算，本算法对于噪声干扰相对敏感。

技术实现要素：

1.发明要解决的技术问题

本发明的目的在于克服上述现有技术存在的不足，提供了一种基于迹范数的道路能见度检测方法；本发明基于迹范数的能见度检测算法鲁棒性好，精确度高，并且该方法能与目前使用的高速路况视频监控系统兼容，具备实用性和普适性。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种基于迹范数的道路能见度检测方法，其步骤为：

步骤一、采集道路交通视频图像；

步骤二、对步骤一采集的一帧视频图像进行ptz摄像机标定，检测车道分割线，确定实际路面上一点到摄像机坐标系的垂直距离di；

步骤三、根据现有能见度检测理论和实际的能见度数据，对消光系数k进行拓展，视为时间t的函数k(t)，在迹范数基础上构建泛函；

步骤四、假设消光系数函数k(t)在某时刻t0附近为常数，基于迹范数，利用t0时刻的能见度监控图像帧进行曲线拟合，当拟合曲线接近实际亮度曲线时，得到该时刻的消光系数；对于t0时刻附近连续的若干帧，分别求其消光系数并取平均，可以得到t0时刻附近的消光系数值；多次求解，得到t0,t1,t2,t3,t4,t5,……等若干时段的消光系数值，利用最小二乘得到k(t)的方程，求得不同时刻的能见度值。

更进一步地，步骤一所述的道路交通视频图像采集具体要求为：使用高速公路外场路测ptz摄像机进行视频图像采集，采集的视频图像需满足图像最底端一行像素区域显示离摄像机的距离不超过20米，图像最顶端一行像素区域显示离摄像机的距离大于200米；采集视频图像时，每隔10分钟截取一帧图像，连续截取15～30帧图像。

更进一步地，步骤二的具体操作步骤为：

对步骤一采集的一帧视频图像进行ptz摄像机标定，建立ptz摄像机成像模型，得出路面坐标系、摄像机坐标系与成像平面间的变换关系，计算视频图像中路面区域与摄像机的距离；其中，ptz摄像机成像模型包括3个坐标系：

路面坐标系(xw,yw,zw)，摄像机坐标系(xi,yi,zi)以及像平面坐标系(u,v)，路面坐标系原点ow为摄像机光轴与路面的交点；xw轴正向水平指向路面右侧，yw轴正向沿路面方向指向前方，zw轴正向垂直于路面向上；摄像机坐标系原点o为摄像机光心位置，zi轴为摄像机光轴位置，xi-yi平面平行于像平面；(u,v)分别对应像平面的横坐标和纵坐标，习惯将图像像素位置以行和列表达，因此，u又称为图像列坐标，v称为图像行坐标；

路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系为：

其中，θ为摄像机光轴与路面夹角，h为摄像机光心距路面的垂直距离，f为镜头有效焦距；

根据上述路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系，推算出实际路面上一点到摄像机坐标系的垂直距离di与该点在像平面坐标系上对应像素点的坐标(u,v)的对应关系：

其中，vi为路面上一点在像平面坐标系中的行坐标，vh为灭点在像平面坐标系中的行坐标，所述的灭点表示视频图像中车道分割线与无限远处交汇的点。

更进一步地，对于所述的λ，在视频图像中找到一条清晰的车道分割线，车道分割线头端到摄像机坐标系的距离为d2，车道分割线尾端到摄像机坐标系的距离为d1，由于实际高速公路的车道分割线有固定长度6m；因此对应的有d2-d1＝6，并读出该车道分割线头尾的行坐标v1、v2，可以计算得到：

更进一步地，步骤三建立的泛函为：

式中，l0为目标物自有亮度；lf为背景天空亮度；[0,t]表示采样的时间区间，l表示距离。

更进一步地，步骤四中大气能见距离vis与消光系数k之间的转换关系为：

式中，cd表示目标物亮度对比度，c0表示固有亮度对比度。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明的一种基于迹范数的道路能见度检测方法，因含有雾霾的视频图像，其纹理边界的差异变小，可以视为模糊图像来处理，而基于总有界变差(tbv)的性质，迹范数可以将边界之间的差异有效表征出来，故具有鲁棒性好，精确度高的优点；

(2)本发明的一种基于迹范数的道路能见度检测方法，其无需设置任何人工标志物，充分利用了公路上已有的路况摄像机，能直观监测和获取数据，故能与目前使用的高速路况视频监控系统兼容，具备实用性和普适性。

(3)本发明的一种基于迹范数的道路能见度检测方法，其在能见度小于200m时计算误差小，准确性高，在浓雾时较国内已有算法有显著优势。

附图说明

图1为基于路面亮度特征点的道路能见度检测方法的算法流程图；

图2为基于视频固有亮度估算的能见度检测算法流程图；

图3为能见度、消光系数和迹范数关系图；

图4中的(a)-(d)为本发明中若干亮度曲线逼近比较图；

图5中的(a)-(d)为实际路面监测点(桩号k19+738)的采集图像；

图6为实际路面监测点(桩号k19+738)采集图像的能见度估计值与真实值比较图；

图7中的(a)-(d)为实际路面监测点(桩号k21+095)的采集图像；

图8为实际路面监测点(桩号k21+095)采集图像的能见度估计值与真实值比较图；

图9为三种算法的测量值以及能见度仪测量的真实值的比较图；

图10为三种算法测量值误差的比较图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

考虑到低能见度图像从图像质量而言，就是模糊图像，为此可以使用变分算法对图像微小扰动的识别性，分析图像变分值与距离的关系，拟合能见度值。本实施例在此基础上，提出了基于迹范数的能见度检测方法，实验证明，本实施例提出的方法检测精度高，能较好地满足人眼视觉特性。

为了进一步理解本实施例的方案，首先介绍下迹范数：

如同函数的微分是增量的线性主部一样，变分是泛函增量的线性主部。作为泛函的自变量，函数x(t)在x0(t)的增量记为δx(t)，也即函数的变分：

δx(t)＝x(t)-x0(t)(1)

由δx(t)引起的泛函的增量记为：

δj＝j(x0(t)+δx(t))-j(x0(t))(2)

如果δj可以表为

δj＝l(x0(t),δx(t))+r(x0(t),δx(t))(3)

其中l为δx的线性项，而r是δx的高阶项，则称l为泛函在x0(t)的变分，记作δj(x0(t))。而x(t)是变动的，替代x0(t)，即δj(x(t))。

迹范数与消光系数的关系具体如下：

跳跃和平滑波动一般是组成数字图像的基础部分。而对于含有雾霾的图像，图像的纹理边界的差异变小，因此可以认为是模糊图像。针对于模糊图片边界差异小的特点，采用迹范数可以对边界差异进行有效表征，能有效提高检测精确度。

图3表示了迹范数、能见度与消光系数之间的关系。当空气中的水汽、粉尘增多时，空气会产生雾霾现象，即会造成能见度降低，视线不清楚，同时，大气的消光系数会增大。反之，表征信息的视频图像，其迹范数会减小。

本实施例的一种基于迹范数的道路能见度检测方法，具体处理过程如下：

步骤一、道路交通视频图像采集：使用高速公路外场路测ptz摄像机进行雾天视频图像采集，由于能见度低于20米时，高速公路会封路；超过200米时视野良好无需监测，所以一般较为关注的是20～200米之间的能见度距离，因此，采集的视频图像需满足图像最底端一行像素区域显示离摄像机的距离不超过20米，图像最顶端一行像素区域显示离摄像机的距离大于200米。采集视频图像时，每隔10分钟截取一帧图像，连续截取15～30帧图像。

步骤二、对步骤一采集的一帧视频图像进行ptz摄像机标定，检测车道分割线，确定实际路面上一点到摄像机坐标系的垂直距离di。具体操作步骤为：

对步骤一采集的一帧视频图像进行ptz摄像机标定，建立ptz摄像机成像模型，得出路面坐标系、摄像机坐标系与成像平面间的变换关系，计算视频图像中路面区域与摄像机的距离。其中，ptz摄像机成像模型包括3个坐标系：

路面坐标系(xw,yw,zw)，摄像机坐标系(xi,yi,zi)以及像平面坐标系(u,v)，路面坐标系原点ow为摄像机光轴与路面的交点；xw轴正向水平指向路面右侧，yw轴正向沿路面方向指向前方，zw轴正向垂直于路面向上；摄像机坐标系原点o为摄像机光心位置，zi轴为摄像机光轴位置，xi-yi平面平行于像平面；(u,v)分别对应像平面的横坐标和纵坐标，习惯将图像像素位置以行和列表达，因此，u又称为图像列坐标，v称为图像行坐标。

路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系为：

其中，θ为摄像机光轴与路面夹角，h为摄像机光心距路面的垂直距离，f为镜头有效焦距。

根据上述路面坐标系与摄像机坐标系间以及摄像机坐标系与像平面坐标系间的变换关系，推算出实际路面上一点到摄像机坐标系的垂直距离di与该点在像平面坐标系上对应像素点的坐标(u,v)的对应关系：

其中，vi为路面上一点在像平面坐标系中的行坐标，vh为灭点在像平面坐标系中的行坐标，所述的灭点表示视频图像中车道分割线与无限远处交汇的点。

对于式中的λ，只需在视频图像中找到一条清晰的车道分割线，车道分割线头端到摄像机坐标系的距离为d2，车道分割线尾端到摄像机坐标系的距离为d1，由于实际高速公路的车道分割线有固定长度6m；因此对应的有d2-d1＝6，并读出该车道分割线头尾的行坐标v1、v2，代入上式可以计算得到：

步骤三、光在介质中传播时，在其传播路径上能量不断地损耗。根据koschmieder理论，令k表示大气消光系数，某一固定亮度的物体在距离人眼距离为di处的视亮度l(di)与物体本身亮度l0及背景亮度lf关系为：

式中，l：观测点观测到的目标物亮度；l0：目标物自有亮度；lf：背景天空亮度；k：消光系数；di：观测点到目标物距离，即实际路面上一点到摄像机坐标系的垂直距离。

在此基础上，本实施例对消光系数k进行拓展，将其视为时间t的函数k(t)。这也符合能见度变化的实际情况。高速公路开始起雾时，能见度逐渐降低，大气的消光系数逐渐增大。在出现短暂的象鼻现象时，能见度骤然升高，之后能见度开始平缓下降，消光系数也平缓上升。大雾褪去过程中，随着能见度的逐渐变大，消光系数也逐渐变小。

根据现有能见度检测理论和实际能见度数据，l是一个单调递减的曲线，则可以视k(t)为待定函数，在迹范数基础上构建泛函，求其变分。不断对l曲线进行拟合，当拟合值接近l时，可以得到消光系数k(t)在不同时刻的值。通过里茨方法等变分法求得泛函的极值后，可以得到消光系数函数k(t)。在此过程中，目标物自由亮度l0，是未知的常数系数。根据变分原理，泛函中的常数不影响变分的求解。

因此，基于式(8)，可以建立泛函得式(9)：

式(9)中，[0,t]表示采样的时间区间，l表示距离。根据数字图像的性质，对于目标物自有亮度l0，其值在[0,255]之间。进一步变换式(9)得式(10)和(11)：

s.t.0≤l0≤255(11)

式(10)、(11)分别为求解消光系数函数的泛函和约束条件。从式(10)可见，求消光系数函数问题，归结为求变分q(k(·))。假设k(t)的取值集合为a，得到式(12)

所谓变分问题，本质上是寻求泛函的极值问题，即泛函q(k(·))是定义在域i上具有某种性质的函数集合到数集合的一个映射，a为泛函q(k(·))的可取函数集合。若存在函数k(t)∈a，则具有式(13)所述关系：

q[k(·)]≤q[k(·)](13)

求解泛函q(k(·))的极小值，也就是求解其欧拉方程，但形式复杂难以求解。为了简化问题，本实施例结合高速公路实际情况，在式(12)的基础上，本实施例以分段平稳的思想，描述消光系数函数，并对消光系数进行求解。以浓雾消散为例，随着能见度逐渐变好，消光系数逐渐变小。这样的过程，短则1小时，长则3-4小时，甚至更久。消光系数函数曲线偶尔起伏，总体成线性变化。因此可以假设消光系数函数k(t)在某时刻t0附近为常数。本实施例基于迹范数，利用t0时刻的能见度监控图像帧进行曲线拟合，当拟合曲线接近实际亮度曲线时，可以得到该时刻的消光系数。对于t0时刻附近连续的若干帧，分别求其消光系数并取平均，可以得到t0时刻附近的消光系数值。如此，多次求解，可以得到t0,t1,t2,t3,t4,t5,……等若干时段的消光系数值，利用最小二乘可以得到k(t)的方程。因此，假设当前时刻为t0，则根据(9)得到

根据迹范数定义，作变换得到(17)

式中，tv(q)表示q的变分，▽为变分算子。

根据(17)，推导得式(18)

根据最优化算法，令f(x)为式(19)

f(x)＝{f1(x),f2(x)}^t(19)

式(19)中f1(x)和f2(x)分别为

式(19)f(x)对应的jacobi矩阵为

利用f(x)在xk＝[l0,k]^t处泰勒展开，有公式(22)

f(x)＝f(xn)+j(xn)(x-xn)+o(||x-xn||²)(22)

则当x在xn的某个邻域内，可以忽略泰勒余项，得

f(x)＝f(xn)+j(xn)(x-xn)＝0(23)

则求得目标物自有亮度l0和消光系数k，即公式(24)所示

综合上述公式，归纳基于迹范数的能见度检测算法步骤如表1所示。

经过多次迭代计算得到多个l0,k，对其加权平均，得到消光系数的逼近值。

根据cie的定义，目标物相对于背景对比度大于0.05的像素点，人眼才能够区分出来，用cd表示目标物亮度对比度，c0表示固有亮度对比度，当cd＝ε＝0.05时，对于临界位置处的黑色目标物(c0＝1)，可以计算出大气能见距离vis为：

衡量能见度检测算法优劣的指标有很多种。本实施例选择平均绝对相对误差，以说明基于迹范数的能见度检测方法，在估计高速公路能见度方面的优劣性。绝对百分比误差公式如(26)所示

(26)中vis'表示检测值，vis表示参考值，一般用基于视频的人眼观测值作为参考值。

表1基于迹范数的能见度检测算法步骤

本实施例提出的基于迹范数的道路能见度检测方法需要不断地将目标物亮度估计值与真实值作逼近比较，以检验消光系数的求解是否准确。若目标物亮度的估计值与真实值相接近，或者误差极小，则得到的消光系数k较为准确。

图4所示为若干亮度曲线逼近比较。由图4中的(a)与(b)可见，逼近效果良好。估计值与真实值基本吻合。这两幅图的能见度真值分别为116米和133米，估计值为分别为112.0312米和127.6999米，消光系数真值分别为0.0257和0.0225，估计值分别为0.0267和0.0235。图4中的(c)和(d)的逼近效果次于前两幅子图。图4中的(c)的能见度真值为328米，估计值为314.8464米。图4中的(d)的能见度真值为656米，估计值为629.6927米。误差分别为14.1536米和27.3073米。

为验证本方法性能，对宁常高速上的两个视频监控点(桩号k19+738，k21+095)，每隔10min取一帧图像，得到不同浓度含雾的图像。将方法估计值与真实值进行比较。如图5和图7所示为其中8个时刻的图像数据。

图5和图7两图分别显示了雾由浓至淡的过程。用基于迹范数的能见度检测方法对其进行估值，并与真实值比较，前者误差分别为4.85m，5.81m，7.79m和13.30m。后者误差分别为4.02m，4.10m，4.12m和4.23m。

图6和图8为能见度估计值与真实值比较作图。从图中可以看出，能见度在250米以下时，两条曲线之间缝隙很小，即估计误差较小。随着能见度增加，误差也增大。这一点符合曲线逼近原理：当能见度高时，如400m、500m，亮度曲线的弯曲度较大，也较难逼近。但是对于高速公路较为关心低能见度情况(低于200m)的需求，基于迹范数的方法能很好地满足。

为更清楚地对比本实施例提出的能见度检测方法与基于路面亮度特征点的道路能见度检测算法、基于路面固有亮度估算视频分析的道路能见度检测算法的不同，本实施例对检测结果进行对比分析。视频能见度检测利用江苏省宁常高速公路视频监控系统进行路况视频采集，测试平台为p4/2.8ghz单cpu、512m内存、suselinux操作系统。由于道路能见度检测目的在于保障车辆的安全行驶，所以重点选取200米以内路况视频，三种算法计算准确率和效率的比较参见表2和表3：

表2三种算法计算准确率比较

表3三种算法计算效率比较

图9为本实施例的检测方法与基于亮度特征点的视频能见度检测算法、能见度仪、固有亮度估算法对比的结果图，实验证明本算法具有准确性高、计算速度快、鲁棒性高的特点，然而对比度检测法对噪声敏感，时常发生跳变，在有一定的局限性。图10为本实施例的检测方法与固有亮度估算法、亮度特征点算法对比结果图，该算法优势在于准确性高、计算速度快，但是其结果依赖于路面视亮度的准确估计，同时对路面的固有反射率的一致性要求较高，在雾太浓(能见度30m以下)时由于不能正确估计路面亮度导致误差稍大。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。