一种基于视频的隧道亮度检测方法与流程

本发明涉及视频图像处理、能见度检测技术领域，具体涉及一种基于视频的隧道亮度检测方法。

背景技术：

在隧道系统设计以及工程建设中，照明占据着相当重要的地位。因为隧道环境相对闭塞，并不像普通的道路一样能够直接接受太阳光的照射，隧道的亮度相对于外界亮度来说会偏低。因此，隧道需要借助于人工照明来为驾驶员提供合适的视觉光亮条件，这就要求照明系统能够满足驾驶员所适应的最佳光亮需求，以保证交通安全，降低交通事故发生率。在隧道机电系统中，照明系统是能耗最高的部分，在保证车辆安全行驶的前提下降低能耗是节能的一个重要目标。对照明进行实时的光控制是降低能耗的一种行之有效的方法，光控制依赖于隧道洞内外亮度的实时测量值。因此，对隧道内部照明亮度进行检测对降低能耗和保证交通安全有重要作用。

针对隧道照明亮度检测问题，国内外开展了诸多研究并取得一些成果。专利号CN202396058U陈荣、林著惠等公路隧道照明亮度自适应控制系统，在多种软件算法逻辑分析处理下能够实时或定时控制隧道内灯具亮度，实现隧道照明亮度智能控制，满足隧道行车安全要求下的最大节能的自适应控制，但是，并没有考虑如何检测隧道内部亮度问题。

技术实现要素：

针对上述现有技术中存在的问题，本发明的目的在于，提出一种基于视频的隧道亮度检测方法，能同时进行隧道亮度检测和隧道亮度均匀度检测，同时扩展了隧道亮度检测算法的适用范围。

为了实现上述任务，本发明采用以下技术方案：

本发明提供一种视频图像的稳定性判断方法，具体步骤为：

根据视频图像稳定性检测算法预先判断采集的视频图像的稳定性，采用如下公式，

其中，R、G、B代表视频图像每个像素点的红、绿、蓝三个颜色分量，MSE表示采集的视频图像的三个颜色分量总均方差，MSE_R表示视频图像每个像素颜色分量R的均方差，MSE_G表示视频图像每个像素颜色分量G的均方差，MSE_B表示视频图像每个像素颜色分量B的均方差，i表示采集的视频图像中第i帧图像，i＝1，2，3，...，n，n≥1，R_i、G_i、B_i分别为第i帧图像所有像素点的R、G、B的值，分别为采集的视频图像中所有图像的R_i、G_i、B_i的均值；

若MSE、MSE_R、MSE_G和MSE_B值均小于0.5，则采集的视频图 像稳定性满足要求，为稳定的视频图像，否则重新采集视频图像。

本发明还提供一种基于视频的隧道亮度检测方法，包括：

采集视频图像，根据视频图像稳定性检测算法预先判断采集的视频图像的稳定性，采用如下公式，

其中，R、G、B代表视频图像每个像素点的红、绿、蓝三个颜色分量，MSE表示采集的视频图像的三个颜色分量总均方差，MSE_R表示视频图像每个像素颜色分量R的均方差，MSE_G表示视频图像每个像素颜色分量G的均方差，MSE_B表示视频图像每个像素颜色分量B的均方差，i表示采集的视频图像中第i帧图像，i＝1，2，3，...，n，n≥1，R_i、G_i、B_i分别为第i帧图像所有像素点的R、G、B的值，分别为采集的视频图像中所有图像的R_i、G_i、B_i的均值；

若MSE、MSE_R、MSE_G和MSE_B值均小于0.5，则采集的视频图像稳定性满足要求，为稳定的视频图像，否则重新采集视频图像。

选取多张稳定的视频图像对摄像机进行畸变校正处理，得到摄像机内参数和外参数；

进行摄像机传感器的均匀性校正；

提取初始彩色背景图像；

对初始彩色背景图像采用恒定间隔两行两列像素计算法，将初始彩色背景图像划分为多个检测区域，任意检测区域中的任意图像像素点以(x_p，y_q)表示，进行图像亮度值T计算，T的计算采用如下公式，

其中，T(x_p，y_q)表示检测区域图像像素点(x_p，y_q)的图像亮度值，y_t表示每个子区域上边缘的图像像素均值，y_b表示每个子区域下边缘的图像像素均值，x_l表示每个子区域左边缘的图像像素均值，x_r表示每个子区域右边缘的图像像素均值，p和q为自然数，INT[]表示对括号里面的式子进行取整；

依据视频图像亮度检测算法计算隧道亮度值L，采用的计算模型为，

所述对摄像机进行畸变校正处理是指采用棋盘格标定法，选稳定的视频图像中50帧图像进行摄像机标定。

所述校正摄像机传感器的均匀性，具体步骤为：将稳定的视频图像分为个面积相同的子区域，(j，k)表示由个子区域形成的任意区域，j∈ζ且ζ和为自然数，以稳定的视频图像中心为基准，进行摄像机传感器的均匀性校正，采用的公式如下，

其中，K_R(j，k)、K_G(j，k)、K_B(j，k)分别为任意区域(j，k)对应的R、G、B的校正系数，R(j，k)、G(j，k)、B(j，k)分别表示任意区域(j，k)的R、G、B值。

采用中值滤波统计法提取稳定的视频图像的初始彩色背景图像。

所述初始彩色背景图像是采用中值滤波方法在对100帧图像训练后得到的。

依据视频图像亮度检测算法得到光源亮度值L后对初始彩色背景图像的亮度总均匀度U₀和中线亮度纵向均匀度U_m进行检测，采用的公式如下：

其中，L_min是所有子区域的最小亮度值的平均值，L_av是对所有子区域的平均亮度值求取的平均值，L’_min是所有子区域的中线最小亮度值的平均值，L’_max为所有子区域的中线最大亮度值的平均值。

本发明的有益效果是：本发明可以对隧道内部亮度信息进行检测，并可以同时进行隧道亮度检测和亮度均匀度检测，对降低隧道照明系统能耗和保证车辆安全行驶有很重大的作用。同时本发明视频图像亮 度检测算法将不同曝光时间和不同的图像元素值与亮度值之间建立了一个一一对应的关系，而不是仅仅局限于某特定的曝光时间或者特定的图像元素值，扩展了亮度检测算法的适用范围。

附图说明

图1为本发明基于视频的隧道亮度检测方法的技术路线图；

图2为本发明摄像机传感器均匀度检测所统计的子区域；

图3为本发明摄像机传感器均匀度检测时R值的横向和纵向变化趋势，(a)R值的横向变化趋势(b)R值的纵向变化趋势；

图4为本发明采用中值滤波统计法训练出的背景(a)中值滤波统计法25帧训练出的背景，(b)中值滤波统计法50帧训练出的背景，(c)中值滤波统计法100帧训练出的背景，(d)中值滤波统计法150帧训练出的背景；

图5为光源实际亮度值与亮度检测模型的计算值的对比图及相对误差。

具体实施方式

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例1

本发明采用的摄像机配置是PAL彩色电视制式，其在充分考虑了人眼的视觉特性和阴极射线管(CRT)的非线性特性后，根据彩色图像中分量值的重要性，将三个颜色分量R，G，B用不同的权值进 行加权平均。其中的Y是亮度(Luminance)，反映了亮度等级，亮度公式为：

Y＝0.299R+0.587G+0.114B

即要把采集来的彩色图像在预处理阶段利用YUV模型转化为灰度图像，也就是把RGB色彩空间转换为YUV色彩空间，之后就只对Y进行分析处理，亮度信息Y可以显示完整的亮度图像，这样既可以提高后续算法的速度，而且可以节约内存空间，达到更为理想的要求。

本发明基于视频的隧道亮度检测方法，其整体流程图如图1所示，具体过程包括：

采集视频图像，根据视频图像稳定性检测算法预先判断采集的视频图像的稳定性，具体公式为：

其中，R、G、B代表视频图像每个像素点的红、绿、蓝三个颜色分量，MSE表示采集的视频图像的三个颜色分量总均方差，MSE_R表示视频图像每个像素颜色分量R的均方差，MSE_G表示视频图像每个像素颜色分量G的均方差，MSE_B表示视频图像每个像素颜色分量B的均方差，i表示采集的视频图像中第i帧图像，i＝1，2，3，...，n，n≥1，R_i、G_i、B_i分别为第i帧图像所有像素点的R、G、B的值，分别为采集的视频图像中所有图像的R_i、G_i、B_i的均值；若MSE、MSE_R、MSE_G、MSE_B的值均小于0.5，则采集的视频图像稳定性满足要求，为稳定的视频图像；

表1 R、G、B值统计结果

在进行视频图像稳定性测试时，每隔1分钟对恒定检测区域R、G、B的值进行统计，也就是每隔1500帧视频图像，一共求取二十组数据(见表1)，利用均方差来分析数据分散程度，均方差能够很好地衡量摄像机系统的稳定性表现。

表2 R、G、B对应的稳定性数值

从表2中的计算结果可以看出，不论是R、G、B单独的均方差，还是总体的均方差，均方差的值都小于0.5，几乎聚集在平均数周围， 非常接近于平均数，体现出摄像机系统在不同时刻有相同的拍摄效果，可以确定其有很好的稳定性。因此，该摄像机系统可以被用来进行基于视频的隧道亮度检测系统的研究。

选取多张稳定的视频图像对摄像机进行畸变校正处理，得到摄像机内参数和外参数；

摄像机的内部参数主要是用来确定图像坐标系与摄像机坐标系之间关系，具体公式：

上式中，μ、v为二维图像的像素坐标，以图像平面左上角的顶点为原点；μ₀、v₀是图像物理坐标系原点在图像像素坐标系中的坐标；x_c、y_c、z_c是摄像机坐标系中的坐标值；x、y是二维图像的物理坐标；1/dx和1/dy表示图像坐标系中单位长度的像素的个数(pixels/mm)，称为比例系数；

表3 摄像机模型的参数

当考虑到摄像机镜头的径向畸变系数k₁、k₂和切向畸变系数p₁、p₂时，就需要使用畸变模型；

上式中，μ、v为二维图像的像素坐标，μ₀、v₀是图像物理坐标系原点在图像像素坐标系中的坐标；x_c、y_c、z_c是摄像机坐标系中的坐标值；x、y是二维图像的物理坐标；f_x、f_y是以像素为单位的焦距，x_w、y_w、z_w是世界坐标系中的坐标值；

摄像机的世界坐标系和图像像素坐标系的转换关系可以根据内部参数和外部参数共同确定出来，具体表达式：

上式中，f_x、f_y是以像素为单位的焦距，实际上是透镜的物理焦距长度与成像传感器每个单元在x、y方向尺寸的乘积，且f_x＝f/dx、f_y＝f/dy表示图像在横纵轴上的尺度因子；

本发明采用摄像机的焦距为6mm，传感器类型为1/3” Progressive Scan COMS，1/3”是用英尺表示的传感器对角线尺寸。以该摄像机为例，进行参数矩阵的求解，其参数如下：焦距f＝6mm，采用的分辨率为1280*720，传感器对应尺寸为水平4.8mm、垂直3.6mm、对角6mm；

根据其额定参数以及每个摄像机内参的定义可知：在f_x＝f/dx，f_y＝f/dy中f_x、f_y分别是u、v轴上的归一化焦距，f是摄像机的焦距，dx、dy分别表示传感器在u、v轴的单位像素的尺寸大小，u₀、v₀表示光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半，计算出的几何参数的结果如下：

其中DPI_w为水平分辨率，DPI_h为垂直分辨率，Sen_w为传感器的宽度，Sen_h为传感器的高度。参与标定的棋盘格图片的数量不同，标定出的结果也会有所差异，因此，对不同棋盘格图片数量情况下得到的标定参数值与理论值进行了对比统计；

由表4可知，摄像机标定的精度与标定图片的数量有着直接的关系。随着标定图片数量的增多，误差率在不断的减小，但是，当图像超过50张之后，误差率以及摄像机的透视变换矩阵和畸变系数的变化趋势都不明显，且随着标定图片的增多，耗时也会增加，因此，选 用50张进行摄像机标定是十分合理的。同时低误差率表明本发明中使用的摄像机数学模型是合理的，且根据摄像机几何校正结果可发现，摄像机镜头的切向畸变要比径向畸变小得多。

表4 摄像机经过标定之后的几何参数的结果

将稳定的视频图像分为个面积相同的子区域，(j，k)表示由个子区域形成的任意区域，j∈ζ且ζ和为自然数，以稳定的视频图像中心为基准，进行摄像机传感器的均匀性校正，采用的公式如下，

其中，K_R(j，k)、K_G(j，k)、K_B(j，k)分别为任意区域(j，k)对应的R、G、B的校正系数，R(j，k)、G(j，k)、B(j，k)分别表示任意区域(j，k)的R、G、B值。

将视频图像分成多个子区域，对每个子区域求取灰度值，从视频图像元素横向和纵向分布规律进行摄像机传感器均匀性检测与校正；

摄像机系统均匀性主要是指CMOS图像传感器整体上对光强响应的均匀性和一致性。这里将摄像机拍摄的灰板图像分成多个子区域，然后对每个子区域求取灰度值，从而从各个图像元素横向和纵向上分布规律判断均匀性是否良好。

本发明中将摄像机采集视频图像的分辨率统一设置为1280*720，为了将图像分为相同大小的子区域，将子区域的长和宽均选取为80像素，因此整个图像即可分为16*9个子区域，如图2所示，对图中每个子区域统计所得出的各个图像元素值进行统计，因为是标准的均匀亮度源，统计出的R、G、B三个图像元素值变化趋势基本相同，因此，这里只列出通过检测得到的R值的统计数值(见表5)。

从R值的统计数据中不能直观的发现分布规律，可以借助于能够直观表现统计数据规律的图表，这里分别从横向、纵向两个方向对R值的数据变化用折线图的形式来表示。

从图3可以发现图像传感器的均匀性并不好，在进行亮度检测时，首先需要对均匀性进行修正。从图3可得知，R值在横向和纵向上的 表现都是：离图像中心越近，则值越大；离图像中心越远，则值越小，且从图像中心到图像边缘的变化呈现很好的对称性。图像中心能够很好的反应光强响应，因此校正时选取图像中心为基准。

CMOS图像传感器的阵列对光强响应不一致会导致系统不均匀性较差，因此，需要对这种不一致性进行校正，这时可针对整幅图像采取分块均匀性校正的方法。该方法的思想：区块的数量为16*9(图2)，取R(4，8)、R(4，9)、R(5，8)、R(5，9)、R(6，8)、R(6，9)平均R值为每个区块的R值为R(j，k)，且每个区块对应的校正系数为K(j，k)，具体如公式：

每个子区域的校正系数结果如表6，校正之后，在均匀亮度源情况下，摄像机系统输出的每个区块的R值均为130.2364，此值正是校正前图像中心六个区块的平均R值。整个摄像机图像传感器阵列的光强响应均匀，达到了理想的均匀性。同时需要在后期软件开发时通过利用表中的系数对摄像机采集到的图像进行修正，才能得到准确的值，进而消除摄像机系统不均匀性对亮度检测系统影响。

表5 检测16*9个子区域得到的R值的统计数值

表6 均匀性校正系数

采用中值滤波统计法提取稳定的视频图像的初始彩色背景图像；

本发明中的亮度检测适用于摄像机固定的静态场景图像序列中，初始静态背景大多是通过固定帧数的视频图像序列求取的。获取初始化背景的方法为中值滤波统计法。

Bg(x，y)＝median(fr_i^R(x，y)，fr_i^G(x，y)，fr_i^B(x，y))

上式中，i为从第1幅到第n幅用来求初始背景的视频图像序列；fr_i^R(x，y)、fr_i^G(x，y)、fr_i^B(x，y)为每幅图像中对应横纵坐标为(x，y)的像素点的R、G、B分别按从小到大或从大到小排好序的值；median是对排好序的序列求中值；x、y为横向和纵向像素坐标。

在运动物体较少情况下，中值滤波统计法在25、50、100和150帧时的耗时分别为1.048s、1.722s、3.678s和5.994s，运动物体较多情况下耗时分别为1.361s、2.129s、4.355s和6.799，可见，中值滤波方法能在对100帧图像训练后，可得到理想且准确的初始化背景。

采用恒定间隔像素计算方法对初始彩色背景图像进行检测区域图像亮度元素R、G、B数值及图像亮度值T计算；

由于检测区域中每个像素点的图像亮度元素的权重相同，主要是把较大与较小的图像亮度元素值都回归到中间平均值水平，故采用算术平均值，通过对检测区域中选定的像素点的图像亮度元素求算术平均值，即为检测出的区域图像亮度元素值。采用恒定间隔两行两列像素计算方法速度快，耗时0.011s。

上式中，T(x_p，y_q)表示检测区域图像像素点(x_p，y_q)的图像亮度值，y_t表示每个检测区域上边缘的图像像素均值，y_b表示每个检测区域下边缘的图像像素均值，x_l表示每个检测区域左边缘的图像像素均值，x_r表示每个检测区域右边缘的图像像素均值，p和q为自然数，INT[]表示对括号里面的式子进行取整；T为检测区域的图像亮度元素的算术平均值，计算得到R值、G值、B值和灰度值分别为83.455260、82.378638、97.273623和87.058411。计算得到的图像亮度元素T值即为检测出的区域图像亮度元素值87.058411。

依据视频图像亮度检测算法计算光源亮度值L；

以图像元素值和曝光时间的数据来确定出最优的光强响应函数模型为基于对数多项式的形式，使用该模型对曝光时间和光源亮度的情况进行分析，从而确定出基于光强响应函数模型的亮度检测算法。

摄像机的曝光量H与镜头参数的关系：

上式中，T为曝光时间，F为摄像机镜头的光圈大小，τ是摄像机光学镜头的透射比，L为被测物体表面的亮度。

光强响应函数模型公式：

上式中，(x，y)表示被测点，H表示像素点的曝光量，f_i(i＝1，2，3)分别是三个图像元素对应的光强响应函数。

在摄像机进行拍摄时，将光源亮度固定为31.06cd/m²，同时将曝光模式设定为手动模式，选择43个曝光时间进行视频图像采集，曝光时间分别为：1/25、1/30、1/35、1/40、1/45、1/50、1/60、1/70、1/80、1/90、1/100、1/125、1/150、1/175、1/200、1/250、1/300、1/350、1/400、1/450、1/500、1/550、1/600、1/650、1/700、1/750、1/800、1/850、1/900、1/950、1/1000、1/1100、1/1200、1/1300、1/1400、1/1500、1/1600、1/1700、1/1800、1/1900、1/2000、1/4000、1/10000，档位的单位都是秒，采用1次多项式能极大地降低计算复杂度，同时相关系数R值都在0.99以上，其范围符合要求。

图像元素与曝光时间和光源亮度的光强响应函数模型是对图像元素与曝光时间光强响应函数模型的扩展，可理解为测定多组恒定光源亮度情况下(光源亮度分别固定为31.06、50.36、101.33、195.67、256.86、361.14、522.95、744.51、963.77、1207.66、1565.79、2118.13、2640.87、4016.45cd/m²)，分别对43个曝光时间进行视频图像采集，从而通过602组数据对图像元素与曝光时间T和光源亮度L的光强响应函数模型进行拟合评估，结果采用拟合效果好的函数

相关系数R值为0.999792，因此将该函数作为亮度检测算法模型，由图像元素和曝光时间得出光源亮度的计算值，602组光源亮度的实际值与计算值的对比图以及相对误差结果如图5所示。由图5可知，绝 大部分数据的相对误差小于10％，准确度高，该算法模型将不同曝光时间和不同的图像元素值与亮度值之间建立了一个一一对应的关系，而不是仅仅局限于某特定的曝光时间或者特定的图像元素值，扩展了亮度检测算法的适用范围。

隧道亮度检测系统不仅要对指定区域的亮度进行检测，还需要对监控区域的亮度总均匀度和中线亮度纵向均匀度进行检测，这两种均匀度的计算公式。

上式中，L_min是所有子区域的最小亮度值的平均值，L_av是对所有子区域的平均亮度值求取的平均值，L’_min是所有子区域的中线最小亮度值的平均值，L’_max为所有子区域的中线最大亮度值的平均值。

在进行亮度总均匀度计算时，因为整个图像的像素为1280*720，因此可将整个图像分为16列*9行、32列*18行、64列*36行这三种类型的均匀检测区块，每个检测区块分别对应的像素为80*80、40*40、20*20。而与此相对应的中线亮度纵向均匀度的检测，是通过对图像的横向中线进行检测实现的，分别对16列*9行类型的第5行所有16列、32列*18行类型的第9和10行所有32列、64列*36行类型的第18和19行所有64列进行中线亮度纵向均匀度检测。

用三种类型区块对六段不同的视频图像进行检测结果如下：

表7 亮度检测系统对亮度总均匀度和中线亮度纵向均匀度的三种类型区块检测

由表7可知，分的区块越小，检测出的值越细化，而亮度的最大值和最小值的差距越大，也就造成了亮度纵向均匀度越小，相反，分的区块越大，则亮度纵向均匀度的值越大。但是并不是分的区块越小越好，区块越小计算量越大，因此，本发明中建议采用32*18区块的计算方法来进行亮度总均匀度和中线亮度纵向均匀度的检测。