本发明涉及交通道路信号灯图像处理方法，特别是一种智能识别圆形交通信号灯状态的方法。
背景技术：
交通信号灯识别作为无人驾驶汽车辅助驾驶的重要组成部分，受到了广泛的关注。圆形交通信号灯是最常见的信号灯形式，实时、准确的识别圆形交通信号灯状态有利于汽车辅助驾驶系统的发展，乃至无人驾驶的发展。因此，圆形交通灯识别具有重要的研究价值与广泛的应用前景。其现实意义主要集中体现在以下三个方面：
1、为无人驾驶车辆提供实时的路口交通信息，是无人驾驶系统不可或缺的重要部分。
2、能够作为辅助驾驶工具给驾驶员提供及时的路口交通信息，避免驾驶人员因疲劳驾驶或者疏忽而对路面交通信号灯信息产生错误判断。
3、世界上的每100人中就有5人有患有色盲，圆形交通信号的智能识别可以使色弱、色盲人群驾驶汽车成为可能。
由于光照、相机的曝光率和城市环境的复杂度等因素的影响，很难找到统一的阈值来分割红绿黄交通信号灯的颜色。同时，复杂的城市道路中有许多干扰识别的因素，比如圆形的汽车尾灯，圆形的广告牌均会产生干扰。一些学者认为，应该基于车联网设计一种即时的信息交换技术，将当前的路口交通信息由各个路口安装的路基设备发送给智能车辆。但是路基设备的搭建需要耗费大量的人力物力，且后期仍需人员进行维护。因此基于图像处理的圆形交通信号灯识别还是一个较为现实可行的应用方法。目前大量的识别方法是利用模板匹配和支持向量机来进行分类操作，但这两种方法均有缺点。模板匹配识别对建立的模板异常敏感，识别对象稍有变化便可能导致模板匹配不成功，导致识别失败。训练样本的质量会限制支持向量机的性能，在复杂的识别场景下，当训练不够或样本质量不优时，可能会导致支持向量机丧失识别能力。
技术实现要素：
针对上述现有方法存在的缺陷和不足，本发明的目的在于，提供一种智能识别圆形交通信号灯状态的方法。重点考虑利用路口图像中圆形交通灯的颜色和几何特征进行有效的识别。
为了实现上述任务，本发明采取如下技术解决方案：
一种智能识别圆形交通信号灯状态的方法，其特征在于，该方法首先对道路图像序列进行预处理，重点是进行色彩分量滤波；随后利用字典学习获取的hsv颜色空间中合适阈值进行颜色分割，得到三张二值化图像，省略常规的灰度图像处理操作；其次，基于圆形交通灯的特征设计动态多级滤波器，进行动态滤波操作，快速筛选出交通灯候选连通区域；最后，运用黑体增长遮掩法在图像中标定信号灯图像，随后分析标定图像的颜色直方图，计算颜色判别系数并利用其规则得出交通信号灯状态。
根据本发明，具体处理步骤如下：
1)图像预处理
设图像高度为high，以图像左上角作为坐标原点，取裁剪后图像高度
随后进行颜色空间变换，将图像转换至hsv颜色空间
针对转换颜色空间后由非交通灯颜色干扰而引入的部分噪声，对得到的图像进行色彩分量滤波
在hsv颜色空间中利用色彩分量进行滤波，其处理步骤如下：
以标准红、黄、绿三色h分量均值hr，hy，hg进行下列的计算：
hr_min＝hr-0.05×hrhr_max＝hr+0.05×hr；
hy_min＝hy-0.05×hyhy_max＝hy+0.05×hy；
hg_min＝hg-0.05×hghg_max＝hg+0.05×hg；
其中hr_min和hr_max是红色h分量保留在图中的最大值与最小值；hy_min和hy_max是黄色h分量保存在图中的最大值与最小值，hg_min和hg_max是绿色h分量保存在图中的最大值与最小值；
按上述参数进行设置，红色、黄色、绿色最大值与最小值取并列关系，即图中的剩余h分量满足h：
h＝(hr_min||hr_max)||(hy_min||hy_max)||(hg_min||hg_max)
其中||表示并列；
对其余色彩分量符合h的保持不变，不符合的置为黑色。从而使图像在当前色彩空间中仅保留与交通灯相关的色彩分量，有利于后续的颜色分割；
2)图像色彩处理
由于光照、相机的曝光率和城市环境的复杂度等因素的影响，很难找到统一的阈值来分割红黄绿交通信号灯的颜色，因此采用字典学习方法来获取最佳阈值，采用基于相关性的字典学习方法、采用奇异值分解法和秩1逼近相结合的方法来获取最佳解，进而，对于不同光照、不同相机的曝光率和不同城市环境的样本进行分割时，根据训练的字典获取相应的阈值；
记获取的红色的h通道阈值最小值为rh_min，最大值为rh_max，s通道阈值最小值rs_min，最大值rs_max。v通道阈值最大值为rv_min，最小值为rv_max。同理，设黄色各阈值为：yh_min，yh_max，ys_min，ys_max，yv_min，yv_max。绿色各阈值为：gh_min，gh_max，gs_min，gs_max，gv_min，gv_max。利用得到的阈值按红黄绿顺序对图像进行三次分割，采用如下三个关系：
rstd＝(rh_min&rh_max)&(rs_min&rs_max)&(rv_min&rv_max)
ystd＝(yh_min&yh_max)&(ys_min&ys_max)&(yv_min&yv_max)
gstd＝(gh_min&gh_max)&(gs_min&gs_max)&(gv_min&gv_max)
其中&表示逻辑“与”，分别按rstd，ystd，gstd进行二值化颜色分割，符合的为像素点为白色，否则为黑色，得到三张二值化图像；
3)动态多级滤波器过滤
针对颜色分割后的二值化图像含有的噪声，采用构造动态多级滤波器的方法进行滤波，具体方法是：
首先经形态学过滤，然后利用圆形交通信号灯自身的特征，即面积、矩形度和圆形度设计各级分滤波器，从而实现对图像多级滤波；其动态性又体现在多级滤波器结构中引入一个“条件监测变量”—condition，初始化condition＝0，经各个分滤波器后，统计图像中候选连通区域个数，若候选连通区域个数小于或等于1，则condition置1，动态多级滤波器输出结果图像，否则继续进入各分级滤波器，继续进行滤波操作；
4)交通灯位置标定
基于黑体增长遮掩法的位置标定，将筛选出的候选连通区域进行色彩还原，即将二值化图像中白色候选连通区域作为黑体生长母体，但母体本身保持不变，使黑体在母体四周生长，利用二值化图像作为参考，比较当前生长到的像素点是否为黑色，如符合则黑体在裁剪图像中进行增长，否则黑体停止生长，从在图像中标定出交通灯区域，用于后续的状态分析；
5)交通灯显示状态判定
将标定图像进行色彩空间转换，分析该图像中红黄绿三色对应的色彩分量的上下限，运用颜色判别系数进行判定圆形交通灯的颜色状态。颜色判别系数color计算规则如下：
color＝r_coefficient×100+r_coefficient×10+r_coefficient×1
其中：
r'min，r'max；y'min，y'max；g'min,g'max分别对应图像中红黄绿三色实际h分量的上下限值；rmin，rmax；ymin，ymax；gmin，gmax分别对应预置的红黄绿h分量的上下限值；
由颜色判别系数判定颜色信息规则如下：
若颜色判别系数为0，则说明该图像中交通灯区域为黑色，即无圆形交通灯；
若颜色判别系数(0，1)，则说明该图像中圆形交通灯状态为绿色；
若颜色判别系数(1，10)，则说明该图像中圆形交通灯状态为黄色；
若颜色判别系数(10，100)，则说明该图像中圆形交通灯状态为红色；
利用上述的处理流程，智能驾驶车辆便能及时快速判断当前路口的交通灯实时状态，决定前进或者停止。
本发明的智能识别圆形交通信号灯状态的方法，能快速的对交通灯实时状态进行有效的判定，有助于智能车辆对当前交通灯信息的读取，可用于智能驾驶中对交通灯显示状态的获取，在智能驾驶领域具有极大的应用价值。
附图说明
图1是本发明的智能识别圆形交通信号灯状态的方法流程图；
图2是动态多级滤波器具体实现流程图；
图3是样例绿灯图像；
图4是裁剪后绿灯样例图像；
图5是色彩处理后二值化图像；其中，(a)图是被红色分割，(b)图是被黄色分割，(c)图是被绿色分割；
图6是形态学处理图像；其中，(a)图是被红色分割，(b)图是被黄色分割，(c)图是被绿色分割；
图7是动态多级滤波器最终输出图像；其中，(a)图是被红色分割，(b)图是被黄色分割，(c)图是被绿色分割；
图8是绿色圆形交通灯位置标定图像；其中，(a)图是被红色分割，(b)图是被黄色分割，(c)图是被绿色分割；
图9是h通道的颜色直方图，其中，(a)图是被红色分割，(b)图是被黄色分割，(c)图是被绿色分割。
下面结合附图和实施例对本发明作进一步的详细说明。
具体实施方式
本实施例给出一种圆形交通信号灯状态的快速识别方法，旨在识别圆形交通信号灯当前的显示状态(即交通灯的颜色信息)的方法。该方法首先对道路图像序列进行预处理，重点是进行色彩分量滤波。随后利用字典学习获取的hsv颜色空间中合适阈值进行颜色分割，得到三张二值化图像，省略常规的灰度图像处理操作。其次，基于圆形交通灯的特征设计动态多级滤波器。进行动态滤波操作，快速筛选出交通灯候选连通区域。最后，运用黑体增长遮掩法在图像中标定信号灯图像，随后分析标定图像的颜色直方图，计算颜色判别系数并利用其规则得出交通信号灯状态。
本实施例中，得到一张样例绿灯图像如图3所示，对图3进行预处理。由车载摄像头和交通灯安装的位置关系对图像进行适当的裁剪，减少干扰噪声，得到裁剪后图像如图4所示。随后进行颜色空间变换。对得到的图像进行色彩分量滤波。将图像中不符合交通灯颜色的色彩分量置为黑色，仅保留符合的区域。从而使图像在当前色彩空间中仅保留与交通灯相关的色彩分量。有利于减少后续处理的数据量。
接下来对预处理图像进行色彩处理，本实施例采用基于相关性的字典学习方法获取最佳阈值。其中涉及到奇异值分解法和秩1逼近相结合。进而，对于不同光照、不同相机的曝光率和不同城市环境的样本进行分割时，根据训练的字典获取相应的阈值。对上步的预处理图像进行颜色分割的二值化处理。符合阈值的候选连通区域二值化为白色，不符合的置为黑色。得到红色，黄色，绿色交通灯对应的三张二值化图片，如图5(a)，(b)，(c)所示，从而使后续操作在二值化图像中进行，提高识别快速性。
再次，针对颜色分割后的二值化图像含有的噪声，采用构造动态多级滤波器的方法进行滤波。其步骤是：首先经形态学过滤，然后利用圆形交通信号灯自身的特征(面积，矩形度，圆形度等)设计各级分滤波器，从而实现对图像多级滤波。其动态性又体现在多级滤波器结构中引入一个“条件监测变量”—condition。经各个分滤波器后，统计图像中候选连通区域个数，若候选连通区域个数小于或等于1，则condition置1，动态多级滤波器输出结果图像，否则继续进入各分级滤波器，继续进行滤波操作。对图5所示的图像经动态多级滤波器输出后得到图7所示的图像。
当滤波结束后，采用黑体增长遮掩法的对滤波器输出图像进行交通灯位置标定。黑体增长遮掩法可以将筛选出的候选连通区域进行色彩还原。即将二值化图像中白色候选连通区域作为黑体生长母体，但母体本身保持不变，使黑体在母体四周生长，利用二值化图像作为参考，比较当前生长到的像素点是否为黑色，如符合则黑体在裁剪图像中进行增长，否则黑体停止生长。从在图像中标定出交通灯区域，用于后续的状态分析。对图7的图像进行标定处理，得到图8所示的标定图像。
最后，将标定图像进行色彩空间转换，分析该图像中红黄绿三色对应的色彩分量的上下限，并提出颜色判别系数，利用颜色系数计算公式和判别规则进行判定圆形交通灯的显示状态。
以下是发明人给出的具体实施例：
由车载摄像头采集视频，转换为一系列图像序列作为输入图像序列，以一幅含有绿灯的交通灯图像为例，给出具体处理流程。
如图1所示，由图可知，主要包含了图像预处理，图像色彩处理，动态多级滤波器过滤，交通灯位置标定和交通灯显示状态判定5个步骤，具体介绍如下：
1、图像预处理
针对如图3所示的样例绿灯图像，设图像高度为high，取裁剪后图像高度
针对转换颜色空间后由非交通灯颜色干扰而引入的部分噪声，对得到的颜色空间转换图像进行色彩分量滤波。
本实施例采用一种色彩分量滤波方法，在hsv颜色空间中利用色彩分量进行滤波。其处理步骤如下：
以标准红、黄、绿三色h分量均值hr，hy，hg进行下列的计算：
hr_min＝hr-0.05×hrhr_max＝hr+0.05×hr
hy_min＝hy-0.05×hyhy_max＝hy+0.05×hy
hg_min＝hg-0.05×hghg_max＝hg+0.05×hg
其中，hr_min和hr_max是红色h分量保留在图中的最大值与最小值；hy_min和hy_max是黄色h分量保存在图中的最大值与最小值；hg_min和hg_max是绿色h分量保存在图中的最大值与最小值。
按上述参数进行设置，红色、黄色、绿色最大值与最小值取并列关系：即图中的剩余h分量满足h：
h＝(hr_min||hr_max)||(hy_min||hy_max)||(hg_min||hg_max)
其中||表示并列。对符合的h保存不变，不符合的置为黑色。得到当前样例图像的预处理图像。从而使图像在当前色彩空间中仅保留与交通灯相关的色彩分量。
2、图像色彩处理
针对预处理后的图像，由于光照、相机的曝光率和城市环境的复杂度等因素的影响，很难找到统一的阈值来分割红绿黄交通信号灯的颜色。因此本实施例采用字典学习方法来获取最佳阈值。
以红灯阈值为例，选取不同光照、不同相机的曝光率和不同城市环境的样本进行训练，给出一种基于相关性的字典进行样本训练。
字典学习的目的在于根据样本得到一个完备的字典
其中，
di表示字典d的第i个列向量，也称为原子，xj表示稀疏矩阵x的第j个列向量。s为稀疏度，||·||f表示矩阵的frobenious范数，||·||0表示向量的l0范数。
通常，上式的解由稀疏编码和字典更新两个阶段逐步迭代得到。稀疏编码阶段为：
字典更新阶段为：
现有的方法中，每一次迭代过程的字典更新阶段，都会更新字典中所有的原子。而事实上，更新样本的稀疏表示只与部分原子有关。另一方面，稀疏度仅限于稀疏表示阶段。因此，我们在字典更新阶段，仅仅更新那些与样本相关的原子，同时将稀疏度也引入到字典更新阶段，大大提高了字典学习的效率。
为了提高字典学习的效率，本实施例给出一种基于相关性的字典学习方法，具体实现方法如下：
首先，确定与新样本稀疏表示相关的原子：
其中，yr为第r次迭代式更新的样本，xr为yr在当前训练字典上的稀疏表示，〈·〉表示向量的内积，ω(yr)为编号的集合，表示第h个样本的稀疏编码与xr线性相关，y(yr)为相应编号集合为ω(yr)的样本集合，x(yr)为y(yr)的稀疏表示。
紧接着，根据选定的样本y(yr)，可以确定与之相关的字典原子：
其中，d(yr)表示参与样本yr稀疏编码的原子。
然后，根据前面得到的d(yr)，采用矩阵秩1逼近完成字典更新：
其中，xw表示稀疏矩阵x的第w行，ew为去掉dw后的重构误差，即
至此，得到了与新样本稀疏表示相关的字典原子，同时，稀疏性也引入到字典更新阶段。接下来，采用奇异值分解法和秩1逼近相结合的方法来获取最优解。进而，对于不同光照、不同相机的曝光率和不同城市环境的样本进行分割时，根据训练的字典获取相应的阈值。
记获取的红色的h通道阈值最小值为rh_min，最大值为rh_max，s通道阈值最小值rs_min，最大值rs_max。v通道阈值最大值为rv_min，最小值为rv_max。
同理，设黄色各阈值为：yh_min，yh_max，ys_min，ys_max，yv_min，yv_max。
绿色各阈值为：gh_min，gh_max，gs_min，gs_max，gv_min，gv_max。
利用得到的阈值按红黄绿顺序对图像进行三次分割。采用如下三个关系：
rstd＝(rh_min&rh_max)&(rs_min&rs_max)&(rv_min&rv_max)
ystd＝(yh_min&yh_max)&(ys_min&ys_max)&(yv_min&yv_max)
gstd＝(gh_min&gh_max)&(gs_min&gs_max)&(gv_min&gv_max)
其中&表示逻辑“与”。
按rstd，ystd，gstd进行二值化颜色分割，符合的为像素点为白色，否则为黑色。得到三张二值化图像，如图5(a)，(b)，(c)所示。
这种颜色分割模式的优势在于：在预先不知道圆形交通灯颜色信息的情况下，也可以利用交通信号灯只有三种颜色进行“验证性颜色分割”，跳过对灰值图像的处理。对红绿黄三种颜色都进行分割，所以得到三幅二值化图像，并分别记录每张二值化图像的分割颜色。颜色分割后的二值化图像中，只含有符合设置的阈值范围内的一种颜色。图5是按红、黄、绿的顺序设置阈值，进行颜色分割后得到的图像。
3、动态多级滤波器过滤
动态多级滤波器处理的是经色彩处理后的二值化图像。动态滤波器的具体处理流程如图2所示。设计动态多级滤波器首先设置“条件检测变量”condition，然后将其初始化为0。然后进行下述处理：
(1)当condition＝0时，对输入的二值化图像按预先给定的阈值进行形态学的操作，具体步骤为先膨胀，后腐蚀，得到噪声更少，特征信息更加突出的图像。对形态学处理后的图像进行候选区域的统计，满足条件则变量condition置1，动态多级滤波器输出图像，否则进行下一步过滤。针对图5进行形态学处理后得到如图6所示的形态学处理图像。
(2)当condition＝0时，对候选连通区域的面积进行过滤，将符合条件的候选连通区域保留，不符合条件的二值化为黑色。能有效地过滤掉呈圆形但面积不符合的干扰噪声。设一个候选交通灯区域的长度为length，宽度为width，本发明的候选连通区域面积定义为：
s＝length×width；
设置合适面积阈值进行过滤，经面积过滤后，检测图像中剩余的候选连通区域，若个数大于1，condition仍为0，继续进行矩形度滤波。否则condition＝1，动态多级滤波器输出图片。
(3)针对图像中其他通过面积过滤的区域，可以采用矩形度过滤。按上述的候选区域长宽定义，矩形度公式为：
设置合适矩形度阈值进行过滤，再次检测图像中剩余的候选连通区域个数，若大于1，condition仍为0，继续进行后续过滤。否则condition＝1，动态多级滤波器输出图片。
(4)圆形度常用于对象特征的提取与描述。可以用来表征物体的与标准圆的接近程度。因此，将其引入动态多级滤波器，以进行圆形交通灯状态的识别，是具有极大的好处的。
圆形度的计算公式为：
其中s代表候选连通区域面积，c代表其周长。设置合适圆形度阈值进行滤波，经圆形度过滤后。动态多级滤波器将输出滤波图像。针对图5所示的图像进行滤波操作。得到如图7所示的动态多级滤波器输出滤波图像。
4、交通灯位置标定
对于动态多级滤波器输出的图片，利用黑体增长遮掩法进行位置标定。黑体增长遮掩法可以将筛选出的候选连通区域进行色彩还原。即将二值化图像中白色候选连通区域作为黑体生长母体，但母体本身保持不变，使黑体在母体四周生长，利用二值化图像作为参考，比较当前生长到的像素点是否为黑色，如符合则黑体在裁剪图像中进行增长，否则黑体停止生长。如图8便是对三张动态滤波器输出图片的位置标定结果，(a)图、(b)图是分别利用红色和黄色阈值进行分割的，因为图中没有交通灯，故均被黑体所覆盖。(c)图是按绿色阈值分割的滤波器输出图像，它表明在裁剪图像中复原绿灯交通灯后，其余位置被黑体所覆盖得到的图像。
5)交通灯显示状态判定
将位置标定图像重新转换至hsv空间，然后针对hsv颜色空间的h分量绘制颜色直方图。将每张颜色直方图的值不为0的范围进行记录，保存对应的横轴值。如图9是三张交通灯位置标定图像的h分量颜色直方图。
设图像中红黄绿对应的上下限值分别为：r'min，r'max，y'min，y'max，g'min，g'max，再利用预先设置好的圆形交通信号灯颜色阈值上下限值rmin，rmax，ymin，ymax，gmin，gmax。
求取颜色判别系数，颜色系数color公式定义如下：
color＝r_coefficient×100+r_coefficient×10+r_coefficient×1
其中：
由所给公式知：颜色判别系数中的r_coefficient，r_coefficient，r_coefficient均在0到1之间。则给定如下颜色判别规则：
若颜色系数在为0，则说明该图像中无圆形交通灯；
若颜色判别系数(0，1)，则说明该图像中圆形交通灯状态为绿色；
若颜色判别系数(1，10)，则说明该图像中圆形交通灯状态为黄色；
若颜色判别系数(10，100)，则说明该图像中圆形交通灯状态为红色；
依据上述规则判断交通灯位置标定图像中含有圆形交通灯的状态，即可判定当前样例图像中仅含有绿色交通灯，智能车辆可在当前路口继续通行。