一种基于ROI的交通标志牌实时检测方法及系统与流程

本发明涉及图像视觉的技术领域，特别是一种基于roi的交通标志牌实时检测方法及系统。

背景技术：

交通标志检测技术是交通标志识别系统的重要前提和基础，由于背景的复杂性，在进行颜色分割时部分区域可能会受到干扰，为交通标志的检测带来困难。再加上智能车辆在道路上行驶时，速度比较快，因此需要提供一种快速的检测算法以便能够及时准确地检测出道路旁的交通标志牌，再识别出标志牌的语义信息。

《智能计算机与应用》杂志2016年8月第6卷第4期公开了郝博闻、梁宇峰、李文强、倪钰婷、温斯傲和刘展宁的《基于颜色空间和模板匹配的交通标志检测方法》，利用hsv颜色空间和rgb颜色空间对不同颜色的交通标志进行粗检测，标记不同的值实现roi分割，然后利用模板匹配的方法对交通标志进行处理，使用模板在roi区域上滑动，得到模板相似度的最大值，以此来实现检测过程。该方法在图像中颜色提取范围方面没有具体列出相应颜色的模型(阈值)，颜色提取后在roi区域确定时没有加入相关规则，这种情况下对于roi区域比较大，由于论文中采用了基于特征的模版匹配的方法，检测速度比较慢，不能够达到智能车辆在行驶过程中对交通标志牌实时检测的需求。

技术实现要素：

为了解决上述的技术问题，本发明提出一种基于roi的交通标志牌实时检测方法及系统，首先利用颜色特性提取图像中的候选区域，再结合一定的规则确定图像中的roi区域，这样确定的roi区域可以去掉场景图像中的干扰因素，再利用yolov3在roi区域内检测交通标志牌，提升了交通标志牌检测的精度和速度，解决了智能车辆在道路行驶过程中快速准确检测交通标志牌的难题。

本发明的第一目的是提供一种基于roi的交通标志牌实时检测方法，包括进行yolov3网络检测识别，还包括以下步骤：

步骤1：将输入图像的颜色空间由rgb转换为hsv；

步骤2：交通标志牌主颜色提取；

步骤3：去除小连通区域，感兴趣区域提取。

优选的是，h的转换公式为

其中，r’＝r/255,g’＝g/255,b’＝b/255,c_max＝max(r’,g’,b’),

c_min＝min(r’,g’,b’),δ＝cmax-c_min。

在上述任一方案中优选的是，s的转换公式为

在上述任一方案中优选的是，v的转换公式为v＝c_max。

在上述任一方案中优选的是，所述步骤2还包括在hsv颜色空间提取指示、警示、禁止类交通标志牌的主颜色，分别是蓝色、黄色和红色。

在上述任一方案中优选的是，所述主颜色的色彩范围为：

blue：

yellow：

red：

其中，h、s、v三分量都归一化到[0,1]范围。

在上述任一方案中优选的是，所述步骤3包括以下子步骤：

步骤31：对所述步骤2中得到的图像进行二值化处理；

步骤32：通过计算二值图像中连通区域，去除掉连通区域较小的区域，获得图像image；

步骤33：获取的感兴趣区域的左上点坐标l_u和右下点坐标r_d。

在上述任一方案中优选的是，所述步骤32还包括考虑图像中目标由远及近的规律，对整幅图像的底边部分不处理，其中，w为图像的宽度，h为图像x方向的长度。

在上述任一方案中优选的是，所述左上点坐标为l_u＝(x1,y1)，其中,

y1＝ymin，

xmin是image中所有像素x方向上最小值，ymin是image中所有像素y方向上最小值。

在上述任一方案中优选的是，所述右下点坐标为r_d＝(x2,y2)，其中,

y2＝ymax，

xmax是image中所有像素x方向上最大值，ymax是image中所有像素y方向上最大值。

在上述任一方案中优选的是，所述yolov3网络检测识别为将获得的所述感兴趣区域输入yolov3训练好的网络进行交通标志牌的定位。

本发明的第二目的是提供一种基于roi的交通标志牌实时检测系统，包括用于进行yolov3网络检测识别的识别模块，还包括以下模块：

转换模块：用于将输入图像的颜色空间由rgb转换为hsv；

主颜色提取模块：用于交通标志牌主颜色提取；

感兴趣区域提取模块：用于去除小连通区域，感兴趣区域提取。

优选的是，h的转换公式为

其中，r’＝r/255,g’＝g/255,b’＝b/255,c_max＝max(r’,g’,b’),

c_min＝min(r’,g’,b’),δ＝cmax-c_min。

在上述任一方案中优选的是，s的转换公式为

在上述任一方案中优选的是，v的转换公式为v＝c_max。

在上述任一方案中优选的是，所述主颜色提取模块还用于在hsv颜色空间提取指示、警示、禁止类交通标志牌的主颜色，分别是蓝色、黄色和红色。

在上述任一方案中优选的是，所述主颜色的色彩范围为：

blue：

yellow：

red：

其中，h、s、v三分量都归一化到[0,1]范围。

在上述任一方案中优选的是，所述感兴趣区域提取模块包括以下子模块：二值化处理子模块：用于对所述主颜色提取模块中得到的图像进行二值化处理；区域筛选子模块：用于通过计算二值图像中连通区域，去除掉连通区域较小的区域，获得图像image；

坐标获取子模块：用于获取的感兴趣区域的左上点坐标l_u和右下点坐标r_d。

在上述任一方案中优选的是，所述区域筛选子模块还用于考虑图像中目标由远及近的规律，对整幅图像的底边部分不处理，其中，w为图像的宽度，h为图像x方向的长度。

在上述任一方案中优选的是，所述左上点坐标为l_u＝(x1,y1)，其中,

y1＝ymin，

xmin是image中所有像素x方向上最小值，ymin是image中所有像素y方向上最小值。

在上述任一方案中优选的是，所述右下点坐标为r_d＝(x2,y2)，其中,

y2＝ymax，

xmax是image中所有像素x方向上最大值，ymax是image中所有像素y方向上最大值。

在上述任一方案中优选的是，所述识别模块还用于将获得的所述感兴趣区域输入yolov3训练好的网络进行交通标志牌的定位。

本发明提出了一种基于roi的交通标志牌实时检测方法及系统，主要针对三大类(指示、警示、禁止)标志牌进行检测，首先利用这三类标志牌的颜色信息，获取图像中的roi区域，这样可以去除掉一些干扰，提升检测的准确率，再对roi区域进行基于yolov3的交通标志牌检测。

roi是指感兴趣的区域。

hsv是根据颜色的直观特性由a.r.smith在1978年创建的一种颜色空间,也称六角锥体模型。

yolov3网络为卷积神经网络。

附图说明

图1为按照本发明的基于roi的交通标志牌实时检测方法的一优选实施例的流程图。

图2为按照本发明的基于roi的交通标志牌实时检测系统的一优选实施例的模块图。

图3为按照本发明的基于roi的交通标志牌实时检测方法的另一优选实施例的流程图。

图4为按照本发明的基于roi的交通标志牌实时检测方法的如图3所示实施例的指示类交通标志牌示意图。

图5为按照本发明的基于roi的交通标志牌实时检测方法的如图3所示实施例的警示类交通标志牌示意图。

图6为按照本发明的基于roi的交通标志牌实时检测方法的如图3所示实施例的禁止类交通标志牌示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，将输入图像的颜色空间由rgb转换为hsv。hsv的转换公式为：

v＝c_max

其中，r’＝r/255,g’＝g/255,b’＝b/255,c_max＝max(r’,g’,b’),

c_min＝min(r’,g’,b’),δ＝cmax-c_min。

执行步骤110，交通标志牌主颜色提取。在hsv颜色空间提取指示、警示、禁止类交通标志牌的主颜色，分别是蓝色、黄色和红色，主颜色的色彩范围为：

blue：

yellow：

red：

其中，h、s、v三分量都归一化到[0,1]范围。

执行步骤120，去除小连通区域，感兴趣区域提取。在步骤120中，执行步骤121，对所述步骤2中得到的图像进行二值化处理。执行步骤122，通过计算二值图像中连通区域，去除掉连通区域较小的区域，获得图像image，考虑图像中目标由远及近的规律，对整幅图像的底边部分不处理，其中，w为图像的宽度，h为图像x方向的长度。执行步骤123，获取的感兴趣区域的左上点坐标l_u和右下点坐标r_d。左上点坐标为l_u＝(x1,y1)，其中,

y1＝ymin，

xmin是image中所有像素x方向上最小值，ymin是image中所有像素y方向上最小值。右下点坐标为r_d＝(x2,y2)，其中,

y2＝ymax，

xmax是image中所有像素x方向上最大值，ymax是image中所有像素y方向上最大值。

执行步骤130，进行yolov3网络检测识别，将获得的所述感兴趣区域输入yolov3训练好的网络进行交通标志牌的定位。

实施例二

如图2所示，一种基于roi的交通标志牌实时检测系统包括转换模块200、主颜色提取模块210、感兴趣区域提取模块220和识别模块230。

转换模块200：用于将输入图像的颜色空间由rgb转换为hsv，hsv的转换公式为：

v＝c_max

其中，r’＝r/255,g’＝g/255,b’＝b/255,c_max＝max(r’,g’,b’),

c_min＝min(r’,g’,b’),δ＝cmax-c_min。

主颜色提取模块210：用于交通标志牌主颜色提取，在hsv颜色空间提取指示、警示、禁止类交通标志牌的主颜色，分别是蓝色、黄色和红色，主颜色的色彩范围为：

blue：

yellow：

red：

其中，h、s、v三分量都归一化到[0,1]范围。

感兴趣区域提取模块220：用于去除小连通区域，感兴趣区域提取。包括以下子模块：

二值化处理子模块221：用于对所述主颜色提取模块中得到的图像进行二值化处理。

区域筛选子模块222：用于通过计算二值图像中连通区域，去除掉连通区域较小的区域，获得图像image，考虑图像中目标由远及近的规律，对整幅图像的底边部分不处理，其中，w为……，h为图像x方向的长度。

坐标获取子模块223：用于获取的感兴趣区域的左上点坐标l_u和右下点坐标r_d。左上点坐标为l_u＝(x1,y1)，其中,

y1＝ymin，

xmin是image中所有像素x方向上最小值，ymin是image中所有像素y方向上最小值。右下点坐标为r_d＝(x2,y2)，其中,

y2＝ymax，

xmax是image中所有像素x方向上最大值，ymax是image中所有像素y方向上最大值。

识别模块230：用于进行yolov3网络检测识别，将获得的所述感兴趣区域输入yolov3训练好的网络进行交通标志牌的定位。

实施例三

本发明主要针对三大类(指示、警示、禁止)标志牌进行检测，首先利用这三类标志牌的颜色信息，获取图像中的roi区域，这样可以去除掉一些干扰，提升检测的准确率，再对roi区域进行基于yolov3的交通标志牌检测，总体的流程图如图3所示。

步骤：

一、为了便于提取交通标志牌主颜色，将输入图像的颜色空间由rgb转换为hsv，转换公式如下：

v＝c_max

式中：

c_max＝max(r’,g’,b’),c_min＝min(r’,g’,b’),

δ＝cmax-c_min。

二、交通标志牌主颜色提取。

图4、图5和图6分别展示了指示类交通标志牌、警示类交通标志牌、禁止类交通标志牌。

在hsv颜色空间提取指示、警示、禁止类交通标志牌的主颜色，分别是蓝色、黄色和红色，色彩的范围如下所示：(h、s、v三分量都归一化到[0,1]范围)

蓝色：blue：

黄色：yellow：

红色：red：

三、去除小连通区域，感兴趣区域提取。

在上一步提取完三大类标志牌主颜色后，对获得的图像进行二值化处理，通过计算二值图像中连通区域(8连通)，去除掉连通区域较小的区域(350～550)，获得图像image，图像中；同时考虑图像中目标由远及近的规律，对整幅图像的底边部分不处理。

最后获取的感兴趣区域的坐标：左上点：l_u＝(x1,y1)，

y1＝ymin

右下点：r_d＝(x2,y2)

y2＝ymax

xmin是image中所有像素x方向上最小值，ymin是image中所有像素y方向上最小值。

xmax是image中所有像素x方向上最大值，ymax是image中所有像素y方向上最大值。

其中，w为……，h为图像x方向的长度。

四、yolov3网络检测识别。

在第三步完成后，会得到交通标志牌所在的感兴趣区域，将获得的感兴趣区域输入yolov3训练好的网络进行交通标志牌的定位。

yolov3的网络结构分为主干网络和检测网络，主干网络darknet-53由52个卷积层、一个全连接层组成，并输出13×13、26×26、和52×52三种尺度的特征，检测网络对三种尺度的特征进行回归，得出多个预测框，使用非极大值抑制方法去除iou较大和置信得分较低的预测框，对于置信得分较高的检测框为目标检测框。

首先将输入图像整体缩放为416×416大小，并将图像划分为13×13个网格，若某一目标中心落入某个网格，该网格将负责预测该目标。每个网格负责预测出b(b＝3)个预测框，每个预测框对应c+5个值，c为检测目标类别数，5个值为预测框的坐标(x，y),宽w、高h和存在目标的置信得分p(oobject)＝1，预测框置信得分为sconf：

sconf＝p(ci|oobject)×p(oobject)×i(truth，pred)

式子，如果预测框内存在检测物体p(oobject)＝1，否则，p(oobject)＝0，p(ci|oobject)是网格预测i类的置信得分；i(truth，pred)是预测目标框与真实目标框的交并比。最后使用nms算法筛选出置信得分较高的预测框为检测框，公式如下：

式中：i表示类别标号，m为置信得分较大的候选框，bi是被比较的目标预测框，i(m，bi)是n和bi的交并比，nt是抑制阈值。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。