一种运行在辅助驾驶边缘设备上的道路限速标志识别方法

1.本发明涉及一种运行在辅助驾驶边缘设备上的道路限速标志识别方法，属于图像处理技术领域。


背景技术：

2.在当今社会，汽车数量急剧增加，道路交通堵塞现象已经变得常见，它给人们的生活出行带来了极大的麻烦；交通标志包含有大量道路信息，在车辆行驶过程中，可为驾驶员提供及时的道路环境信息，以遵守交通规则。但在路况复杂的情况下，驾驶员通常会忽略路边的交通标志，从而发生交通事故，造成巨大的经济损失和人员伤亡。因此，近年来，辅助驾驶中的交通标志识别技术逐渐得到国内外研究人员的广泛关注。
3.精度高，识别速度快的交通标志识别技术是辅助驾驶与无人驾驶系统中至关重要的关键部分。交通标志识别技术是应用于现实的道路行车环境中的，因此，不仅要求交通标志识别算法有极高的精确度，而且还要求在一定的时间内识别出来。而实时感知与识别不仅是辅助驾驶的核心问题，也是整个目标检测领域需要突破的难点。
4.常用的交通标志识别方法分为两个方向，第一个基于颜色阈值方法进行识别, 首先对整幅图像基于hsv空间进行红、黄、蓝颜色提取；再对提取出的备选区域进行形态学滤波，去掉图像中的噪声干扰。最后依据形状特征提取图像中的三角、圆、矩形区域。该方法的缺点是：由于颜色各通道的相关性，因此识别结果容易受到光照等影响，造成交通标志识别的不完整性。第二个是基于形状的交通标志识别算法，首先将交通标志分为若干区域进行边缘检测，然后利用形状特征进行交通标志识别。它对光照影响具有一定的鲁棒性，因此能取得了较为理想的效果，但是由于在复杂场景下易受到变形、天气、遮挡等影响，也会造成交通标志识别的不精准性。近年来，随着深度学习的迅速发展，基于深度学习的交通标志识别方法得到了越来越多的研究，也取得非常好的检测效果。
5.目前的限速标志识别算法无法做到既满足实时性，同时精确度又高的要求，因此研究如何在嵌入式设备上部署一个精确度高，满足实时性的辅助驾驶领域限速标志识别算法为时下亟待解决的问题，同时为辅助驾驶车的相关理论与应用发展提供有力的支持,具有重要的理论意义和实用价值。


技术实现要素：

6.本发明的目的在于提供了一种运行在辅助驾驶边缘设备上的道路限速标志识别方法，以用于解决目前辅助驾驶领域道路限速标志识别方法难以部署在嵌入式设备上的问题，在保证识别精度的同时，确保识别的实时性以及模型运算的高效率。
7.本发明的技术方案是：一种运行在辅助驾驶边缘设备上的道路限速标志识别方法，所述方法的具体步骤如下：步骤一：通过视频读取库opencv来采集车载usb摄像头的原始图像。
8.步骤二：对原始图像进行颜色空间转换以及均衡化。
9.步骤三：对图像进行中值滤波、二值化以及形态学变换。
10.步骤四：对图像进行轮廓检测，初步确定原始图像中可能存在限速标志的区域，检测出图像中可能是限速标志的轮廓，然后提取轮廓。
11.步骤五：对原始图像中可能存在限速标志的区域进行过滤，确定原始图像中符合特定形状的待识别限速标志区域。
12.步骤六：利用lenet
‑
5算法对待识别限速标志区域进行识别。
13.步骤七：在嵌入式平台nvidia jetson agx xavier上完成部署，实时推理检测来自摄像头的视频流。
14.优选的，本发明步骤二中，所述颜色空间转换包括bgr转换成yuv和bgr转换成hsv，均衡化是指均衡yuv中的y通道。
15.优选的，本发明所述步骤三中，中值滤波操作是对bgr三通道都进行中值滤波，其中卷积核大小为5*5；二值化操作的阈值为(20,255)；形态学变换包括腐蚀操作和膨胀操作；其中，腐蚀操作的结构元素大小为3*3，迭代次数为1；膨胀操作的结构元素大小为5*5，迭代次数为1。
16.优选的，本发明所述步骤五中，对原始图像中可能存在限速标志的区域进行过滤，过滤的条件包括区域所在图像上的位置、面积以及区域的长宽比例；其中判断区域是否在图像的右上方1/4处、面积是否小于10000，长宽比例是否在0.8至1.2，如果满足条件在判断区域内，则进行标识识别，若不在判断区域，则不进行识别。
17.优选的，本发明所述步骤六中，lenet
‑
5算法模型是基于pytorch框架完成搭建及训练，训练数据集为gtsrb德国交通标识数据集。
18.优选的，本发明所述步骤七中，实时推理检测来自摄像头的视频流，其中摄像头为usb摄像头，视频流输入为直接读取usb摄像头视频进行处理，视频读取库为opencv。
19.本发明的有益效果是：本发明利用传统的图像处理技术和基于深度学习的目标检测算法来实现道路限速标志识别功能，首先通过传统的图像处理技术确定原始图像中符合特定形状的待识别限速标志区域，然后利用目标检测lenet
‑
5算法识别限速标志区域；该方案能够精确地识别道路限速标志，并且识别时间短，常规的方法是每秒30帧，而本发明可达到每秒45帧的处理速度，符合实时性要求，因此易于部署在嵌入式平台nvidia jetson agx xavier上，实时推理来自车内usb摄像头的视频流；准确率达到95%。
附图说明
20.图1是本发明流程图。
21.图2是原始图像颜色空间转换流程图。
22.图3是初始过滤流程图。
23.图4是进一步过滤流程图。
24.图5是hsv颜色空间图。
25.图6是二值化后结果图。
26.图7是形态学变换后结果图。
27.图8是实时检测结果显示图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.实施例1本发明的核心是提供一种运行在辅助驾驶边缘设备上的道路限速标志识别方法，第一能够准确识别道路限速标志，第二是能够满足实时性，易于部署在嵌入式边缘端。本实施例利用传统的图像处理技术和基于深度学习的目标检测算法来实现道路限速标志识别功能，具体包括以下步骤：（1）通过opencv库读取车载usb摄像头的原始图像，将原始图像bgr格式转换成yuv格式，因为在yuv色彩空间中，它的亮度信号y和色度信号u、v是分离的，其中“y”表示明亮度，也就是灰阶值；而“u”和“v
”ꢀ
表示的则是色度，作用是描述图像色彩及饱和度，用于指定像素的颜色；人眼对亮度更敏感，对色彩没那么强烈的敏感，因此，再均衡“y”通道，从而使得整幅图像暗亮均衡。
30.（2）均衡“y”通道后，再将yuv格式的图像转回bgr格式。为了后续能顺利处理出限速标志区域，还需要将bgr格式的图像转换成hsv格式的图像。因为rgb只是用于形成想要的颜色，无论是什么颜色，只需要用不同比例进行混合就能得到。但是在后续的处理中，需要根据限速标志的颜色进行选择，因此需要辅助工具，也就是hsv，所以需要将bgr转化成hsv，hsv用更加直观的数据描述需要的颜色，h代表色彩，s代表深浅，v代表明暗。而在后续操作中，可以通过阈值的划分，可以初步将属于限速标志的区域颜色区分出来， hsv颜色空间图如图5。
31.（3）对hsv颜色空间的图像，通过阈值的划分来制作两个红色掩码，然后通过掩码分割出图像的红色区域。分割出原始图像的红色区域后，分离图像的三通道，进行中值滤波，其中卷积核大小为5*5。中值滤波是一种典型的非线性滤波，是基于排序统计理论的一种能够有效抑制噪声的非线性信号处理技术，基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，让周围的像素值接近真实的值从而消除孤立的噪声点。中值滤波在去除脉冲噪声、椒盐噪声的同时能够克服线性滤波器带来的图像细节模糊等弊端，能够有效保护图像边缘信息。对图像进行中值滤波后，然后对图像进行二值化，方便后续提取限速标志的轮廓。其中二值化操作的阈值选为(20,255)，将图像灰度值小于阈值20的设置为0，大于阈值20的设置为255，二值化后结果图如图6。
32.通过以上所述的操作后，二值化图像包含着明显的限速标志轮廓。然后对二值化图像进行形态学变换，进一步去除噪声，凸显限速标志轮廓。本发明实施例的形态学变换包括腐蚀和膨胀，其中腐蚀操作的结构元素大小为3*3，迭代次数为1；膨胀操作的结构元素大小为5*5，迭代次数为1。腐蚀操作是通过结构元素与二值化图像对应的区域进行逻辑与运算，膨胀操作是通过结构元素与二值化图像对应的区域进行逻辑或运算，运算后的结果是二值化图像的相应像素。结构元素大小以及其内容都会影响效果，通常结构元素有三种：矩形结构元素，十字形结构元素和椭圆形结构元素。腐蚀是二值化图像中的高亮部分被腐蚀掉，腐蚀后的图像拥有比原图更小的高亮区域，整幅图像的白色区域会减少；膨胀是二值化
图像中的高亮部分进行膨胀，膨胀后的图像拥有比原图更大的高亮区域。为了去除白色噪声，先使用腐蚀操作再使用膨胀操作，因为腐蚀操作在去掉白噪声的同时，也会使前景对象变小，所以再对其进行膨胀操作，这时噪声已经被去除了，并增加了前景。由此可以将二值化图像的白色噪声去除，剩下的白色轮廓就是可能存在限速标志的区域轮廓。
33.（4）提取这些轮廓的角点，通过角点分割出轮廓在原始图像的区域，形态学变换后结果图如图7。
34.（5）通过角点分割出轮廓在原始图像的区域还需要进行过滤，确定原始图像中符合特定形状的待识别限速标志区域。在本发明实施例中，过滤的条件包括区域所在图像上的位置、面积以及区域的长宽比例；一般来说，道路交通限速标志都在道路的右上方位置，并且其形状大多是正方形；因此，本发明实施例判断条件为区域是否在图像的右上方1/4处、面积是否小于10000，长宽比例是否在0.8至1.2内；通过这三个过滤条件，去除大概率不是限速标志区域，然后将剩下的区域尺寸改为32*32后送入lenet
‑
5分类网络进行识别。
35.在本发明实施例中，使用lenet
‑
5分类网络模型对待识别限速区域进行识别分类。
36.首先通过使用包含5
×
5的6通道卷积和2
×
2的最大池化，卷积主要用于提取图像中包含的特征模式（激活函数使用sigmoid），图像尺寸从32减小到28。经过池化层可以降低输出特征图对空间位置的敏感性，图像尺寸减到14。然后，通道数由6增加为16。卷积操作使图像尺寸减小到10，经过池化后变成5。接下来，通过5
×
5的120通道卷积，将图像尺寸减小到1，但是通道数增加为120。将经过第3次卷积提取到的特征图输入到全连接层。第一个全连接层的输出神经元的个数是64，第二个全连接层的输出神经元个数是分类标签的类别数，对于手写数字识别其大小是10。然后使用softmax激活函数即可计算出每个类别的预测概率，从而判断出该目标是否为限速标识，而不是其他交通标识。总体来说，相对其他的网络模型，lenet
‑
5模型的层数，参数量少，比较容易部署在嵌入式平台上；lenet
‑
5分类网络基于pytorch框架完成搭建及训练，训练数据集为gtsrb德国交通标识数据集，图片大小为32*32，分43个类别。
37.最后部署到嵌入式平台nvidia jetson agx xavier上，用opencv 库读取来自车内usb摄像头的视频流，图像识别分类结果显示如图8。