一种限速标志的识别方法、装置、电子设备及存储介质与流程

本申请实施例涉及图像处理，尤其涉及一种限速标志的识别方法、装置、电子设备及存储介质。

背景技术：

1、限速标志作为一种重要的道路标志，在无人驾驶或高精地图制作中起到非常重要的作用，对于限速标志的识别，不仅要检测出传感器视野范围内的限速标志，同时还要准确地识别出标志中的具体数字。

2、在现有技术中，可以采用以下四种方案对限速标志进行识别：1)预先建立道路限速标志数据库，通过车载相机获取的图像，在数据库中查找匹配相应的限速标志来完成识别，限速数据包括类型和数值。2)通过对采集到的限速标志图像进行二值化处理，分割出背景区域和前景区域，在此基础上对前景区域的像素点组成的连通区域进行分割处理，并将分割后的候选单个字符进行排序与分类，从而完成识别。3)根据co-hog特征建立圆形检测器，检测出图像中的限速标志，在此基础上针对每一个限速数值建立一个svm验证器从而完成各个限速标志的数值分类。4)先利用训练好的检测器检测出限速标志，并对检测出的小图进行图像角度上的校正，再利用lstm+注意力机制完成数字的识别。

3、在实现本申请的过程中，申请人发现现有技术中至少存在如下问题：

4、在上述方案1)中，由于数据长尾特性的原因，数据库中无法完全覆盖所有限速标志，例如在不同光照、角度以及标志脏污等情况，都会导致匹配时相似度下降，从而识别失败。在上述方案2)中，在对限速标志进行二值化时，需要设定分割的阈值，但同样由于光照、脏污等原因会导致分割失败，使得二值化后的连通区域产生缺失或者多余区域，从而影响单个字符的分割识别，这种二值化的方式过度依赖于分割结果的准确性，且采用阈值分割本身鲁棒性就不高。在上述方案3)中，虽然采用了co-hog特征圆形检测器，但交通标志中圆形标志有很多，例如限重标志、限高标志同样是圆形带有数字，因此单从圆形特征上进行检测会产生误识别；此外svm是一个二分类器，对于限速标志的多种数字，需要构建多个svm二分类器，圆形检测器检测出的结果分别同时送入多个svm进行识别，计算效率较低。在上述方案4)中，虽然采用lstm进行限速标志的数字识别，但lstm采用的是rnn实现的，rnn网络是无法进行并行计算的，而在自动驾驶中的计算功能均在gpu中完成，主要是利用gpu的并行计算能力，因此lstm在计算效率以及后期部署上均无法满足自动驾驶的要求。

技术实现思路

1、本申请提供一种限速标志的识别方法、装置、电子设备及存储介质，能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性。

2、第一方面，本申请实施例提供了一种限速标志识别方法，所述方法包括：

3、获取道路图像；

4、对所述道路图像进行检测，得到所述道路图像的检测结果；其中，所述检测结果包括：包含限速标志和不包含限速标志；

5、若所述检测结果为包含限速标志，则在所述道路图像中裁剪出只包括所述限速标志的子图；其中，所述限速标志包括：最高限速、最低限速和解除限速；

6、将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果；其中，所述多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；所述三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

7、第二方面，本申请实施例还提供了一种限速标志识别装置，所述装置包括：获取模块、检测模块和识别模块；其中，

8、所述获取模块，用于获取道路图像；

9、所述检测模块，用于对所述道路图像进行检测，得到所述道路图像的检测结果；其中，所述检测结果包括：包含限速标志和不包含限速标志；若所述检测结果为包含限速标志，则在所述道路图像中裁剪出只包括所述限速标志的子图；其中，所述限速标志包括：最高限速、最低限速和解除限速；

10、所述识别模块，用于将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果；其中，所述多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；所述三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

11、第三方面，本申请实施例提供了一种电子设备，包括：

12、一个或多个处理器；

13、存储器，用于存储一个或多个程序，

14、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的限速标志识别方法。

15、第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的限速标志识别方法。

16、本申请实施例提出了一种限速标志识别方法、装置、电子设备及存储介质，先获取道路图像；然后对道路图像进行检测，得到道路图像的检测结果；若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；再将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果。也就是说，在本申请的技术方案中，可以通过多标签分类模型对限速标志进行识别；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。而在现有技术中，识别结果不够准确，鲁棒性不高，而且计算效率较低。因此，和现有技术相比，本申请实施例提出的限速标志识别方法、装置、电子设备及存储介质，能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

技术特征：

1.一种限速标志的识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，将所述子图输入至预先训练好的多标签分类模型中，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果，包括：

3.根据权利要求2所述的方法，其特征在于，将所述子图输入至预先训练好的多标签分类模型中，通过所述多标签分类模型计算百位分类中的类别数对应的概率、十位分类中的类别数对应的概率和个位分类中的类别数对应的概率，包括：

4.根据权利要求3所述的方法，其特征在于，所述第一多标签分类头为所述百位数字分类对应的多标签分类头，所述第二多标签分类头为所述十位数字分类对应的多标签分类头，所述第三多标签分类头为所述个位数字分类对应的多标签分类头；其中，所述第一多标签分类头包括两个类别数，分别为：1、x；所述第二多标签分类头包括11个类别数，分别为：0、1、2、3、4、5、6、7、8、9、x；所述第三多标签分类头包括两个类别数，分别为：0、5。

5.根据权利要求1所述的方法，其特征在于，在所述道路图像中裁剪出只包括所述限速标志的子图，包括：

6.根据权利要求5所述的方法，其特征在于，依据所述道路图像获取各个潜在的中心点到2d框的左边的距离、各个潜在的中心点到2d框的右边的距离、各个潜在的中心点到2d框的上边的距离和各个潜在的中心点到2d框的下边的距离，包括：

7.根据权利要求5所述的方法，其特征在于，根据各个潜在的中心点到2d框的左边的距离、各个潜在的中心点到2d框的右边的距离、各个潜在的中心点到2d框的上边的距离和各个潜在的中心点到2d框的下边的距离获取2d框，包括：

8.一种限速标志的识别装置，其特征在于，所述装置包括：获取模块、检测模块和识别模块；其中，

9.一种电子设备，其特征在于，包括：

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的限速标志的识别方法。

技术总结
本申请公开了一种限速标志的识别方法、装置、电子设备及存储介质；该方法包括：获取道路图像；对道路图像进行检测，得到道路图像的检测结果；若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；其中，限速标志包括：最高限速、最低限速和解除限速；将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。本申请实施例能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性。

技术研发人员：李祝强
受保护的技术使用者：联通智网科技股份有限公司
技术研发日：
技术公布日：2024/3/24