地面标志检测方法、装置、电子设备及存储介质与流程

本发明涉及计算机视觉图像处理，具体而言，涉及一种地面标志检测方法、装置、电子设备及存储介质。

背景技术：

1、伴随着自动驾驶技术的不断发展，对识别的地面标志类别也提出来更多的要求，常见的几种类别已不满足实际需求。

2、中国专利cn113343785a公开了一种基于透视降采样的yolo地面标志检测方法、设备及存储介质。该专利首先通过车载相机获取车辆前方的图像，选取图像感兴趣区域进行透视降采样，降低道路图像近处分辨率。其次对yolov3-tiny目标检测网络进行改进，添加卷积层强化浅层特征，提升小目标表征能力；改变特征金字塔融合尺度，将预测输出调整为适合地标尺寸的26×26和52×52。且模型大小由33mb减小为8.3mb。该专利主要使用图像透视变换方法以及对近处的地面标志进行降采样，保持与远处的地面标志相同大小的分辨率，提高了近处的地面标志召回率，并对在yolov3-tiny结构进行删减，减小模型部署难度。但该专利只对常见的五类箭头标志(直行或右转、直行或左转、直行、左转、右转)进行识别。

3、而在实际场景中，地面标志类型众多(如各种类型箭头、数字等)，每种地面标志出现的频次并不相同，经过数据采集获取的数据量差异较大。且限于模型容量，在待检的地面标志类别较多时，模型对于数据量较少的地面标志类别识别精度较低。

技术实现思路

1、有鉴于此，本技术实施例的目的在于提供一种地面标志检测方法、装置、电子设备及存储介质，能够改善当前地面标志识别方法存在检测模型能支撑的数据量有限，造成待检的地面标志类别较多时，检测模型对于数据量较少的地面标志类别识别精度较低的问题。

2、为实现上述技术目的，本技术采用的技术方案如下：

3、第一方面，本技术实施例提供了一种地面标志检测方法，所述方法包括：

4、获取训练数据集，所述训练数据集包括标注有地面标志的环境图像集、具有地面标志标注框的区域图像集；

5、通过所述环境图像集对预设的检测模型进行训练，得到经过训练的检测模型；

6、通过所述区域图像集对预设的分类模型进行训练，得到经过训练的分类模型；

7、将拍摄道路环境得到的待识别图像输入经过训练的所述检测模型和所述分类模型，得到所述待识别图像的检测结果，所述检测结果包括所述待识别图像中具有的地面标志及类别。

8、结合第一方面，在一些可选的实施方式中，在通过所述环境图像集对预设的检测模型进行训练，得到经过训练的检测模型之前，所述方法还包括：

9、对所述环境图像集和所述区域图像集进行数据增强处理，得到经过数据增强的所述环境图像集和所述区域图像集，以作为所述训练数据集。

10、结合第一方面，在一些可选的实施方式中，在获取训练数据集之前，所述方法还包括：

11、基于检测算法yolo-v3，使用mobilenet-v3 small作为主干网络backbone，创建得到检测模型，以作为所述预设的检测模型，所述backbone包括依次连接的第一卷积层conv2d和多个bneck模块；

12、其中，单个所述bneck模块的网络结构为依次连接的第二卷积层conv2d、第一bn层、第一激活层、第三卷积层conv2d、第二bn层、第二激活层、第四卷积层conv2d、第三bn层和第三激活层，所述bneck模块的各结构通过short cut连接。

13、结合第一方面，在一些可选的实施方式中，在获取训练数据集之前，所述方法还包括：

14、使用简化后的mobilenet-v3 small作为模型结构，创建得到分类模型，以作为所述预设的分类模型，所述简化后的mobilenet-v3 small包括依次连接的第五卷积层conv2d、多个bneck模块、第六卷积层conv2d、池化层averagepooling、第七卷积层conv2d和第八卷积层conv2d；

15、其中，单个所述bneck模块的网络结构为依次连接的第二卷积层conv2d、第一bn层、第一激活层、第三卷积层conv2d、第二bn层、第二激活层、第四卷积层conv2d、第三bn层和第三激活层，所述bneck模块的各结构通过short cut连接。

16、结合第一方面，在一些可选的实施方式中，所述bneck模块的网络结构还包括se注意力模块。

17、结合第一方面，在一些可选的实施方式中，获取训练数据集，包括：

18、按预设频率采集所述道路环境，并将得到的图像作为图像数据集；

19、使用labelimg对所述图像数据集进行标注；

20、将标注好的所述图像数据集以预设比例分为训练数据集和测试数据集，所述训练数据集包括所述环境图像集和所述区域图像集。

21、结合第一方面，在一些可选的实施方式中，在将拍摄道路环境得到的待识别图像输入经过训练的所述检测模型和所述分类模型，得到所述待识别图像的检测结果之前，所述方法还包括：

22、根据所述测试数据集对所述检测模型和所述分类模型的预设指标进行评价；

23、当所述检测模型和所述分类模型基于所述测试数据集生成的测试结果与所述预设指标的差值处于预设误差范围时，确定经过训练的所述检测模型和所述分类模型为表征合格的第一状态；

24、当所述检测模型和所述分类模型基于所述测试数据集生成的所述测试结果与所述预设指标的差值，超出所述预设误差范围时，确定经过训练的所述检测模型和所述分类模型为表征不合格的第二状态，并通过所述环境图像集对所述检测模型进行下一次训练，通过所述区域图像集对所述分类模型进行下一次训练。

25、第二方面，本技术实施例还提供一种地面标志检测装置，所述装置包括：

26、获取单元，用于获取训练数据集，所述训练数据集包括标注有地面标志的环境图像集、具有地面标志标注框的区域图像集；

27、第一训练单元，用于通过所述环境图像集对预设的检测模型进行训练，得到经过训练的检测模型；

28、第二训练单元，用于通过所述区域图像集对预设的分类模型进行训练，得到经过训练的分类模型；

29、输入单元，用于将拍摄道路环境得到的待识别图像输入经过训练的所述检测模型和所述分类模型，得到所述待识别图像的检测结果，所述检测结果包括所述待识别图像中具有的地面标志及类别。

30、第三方面，本技术实施例还提供一种电子设备，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。

31、第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。

32、采用上述技术方案的发明，具有如下优点：

33、在本技术提供的技术方案中，通过部署在车辆上的前端设备获取训练数据集，进而根据训练数据集对预设的检测模型和分类模型进行训练，得到经过训练的检测模型和分类模型。当检测模型和分类模型训练完成后，将拍摄道路环境得到的待识别图像输入检测模型和分类模型，得到待识别图像的检测结果。如此，将用于检测地面标志的模型按功能分为检测模型和分类模型，以使检测模型和分类模型能承载的训练数据量增大，有利于提升检测模型和分类模型的检测精度，避免因用于地面标志检测的传统检测模型能支撑的训练数据量较少，造成待检的地面标志类别较多时，传统检测模型对于训练数据较少的地面标志识别精度较低。