一种道路交通限速标志定位识别方法及装置与流程

本发明涉及自动驾驶交通中交通标志识别的技术领域，具体涉及一种道路交通中最高限速、最低限速、解除最高限速类的交通标志定位及标志数字精确提取的定位识别方法及系统，可辅助自动驾驶车辆获取当前道路车辆可行驶速度。

背景技术：

近年，随着智能交通快速发展，无人驾驶技术已经成为整个汽车产业的最新发展方向，而对于道路交通中限速类交通标志自动提取识别是其中一个重要的技术环节。为降低交通风险，提高驾驶安全性，自动驾驶车辆需明确当前道路的可行驶速度，所以自动获取车辆道路交通中限速类标志牌位置和限速数字为其必要解决的技术之一。但是受限于交通场景复杂、路况类型较多，传统的识别方法局域很强的局限性。传统的交通标志识别方法，针对的道路交通场景单一，适应性不强，在复杂场景，如阴雨天气、地理环境、季节气候、光照强弱等情景下，会造成交通限速标志牌识别精度低、错误率和漏检率高，甚至有时无法识别。同时由于全国范围类交通限速类数字较多，如果采取单一的目标定位+分类的网络，进行交通标志牌的自动提取，由于类别较多且各类间的样本不均衡，会使得限速类标志牌位置以及对应的数字提取的错误率和漏检率偏高。

技术实现要素：

本发明针对现有技术中存在的技术问题，提供一种道路交通限速标志定位识别方法及装置，能够自动准确的提取道路交通标志牌的位置及详细数字。使交通限速标志提取的准确率和召回率达到较高的标准，使能更好的辅助于自动驾驶。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种道路交通限速标志定位识别方法，包括以下步骤：

获取视频帧图像，利用预先训练好的检测网络模型对所述视频帧图像进行预处理，提取视频帧图像中标志牌的位置信息及其类别信息；

根据所述标志牌位置信息对所述视频帧图像进行裁剪，得到包含标志牌图像信息的不同类别的目标小图；

针对不同类别的目标小图，采用矫正网络进行限速数字矫正，对矫正后的目标小图采用与其类别对应的预先训练好的数字识别网络进行限速数字识别。

进一步的，所述检测网络模型的训练方法包括：

获取道路交通限速标志牌训练样本数据，并对所述训练样本数据进行人工标注及分类；所述训练样本数据的类别包括最高限速、最低限速和解除最高限速类别；

将所述训练样本数据输入原始检测网络模型中，采用特征金字塔方式获取图像的多尺度特征，构建多层次的特征金字塔；

在每一层上进行用于框选标志牌的目标框的box回归和box类别分类，直至所述检测网络模型收敛，得到训练好的检测网络模型。

进一步的，所述检测网络模型包括目标检测网络和分类网络，使用resnet或者vgg作为骨干网络。

进一步的，所述数字识别网络的训练方法包括：

将经过人工分类的最高限速、最低限速和解除最高限速类别的道路交通限速标志牌训练样本数据分别输入到原始数字识别网络模型中，分别进行训练，得到分别对应最高限速、最低限速和解除最高限速类别的数字识别网络模型。

进一步的，所述数字识别网络包括由卷积网络+双向lstm的编码模块以及由lstm+attention机制的解码模块。

进一步的，所述矫正网络由三部分构成：

定位网络，所述定位网络为一回归网络，用于将所述目标小图进行卷积后，通过全连接回归得到一个包含6个角度值的2*3矩阵；

网格生成器，用于根据矫正前的所述目标小图中的坐标数据，通过矩阵运算计算矫正后的目标小图中的坐标数据；

采样器，用于根据所述矫正后的坐标数据，在矫正前的所述目标小图中进行采样，并将采样得到的像素复制到矫正后的所述目标小图中。

第二方面，本发明提供一种道路交通限速标志定位识别装置，包括：

预处理模块，用于获取视频帧图像，利用预先训练好的检测网络模型对所述视频帧图像进行预处理，提取视频帧图像中标志牌的位置信息及其类别信息；

裁剪模块，用于根据所述标志牌位置信息对所述视频帧图像进行裁剪，得到包含标志牌图像信息的不同类别的目标小图；

数字识别模块，针对不同类别的目标小图，采用矫正网络进行限速数字矫正，对矫正后的目标小图采用与其类别对应的预先训练好的数字识别网络进行限速数字识别。

第三方面，本发明提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述存储器中存储的计算机软件程序，并实现本发明第一方面所述的一种道路交通限速标志定位识别方法。

第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质内存储有用于实现本发明第一方面所述的一种道路交通限速标志定位识别方法的计算机软件程序。

本发明的有益效果是：传统的交通标志识别方法，针对的道路交通场景单一，适应性不强，在复杂场景，如阴雨天气、地理环境、季节气候、光照强弱等情景下，会造成交通限速标志牌识别精度低、错误率和漏检率高，甚至有时无法识别，本文采用深度学习的方法，使得系统的通用性较强，可适应各种复杂场景的交通限速标志的定位及数字识别。

由于获取各类样本的难易程度不同，最终获取的样本数量不均衡。首先用目标检测类的网络进行训练时，先粗略的对限速类标志牌进行分类，降低样本过少的影响，使得定位和粗略的分类的准确率增高。

为了解决单一类别样本过少的，训练时无法识别问题，本发明采用数字识别网络分开对最高限速、最低限速、解除最高限速的数字进行训练识别，使得标志牌限速数字识别的正确率较高。

附图说明

图1为本发明实施例提供的一种道路交通限速标志定位识别方法流程图；

图2为本发明实施例提供的矫正网络stn原理示意图；

图3为本发明实施例提供的数字识别网络编码模块原理示意图；

图4为本发明实施例提供的数字识别网络解码模块原理示意图；

图5为本发明实施例提供的一种道路交通限速标志定位识别装置结构图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一

本发明实施例提供一种道路交通限速标志定位识别方法，包括以下步骤：

获取视频帧图像，利用预先训练好的检测网络模型对所述视频帧图像进行预处理，提取视频帧图像中标志牌的位置信息及其类别信息；

根据所述标志牌位置信息对所述视频帧图像进行裁剪，得到包含标志牌图像信息的不同类别的目标小图；

针对不同类别的目标小图，采用矫正网络进行限速数字矫正，对矫正后的目标小图采用与其类别对应的预先训练好的数字识别网络进行限速数字识别。

所述检测网络模型的训练过程如下：

获取道路交通限速标志牌训练样本数据，并对所述训练样本数据进行人工标注及分类；所述训练样本数据的类别包括最高限速、最低限速和解除最高限速类别。

将所述训练样本数据输入原始检测网络模型中，进行目标检测+分类网络训练，使用resnet或者vgg等作为骨干网络，采用特征金字方式塔获取图像多尺度的特征，构建多层次的特征金字塔，在每一层上进行目标框的box回归和box类别分类，获取图像中的目标定位框和目标的类别，然后对得到的目标定位框以及目标类别进行验证，最终得到训练好的检测网络模型。

所述矫正网络由三部分构成，如图2所示，包括：

定位网络，所述定位网络为一回归网络，用于将所述目标小图进行卷积后，通过全连接回归得到一个包含6个角度值的2*3矩阵；

网格生成器，用于根据矫正前的所述目标小图中的坐标数据，通过矩阵运算计算矫正后的目标小图中的坐标数据；如下式所示。

s代表原始图的坐标，t代表目标图的坐标，a为定位网络回归出的6个角度值，tθ代表网格生成器。

采样器，用于根据所述矫正后的坐标数据，在矫正前的所述目标小图中进行采样，并将采样得到的像素复制到矫正后的所述目标小图中。

所述数字识别网络的训练过程包括：

将经过人工分类的最高限速、最低限速和解除最高限速类别的道路交通限速标志牌训练样本数据分别输入到原始数字识别网络模型中，分别进行训练，得到分别对应最高限速、最低限速和解除最高限速类别的数字识别网络模型。数字识别网络主要使用sequence-to-sequence(encoder/decoder框架)+attention结构，包括由卷积网络+双向lstm的编码模块以及由lstm+attention机制的解码模块。如图3图4所示。

在限速数字训练网络中，样本数据包含一定的负样本，可以将限速数字定位分类网络中得到的错误样本给剔除掉，能够有效的提高限速数字的识别效果。

传统的交通标志识别方法，针对的道路交通场景单一，适应性不强，在复杂场景，如阴雨天气、地理环境、季节气候、光照强弱等情景下，会造成交通限速标志牌识别精度低、错误率和漏检率高，甚至有时无法识别，本文采用深度学习的方法，使得系统的通用性较强，可适应各种复杂场景的交通限速标志的定位及数字识别。

由于获取各类样本的难易程度不同，最终获取的样本数量不均衡。首先用目标检测类的网络进行训练时，先粗略的对限速类标志牌进行分类，降低样本过少的影响，使得定位和粗略的分类的准确率增高。

为了解决单一类别样本过少的，训练时无法识别问题，本发明采用数字识别网络分开对最高限速、最低限速、解除最高限速的数字进行训练识别，使得标志牌限速数字识别的正确率较高。本发明方法在实际应用过程中的定位识别结果如表1所示。

表1道路交通限速类标志牌定位及其限速数字自动精确提取系统的准确率和召回率

实施例二

本发明实施例提供一种道路交通限速标志定位识别装置，如图5所示包括：

预处理模块，用于获取视频帧图像，利用预先训练好的检测网络模型对所述视频帧图像进行预处理，提取视频帧图像中标志牌的位置信息及其类别信息；

裁剪模块，用于根据所述标志牌位置信息对所述视频帧图像进行裁剪，得到包含标志牌图像信息的不同类别的目标小图；

数字识别模块，针对不同类别的目标小图，采用矫正网络进行限速数字矫正，对矫正后的目标小图采用与其类别对应的预先训练好的数字识别网络进行限速数字识别。

需要说明的是，实施例一中所述的方法可以通过计算机软件程序实现，基于此，本发明实施例还提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述存储器存储的计算机软件程序，用于实现实施例一提供的一种道路交通限速标志定位识别方法。

同时还需说明的是，计算机软件程序中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。