基于车载前视单目相机的交通限速标识检测识别方法与流程

本发明涉及车辆控制领域，尤其涉及一种基于车载前视单目相机的交通限速标识检测识别方法。

背景技术：

限速提示与预警是adas系统(基于视频传感器的行车安全辅助系统)的重要组成功能之一。民间有俗语“十次事故九次快”，可见超速是交通事故的主要隐患。及时有效地向驾驶员通报道路限速情况，避免驾驶员错看漏看限速标识，能够有效降低由于车速过快造成的交通事故发生概率，同时也不至于行驶过慢而阻碍交通，提高道路通行效率。

目前已有的限速超速提醒系统大多基于地图信息及gps位置信息，在道路工况较差、地图数据过时的情况下会出现限速提示滞后甚至错误的现象。中国专利文献cn103020623a公开了一种“交通标志检测方法和交通标志检测设备”，使用hsv色域依靠标志牌标准颜色寻找标志候选连通域，在标志牌轻微破损情况下，并非绝对标准，环境顺逆光的工况下容易发生漏检误检现象。中国专利文献cn103413124a公开了“一种圆形交通标志检测方法”，利用圆形匹配的方法检测交通标志牌，在行驶视野里，标志牌极易出现形变，包括尺度和形状的形变，会引发漏检。中国专利文献cn104657734a公开了“一种道路交通标志检测方法及装置”，利用边沿信息检测交通标志，在城市道路视野背景复杂的场景下，容易发生误检现象，对误检目标分类会造成系统进行大量无用计算，影响系统的实时性。

技术实现要素：

本发明为了解决上述技术问题，提供一种基于车载前视单目相机的交通限速标识检测识别方法，其能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明基于车载前视单目相机的交通限速标识检测识别方法，包括如下步骤：

①在线道路限速标识检测：训练构建级联弱分类器，在图像感兴趣区域范围内，提取道路限速标识特征算子，使用级联弱分类器检测道路限速标识；

②道路限速标识分类：对确定为有交通标志的图像区域，使用超小型的卷积神经网络进行分类，采用离线训练限速标识分类算法；

③道路限速标识跟踪：利用检测评价指标以及目标识别结果逐帧锁定目标位置；

④发出限速提示信号：利用限速标志牌在视野中的消失位置，判断检测到的限速标识是否为当前道路的限速标识，如果是当前道路的限速标识，则发出限速提示信号。

本发明利用车载前视单目相机检测当前车辆前方视野得到限速标识(包括限速标识、限低速标识和解除限速标识)，并进行识别，利用分类器级联的目标检测方法确认相机视角图像感兴趣区域内的道路限速标识位置，检测评价指标，逐帧锁定目标，通过深度神经网络进一步确认该道路限速标识的种类，最终通过目标在视野里的消失位置，判断是否为当前行驶道路限速标识，如果是则上报相应的道路限速提示。本发明能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。

作为优选，所述的步骤①中训练构建级联弱分类器的训练方法包括如下步骤：

1)预计算所有正负样本的haar特征v；

2)初始化正负样本权重，使正负样本权重之和分别为0.5；

3)遍历样本寻找最优分类特征θ，计算错误率e；

4)根据错误率e计算弱分类器权重w，该弱分类器为基于预先配置的准确率计算弱分类器跳出阈值tx；

5)根据弱分类器分类样本的情况，更新样本权重，其中分类正确的样本权重减小，分类错误的样本权重增加，并归一化权重；

6)判断当前训练完成的弱分类器级联后的样本分类情况，如果分类错误率小于预先配置的错误率，则转到步骤7)，否则返回步骤3)继续训练；

7)根据级联弱分类器的分类情况，计算正样本打分w1、w2…wn，并从小到大排序，选取通过率为配置准确率的打分wx，作为级联弱分类器的正样本阈值t；最终弱分类器为f＝f1(x)+f2(x)+…fn(x)，其中f＞t的样本分类为正样本，每计算一个弱分类器小于弱分类器跳出阈值tx的样本分类为负样本。

本技术方案确保道路限速标识检测更快速、更准确。

作为优选，所述的步骤②中的离线训练限速标识分类算法为：采用卷积神经网络结构分类，使用的训练样本为灰度样本，收集等比例的各类交通标识；

训练过程前向传播采用平方误差代价函数

其中共c类n个样本，表示第n个样本对应的标签的第k维，表示第n个样本对应的第k维网络输出；

反向传播采用反向递推法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成，softmax损失计算公式为：

采用的卷积神经网络结构，由卷积层、稀疏层和池化层依次相连的一组连接另一组依次相连的卷积层、稀疏层和池化层再连接一层全连接层随后接基于损失函数的softmax全连接层。收集等比例的各类交通标识，包括不限于限速、解除限速、限低速和非限速等等。样本较少的种类采用灰度变换、旋转、适当扩边和适当裁边等方式扩充。本技术方案能更快速地进行道路限速标识分类。

作为优选，所述的步骤③为：对于空系统，直接新增维护目标，编码id；对于非空系统，首先计算目标交集占并集的比例iou，对于iou大于设定阈值且识别结果一致认为是同一目标，目标存活计时器计时增加，识别可信度增加；对于iou小于设定阈值，且识别结果一致的目标，计算其欧式距离，欧式距离大于设置阈值，同样认为是同一目标，统计相应信息；当该目标iou小于设定阈值，识别结果与存活目标不一致，欧式距离大于设置阈值时，增加新维护样本并编码id；当某id标识识别置信度较大，则仅检测该目标并利用iou逐帧定位，直至目标消失。对限速标识进行目标维护和多帧识别。

作为优选，所述的基于车载前视单目相机的交通限速标识检测识别方法包括限速标识检测识别方法：使用sobel算子计算图像感兴趣区域内的边沿分布图，在图像感兴趣区域中进行多尺度滑窗检测，统计窗口映射在边沿分布图中的图像区域，如果边沿较少，则该窗口不进行类别判断，滑动至下一窗口，如果边沿较多，则根据步骤①中级联弱分类器算法判定是否为限速标识，采用步骤③中所描述的跟踪策略判断是否为新检测目标，对新检测目标进行cnn卷积神经网络分类，确定目标所属种类及打分，去除不是限速标识的目标。

作为优选，所述的步骤④为：根据限速标志牌在视野中的消失区域和消失前的标识尺寸，区分该标识是位于天空还是道路的左侧或右侧；如果目标从画面中间靠上部分消失，则判定标识为当前道路限速标识；如果目标从画面左侧或右侧消失，则将又属于位于天空的目标判定为非当前道路限速标识，将又属于位于非天空的目标判断为当前道路限速标识；最后将确认为当前道路限速标识的信息编码为can总线消息，上报车机，限速信息显示在汽车仪表上，并且通过声音、指示灯或震动形式发出限速报警信号。

限速标识在车载前视单目相机所捕获画面中出现的情况主要分为三种：置于横杆上位于天空，和置于立杆上位于道路的左侧或者右侧。当某id目标消失于图像某区域时，首先根据消失区域和消失前的标识尺寸，区分该标识是位于天空还是地面，再进行后续判断。

本发明中所有阈值均可配置。

本发明的有益效果是：能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，所占用硬件资源少，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。

附图说明

图1是本发明的一种算法流程总图。

图2是本发明中车载前视单目相机检测道路限速标识时图像感兴趣区域的一种示意图。

图3是本发明中级联弱分类器的一种结构示意图。

图4是本发明中卷积神经网络的一种结构示意图。

图中1.道路，2.固定roi，3.可变roi。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的基于车载前视单目相机的交通限速标识检测识别方法，如图1所示为总流程图，车载前视单目相机的视频信号为本系统输入，道路限速信息为本系统输出，最终显示在汽车仪表上。限速标识检测及提示功能可通过汽车仪表界面选择开启或关闭。具体方法包括如下步骤：

①检测roi图像感兴趣区域：使用的限速标识检测roi如图2所示，为车载前视单目相机所拍摄到的图像，车辆行驶在道路1上，在车载前视单目相机的roi图像感兴趣区域范围内，利用②中训练好的检测分类器，其中固定roi2为系统固有roi，可变roi3为当目标靠近固定roi边界时触发计算，固定roi大小可配置，可变roi基于检测目标尺寸外扩，外扩尺寸可配置，安装系统时可根据不同的相机参数进行调整。

②在线道路限速标识检测：训练构建级联弱分类器，本实施例的级联弱分类器结构如图3所示，在图像感兴趣区域范围内，提取道路限速标识特征算子，使用级联弱分类器检测道路限速标识；

训练构建级联弱分类器的训练方法包括如下步骤：

1)预计算所有正负样本的haar特征v；

2)初始化正负样本权重，使正负样本权重之和分别为0.5；

3)遍历样本寻找最优分类特征θ，计算错误率e；

4)根据错误率e计算弱分类器权重w，该弱分类器为基于预先配置的准确率(本实施例采用的准确率为99.5％)计算弱分类器跳出阈值tx：

5)根据弱分类器分类样本的情况，更新样本权重，其中分类正确的样本权重减小，分类错误的样本权重增加，并归一化权重；

6)判断当前训练完成的弱分类器级联后的样本分类情况，如果分类错误率小于预先配置的错误率(本实施例采用的错误率为0.5％)，则转到步骤7)，否则返回步骤3)继续训练；

7)根据级联弱分类器的分类情况，计算正样本打分w1、w2…wn，并从小到大排序，选取通过率为配置准确率(99.5％)的打分wx，作为级联弱分类器的正样本阈值t；最终弱分类器为f＝f1(x)+f2(x)+…fn(x)，其中f＞t的样本分类为正样本，每计算一个弱分类器小于弱分类器跳出阈值tx的样本分类为负样本。

最终本实施例获取各类限速标识5000张，采用灰度变化、旋转等方法扩充至15000张。选用负样本20000张，经过难例挖掘等策略扩充至45000张，以提升分类器的检测效果。

③道路限速标识分类：对确定为有交通标志的图像区域，使用超小型的卷积神经网络进行分类，采用离线训练限速标识分类算法；

离线训练限速标识分类算法为：道路限速标识分类算法，采用如图4所示的卷积神经网络结构，由卷积层、稀疏层和池化层依次相连的一组连接另一组依次相连的卷积层、稀疏层和池化层再连接一层全连接层随后接基于损失函数的softmax全连接层分类。该分类算法使用的训练样本为灰度样本，收集等比例的各类交通标识(包括不限于：限速、解除限速、限低速和非限速)；

训练过程前向传播采用平方误差代价函数

其中共c类n个样本，表示第n个样本对应的标签的第k维，表示第n个样本对应的第k维网络输出；

反向传播采用反向递推(bp)法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成，softmax损失计算公式为：

④限速标识检测识别：使用sobel算子计算图像感兴趣区域内的边沿分布图，在图像感兴趣区域中进行多尺度滑窗检测，统计窗口映射在边沿分布图中的图像区域，如果边沿较少，则该窗口不进行类别判断，滑动至下一窗口，如果边沿较多，则根据步骤②中级联弱分类器算法判定是否为限速标识，采用步骤⑤中所描述的跟踪策略判断是否为新检测目标，对新检测目标进行cnn卷积神经网络分类，确定目标所属种类及打分，去除不是限速标识的目标。

⑤道路限速标识跟踪，限速标识目标维护和多帧识别：利用检测评价指标以及目标识别结果逐帧锁定目标位置；

对于空系统，直接新增维护目标，编码id；

对于非空系统，首先计算目标交集占并集的比例iou，对于iou大于设定阈值(本实施例默认设置0.5)且识别结果一致认为是同一目标，目标存活计时器计时增加，识别可信度增加；对于iou小于设定阈值，且识别结果一致的目标，计算其欧式距离，欧式距离大于设置阈值(本实施例默认设置200像素)，同样认为是同一目标，统计相应信息；当该目标iou小于设定阈值，识别结果与存活目标不一致，欧式距离大于设置阈值时，增加新维护样本并编码id；

当某id标识识别置信度较大，则仅检测该目标并利用iou逐帧定位，直至目标消失。

⑥发出限速提示信号：根据限速标志牌在视野中的消失区域和消失前的标识尺寸，区分该标识是位于天空还是地面；

如果目标从画面中间靠上部分消失，则判定标识为当前道路限速标识；

如果目标从画面左侧或右侧消失，则将又属于位于天空的目标判定为非当前道路限速标识，将又属于位于非天空的目标判断为当前道路限速标识；

最后将确认为当前道路限速标识的信息编码为can总线消息，上报车机，限速信息显示在汽车仪表上，并且通过声音、指示灯或震动形式发出限速报警信号。

当然，限速标识检测还可通过使用lbp、hog、acf或icf等特征训练级联弱分类器进行检测，边沿信息除soble算子外，还有一阶梯度差、二阶laplace算子等边沿检测算法。限速标识分类可通过svm、最近邻等机器学习方法实现。固定roi与专用roi的尺度可以灵活多变。

本发明通过级联弱分类器可以更快更准确地在多尺度下进行限速标识检测，基于深度学习卷积神经网络设计的超小型分类网络相对于其他结果的网络在不影响准确率的前提下减少了硬件资源的占用，限速信息提示策略区分了固定roi和灵活的专用roi，减少了系统的硬件资源占用，结合前视相机的视野，避免因车辆运动姿态造成的错误提示。本发明能就道路限速标识的真实情况进行有效的检测、识别，并告知驾驶员道路限速信息，进行提示和报警，限速检测准确性高，处理速度快，所占用硬件资源少，有效提高限速提示及告警的实时性和准确性，有效避免错检和漏检，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。