一种基于车载前视相机的限速提示及超速告警方法与流程

本发明涉及车辆控制领域，尤其涉及一种基于车载前视相机的限速提示及超速告警方法。

背景技术：

限速提示与超速预警是adas系统(基于视频传感器的行车安全辅助系统)的重要组成功能之一。超速行驶是道路交通事故的主要原因之一，驾驶员有意或无意的超速行驶行为对道路交通安全产生潜在的事故隐患。及时有效地向驾驶员发出道路限速以及超速预警信号能够有效地降低由于车速过快产生的交通事故的发生概率。现有的此类系统大多基于gps以及地图信息，在城市某些工况(如高架等)gps信号不准确的情况下，会出现限速提示错误或滞后的情况，影响驾驶员对车辆的操控，不利于车辆的正常、安全行驶。

技术实现要素：

本发明为了解决上述技术问题，提供一种基于车载前视相机的限速提示及超速告警方法，其利用车载前视相机，采用检测与跟踪相结合的方法，并且结合车辆运动状态，最终实时获得车辆所通过道路上的道路限速数值，作出限速提示和超速告警，限速检测准确性高，有效提高限速提示及超速告警的实时性和准确性，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。

本发明另一目的是提供一种基于车载前视相机的限速提示及超速告警方法，其既能发出限速提示信号，又能根据超速情况发出紧急与非紧急的超速告警信号，实现分级超速告警。限速提示能够使驾驶员充分了解当前道路的限速情况，不至于行驶过慢(阻碍交通)或过快。分级超速告警信号具有梯度性，不会使驾驶员感受特别突然，从而确保驾驶员能做出比较平缓的减速操作，提高行车安全性。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明一种基于车载前视相机的限速提示及超速告警方法，包括如下步骤：

①在线道路限速标识检测；

②道路限速标识跟踪；

③道路限速标识分类，确定道路限速数值；

④发出限速提示信号；

⑤发出超速告警信号。

在线道路限速标识检测：在图像感兴趣区域(roi)范围内，提取道路限速标识特征算子，多尺度滑窗搜索道路限速标识。限速标识检测还可通过圆形边缘轮廓或基于acf特征的分类器等方法实现。道路限速标识跟踪：对检测到的道路限速标识候选区域，提取角点特征，并利用lk光流算法，基于相似性投影变换假设，对所提取角点进行跟踪；将跟踪结果与后续检测结果位置计算重合度，以确认检测准确性。道路限速标识分类：对于确认道路限速标识图像区域，进行道路限速标识分类，确定道路限速数值。限速标识分类还可通过最近邻等机器学习方法实现。发出限速提示信号及超速告警信号：结合车辆运动信息，通过道路限速标识从图像中消失的位置，确定车辆通过某道路限速标识的时刻，发出限速提示信号，结合车辆实际车速信息，确定是否发出超速告警信号。本技术方案限速检测准确性高，有效提高限速提示及超速告警的实时性和准确性，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。

作为优选，所述的步骤①前有步骤a：离线训练道路限速标识检测算法；所述的步骤②和步骤③之间有步骤b和步骤c；步骤b：对道路限速标识检测进行可信度评分；步骤c：离线训练道路限速标识分类算法。

作为优选，所述的步骤a为：利用级联haar特征的boosting分类器，训练道路限速标识检测算法。可采用试验车辆所采集的各类道路限速标识正样本图像12000张、负样本图像20000张进行离线训练。利用难例挖掘和主动学习等方法提升训练效果。分类器级联层数为可配置参数。

作为优选，所述的步骤①为：在车载前视相机的图像感兴趣区域范围内，提取道路限速标识特征算子，利用步骤a中训练好的检测分类器，多尺度滑窗搜索道路限速标识。roi区域(图像感兴趣区域)范围以及相机的图像检测窗口大小为可配置参数，应根据不同的相机安装参数进行调整。

作为优选，所述的步骤②为：对检测到的道路限速标识候选区域提取角点特征(corner)，可选用fast或shi-tomasi角点，利用lucas-kanade光流方法计算角点特征的运动信息，并且更新角点特征位置，根据相邻两帧角点特征跟踪结果，基于区域相似性假设(即假设车辆跟踪区域只有尺度变化和图像平面内的平移)，利用ransac方法计算被检测道路限速标识的投影变换矩阵，更新道路限速标识位置。多尺度限速标识检测与多帧跟踪验证策略能够有效提升道路标识检测的准确性，并且不会引入过多的运算与内存使用。

作为优选，所述的步骤b为：对于首次检测到的障碍物，可信度赋默认初始值；若上帧道路限速标识跟踪结果与本帧道路限速标识检测结果的道路限速标识位置重合度iou大于一设定阈值iou0，则道路限速标识检测的可信度评分s＝s×k1；若上帧道路限速标识跟踪结果与本帧道路限速标识检测结果的道路限速标识位置重合度iou小于设定阈值iou0，则道路限速标识检测的可信度评分s＝s×k2；其中k1、k2均为可配置参数，k1大于1，k2小于1；k1的默认值为1.2，k2的默认值为0.8；

所述的步骤c为：定义深度神经网络结构(cnn)，采集各类道路限速标识训练样本，训练过程采用基于mini-batch迷你批量方式的梯度下降方法：即每个循环内，基于反向递推(bp)的方法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成；softmax损失计算公式为：

其中，zj为输出向量的每个元素。

用户可设置参数有：迷你批量样本大小n(可取用最大值由内存上限决定)、学习速率lr(决定收敛速率)、权重衰退系数wd(防止过拟合)以及动量系数m(可加快学习速率)。

作为优选，所述的步骤③为：利用步骤c中训练的分类器，对道路限速标识检测的可信度评分s大于设定阈值s0(s0为可配置参数)的检测区域进行道路限速标识分类，若连续n帧(n为可配置参数)分类结果吻合，则确认该分类结果为道路限速数值。基于深度学习(cnn)的分类方法相比于其他机器学习方法(如最近邻等)能够大幅提升道路限速标识分类的准确性。

作为优选，所述的步骤④为：若某一道路限速标识从图像特定区域划出(该特定区域由实际相机安装参数与测试统计结果获得)，则用步骤③中获得的道路限速数值作为当前道路限速提示信息，发出视觉提示信号作为限速提示信号；若道路限速数值更改则辅助增加听觉提示信号。限速提示信息策略考虑车辆运动信息(标识从相机视角中消失的位置)，避免城市道路转弯等工况造成的误提示。视觉提示信号，指眼睛能看到的信号，如通过显示屏、仪表盘进行显示。当检测到的道路限速数值一直一致时，只有视觉提示信号；当检测到的道路限速数值和前一时刻检测到的道路限速数值不相同时，即道路限速数值发生变化时，则既有视觉提示信号又有听觉提示信号，以引起驾驶员的注意。限速提示能够使驾驶员充分了解当前道路的限速情况，不至于行驶过慢而阻碍交通，也不至于行驶过快而发生危险。当然，限速提示、超速告警还可以采用振动信号等其他告警信号。

作为优选，所述的步骤⑤为：根据获得的道路限速数值v0和车辆的实际车速v，计算超速比例(v-v0)/v0，根据超速比例的大小，进行超速的分级报警。根据超速的严重程度发出紧急、非紧急的超速告警信号，实现分级超速告警。车辆的实际车速通过车辆can总线获得。分级超速告警信号具有梯度性，不会使驾驶员感受特别突然，从而确保驾驶员能做出比较平缓的减速操作，提高行车安全性。

作为优选，所述的步骤⑤中，若超速比例小于0，则不发出超速告警信号；若超速比例大于0且小于10％，则发出一级超速告警信号；若超速比例大于10％且小于20％，则发出二级超速告警信号；若超速比例大于20％，则发出三级超速告警信号；超速告警信号包含视觉告警信号与听觉告警信号，并且超速告警信号的级别越大则视觉告警信号及听觉告警信号的频率越大。当然要确保限速提示信号及各级超速告警信号有很高的区分度，避免混淆。超速告警信号等级还可按其他方式划分，如等级数可以不分为三级，或者可以依据超速绝对值划分超速等级等等。

本发明的有益效果是：利用车载前视相机检测并识别当前车辆行驶道路的道路限速标识，并结合车辆can总线中车速信息发出分级预警信号，采用检测与跟踪相结合的方法确认相机视角感兴趣区域内的道路限速标识位置，通过深度神经网络进一步确认道路限速标识的种类，最终通过该标识从相机视角中消失的位置，确定车辆是否通过该限速点，并确定道路限速数值，作出限速提示，并依据当前实际车速发出分级超速告警信号。本发明限速检测准确性高，有效提高限速提示及超速告警的实时性和准确性，采用分级超速告警信号，不会使驾驶员感受特别突然，从而确保驾驶员能做出比较平缓的减速操作，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。

附图说明

图1是本发明的一种算法流程总图。

图2是本发明中车载前视相机检测道路限速标识的图像感兴趣区域的一种示意图。

图中1.道路，2.车载前视相机的图像感兴趣区域。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于车载前视相机的限速提示及超速告警方法，车载前视相机与车辆车速为本方法的输入，道路限速提示信号与超速告警信号为本方法的输出。在车辆中该功能默认为开启状态，使用者可自行关闭此功能。算法流程总图如图1所示，包括如下步骤：

①离线训练道路限速标识检测算法：利用级联haar特征的boosting分类器，训练道路限速标识检测算法。每一级弱分类器的训练过程为：初始化训练数据的权值分布(每个样本赋予同样的权值系数)，训练过程中，若该样本被准确的分类，则降低该样本的权重系数；反之，则提高相应权重系数。反复迭代上述过程，产生若干弱分类器级。最后级联各弱分类器生成最终强分类器(增大误差率小的弱分类器权重系数，减小误差率大的弱分类器权重系数)。采用试验车辆所采集的各类道路限速标识正样本图像12000张及负样本图像20000张进行离线训练，利用难例挖掘(是指手动将分类器难以识别的误检经过筛检重新加入训练样本中进行训练)和主动学习(是指先利用网络收集的相关训练数据预训练一个级联分类器，利用此分类器对的我们相机设备所采集的样本进行粗略检测，根据检测结果人工筛选正负样本，重新训练分类器)等方法提升训练效果。

②在线道路限速标识检测：如图2所示，为车载前视相机所拍摄到的图像，车辆行驶在道路1上，在车载前视相机的图像感兴趣区域2范围内，提取道路限速标识特征算子，利用步骤①中训练好的检测分类器，多尺度滑窗搜索道路限速标识。

③道路限速标识跟踪：对检测到的道路限速标识候选区域提取角点特征(corner)，可选用fast或shi-tomasi角点，利用lucas-kanade光流方法计算角点特征的运动信息，并且更新角点特征位置，根据相邻两帧角点特征跟踪结果，基于区域相似性假设(即假设车辆跟踪区域只有尺度变化和图像平面内的平移)，利用ransac方法计算被检测道路限速标识的投影变换矩阵，更新道路限速标识位置。

fast：采用机器学习的方法，按如下标准定义特征点：对于某像素点p，以其为中心的16个像素点，若其中有n个连续的像素点亮度值均大于p点亮度加上某阈值t(或小于p点亮度减去某阈值t)，则p为特征点；可设置参数为像素点数n，亮度阈值t以及是否使用非极大值抑制(non-maximumsuppression)。此特征点检测是公认的比较快速的特征点检测方法，只利用周围像素比较的信息就可以得到特征点，简单，有效。该方法多用于角点检测。

lucas-kanade光流方法：利用高斯下采样计算n层图像金字塔(n默认为3)，从顶层金字塔自上而下对于每层金字塔i，初始化光流向量li(利用上一层光流计算结果，顶层以(0，0)初始化)，计算图像x，y方向一阶导数，对输入的角点计算其周围m*m区域内相邻时刻的亮度均方差(m默认为7)，若各层图像金字塔中，沿梯度下降方向迭代更新光流向量li至该角点相邻时刻对应的图像均方差均小于某一特定阈值kp，确定该层金字塔的光流向量为li；如若干循环后，仍无法满足阈值条件，则摒弃该点光流向量。

基于ransac的相似性投影矩阵计算过程如下：通过m个循环，每个循环随机选取2个匹配角点，计算2*3的投影矩阵，对剩余角点按该矩阵匹配结果进行打分，像素点匹配距离小于某阈值m，则视为正确匹配，选取打分最高的投影矩阵，利用其对应的所有正确匹配特征角点对，重新计算得到最终投影矩阵；中循环数m与距离阈值m均为预设值。

④对道路限速标识检测进行可信度评分：对于首次检测到的障碍物，可信度赋默认初始值；若上帧道路限速标识跟踪结果与本帧道路限速标识检测结果的道路限速标识位置重合度iou大于一设定阈值iou0(如iou0＝0.5)，则道路限速标识检测的可信度评分s＝s×k1；若上帧道路限速标识跟踪结果与本帧道路限速标识检测结果的道路限速标识位置重合度iou小于设定阈值iou0，则道路限速标识检测的可信度评分s＝s×k2；其中k1、k2均为可配置参数，k1大于1，k2小于1；k1的默认值为1.2，k2的默认值为0.8。

⑤离线训练道路限速标识分类算法：定义深度神经网络结构，采集各类道路限速标识训练样本，对训练样本进行镜像、拉伸、缩放等运算，以增大训练样本数量，训练过程采用基于mini-batch迷你批量方式的梯度下降方法：即每个循环内，基于反向递推(bp)的方法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成；softmax损失计算公式为：

其中，zj为输出向量的每个元素。

用户可设置参数有：迷你批量样本大小n(可取用最大值由内存上限决定)、学习速率lr(决定收敛速率)、权重衰退系数wd(防止过拟合)以及动量系数m(可加快学习速率)。

⑥道路限速标识分类：利用步骤⑤中训练的分类器，对道路限速标识检测的可信度评分s大于设定阈值s0(s0为可配置参数，如s0＝1.0)的检测区域进行道路限速标识分类，若连续n帧(n为可配置参数，如n＝3)分类结果吻合，则确认该分类结果为道路限速数值。

⑦发出限速提示信号：若某一道路限速标识从图像特定区域划出(该特定区域由实际相机安装参数与测试统计结果获得)，则用步骤⑥中获得的道路限速数值作为当前道路限速提示信息，发出视觉提示信号作为限速提示信号；若道路限速数值更改则辅助增加听觉提示信号。

⑧发出超速告警信号：根据获得的道路限速数值v0和车辆的实际车速v，计算超速比例(v-v0)/v0，根据超速比例的大小，进行超速的分级报警。若超速比例小于0，则不发出超速告警信号；若超速比例大于0且小于等于10％，则发出一级超速告警信号；若超速比例大于10％且小于等于20％，则发出二级超速告警信号；若超速比例大于20％，则发出三级超速告警信号。超速告警信号包含视觉告警信号与听觉告警信号，并且超速告警信号的级别越大则视觉告警信号及听觉告警信号的频率越大。

本发明利用车载前视相机检测并识别当前车辆行驶道路的道路限速标识，并结合车辆can总线中车速信息发出分级预警信号，采用检测与跟踪相结合的方法确认相机视角感兴趣区域内的道路限速标识位置，通过深度神经网络进一步确认道路限速标识的种类，最终通过该标识从相机视角中消失的位置，确定车辆是否通过该限速点，并确定道路限速数值，作出限速提示，并依据当前实际车速发出分级超速告警信号。本发明限速检测准确性高，有效提高限速提示及超速告警的实时性和准确性，采用分级超速告警信号，不会使驾驶员感受特别突然，从而确保驾驶员能做出比较平缓的减速操作，确保驾驶员能更好地对车辆进行操控，有利于车辆的正常、安全行驶。