一种基于道路前方行人和骑行者的防碰撞预警方法与流程

本发明属于汽车主动安全领域，涉及到图像处理以及防碰撞预警系统的知识，具体涉及一种基于道路前方行人和骑行者的防碰撞预警方法。

背景技术：

在我国这种典型的混合交通环境下，行人、骑行者、车辆等都是道路交通参与者，其中行人、骑行者都是弱势群体，他们暴露在外，没有防护措施，在发生交通事故时人身安全更难以保障，因此保护行人和骑行者的安全尤为重要。

传统的行人和骑行者检测算法是通过人工提取hog、haar、luv等特征，训练分类器，完成目标检测的。这种方法在特定条件下可以取得较好的检测效果，但人工设计的特征在光线昏暗、目标姿态变化明显以及复杂场景下的检测效果不太好。相比之下，深度学习可以通过卷积层在图像中提取特征，其检测效果明显优于传统机器学习方法。随着硬件计算能力的增强以及大量训练数据集的建立，深度学习得到了蓬勃发展。在目标检测方面，从rcnn、fast-rcnn、fasterrcnn到yolo、ssd、yolov2，目标检测的速度和准确率都有了很大的突破。

中国专利(cn1o2765365a)公开了基于机器视觉的行人检测方法及行人防碰撞预警系统，采用行人分类器检测道路上的行人,模糊了行人之间的个体特征,减少了个体性差异对检测结果的影响,通过防撞预警系统判断发生事故的可能性，但其检测精度低，忽略了骑行者的安全。中国专利(cn204870868u)公开了基于多传感器的汽车防碰撞及行人保护预警系统，运用激光测距和超声波测距,实现对汽车前方和后方车辆、障碍物或行人的预警，该方法预警指标单一，预警系统的可靠性较差。

技术实现要素：

针对上述问题，本发明提出一种基于道路前方行人和骑行者的防碰撞预警方法，根据综合分析目标的位置、横纵向距离、自车的车速以及碰撞时间ttc构建了基于多信息融合的防碰撞预警系统来判断目标的危险程度，可以有效的检测出暴露在外面的行人和骑行者，根据预警激活区域的设定，只有目标进入激活区域再进行目标状态判断，保护行人和骑行者的安全。

本发明所采用的具体技术方案如下：

一种基于道路前方行人和骑行者的防碰撞预警方法，包括以下步骤：

s1，搭建基于道路前方行人和骑行者的防碰撞预警系统；

s2，离线训练使用yolov2改进的网络yolo-r进行模型训练；

s3，将一帧图像输入到训练好的yolo-r网络中，检测出行人和骑行者并进行分类，实现多目标跟踪；

s4，计算出车辆和前方目标的横纵向距离；

s5，根据自车车速，设定预警激活区域，利用横纵向距离判断目标是否在激活区域，对在预警激活区域内的目标，计算预警指标，并将指标代入预警系统，确定预警等级。

进一步，所述基于道路前方行人和骑行者的防碰撞预警系统总体结构包括环境感知、信息解读和目标状态判断三个模块，环境感知包括目标检测与跟踪、消失点检测和自车车速采集；目标检测与跟踪、消失点检测由前视摄像头、视频采集卡获取相关的信息，并通过视频采集卡将图像信息传递给pc机，车速由gps模块采集，信息解读和目标状态判断模块都在pc机中实现，最后由软件界面显示预警结果。

进一步，所述yolo-r网络的搭建过程为：在yolov2网络结构的基础上，聚类选取anchorboxes，去掉passthrough层，增加残差网络构成yolo-r网络。

进一步，所述s2中模型训练过程分为前向传播和反向传播两部分，具体为：将训练样本进行前向传播计算，最后输出候选框的相对位置、包含目标的置信度以及类别概率信息；利用反向传播算法和小批量梯度下降法，不断更新网络各层权重，减小代价函数的值；不断重复上述过程，当所有样本训练完毕，即完成一次迭代。

进一步，所述s4中算法包括离线过程和在线过程两部分，离线过程具体为：建立原始图像与ipm图像像素坐标的回归模型；在线过程具体为：得到目标矩形框底边中点的像素坐标；再由道路消失点检测算法计算出摄像头俯仰角，根据俯仰角变化值δθ，修正目标像素坐标；然后通过回归模型求出原始图像像素坐标对应的ipm图像像素坐标；最后根据ipm图像像素坐标与世界坐标的线性关系，估算出目标的横向和纵向距离。

进一步，所述纵向距离x＝(hipm-v′)·σ2+xmin，其中hipm表示图像的高度，v′表示ipm图像像素坐标，σ2表示垂直方向上单位像素所表示的实际物理距离值，xmin为ipm图像所对应的实际前方最小距离。

进一步，所述横向距离y＝(u′-wipm/2)·σ1，其中wipm表示图像的宽度，u′表示ipm图像像素坐标，σ1表示水平方向上单位像素所表示的实际物理距离值。

进一步，利用横纵向距离判断目标是否在激活区域的公式为：dfmin为车辆与目标最近距离，dfmax为车辆与目标最远纵向距离。

进一步，确定预警等级采用的是模糊预警算法：确定预警等级、预警指标集合、预警权重集，再确定预警指标中各指标的权重集对预警等级的隶属度，从而确定模糊评价矩阵，确定预警等级作为目标当前的状态。

本发明的有益效果为：

1、本发明使用yolov2改进的网络yolo-r对行人和骑行者进行检测，不但可以自动提取表征目标的更高层次特征，而且通过层级之间的特征融合，提高了行人和骑行者检测的性能。

2、本发明基于道路消失点估计的动态逆透视变换和数据回归建模的单目测距算法，降低了摄像头俯仰角变化对测距精度的影响，提高了测距的精度。

3、本发明使用模糊综合评价方法进行防碰撞预警，利用多个预警指标对预警等级的隶属度，得到模糊评价矩阵，然后综合评价确定最终结果，确定危险等级，提醒驾驶者减少事故的发生，保证行人和骑行者的安全。

附图说明

图1为本发明一种基于道路前方行人和骑行者的防碰撞预警方法的总体结构图；

图2为本发明基于yolov2网络改进的yolo-r网络的结构图；

图3为本发明目标检测及跟踪算法图；

图4为本发明基于逆透视变换和数据回归建模的单目测距算法流程图；

图5为本发明原始图像与ipm图像像素纵坐标的回归模型；

图6为本发明原始图像像素纵坐标v与δu的回归模型；

图7为本发明激活区域示意图。

具体实施方式

下面结合附图及具体实施方式对本发明进行具体说明。

本发明的总体结构图如图1所示，包括环境感知、信息解读和目标状态判断三个方面，先通过摄像头获取车辆外部环境信息，包括道路消失点位置、前方目标位置以及跟踪目标位置，同时利用gps模块获取自车车速，然后通过目标检测跟踪结果、消失点位置信息以及摄像头标定结果计算出目标的横纵向距离，再根据自车车速，设定预警激活区域，并利用横纵向距离判断目标是否在预警激活区域内，最后针对在预警激活区域内的目标，计算预警指标，并将这些指标带入模糊预警算法，确定预警等级。

s1，搭建一种基于道路前方行人和骑行者的防碰撞预警系统，总体结构包括环境感知、信息解读和目标状态判断三大模块，环境感知包括目标检测与跟踪、消失点检测和自车车速采集，目标检测与跟踪、消失点检测由前视摄像头获取相关的信息，并通过视频采集卡将图像信息传递给pc机，完成图像采集，摄像头由12v的电源供电，车速由gps模块采集，信息解读和目标状态判断模块都在pc机中实现，最后由软件界面显示预警结果，软件架构是在visualstudio2015开发平台下结合cuda8.0架构、深度学习加速库cudnn以及opencv2.4.10库实现的。

s2，离线训练使用yolov2改进的网络yolo-r进行训练，整个模型的训练过程分为前向传播和反向传播两部分；

使用k-means聚类的方法对样本集中标注的目标矩形框进行围堵聚类，确定anchorboxes的初始化规格和数量，由于anchor参数涉及种类太多，不适合训练检测行人和骑行者的模型，因此本发明在自制的行人和骑行者样本库中重新聚类，获得anchor数；并在yolov2网络结构的基础上，去掉passthrough层，增加残网络(resnet,residualnetwork)构成yolo-r网络；如图2所示。

模型训练过程如下：

(1)将训练样本打乱顺序，存放在一个容器中，并且使用了多种数据扩充方法，包括旋转图像、调节色调、饱和度等。样本被分成很多小批，每次将一批样本送入网络进行训练，当gpu内存不够时，可以减少一批样本的数量。

(2)这些样本以及标签信息被送入网络，进行前向传播计算，最后输出候选框的相对位置、包含目标的置信度以及类别概率信息。输入网络的图片被归一化为n×n像素，然后划分成a×a个单元格，每个单元格放置b个anchorboxes，样本中的每个目标都按其中心点位置分配到对应的单元格中，并根据anchorbox与groundtruth的iou，选择iou最大的anchorbox负责该目标的预测。样本经过yolo-r网络后，输出每个候选框的预测值：(tx,ty,tw,th,t0,p)。

(3)利用反向传播算法和小批量梯度下降法，不断更新网络各层权重，减小代价函数的值。

(4)不断重复上述过程，当所有样本训练完毕，即完成一次迭代。每经过10次迭代就调整训练样本的尺寸，以便训练出的网络可以更好的预测不同尺寸的图片。当迭代次数达到最大值或训练误差长时间不再减少时，停止训练。

s3，如图3所示，目标检测与跟踪：将一帧图像输入到训练好的yolo-r网络中，检测出行人和骑行者并进行分类，采用kalman滤波实现多目标跟踪；具体过程如下：

(1)将图像及标签信息输入到训练好的网络模型中，图像被划分为a×a个单元格，每个单元格预测b个候选框，一共预测a×a×b个候选框；然后经过网络前向算法，预测出每个候选框的相对位置：tx、ty、tw、th，置信度t0以及所属类别的后验概率p。

(2)对预测的tx、ty、tw、th以及t0做映射变换，得到与anchorbox更接近的窗口作为检测框。

(3)通过设定置信度的阈值t(本实施例t＝c)，去除可能性较小的检测框，具体做法是：将σ(t0)与max(p)相乘，得到检测框属于某类别的置信度；如果结果大于阈值t，保留该检测框，否则去除。

(4)对每个类别分别进行非极大值抑制处理，去除冗余窗口，具体步骤如下：对每个类别的检测框按置信度大小排列；找出置信度最高的检测框，然后依次与其它框计算iou(intersectionoverunion)，当iou大于阀值d时删除此框，否则保留此框；从未处理的检测框中选出置信度最高的，重复上述步骤，直到所有窗口处理完毕；输出留下的检测框的位置、类别以及置信度。

(5)利用匹配算法对检测算法输出的结果做进一步融合处理，完成行人和骑行者的分类；利用kalman滤波对多目标进行跟踪。

s4，通过逆透视变换和数据回归建模的单目测距算法计算出横纵向距离，整个算法包括离线过程和在线过程两部分，如图4所示；

离线过程：先获取一幅车载图像，然后经过摄像头标定和逆透视变换，得到ipm(imageperspectivemapping)图像，并建立原始图像与ipm图像像素坐标的回归模型，如图5。

在线过程：实时读入视频图像，通过检测和跟踪算法得到目标矩形框底边中点的像素坐标；再由道路消失点检测算法计算出摄像头俯仰角，根据俯仰角变化值δθ，修正目标像素坐标；然后通过回归模型求出原始图像像素坐标对应的ipm图像像素坐标；进一步根据ipm图像像素坐标与世界坐标的线性关系，估算出目标的横向和纵向距离。

由观察数据所描绘的映射曲线，拟合出v与v′的关系，再由式(1)求出纵向距离x。

x＝(hipm-v′)·σ2+xmin(1)

其中，hipm表示图像的高度，v′表示ipm图像像素坐标，σ2表示垂直方向上单位像素所表示的实际物理距离值，xmin为ipm图像所对应的实际前方最小距离；

从图6原始图像像素纵坐标v与δu的回归模型可以看出原始图像像素纵坐标ν与δu存在明显的线性关系，其中δu为ipm图像中水平方向上单位像素表示的原始图像上的像素值；而逆透视变换中roi区域是以摄像头主点所在的直线为对称轴，左右对称，即ipm图像中心线处的横坐标像素值对应于原始图像的μ0(摄像头内参数)。根据这个条件以及拟合出的直线方程可以求出原始图像像素坐标(μ,ν)与ipm图像像素横坐标u′的关系，再利用式(2)求出目标的横向距离y。

y＝(u′-wipm/2)·σ1(2)

其中，wipm表示图像的宽度，u′表示ipm图像像素坐标，σ1表示水平方向上单位像素所表示的实际物理距离值；

s5，根据自车车速，设定预警激活区域，利用横纵向距离判断目标是否在激活区域，对在预警激活区域内的目标，计算预警指标，并将这些指标带入预警系统，确定预警等级；

预警激活区域设定，本发明将预警激活区域的形状设定为梯形，如图7所示。在图7的激活区域中，计算车辆与目标最近距离dfmin及最远纵向距离dfmax。

激活区域的横向边界与车速、目标的速度都相关；假设自车做匀速运动，计算出自车行驶dfmin和dfmax所需时间为t(dfmin)和t(dfmax)。

车辆的速度u可通过安装在车上的gps模块获取，求出激活区域的边界；确定激活区域后，通过下式判断目标是否在激活区域内。

其中，x与y表示目标与自车的横向和纵向距离；

如果目标在激活区域内，则预警系统使用模糊算法进行预警，具体过程如下：

(1)确定预警等级、预警指标集、预警权重集；预警等级划分为三个等级，分别是安全、注意、危险，预警指标集为e＝{目标的位置(e1)，横向距离(e2)，自车车速(e3)，纵向距离/ttc(e4)}，采用模糊层次分析法(fahp)确定权重集；fahp法确定权重集的具体操作包括：构造模糊互补判断矩阵s和求权重向量w；

①模糊互补判断矩阵s可以通过下式获得：

其中，s(i)、s(j)分别表示指标i、j的相对重要性，i，j∈(1,…,m)，m表示预警指标数。

②获取权重向量w过程如下：

先求出矩阵s每行的和：

其中，ri是矩阵s第i行的和。

得到向量r1＝(r1，…，rk，…，rm)

然后对向量r1做行变换，得到模糊一致矩阵r2：

模糊一致矩阵r2中每个元素的表达式为：

对r2中的每行除主对角线元素外的其他元素求和：

模糊一致矩阵r2中除主对角线外其他元素的和为：

其中，li表示指标i对指标i-1的重要程度，对li归一化操作，可以求出各预警等级的权重；权值wi可表示为式(9)所示，最终权重结果w如式(10)所示。

w＝(1/8,5/24,3/8,7/24)(10)

(2)根据模糊法得到各指标的评语集，目标的位置评语集为{靠近，保持，远离}，横向距离的评语集为{短，中，长}，自车车速的评语集为{低速，中速，高速}，纵向距离/ttc的评语集为{短/小，中，长/大}。

(3)建立预警指标集及其评语集后，就需要确定预警指标中各指标的评语集对预警等级的隶属度，从而确定模糊评价矩阵。隶属度函数采用离散的量化形式，根据专家经验法得到表1所示的隶属度表，通过查表，获得模糊评价矩阵r。

表1隶属度表

(4)选择m(·,+)算子对权值向量和模糊评价矩阵进行合成，得到目标状态对预警等级的隶属度矢量根据最大隶属度原则，选择s1中最大值所对应的预警等级作为目标当前的状态。

以上所述具体实施方式用来解释说明本发明，但本发明并非仅限于此，任何本领域技术人员，在不脱离本发明精神和范围内的改动和修改，均应纳入本发明的保护范围内，本发明的权利保护范围应以权利要求所限定的范围为准。