基于Haar-Like特征提取算法与灰度值差异分析的辅助驾驶方法与流程

本发明涉及一种基于haar-like特征提取算法与灰度值差异分析的辅助驾驶方法，属于机器学习和图像目标检测技术领域。

背景技术：

自动驾驶作为未来汽车发展的重要方向之一，得到了社会各个方面越来越多的关注。随着人工智能进入国家战略层面的议程，国内多家厂商将自动驾驶技术作为战略布局和产品化研究的重要部分。此外，世界各国的交通主管部门大多倡导“防御驾驶”的概念。防御驾驶是一种预测危机并协助远离危机的机制，要求驾驶人除了遵守交通规则，也要防范其它因自身疏忽或违规而发生的交通事故。因此，各大汽车厂商与驾驶人大多主动在车辆上安装各种先进的辅助驾驶系统，以降低肇事概率。

目前市面上现有的汽车辅助驾驶系统，大多有着安装复杂、价格昂贵、覆盖面窄等缺点。而人工判别前方道路情况往往比较耗费驾驶员心力，在某些情况下也容易由于驾驶员的舒服造成不可逆转的交通事故，因此迫切需要有一套自动化复杂驾驶方案，能够快速识别前方道路关键元素，并通过语音播放等方式及时警示驾驶员。

技术实现要素：

针对现有产品的不足，本发明提供了一种基于haar-like特征提取算法与灰度值差异分析的辅助驾驶系统，能够从道路视频流中检测识别出三大道路关键元素，实现对道路情况的实时感知与处理。

本发明所要解决的技术问题是通过以下技术方案实现的：

一种基于haar-like特征提取算法与灰度值差异分析的辅助驾驶方法，包括如下步骤：

(1)、待检样本的收集与标定训练，包括对车尾目标和红绿灯目标的标定训练；

(2)、前方道路视频流的自动采集与预处理；

(3)、视频流中车尾与红绿灯的识别；

(4)、视频流中车道线的检测，依赖于灰度值差异分析办法和轮廓处理，检测视频流中出现的车道线轮廓并且进行标记；

(5)、对检测到的车尾目标进行测距，根据单目测距原理，估算大致车距；

(6)、识别结果反馈给驾驶员并对结果备份存储，识别结果包括前面车尾的距离以及前方道路红绿灯的状况。

上述步骤(1)中所述样本的标定训练的步骤如下：

(1-1)、分别收集若干包含车尾和红绿灯目标的相关正样本和不包含目标元素的无关负样本，所述负样本可通过随机负样本生成器工具opencv_clipper_picture自动生成；

(1-2)、使用haar-like特征做检测，利用积分图算法对haar-like特征求值进行加速，然后用adaboost算法训练车尾、红绿灯图片的正样本和负样本，分别生成区别车尾与非车尾、红绿灯与非红绿灯的强分类器；

(1-3)、将强分类器级联生成xml格式的级联分类器检测文件。

上述步骤(2)中视频流的预处理包含视频预处理和图像预处理；

所述视频预处理包含：

1)语音提示初始化；

2)车尾红绿灯检测效果与速度选项初始化(缩放比例)；

3)级联分类器的载入；

4)输出视频宽度、高度、通道数、帧率等参数的初始；

5)车道线形状参数的设定；

所述图像预处理包含：

a)roi(感兴趣区域)的选取；

b)灰度图转换；

c)通过线性插值比例缩放检测区域；

d)对检测区域进行高斯降噪与直方图均衡；

e)建立对应大小的二值图副本。

上述步骤(3)中频流中车尾与红绿灯的识别，通过载入好xml文件的级联分类器可以检测设定roi中的所有车尾目标与红绿灯目标，选取距离图像中心欧氏距离最近的目标，作为当前目标，在原图中用不同颜色的矩形框标记，并将结果反馈给处理系统，所述结果包含目标是否首次出现、目标在原图中的坐标位置的信息。

上述步骤(4)的具体步骤如下：

(4-1)、通过灰度值差异分析，筛选初步车道线轮廓，包括：

1a)预处理部分，包括车道线形状参数的设置，车道线roi的选取，灰度图、二值图副本的建立；

1b)对roi内的像素点进行动态扫描，扫描到某像素点时，计算像素点左右定长宽度(宽度动态变化，遵循“近大远小”的原则)的灰度值差异，若在阈值允许范围内，则认定该像素点为车道线轮廓成员，在对应的二值图副本中标记为白色；(4-2)、通过轮廓量化与比对，二次复筛车道线轮廓，包括：

2a)通过opencv中的findcontours函数量化二值图中的白色轮廓，将轮廓以“点集”的形式保存在向量容器中，并且同时保留其层次关系；

2b)根据初始化的车道线形状参数，二次筛选出车道线轮廓，关键要素包含：车道线单轮廓最小尺寸、弯曲检验、车道线轮廓的方向角角度与位置检验、小面积轮廓补偿比率限制；

2c)将二次筛选出的车道线轮廓绘制于原图中。

上述步骤(5)的具体步骤如下：

(5-1)、摄像机参数的调整，包括安装高度，焦距，图像像素大小；

(5-2)、车尾目标检测，根据车尾矩形框的位置，通过局部积分计算车辆轮胎与地面交界线的纵坐标；

(5-3)、根据单目测距原理，估算车尾目标近似距离，估算公式为：

distance为估算车距(cm)、camara_height为摄像头安装高度(cm)、focal为摄像头焦距(mm)、pixel_size为像素大小(mm)、car_tire_y为车辆的纵坐标。

上述步骤(6)中识别结果通过语音ui结合的方式反馈给驾驶员，其中在移动设备界面中播放绘制有车尾矩形框、红绿灯矩形框、车道线轮廓的输出视频，另外通过语音播报的方式警示驾驶员前方车辆与红绿灯。譬如：

1)当前新出现车尾，且与驾驶员车辆的距离小于20m时，警示驾驶员：“请小心前方车辆”；

2)但前方新出现红绿灯时，警示驾驶员：“请小心前方红绿灯”。

本发明所达到的有益效果：

1)高度自动化：安装后移动设备后，用户仅需启动移动设备，点击开始运行即可，系统将自动完成视频流抓取、检测处理、结果反馈与备份，无需人工干预；

2)检测算法普适性好：检测算法对于不良天气等状况具有一定的适应性，能够保持较为理想的准确度；

3)系统易于实现，由于通过对图像的检测完成前方道路情况检验，不需要安装各种传感器，集成度高，成本较为理想；

4)系统可扩展性高，移动设备可根据需要自行选用，系统可与未来5g车联网方向关联，将车辆前方道路状况上传云端，统一管理，具有较好的扩充发展空间。

附图说明

图1为本发明的流程图；

图2为本发明中级联分类器训练流程与原理图；

图3为本发明中车道线检测流程图；

图4位本发明中车尾与红绿灯检测及语音播报流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

一种基于haar-like特征提取算法与灰度值差异分析的辅助驾驶方法，包括如下步骤：

(1)、待检样本的收集与标定训练，包括对车尾目标和红绿灯目标的标定训练；

(2)、前方道路视频流的自动采集与预处理；

(3)、视频流中车尾与红绿灯的识别；

(4)、视频流中车道线的检测，依赖于灰度值差异分析办法和轮廓处理，检测视频流中出现的车道线轮廓并且进行标记；

(5)、对检测到的车尾目标进行测距，根据单目测距原理，估算大致车距；

(6)、识别结果反馈给驾驶员并对结果备份存储，识别结果包括前面车尾的距离以及前方道路红绿灯的状况。

上述步骤(1)中所述样本的标定训练的步骤如下：

(1-1)、分别收集若干包含车尾和红绿灯目标的相关正样本和不包含目标元素的无关负样本，所述负样本可通过随机负样本生成器工具opencv_clipper_picture自动生成；

为了分别训练出效果优良的车尾分类器和红绿灯分类器，需要通过各种方式采集车尾目标的红绿灯目标的正样本各5000张，无关负样本8000张。正样本的规格需要满足，包含清晰可见的待检测目标；负样本应至少满足不包含待检测目标，为了提升级联分类器的准确率，负样本最好应是与正样本环境相似但不包含正样本中的待检测目标。

(1-2)、使用haar-like特征做检测，利用积分图算法对haar-like特征求值进行加速，然后用adaboost算法训练车尾、红绿灯图片的正样本和负样本，分别生成区别车尾与非车尾、红绿灯与非红绿灯的强分类器；

使用积分图算法对haar-like特征求值进行加速，通过adaboost算法训练出车尾与红绿灯目标的强分类器。具体来看：使用opencv的集成注释工具生成-info正样本描述文件，通过命令opencv_annotation访问该工具；然后分别生成-vec格式的正样本集和-dat格式的负样本集。

(1-3)、将强分类器级联生成xml格式的级联分类器检测文件。

接下来通过命令opencv_traincascade命令，基于预先准备好的正、负数据集，对弱分类器的增强级联进行实际训练，得到xml格式的级联分类器文件即可。(注：上述训练方式主要依赖于opencv级联分类器的训练工具，具体操作方式参阅opencv2版本以上文档)

上述步骤(2)中视频流的预处理包含视频预处理和图像预处理；

所述视频预处理包含：

1)语音提示初始化；

2)车尾红绿灯检测效果与速度选项初始化(缩放比例)；

3)级联分类器的载入；

4)输出视频宽度、高度、通道数、帧率等参数的初始；

5)车道线形状参数的设定；

所述图像预处理包含：

a)roi(感兴趣区域)的选取；

b)灰度图转换；

c)通过线性插值比例缩放检测区域；

d)对检测区域进行高斯降噪与直方图均衡；

e)建立对应大小的二值图副本。

道路视频流的获取与预处理部分包括通过移动设备捕获道路视频流、逐帧拆分和预处理。具体来看：

首先，选用搭载汽车级arm9处理器的imx6核心板作为系统的主设备，通过预留的摄像机接口连接cf5642v2摄像头模块进行道路视频的拍摄。设置视频流帧大小为640*480，fps为25；

然后，在视频读取开始之前，加载级联分类器，对相关性能参数进行设置，如是否隔帧检测、部分roi的选取及缩放比例的设置、车道线形状参数设置、输出视频参数设置和语音提示初始化；

接着，通过opencv视频捕获器videocapture捕获道路视频流，逐帧读取(或隔帧读取)视频流；

最后，在进入检测阶段之前，对帧图像进行一定的预处理操作，包括获取灰度图和二值图副本、高斯降噪、直方图均衡、透视变换、roi选取以及通过线性插值缩放roi。

(注：①隔帧检测是为了提高输出视频帧率而设置的选项；②roi缩放比例可以调节检测性能与检测速度；③高斯降噪、直方图均衡以及透视变化的目的是为了提高图像质量，方便检测。)

上述步骤(3)中频流中车尾与红绿灯的识别，通过载入好xml文件的级联分类器可以检测设定roi中的所有车尾目标与红绿灯目标，选取距离图像中心欧氏距离最近的目标，作为当前目标，在原图中用不同颜色的矩形框标记，并将结果反馈给处理系统，所述结果包含目标是否首次出现、目标在原图中的坐标位置的信息。

具体的，现已得到预处理过的roi区域图像，通过opencv级联分类器cascadeclassifier类的成员函数detectmultiscale函数进行目标检测，检测到目标以矩阵框的形式存储于向量容器中。当存在多个目标时，选取距离图像中心点欧氏距离最小的目标作为结果目标。

(注：detecmultiscale函数的关键参数包括有scalefactor即每次图像尺寸减少的比例、minneighbors即每个目标至少出现的次数以及minsize即目标的最小尺寸)

上述步骤(4)的具体步骤如下：

(4-1)、通过灰度值差异分析，筛选初步车道线轮廓，包括：

a)初筛：以最小车道线宽度为基准动态扫描图像roi区域中的像素点，对每个像素点，比对其左右一定宽度内像素点灰度值的差异(具体宽度根据像素点在图像中的纵坐标的变化而变化，总体遵循“近大远小”原则)，当某像素点满足灰度值差异阈值范围的要求时，将黑色二值图副本中对应像素点标记为白色。扫描完成后，即能得到一张绘制有白色车道线轮廓的黑色二值图。

b)复筛：首先通过opencv中查找轮廓函数findcontours将二值图中的车道线轮廓保存为“点集的形式”。然后进行二次筛选，根据初始化设定的车道线形状参数，包括轮廓最小面积、车道线曲率参数、车道线的宽度上下阈值、车道线的长度上下阈值等，筛选出符合要求的车道线轮廓并保存。

(4-2)、通过轮廓量化与比对，二次复筛车道线轮廓，包括：

2a)通过opencv中的findcontours函数量化二值图中的白色轮廓，将轮廓以“点集”的形式保存在向量容器中，并且同时保留其层次关系；

2b)根据初始化的车道线形状参数，二次筛选出车道线轮廓，关键要素包含：车道线单轮廓最小尺寸、弯曲检验、车道线轮廓的方向角角度与位置检验、小面积轮廓补偿比率限制；

2c)将二次筛选出的车道线轮廓绘制于原图中。

上述步骤(5)的具体步骤如下：

(5-1)、摄像机参数的调整，包括安装高度，焦距，图像像素大小；

(5-2)、车尾目标检测，根据车尾矩形框的位置，通过局部积分计算车辆轮胎与地面交界线的纵坐标；

(5-3)、根据单目测距原理，即相似三角形法，根据摄像头高度、焦距、像素大小以及目标在图像中的位置即可估算近似车距，估算公式为：

distance为估算车距(cm)、camara_height为摄像头安装高度(cm)、focal为摄像头焦距(mm)、pixel_size为像素大小(mm)、car_tire_y为车辆的纵坐标。

上述步骤(6)中识别结果通过语音ui结合的方式反馈给驾驶员，其中在移动设备界面中播放绘制有车尾矩形框、红绿灯矩形框、车道线轮廓的输出视频，另外通过语音播报的方式警示驾驶员前方车辆与红绿灯。

1)语音反馈

采用qt库中的qsound接口实现，反馈语音主要包含车尾目标的反馈和红绿灯目标的反馈，通过科大讯飞文字语音转换工具获得.wav格式的语音文件，通过qsound::play即可异步播放语音提示。

2)结果备份存储

对于输入视频和输出视频，分别备份。输入视频直接保存于设备内存，输出视频通过opencv的视频输出器videowriter保存于设备内存。设备内存应至少能够保留7天视频。

本发明通过基于haar-like特征提取算法训练车尾、红绿灯级联分类器进行识别，通过灰度值差异分析方法对车道线进行检测，提出并实现了基于机器学习和图像目标检测的辅助驾驶解决方案以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。