一种夜间智能辅助驾驶系统及方法与流程

本发明涉及机动车智能辅助驾驶技术领域，尤其涉及一种夜间智能辅助驾驶系统。

背景技术：

随着城市化快速发展，人们生活水平的提升，汽车越来越成为寻常百姓的重要的代步工具，越来越多的人选择自驾出行。

在人们出行的过程中，夜间行驶也成为不可避免的情形，但是现在的很多新手驾驶员的经验和应对事件的能力也较为薄弱，特别是对于夜间，视野较窄，又交通状况不确定的情况下，在夜间行驶不可避免会遇到很多会车和夜路行驶交替工况，驾驶员视力和判断力都会下降，两车交会时，灯光盲区，弯道中，驾驶员经常会遭遇视野盲区，驾驶员对障碍物，车辆和行人的判断力都会受到影响，而这些情况都可能造成驾驶员的判断失误导致事故发生。

现有的汽车夜间驾驶辅助难以让驾驶员对于夜间情况拥有一个比较舒服和直接的判断。

技术实现要素：

本发明所要解决的技术问题是针对背景技术中所涉及到的问题，提供一种夜间智能辅助驾驶系统及方法。

本发明为解决上述技术问题采用以下技术方案：

一种夜间智能辅助驾驶系统，包含前视摄像头、毫米波雷达、速度传感器、ar-hud模块和电子控制单元；

所述前视摄像头设置在车辆挡风玻璃的正上方，用于拍摄车辆正前方的道路图像，并将其传递给所述电子控制单元；

所述毫米波雷达设置在车辆进气格栅中央，用于感应车辆所在车道以及相邻车道中各个障碍物的信息，并将其传递给所述电子控制单元；所述障碍物qn的信息包含：障碍物的雷达坐标、障碍物和车辆的相对速度、障碍物的横向宽度和障碍物的垂向高度；

所述速度传感器用于感应车辆的速度，并将其传递给所述电子控制单元；

所述电子控制单元分别和前视摄像头、毫米波雷达、速度传感器、ar-hud模块电气相连，用于根据前视摄像头、毫米波雷达、速度传感器的感应数据绘制障碍物投影图，并控制所述ar-hud模块将障碍物投影图投影至车辆挡风玻璃上。

本发明还提供了一种该夜间智能辅助驾驶系统的辅助方法，包含以下步骤：

步骤1)，毫米波雷达接收到车辆所在车道以及相邻车道中各个障碍物qn的信息并将其传递给电子控制单元；

步骤2)，前视摄像头拍摄车辆正前方的道路图像，并将其传递给所述电子控制单元；

步骤3)，速度传感器测得当前车辆的速度，并将其传递给所述电子控制单元；

步骤4)，对于每个障碍物，电子控制单元根据障碍物和本车的相对速度以及车辆的速度计算得到障碍物的速度，并将障碍物的速度分别和与预设的行人速度阈值范围、预设的车辆速度阈值范围进行匹配，将障碍物的横向宽度分别和预设的行人宽度阈值范围、车辆宽度阈值范围进行匹配，将障碍物的垂向高度分别和预设的行人高度阈值范围、车辆高度阈值范围进行匹配；

步骤4.1)，如果障碍物的速度在预设的行人速度阈值范围内、横向宽度在预设的行人宽度阈值范围内、垂向高度在预设的行人高度阈值范围内，则将该障碍物标记为行人障碍；

步骤4.2)，如果障碍物的速度在预设的车辆速度阈值范围内、横向宽度在预设的车辆宽度阈值范围内、垂向高度在预设的车辆高度阈值范围内，则将该障碍物标记为车辆障碍；

步骤4.3)，如果障碍物不能被标记为行人障碍、且不能被标记为车辆障碍，则将其标记为未知障碍；

步骤5)，电子控制单元根据毫米波雷达和前视摄像头的位置关系将各个障碍物的雷达坐标、横向宽度和垂向高度分别转换为前视摄像头拍摄的道路图像上的坐标、宽度和高度，并根据障碍物在道路图像上的坐标、宽度和高度获得障碍物在道路图像上的矩形图，所述矩形图的中心为障碍物在道路图像上的坐标、宽度和高度分别是障碍物在道路图像上的宽度和高度；

步骤6)，电子控制单元对各个障碍物在道路图像上的矩形图进行图像校核：

步骤6.1)，电子控制单元将各个障碍物的矩形图转换为灰度图；

步骤6.2)，对于标记为行人障碍的障碍物，电子控制单元将其灰度图和预设的行人图像模板库中的各个行人图像模板进行比对，如果行人图像模板库中不存在和障碍物灰度图匹配成功的行人图像模板，将该障碍物由行人障碍更改为未知障碍；

步骤6.3)，对于标记为车辆障碍的障碍物，电子控制单元将其灰度图和预设的车辆图像模板库中的各个车辆图像模板进行比对，如果车辆图像模板库中不存在和障碍物灰度图匹配成功的车辆图像模板，将该障碍物由车辆障碍更改为未知障碍；

步骤7)，电子控制单元根据毫米波雷达和前视摄像头的位置关系、以及各个障碍物的雷达坐标计算出各个障碍物在垂直于车辆行驶方向上和车辆之间的距离d；

如果障碍物的距离d在预设的第一距离阈值范围内，认为该障碍物和车辆在同一车道；

如果障碍物的距离d在预设的第二阈值范围内，认为该障碍物在车辆的相邻车道，所述预设的第二阈值范围的最小值等于预设的第一距离阈值范围的最大值；

步骤8)，电子控制单元对各个障碍物进行分级：

步骤8.1)，对于各个被标记为未知障碍的障碍物：如果障碍物和车辆在同一车道，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度大于零，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度等于零，将其记录为注意级；否则，将其记录为普通级；

步骤8.2)，对于各个被标记为车辆障碍的障碍物：如果障碍物和车辆的相对速度小于零且障碍物和车辆在同一车道，将其记录为警示级；如果障碍物和车辆的相对速度小于零且障碍物在车辆的相邻车道，将其记录为注意级；否则，将其记录为普通级；

步骤8.3)，对于各个被标记为行人障碍的障碍物：如果障碍物和车辆在同一车道，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度不为零时，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度为零时,将其记录为注意级；否则，将其记录为普通级；

步骤9)，在道路图像上对各个障碍物的矩形图的轮廓进行突出显示，形成障碍物投影图：将记录为普通级的障碍物的矩形图轮廓显示为白色，将记录为注意级的障碍物的矩形图轮廓显示为蓝色，将记录为警示级的障碍物的矩形图轮廓显示为黄色；

步骤10)，电子控制单元控制所述ar-hud模块将障碍物投影图投影至车辆挡风玻璃上。

作为本发明一种夜间智能辅助驾驶系统的辅助方法进一步的优化方案，所述预设的行人速度阈值范围vpeo为[0-25]km/h；所述预设的车辆速度阈值范围vveh为[0-180]km/h；所述预设的行人宽度阈值范围wp为[0.1-1]m；所述预设的行人高度阈值范围hp为[0.8-2.5]m；所述预设的车辆宽度阈值范围wv为[1.6-3]m；所述预设的车辆高度阈值范围hv为[1.4-4]m。

作为本发明一种夜间智能辅助驾驶系统的辅助方法进一步的优化方案，所述预设的第一距离阈值范围为[0-2]m，所述预设的第二距离阈值范围为[2-6]m。

作为本发明一种夜间智能辅助驾驶系统的辅助方法进一步的优化方案，所述步骤6.2)中电子控制单元将障碍物的灰度图和预设的行人图像模板库中的各个行人图像模板进行比对的具体步骤如下：

令障碍物灰度图的像素为m×n；

步骤a.1)，将行人图像模板的像素调整至m×n；

步骤a.2)，对于每一个需要进行对比的行人图像模板：

步骤a.2.1)，根据以下公式计算障碍物灰度图中每个像素点和行人图像模板中对应像素点的绝对误差g(s)：

式中，s(s,t)为障碍物灰度图中像素点的坐标，tn(s,t)为行人图像模板中对应像素点的坐标，

步骤a.3)，将障碍物灰度图中每个像素点的g(s)和预设的误差阈值th进行比较，得到障碍物灰度图中g(s)≥th的像素点个数r；

步骤a.4)，将和预设的匹配灵敏度y进行比较，如果认为该行人图像模板tn和障碍物灰度图s匹配成功，否则认为匹配失败。

作为本发明一种夜间智能辅助驾驶系统的辅助方法进一步的优化方案，所述步骤6.3)中电子控制单元将障碍物的灰度图和预设的车辆图像模板库中的各个车辆图像模板进行比对的具体步骤如下：

令障碍物灰度图的像素为m×n；

步骤b.1)，将车辆图像模板的像素调整至m×n；

步骤b.2)，对于每一个需要进行对比的车辆图像模板：

步骤b.2.1)，根据以下公式计算障碍物灰度图中每个像素点和车辆图像模板中对应像素点的绝对误差g(s)：

式中，s(s,t)为障碍物灰度图中像素点的坐标，cn(s,t)为车辆图像模板中对应像素点的坐标，

步骤b.3)，将障碍物灰度图中每个像素点的g(s)和预设的误差阈值th进行比较，得到障碍物灰度图中g(s)≥th的像素点个数r；

步骤b.4)，将和预设的匹配灵敏度y进行比较，如果认为该车辆图像模板和障碍物灰度图匹配成功，否则认为匹配失败。

作为本发明一种夜间智能辅助驾驶系统的辅助方法进一步的优化方案，所述预设的误差阈值th为10，所述预设的匹配灵敏度y为0.5。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明通过在夜间根据自身毫米波雷达和摄像头获取障碍物距离速度等信息，并在采集信息后对其进行处理与分类，对不同障碍物在抬头显示上标注不同的轮廓颜色，，特别是夜间会车时对对面车辆和其它障碍物进行辅助显示，保证了夜间行驶过程中特别是遇到光线不利于驾驶员判断时候的车辆行驶安全性。

附图说明

图1是本发明的模块示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

如图1所示，本发明公开了一种夜间智能辅助驾驶系统，包含前视摄像头、毫米波雷达、速度传感器、ar-hud模块和电子控制单元；

所述前视摄像头设置在车辆挡风玻璃的正上方，用于拍摄车辆正前方的道路图像，并将其传递给所述电子控制单元；

所述毫米波雷达设置在车辆进气格栅中央，用于感应车辆所在车道以及相邻车道中各个障碍物的信息，并将其传递给所述电子控制单元；所述障碍物qn的信息包含：障碍物的雷达坐标、障碍物和车辆的相对速度、障碍物的横向宽度和障碍物的垂向高度；

所述速度传感器用于感应车辆的速度，并将其传递给所述电子控制单元；

所述电子控制单元分别和前视摄像头、毫米波雷达、速度传感器、ar-hud模块电气相连，用于根据前视摄像头、毫米波雷达、速度传感器的感应数据绘制障碍物投影图，并控制所述ar-hud模块将障碍物投影图投影至车辆挡风玻璃上。

本发明还提供了一种该夜间智能辅助驾驶系统的辅助方法，包含以下步骤：

步骤1)，毫米波雷达接收到车辆所在车道以及相邻车道中各个障碍物qn的信息并将其传递给电子控制单元；

步骤2)，前视摄像头拍摄车辆正前方的道路图像，并将其传递给所述电子控制单元；

步骤3)，速度传感器测得当前车辆的速度，并将其传递给所述电子控制单元；

步骤4)，对于每个障碍物，电子控制单元根据障碍物和本车的相对速度以及车辆的速度计算得到障碍物的速度，并将障碍物的速度分别和与预设的行人速度阈值范围、预设的车辆速度阈值范围进行匹配，将障碍物的横向宽度分别和预设的行人宽度阈值范围、车辆宽度阈值范围进行匹配，将障碍物的垂向高度分别和预设的行人高度阈值范围、车辆高度阈值范围进行匹配；

步骤4.1)，如果障碍物的速度在预设的行人速度阈值范围内、横向宽度在预设的行人宽度阈值范围内、垂向高度在预设的行人高度阈值范围内，则将该障碍物标记为行人障碍；

步骤4.2)，如果障碍物的速度在预设的车辆速度阈值范围内、横向宽度在预设的车辆宽度阈值范围内、垂向高度在预设的车辆高度阈值范围内，则将该障碍物标记为车辆障碍；

步骤4.3)，如果障碍物不能被标记为行人障碍、且不能被标记为车辆障碍，则将其标记为未知障碍；

步骤5)，电子控制单元根据毫米波雷达和前视摄像头的位置关系将各个障碍物的雷达坐标、横向宽度和垂向高度分别转换为前视摄像头拍摄的道路图像上的坐标、宽度和高度，并根据障碍物在道路图像上的坐标、宽度和高度获得障碍物在道路图像上的矩形图，所述矩形图的中心为障碍物在道路图像上的坐标、宽度和高度分别是障碍物在道路图像上的宽度和高度；

步骤6)，电子控制单元对各个障碍物在道路图像上的矩形图进行图像校核：

步骤6.1)，电子控制单元将各个障碍物的矩形图转换为灰度图；

步骤6.2)，对于标记为行人障碍的障碍物，电子控制单元将其灰度图和预设的行人图像模板库中的各个行人图像模板进行比对，如果行人图像模板库中不存在和障碍物灰度图匹配成功的行人图像模板，将该障碍物由行人障碍更改为未知障碍；

步骤6.3)，对于标记为车辆障碍的障碍物，电子控制单元将其灰度图和预设的车辆图像模板库中的各个车辆图像模板进行比对，如果车辆图像模板库中不存在和障碍物灰度图匹配成功的车辆图像模板，将该障碍物由车辆障碍更改为未知障碍；

步骤7)，电子控制单元根据毫米波雷达和前视摄像头的位置关系、以及各个障碍物的雷达坐标计算出各个障碍物在垂直于车辆行驶方向上和车辆之间的距离d；

如果障碍物的距离d在预设的第一距离阈值范围内，认为该障碍物和车辆在同一车道；

如果障碍物的距离d在预设的第二阈值范围内，认为该障碍物在车辆的相邻车道，所述预设的第二阈值范围的最小值等于预设的第一距离阈值范围的最大值；

步骤8)，电子控制单元对各个障碍物进行分级：

步骤8.1)，对于各个被标记为未知障碍的障碍物：如果障碍物和车辆在同一车道，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度大于零，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度等于零，将其记录为注意级；否则，将其记录为普通级；

步骤8.2)，对于各个被标记为车辆障碍的障碍物：如果障碍物和车辆的相对速度小于零且障碍物和车辆在同一车道，将其记录为警示级；如果障碍物和车辆的相对速度小于零且障碍物在车辆的相邻车道，将其记录为注意级；否则，将其记录为普通级；

步骤8.3)，对于各个被标记为行人障碍的障碍物：如果障碍物和车辆在同一车道，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度不为零时，将其记录为警示级；如果障碍物在车辆的相邻车道且障碍物的速度为零时,将其记录为注意级；否则，将其记录为普通级；

步骤9)，在道路图像上对各个障碍物的矩形图的轮廓进行突出显示，形成障碍物投影图：将记录为普通级的障碍物的矩形图轮廓显示为白色，将记录为注意级的障碍物的矩形图轮廓显示为蓝色，将记录为警示级的障碍物的矩形图轮廓显示为黄色；

步骤10)，电子控制单元控制所述ar-hud模块将障碍物投影图投影至车辆挡风玻璃上。

所述预设的行人速度阈值范围vpeo为[0-25]km/h；所述预设的车辆速度阈值范围vveh为[0-180]km/h；所述预设的行人宽度阈值范围wp为[0.1-1]m；所述预设的行人高度阈值范围hp为[0.8-2.5]m；所述预设的车辆宽度阈值范围wv为[1.6-3]m；所述预设的车辆高度阈值范围hv为[1.4-4]m。

所述预设的第一距离阈值范围为[0-2]m，所述预设的第二距离阈值范围为[2-6]m。

所述步骤6.2)中电子控制单元将障碍物的灰度图和预设的行人图像模板库中的各个行人图像模板进行比对的具体步骤如下：

令障碍物灰度图的像素为m×n；

步骤a.1)，将行人图像模板的像素调整至m×n；

步骤a.2)，对于每一个需要进行对比的行人图像模板：

步骤a.2.1)，根据以下公式计算障碍物灰度图中每个像素点和行人图像模板中对应像素点的绝对误差g(s)：

式中，s(s,t)为障碍物灰度图中像素点的坐标，tn(s,t)为行人图像模板中对应像素点的坐标，

步骤a.3)，将障碍物灰度图中每个像素点的g(s)和预设的误差阈值th进行比较，得到障碍物灰度图中g(s)≥th的像素点个数r；

步骤a.4)，将和预设的匹配灵敏度y进行比较，如果认为该行人图像模板tn和障碍物灰度图s匹配成功，否则认为匹配失败。

所述步骤6.3)中电子控制单元将障碍物的灰度图和预设的车辆图像模板库中的各个车辆图像模板进行比对的具体步骤如下：

令障碍物灰度图的像素为m×n；

步骤b.1)，将车辆图像模板的像素调整至m×n；

步骤b.2)，对于每一个需要进行对比的车辆图像模板：

步骤b.2.1)，根据以下公式计算障碍物灰度图中每个像素点和车辆图像模板中对应像素点的绝对误差g(s)：

式中，s(s,t)为障碍物灰度图中像素点的坐标，cn(s,t)为车辆图像模板中对应像素点的坐标，

步骤b.3)，将障碍物灰度图中每个像素点的g(s)和预设的误差阈值th进行比较，得到障碍物灰度图中g(s)≥th的像素点个数r；

步骤b.4)，将和预设的匹配灵敏度y进行比较，如果认为该车辆图像模板和障碍物灰度图匹配成功，否则认为匹配失败。

所述预设的误差阈值th为10，所述预设的匹配灵敏度y为0.5。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包含技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。