基于FPGA的双目视觉辅助驾驶系统的制作方法

本发明涉及疲劳驾驶检测技术领域，具体地涉及一种基于fpga的双目视觉辅助驾驶系统。

背景技术：

随着汽车驾驶的普及，越来越多的人选择汽车驾驶。高级驾驶辅助系统是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性，减少交通事故的发生。目前市面上的高级驾驶辅助系统结构复杂，使用不便，性能较差。并且大都是基于车身安装的单目摄像头，单目摄像头存在测距精度不高的固有物理缺陷，行人的识别能力以及异形物体的识别能力较差。目前双目摄像头的结构复杂，安装不便，成本高昂。

公告号为cn209290277u的实用新型专利一种辅助驾驶系统包括车体；设于车体后端的双目摄像头；与双目摄像头连接的图像处理模块；以及与图像处理模块连接的显示模块。该实用新型通过双目摄像头获取到车体后方的影像。其并没有公开双目摄像头的结构，并且该辅助驾驶系统仅仅用于将影像和影像中障碍物距离车体的实际距离数值同时于显示模块显示，无法进行其他方面的驾驶辅助。

技术实现要素：

为了解决上述技术问题，本发明提出了一种基于fpga的双目视觉辅助驾驶系统，基于双目摄像头，可以大大提高测距的精度，双目摄像头结构简单，可以方便的调节摄像头的角度。

本发明所采用的技术方案是：

一种基于fpga的双目视觉辅助驾驶系统，包括壳体，所述壳体内设置有fpga主芯片，所述fpga主芯片内置有深度学习神经网络，所述fpga主芯片连接双目摄像头，所述双目摄像头设置于车辆挡风玻璃的中部，所述fpga主芯片还连接无线通信模块、gps模块和语音模块，所述双目摄像头包括一fpga芯片，所述fpga芯片的两端连接两个摄像头；

所述双目摄像头，用于感知周围环境，生成实时的深度视差图，用于周围环境的三位立体重建；

深度学习神经网络，内置有训练好的多任务级联的卷积神经网络，通过该网络对深度视差图进行实时的环境特征提取，提取特征包括边缘轮廓信息、视差图深度信息以及目标颜色信息，通过对深度视差图和原始图像进行检测识别目标。

优选的技术方案中，所述双目摄像头还包括与fpga芯片连接的arm处理芯片，所述arm处理芯片设置有gpu模块。

优选的技术方案中，所述壳体外部设置有rj45网口、urat串口模块、tf卡采集模块、usb调试模块，所述rj45网口、urat串口模块、tf卡采集模块、usb调试模块连接fpga主芯片。

优选的技术方案中，所述双目摄像头包括上盖、下盖，及设置于上盖和下盖间的fpga芯片，所述下盖两端设置有摄像头安装腔，所述下盖的外端摄像头安装腔的周边设置有凹槽，所述fpga芯片通过调节装置固定于下盖内，所述调节装置包括设置于下盖内两端的安装支架和固定支架，所述安装支架设置转轴安装孔，所述安装支架的上端设置有齿槽安装孔，所述齿槽安装孔用于将齿槽安装于转轴安装孔内，所述齿槽分布于旋转路径上，所述固定支架的一侧上端设置有限位杆，另一侧设置有转轴，所述转轴的外端设置有倒钩，所述转轴安装于转轴安装孔，所述倒钩与齿槽配合。

与现有技术相比，本发明的有益效果是：

1、本发明的辅助驾驶系统基于双目摄像头，保障周围环境感知的正确性，可靠性，可以大大提高测距的精度，可以有效的实现对行人、障碍物的检测，更加精准。

2、双目摄像头的结构简单，可以方便的调节摄像头的角度。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为基于fpga的双目视觉辅助驾驶系统的原理框图；

图2为本发明系统的接口示意图；

图3为双目摄像头的整体结构示意图；

图4为双目摄像头的爆炸图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例

如图1所示，本发明的基于fpga的双目视觉辅助驾驶系统，包括壳体，壳体内设置有fpga主芯片，fpga主芯片内置有深度学习神经网络，fpga主芯片连接双目摄像头，所述双目摄像头设置于车辆挡风玻璃的中部，fpga主芯片还连接无线通信模块、gps模块和语音模块，双目摄像头包括一fpga芯片，fpga芯片的两端连接两个摄像头。

双目摄像头，用于感知周围环境，生成实时的深度视差图，用于周围环境的三位立体重建。

gps/北斗定位模块是通过gps设备，对当前所在地点进行定位，获取得到设备的经纬度信息，以及在地图中显示位置信息。

无线通信模块为4g通信模块，将辅助驾驶的信息，通过4g网络传输到网络平台。

语音模块为喇叭，输出的是深度学习识别到目标之后的控制指令。

深度学习神经网络，通过对深度视差图和原始图像进行检测识别目标。

双目视觉辅助驾驶系统的接口示意图如图2所示。系统包含：与fpga主芯片连接的rj45网口、urat串口模块、tf卡采集模块、usb调试模块。

双目摄像头为1块采用两个摄像头以及一个fpga或者带有gpu加速的arm处理芯片，已实现深度信息的实时输出。

双目摄像头的结构示意图如图3、4所示，摄像头总成的长宽高分别为185mm，43mm，58mm；其中，两个摄像头的距离为120mm。安装位置一般为车辆挡风玻璃的正中间位置，离地高度在1.5m~2.4m之间。

双目摄像头包括上盖5、下盖1，及设置于上盖5和下盖1间的fpga芯片3，fpga芯片3两端安装有两个摄像头11，下盖1两端设置有摄像头安装腔12，下盖1的外端摄像头安装腔12的周边设置有凹槽13，fpga芯片3通过调节装置固定于下盖1内，调节装置包括设置于下盖1内两端的安装支架10和固定支架20，安装支架10设置转轴安装孔14，安装支架10的上端设置有齿槽安装孔（图中未示出），齿槽安装孔用于将齿槽15安装于转轴安装孔14内，齿槽15可以通过螺钉安装固定，齿槽15分布于旋转路径上，固定支架20的一侧上端设置有限位杆21，限位杆21用于对fpga芯片3进行限位固定，另一侧设置有转轴22，转轴22的外端设置有倒钩，转轴22安装于转轴安装孔14，倒钩与齿槽配合。该调节结构可以方便的调节摄像头的角度，摄像头安装腔的周边设置有凹槽，使得摄像头调节的角度更大。

深度学习神经网络选取训练好的多任务级联的卷积神经网络，通过该网络对深度视差图进行实时的环境特征提取，提取特征主要包括边缘轮廓信息、视差图深度信息以及目标颜色信息，识别行人以及障碍物。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。