驾驶辅助系统及控制方法与流程

本发明涉及汽车电子技术领域，主要涉及了一种驾驶辅助系统及控制方法。

背景技术：

随着汽车电子技术的发展，常见的辅助驾驶系统(Driver Assistant Systems，DAS)，包括车载导航系统、自动巡航控制系统、车道偏离警示系统、防撞警示系统、倒车雷达系统、停车辅助系统等。

现有技术中，有一种基于S32V234芯片和LS2085A芯片的高级驾驶辅助系统(Advanced Driver Assistant Systems，ADAS)。其中，S32V234芯片尚未实现量产，不明确芯片是否稳定；而LS2085A不对中国大陆开放，且功耗太大。此外，该ADAS支持多路数据的接入导致功能受限，例如，不支持现在车厂普遍采用的模拟高清定义(Analog High Definition，AHD)或低压差分信号(Low-Voltage Differential Signaling，LVDS)的视频传输方式，不支持360度环视视频数据、双目视觉、疲劳驾驶视频数据的同时接入等等。

技术实现要素：

本发明实施例提供了一种驾驶辅助系统及控制方法，用于解决现有的ADAS中使用的芯片受限且功耗大，且ADAS无法支持多路数据的接入导致功能受限的技术问题。

第一方面，本发明实施例提供了一种驾驶辅助系统，所述系统包括：摄像头接口，与所述摄像头接口连接的转接电路模块、与所述转接电路模块连接的第一处理模块、与所述第一处理模块连接的第二处理模块以及与所述第二处理模块连接的外部系统；

所述摄像头接口，用于接收摄像头采集的视频图像；

所述转接电路模块，用于获取所述摄像头接口发送的视频图像，将所述视频图像中的视频数据转化为并口数据；

所述第一处理模块，用于接收所述转接电路模块发送的并口数据，处理所述并口数据得到运算结果；

所述第二处理模块，用于将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。

结合本发明实施例的第一方面，在本发明实施例的第一方面的第一种可能实现方式中，所述第一处理模块是基于第一现场可编程门阵列FPGA和第一嵌入式RISC处理器ARM的第一片上系统SOC；

所述第一FPGA，用于基于高级驾驶辅助系统ADAS算法处理所述并口数据得到所述运算结果；

所述第一ARM，用于控制所述第一处理模块。

结合本发明实施例的第一方面，在本发明实施例的第一方面的第二种可能实现方式中，所述运算结果包括告警信息，所述外部系统至少包括导航定位模块、探测雷达模块和车联网终端；所述系统还包括：

通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统，用于实现所述第二处理模块和所述外部模块之间的数据通信；

与所述第一处理模块和所述第二处理模块连接的快速外部设备互联PCIe接口，与所述第一处理模块和交换芯片连接的第一精简吉比特介质独立接口RGMII，与所述第二处理模块和所述交换芯片连接的第二RGMII；

所述PCIe接口、所述第一RGMII、所述第二RGMII和所述交换芯片均用于实现所述第一处理模块、所述第二处理模块以及所述外部系统之间的数据通信。

结合本发明实施例的第一方面，在本发明实施例的第一方面的第三种可能实现方式中，所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC；

所述第二FPGA，用于将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果；

所述第二ARM，用于控制所述第二处理模块。

结合本发明实施例的第一方面、第一方面的第一种可能实现方式、第一方面的第二种可能实现方式或第一方面的第三种可能实现方式，所述第二处理模块还用于接收所述第一处理模块发送的并口数据，对所述并口数据进行压缩得到压缩数据；

所述系统还包括与所述第二处理模块连接的第二存储器，用于存储所述压缩数据；

所述第二处理模块还用于当接收到解码视频文件指令后，将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。

第二方面，本发明实施例提供了一种驾驶辅助系统的控制方法，包括：

摄像头接口接收摄像头采集的视频图像；

转接电路模块获取所述摄像头接口发送的视频图像，将所述视频图像中的视频数据转化为并口数据；

第一处理模块接收所述转接电路模块发送的并口数据，处理所述并口数据得到运算结果；

第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。

结合本发明实施例的第二方面，在本发明实施例的第二方面的第一种可能实现方式中，所述第一处理模块是基于第一FPGA和第一ARM的第一片上系统SOC，所述第一处理模块处理所述并口数据得到运算结果，包括：

所述第一FPGA基于算法处理所述并口数据得到所述运算结果；

所述第一ARM控制所述第一处理模块。

结合本发明实施例的第二方面，在本发明实施例的第二方面的第二种可能实现方式中，所述运算结果包括告警信息，所述外部系统至少包括导航定位模块、探测雷达模块和车联网终端；

所述方法还包括：

通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统实现所述第二处理模块和所述外部模块之间的数据通信；

通过PCIe接口、第一RGMII、第二RGMII和交换芯片实现第一处理模块和所述第二处理模块之间的数据通信。

结合本发明实施例的第二方面，在本发明实施例的第二方面的第三种可能实现方式中，所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC，所述第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果，包括：

所述第二FPGA将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果；

所述第二ARM控制所述第二处理模块。

结合本发明实施例的第二方面、第二方面的第一种可能实现方式、第二方面的第二种可能实现方式或第二方面的第三种可能实现方式，在本发明实施例的第二方面的第四种可能实现方式中，所述方法还包括：

所述第二处理模块接收所述第一处理模块发送的并口数据，对所述并口数据进行压缩得到压缩数据；

第二存储器存储所述压缩数据；

所述第二处理模块当接收到解码视频文件指令后，将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。

第三方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本发明实施例第二方面任一方法中所描述的部分或全部步骤。

第四方面，本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本发明实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本发明实施例，将具有如下有益效果：

上述的驾驶辅助系统及控制方法，摄像头接口将摄像头采集的视频图像发送给转接电路模块，通过转接电路模块对视频图像进行转换得到适合传输的并口数据，实现多路数据的接入。第一处理模块将并口数据进行数据分析得到运算结果，并将运算结果发送给第二处理模块，第二处理模块根据运算结果和外部系统发送的数据进行数据融合得到针对摄像头采集的视频图像的处理结果，实现多路以太网数据的接入融合处理，丰富了驾驶辅助系统的功能。车联网终端可根据处理结果执行相应动作，提高车联网终端的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本发明实施例提供的一种驾驶辅助系统的结构示意图；

图2为本发明实施例提供的一种驾驶辅助系统的控制方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

高级驾驶辅助系统(Advanced Driver Assistant Systems，ADAS)是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。与此对应的ADAS算法包括360度环视、盲点检测、行人检测、车道偏离、可行驶区域检测等等。本实施例对于ADAS算法的具体算法不作限定。

为解决现有的ADAS中使用的芯片受限且功耗大，且ADAS无法支持多路数据的接入导致功能受限的技术问题，特提出了一种驾驶辅助系统。本发明实施例对于具体的驾驶辅助系统的类型不作限定，优选的驾驶辅助系统为ADAS。

具体的，如图1所示，一种驾驶辅助系统，包括：摄像头接口101、与摄像头接口101连接的转接电路模块102、与转接电路模块102连接的第一处理模块104、与第一处理模块104连接的第二处理模块106以及与第二处理模块106连接的外部系统108。

在本实施例中，摄像头接口101用于接收摄像头采集的视频图像。本实施例对于具体的摄像头接口101的类型不作限定。

在本实施例中，转接电路模块102用于获取所述摄像头接口101发送的视频图像，将所述视频图像中的视频数据转化为并口数据。

本实施例对于视频数据和并口数据的类型不作限定。视频图像的视频数据采用的视频传输方式可以是现在车厂普遍采用的模拟高清定义(Analog High Definition，AHD)或低压差分信号(Low-Voltage Differential Signaling，LVDS)。其中，并口数据可以是BT656，定义了一个并行的硬件接口用来传送一路4:2:2的ycbcr的数字视频流。

可选的，通过并口连接器103连接转接电路模块102和第一处理模块104，用于将转接电路模块102的并口数据发送给第一处理模块104，并为第一处理模块104提供电源。其中，电源电压为5V。

可选的，所述系统还包括与转接电路模块102和第二处理模块106连接的电源检测控制接口1022，用于短路、开路的检测，并控制电压。

在本实施例中，第一处理模块104用于接收所述转接电路模块102发送的并口数据，处理所述并口数据得到运算结果。

其中，第一处理模块102和第二处理模块106基于车规级的现场可编程门阵列(Field-Programmable Gate Array，FPGA)和嵌入式RISC处理器(Advanced RISC Machines，ARM)的片上系统(System On Chip，SOC)。通过内部的AXI(Advanced extensible Interface)总线共享内存，其中，鉴于FPGA是硬件电路，采用FPGA实现的算法更加高效，可实现具体算法的硬件加速；ARM负责各应用程序的调用，且ARM耗电少功能强，可增强系统功能，并节省系统功耗。

由于采用的基于FPGA+ARM的SOC芯片均为已经量产的车规级芯片，故不涉及在前装车厂应用的限制，且可消除多芯片的芯片至芯片带宽瓶颈问题；由于不需要芯片间的高速接口也无需多组电源的使用，故降低了浏览器对象模型(Bowser Object Model，BOM)的成本；由于可在较低时钟速率及较高集成度下，通过并行处理的方式从而降低了整体系统功耗。

可选的，所述第一处理模块102是基于第一FPGA和第一ARM的第一SOC；所述第一FPGA，用于基于ADAS算法处理所述并口数据得到所述运算结果；所述第一ARM，用于控制所述第一处理模块。

其中，运算结果是至少包括告警信息，还可包括路况信息、导航信息等等，针对ADAS算法中360度环视、盲点检测、行人检测、车道偏离、可行驶区域检测等涉及的不同算法，可得到对应的运算结果。

8路以上的摄像头采用的均是模拟高清摄像头，该摄像头的模拟信号经过转接电路模块102上的解码芯片将模拟信号(视频图像)转换为BT656接口的数字信号(并口数据)，将并口数据发送给第一处理模块104。由于FPGA灵活的可编程特性，第一处理模块104可通过第一FPGA基于ADAS算法作并行处理，使其可灵活的接入8路以上摄像头的并行数据，这就使得360度全景环视、双目视觉、疲劳驾驶视频等数据可以一同接入处理。

可选的，所述系统还包括与第一处理模块104连接的第一存储器1042，用于存储所述第一处理模块104的所述运算结果。第一存储器1042由4个256M*16的双倍速率同步动态随机存储器(Double Data Rate，DDR)颗粒构成了2组分别为1GB的32bit数据总线位宽的内存，其中一组内存挂在ARM上，另一组挂在FPGA上。其中，DDR是一种计算机内存规格，本实施例不限定计算机的内存规格，也就是说第一存储器1042可使用其它计算机内存规格，例如DDR2、DDR3或DDR4。

可选的，第一处理模块104还通过小封装可热插拔(Small Form-factor Pluggables，SFP)接口1044，用于第一处理模块104进行光通信，其中SPF接口1044为2路千兆光接口。

在本实施例中，第二处理模块106用于将接收到的所述第一处理模块104发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果。

通过快速外部设备互联(Peripheral Component Interconnect Express，PCIe)接口105，用于实现所述第一处理模块104和所述第二处理模块106进行数据通信。即将第一处理模块104获取的运算结果发送给第二处理模块106。PCIe接口105用于定义局部总线的标准，采用了目前业内流行的点对点串行连接，与外部设备互联PCI(Peripheral Component Interconnect，PCI)总线具有良好的继承性，可以保持软件的继承和可靠性，每个传输通道独享带宽，支持双向传输模式和数据分通道模式，不需要向整个总线请求带宽，而且可以把数据传输率提高到一个很高的频率，达到PCI所不能提供的高带宽。

可选的，所述第二处理模块106是基于第二FPGA和第二ARM的第二片上系统SOC；所述第二FPGA，用于将所述运算结果和所述外部系统108发送的数据进行数据融合得到处理结果；所述第二ARM，用于控制所述第二处理模块106。

如上所述的采用第二FPGA实现数据融合的具体算法的硬件加速，ARM用于实现第二处理模块106中应用程序的调用，为实现导航定位模块、探测雷达模块和车联网终端等之间的数据的融合提供整套低成本的硬件解决方案，提高系统功能，并节省系统功耗，。

其中，所述外部系统108至少包括导航定位模块1082、探测雷达模块1084和车联网终端1086。此外，还可包括超声波系统等，这些外部系统的数据均是通过以太网接口1074接入到系统中。例如，1路10M/100M/1000Mbps自适应的以太网接口RJ45，用于接收来自于导航定位模块1082的导航定位信息等等。

导航定位模块1082支持北斗、全球定位系统(Global Positioning System，GPS)，用于实现同步与定位等功能。

雷达是用无线电的方法发现目标并测定他们的空间位置。雷达发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率、方位、高度等信息。而无人驾驶主要是依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶。

探测雷达模块1084包括毫米波雷达11842和激光雷达11844，所谓的毫米波雷达，就是指工作频段在毫米波频段的雷达，测距原理跟一般雷达一样，也就是把无线电波(雷达波)发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。激光雷达主要是通过发射激光束来探测周遭环境，车载激光雷达普遍采用多个激光发射器和接收器，建立三维点云图，从而达到实时环境感知的目的。激光雷达结合探测范围更广，探测精度更高，通过和毫米波雷达结合解决了激光雷达在雨雪雾等极端天气下性能较差、采集的数据量过大和十分昂贵的问题。

可选的，探测雷达模块1084中的毫米波雷达通过控制器局域网总线(Controller Area Network，CAN)1072与第二处理模块106连接，激光雷达通过以太网接口1074与第二处理模块106连接，所述CAN总线用于将所述探测雷达模块1084中的毫米波雷达11842的雷达数据发送给所述第二处理模块106，并将所述处理结果发送给车联网终端1086的处理器10862。

可选的，所述系统还包括与第二处理模块106连接的无线通信模块1074，用于建立所述第二处理模块106与所述车联网终端1086的网络连接。无线通信模块1074包括WIFI和蓝牙，通过WIFI实现WIFI热点功能，支持5路设备的同时接入，使用4G/5G模块上网；通过蓝牙实现蓝牙设备驱动，基于4G/5G模块实现全网通和网络电话E-CALL功能。本实施例不限定WIFI和蓝牙具体采用的规格，优选的WIFI支持IEEE 802.11b/g/n，蓝牙4.0(Class 1.5和BLE)。

可选的，所述系统还包括与所述无线通信模块1076还用于连接所述车联网终端1086的服务器10864，定时获取所述服务器10864上存储的系统版本或应用版本中的最高版本号，当所述最高版本号高于对应的所述系统版本或所述应用版本的版本号或接收到所述服务器10864发送的更新指令时，向所述车联网终端1086发送更新请求，接收用户针对所述更新请求发送的确认更新指令，通过所述服务器10864下载所述确认更新指令对应的系统或应用。

举例来说，系统上涉及网络电话应用，且该网络电话应用的版本为V1.2.1，假设无线通信模块1076每隔一周获取服务器10864上存储的网络电话应用的最高版本，此时服务器10864上存储的网络电话应用的最高版本为V2.1.0，高于系统上的网络电话应用，则向车联网终端1086发送更新请求，当车联网终端1086的用户确认更新请求后向无线通信模块1076发送确认更新指令，从服务器10864中下载版本号为V2.1.0的网络电话应用。

为了不影响车联网终端1086的正常使用，将在服务器10864下载最高版本的系统或应用放置于第二处理模块106的文件系统中，当重启系统后自动替换原有的系统或应用。

可选的，所述系统还包括交换芯片110，所述交换芯片110通过第一精简吉比特介质独立接口(Reduced Gigabit Media Independent Interface，RGMII)1102连接所述第一处理模块104，通过第二精简吉比特介质独立接口1104连接所述第二处理模块106，用于实现所述第一处理模块104、所述第二处理模块106以及外部系统之间的数据通信。

可选的，所述系统还包括与第二处理模块106连接的第二存储器1068，用于存储所述第二处理模块106的所述运算结果。存储器1072由4个256M*16的双倍速率同步动态随机存储器(Double Data Rate，DDR)颗粒构成了2组分别为2GB的64bit数据总线位宽的内存，其中一组内存挂在ARM上，另一组挂在FPGA上。同第一存储器1042一样，本实施例不限定计算机的内存规格，也就是说第二存储器1068可使用其它计算机内存规格，例如DDR2、DDR3或DDR4。

可选的，所述第二处理模块106还用于接收所述第一处理模块104发送的并口数据，对所述并口数据进行压缩得到压缩数据；所述系统还包括与所述第二处理模块106连接的第二存储器1068，用于存储所述压缩数据；所述第二处理模块106还用于当接收到解码视频文件指令后，将所述第二存储器1068中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。

本发明实施例对于压缩格式不作限定，优选的为H.264压缩格式。也就是说，将并口数据进行H.264压缩，然后又通过H.264进行解码生成原始的YUV视频文件。

综上，第一处理模块104获取视频图像，并将视频图像转化为并口数据，从而支持8路以上的视频图像同时接入。通过并口数据获取视频图像对应的运算结果，第二处理器模块106结合上述运算结果和外部系统(导航定位模块、探测雷达模块和车联网终端)发生的数据进行数据融合得到处理结果，从而根据处理结果进行辅助驾驶，提高了车联网终端的可靠性。且上述每个功能模块相对独立，这就使得单功能模块的故障很难导致整套驾驶辅助系统的工作不正常，提高了驾驶辅助系统的可靠性。

与图1的实施例一致，请参考图2，图2为本发明实施例所提供的一种驾驶辅助系统的控制方法的流程示意图。如图2所示，上述方法应用于如图1所示的驾驶辅助系统，其中：

201：摄像头接口接收摄像头采集的视频图像；

202：转接电路模块获取摄像头接口发送的视频图像，将视频图像中的视频数据转化为并口数据；

203：第一处理模块接收转接电路模块发送的并口数据，处理并口数据得到运算结果；

204：第二处理模块将接收到的第一处理模块发送的运算结果以及外部系统发送的数据进行数据融合得到处理结果。

在其中一个实施例中，所述第一处理模块是基于第一FPGA和第一ARM的第一片上系统SOC，所述第一处理模块处理所述并口数据得到运算结果，包括：

所述第一FPGA基于算法处理所述并口数据得到所述运算结果；

所述第一ARM控制所述第一处理模块。

在其中一个实施例中，所述运算结果包括告警信息，所述外部系统至少包括导航定位模块、探测雷达模块和车联网终端，所述方法还包括：

通过以太网接口、控制器局域网接口或无线通信模块与所述第二处理器模块连接的外部系统实现所述第二处理模块和所述外部模块之间的数据通信；

通过PCIe接口、第一RGMII、第二RGMII和交换芯片实现第一处理模块和所述第二处理模块之间的数据通信。

在其中一个实施例中，所述第二处理模块是基于第二FPGA和第二ARM的第二片上系统SOC，所述第二处理模块将接收到的所述第一处理模块发送的所述运算结果以及所述外部系统发送的数据进行数据融合得到处理结果，包括：

所述第二FPGA将所述运算结果和所述外部系统发送的数据进行数据融合得到处理结果；

所述第二ARM控制所述第二处理模块。

在其中一个实施例中，所述方法还包括：

所述第二处理模块接收所述第一处理模块发送的并口数据，对所述并口数据进行压缩得到压缩数据；

第二存储器存储所述压缩数据；

所述第二处理模块当接收到解码视频文件指令后，将所述第二存储器中的存储的所述解码视频文件指令对应的指定文件进行解码得到视频文件。

本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如方法实施例中记载的任一方法中所描述的部分或全部步骤。

本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如方法实施例中记载的任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本发明实施例，将具有如下有益效果：

上述的驾驶辅助系统及控制方法，摄像头接口将摄像头采集的视频图像发送给转接电路模块，通过转接电路模块对视频图像进行转换得到适合传输的并口数据，实现多路数据的接入。第一处理模块将并口数据进行数据分析得到运算结果，并将运算结果发送给第二处理模块，第二处理模块根据运算结果和外部系统发送的数据进行数据融合得到针对摄像头采集的视频图像的处理结果，实现多路以太网数据的接入融合处理，丰富了驾驶辅助系统的功能。车联网终端可根据处理结果执行相应动作，提高车联网终端的可靠性。

在上述实施例中，可以全部或部分的通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或者数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或半导体介质(例如，固态硬盘Solid State Disk(SSD))等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。