自动驾驶方法、系统、装置及可读存储介质与流程

本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶方法、系统、装置及可读存储介质。

背景技术：

随着信息和控制技术的快速发展，自动驾驶技术逐渐被汽车厂家和用户所接受。自动驾驶不仅能够将汽车行驶的危险性降到最低，而且能够减轻用户繁重的驾驶任务，因此，自动驾驶也是未来汽车发展的一大趋势。

但目前的汽车，大多采用一些辅助驾驶技术，诸如安全行车车距警报系统，简单路段的路径规划等技术，虽然能起到减轻用户繁重的驾驶动作的作用，但是大多时候，还是需要用户对汽车进行把控，无法做到真正意义上的自动驾驶，智能性不高。

技术实现要素：

本发明的主要目的在于提出一种自动驾驶方法、系统、装置及可读存储介质，旨在解决现有的自动驾驶方式不够智能的技术问题。

为实现上述目的，本发明提供了一种自动驾驶方法，所述自动驾驶方法包括：

实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息；

将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息；

根据所述决策信息对应的驾驶动作，通过线控系统控制所述车辆行驶。

优选地，所述信息采集装置包括摄像头、雷达传感器以及组合导航系统；所述实时获取车辆的信息采集装置采集的数据，并基于所述数据确定所述车辆的运动状态和所处的环境信息的步骤包括：

实时获取摄像头捕捉的画面，并对所述画面进行处理，得到处理后的画面；

实时获取雷达传感器采集的点云，根据所述点云的分布情况，得到所述车辆周围物体的动态分布图；

根据所述处理后的画面和所述动态分布图确定所述车辆所处的环境信息；

实时获取组合导航系统的定位信息、空间状态信息和加速度；

根据所述定位信息、所述空间状态信息和所述加速度，确定所述车辆的运动状态。

优选地，所述运动状态包括所述车辆的当前车速和行驶方向，所述环境信息包括周围物体的分布位置、所述车辆前方车辆的车速和所述车辆所处道路的道路限速，所述将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息的步骤包括：

将周围物体的分布位置、所述车辆前方车辆的车速、所述道路限速、所述当前车速和所述行驶方向输入预设的深度学习模型中，以获得对应的决策信息。

优选地，所述组合导航系统包括gps和惯性导航系统，所述实时获取组合导航系统的定位信息、空间状态信息和加速度的步骤包括：

实时获取gps的定位信息，并通过惯性导航系统中的惯性测量单元imu测得所述车辆的空间状态信息和加速度。

优选地，所述雷达传感器包括激光雷达和毫米波雷达，所述实时获取雷达传感器采集的点云，根据所述点云的分布情况，得到周围物体的动态分布图的步骤之前，所述方法包括：

判断当前天气信息，根据所述天气信息切换对应的雷达传感器采集数据；

其中，所述天气为晴天时，切换激光雷达采集点云；所述天气为非晴天时，切换毫米波雷达采集点云。

优选地，所述实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息的步骤之前，所述方法还包括：

获取多个不同的车辆的运动状态和环境信息，构建用于训练模型的训练集；

获取用户对各个运动状态和环境信息标注的决策信息；

将所述训练集中的运动状态和环境信息作为模型的输入，将对应标注的决策信息作为模型的输出，通过pcie接口快速对接fpga加速板进行深度学习，训练得到预设的深度学习模型。

优选地，所述方法还包括：

通过摄像头和生物电传感器获取用户的面部特征、心跳数据和脑电数据；

根据所述面部特征、所述心跳数据和所述脑电数据，判断所述用户是否违规；

若违规，则发出警告，提醒用户。

此外，为实现上述目的，本发明还提供一种系统，所述系统包括摄像头、激光雷达、毫米波雷达、imu、arm数据融合板卡和fpga加速板卡，所述arm数据融合板卡包括视觉处理单元和imu处理单元，所述视觉处理单元接收摄像头的画面并进行处理；

所述imu处理单元接收imu测得的空间状态和加速度并进行处理；

所述arm数据融合板卡接收视觉处理单元和imu处理单元的第一运算结果；

所述arm数据融合板卡接收毫米波雷达数据和激光雷达数据，并将所述毫米波雷达数据和所述激光雷达数据通过融合算法进行融合处理，得到第二运算结果，并将所述第二运算结果发送给执行器处理；

所述arm数据融合板卡和所述fpga加速板卡通过pcie接口相连，所述fpga加速板卡用于激光雷达数据和视觉数据的处理，并将得到的处理结果发送给arm数据融合板卡；

所述arm数据融合板卡用以执行如权利要求1至7中任一项所述的自动驾驶方法的步骤。

此外，为实现上述目的，本发明还提供一种装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自动驾驶程序，所述程序被所述处理器执行时实现如上所述的自动驾驶方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有自动驾驶程序，所述自动驾驶程序被处理器执行时实现如上所述的自动驾驶方法的步骤。

本发明的自动驾驶方法，实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息；将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息；根据所述决策信息对应的驾驶动作，通过线控系统控制所述车辆行驶。本发明将采集到的目标数据，通过深度学习确定决策信息，并根据决策信息控制车辆进行行驶，提高了自动驾驶的智能性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明自动驾驶方法第一实施例的流程示意图；

图3为本发明自动驾驶方法第二实施例的流程示意图；

图4为本发明自动驾驶系统的结构示意图；

图5为本发明arm数据融合板卡和fpga加速板卡的组合示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的解决方案主要是：实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息；将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息；根据所述决策信息对应的驾驶动作，通过线控系统控制所述车辆行驶。以解决现有的自动驾驶方式不够智能的问题。

本发明实施例涉及的专业术语包括：

pcie：peripheralcomponentinterconnectexpress，一种高速串行计算机扩展总线标准。

fpga：field-programmablegatearray，现场可编程门阵列。

imu：inertialmeasurementunit，惯性测量单元，主要就是用来机车高精度定位的，可以到厘米级别，可以测当前车速、当前车加速度和方向角等。

组合导航：用gps、无线电导航、天文导航、卫星导航等系统中的一个或几个与惯导组合在一起形成的综合导航系统。

惯导：ins，全称inertialnavigationsystem，即惯性导航系统。

arm数据融合板卡：arm，acornriscmachine，一种微处理器；arm数据融合板卡为一种微处理器集成电路板。

can：controllerareanetwork控制器局域网络。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的自动驾驶装置的结构示意图。该自动驾驶装置可以包括：处理器1001，例如cpu，通信总线1002、业主接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。业主接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选地业主接口1003还可以包括标准的有线接口(例如用于连接有线键盘、有线鼠标等)、无线接口(例如用于连接无线键盘、无线鼠标)。网络接口1004可选的可以包括标准的有线接口(用于连接有线网络)、无线接口(如wi-fi接口、蓝牙接口、红外线接口等，用于连接无线网络)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的自动驾驶装置结构并不构成对自动驾驶装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、业主接口模块以及自动驾驶程序。其中，操作系统是管理和控制自动驾驶装置与软件资源的程序，支持网络通信模块、业主接口模块、自动驾驶程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；业主接口模块用于管理和控制业主接口1003。

在图1所示的自动驾驶装置中，所述自动驾驶装置通过处理器1001调用存储器1005中存储的自动驾驶程序，并执行以下步骤：

实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息；

将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息；

根据所述决策信息对应的驾驶动作，通过线控系统控制所述车辆行驶。

进一步地，所述信息采集装置包括摄像头、雷达传感器以及组合导航系统；所述实时获取车辆的信息采集装置采集的数据，并基于所述数据确定所述车辆的运动状态和所处的环境信息的步骤包括：

实时获取摄像头捕捉的画面，并对所述画面进行处理，得到处理后的画面；

实时获取雷达传感器采集的点云，根据所述点云的分布情况，得到所述车辆周围物体的动态分布图；

根据所述处理后的画面和所述动态分布图确定所述车辆所处的环境信息；

实时获取组合导航系统的定位信息、空间状态信息和加速度；

根据所述定位信息、所述空间状态信息和所述加速度，确定所述车辆的运动状态。

进一步地，所述运动状态包括所述车辆的当前车速和行驶方向，所述环境信息包括周围物体的分布位置、所述车辆前方车辆的车速和所述车辆所处道路的道路限速，所述将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息的步骤包括：

将周围物体的分布位置、所述车辆前方车辆的车速、所述道路限速、所述当前车速和所述行驶方向输入预设的深度学习模型中，以获得对应的决策信息。

进一步地，所述组合导航系统包括gps和惯性导航系统，所述实时获取组合导航系统的定位信息、空间状态信息和加速度的步骤包括：

实时获取gps的定位信息，并通过惯性导航系统中的惯性测量单元imu测得所述车辆的空间状态信息和加速度。

进一步地，所述雷达传感器包括激光雷达和毫米波雷达，所述实时获取雷达传感器采集的点云，根据所述点云的分布情况，得到周围物体的动态分布图的步骤之前，所述方法包括：

判断当前天气信息，根据所述天气信息切换对应的雷达传感器采集数据；

其中，所述天气为晴天时，切换激光雷达采集点云；所述天气为非晴天时，切换毫米波雷达采集点云。

进一步地，所述实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息的步骤之前，处理器1001还可以用于调用存储器1005中存储的自动驾驶程序，并执行以下步骤：

获取多个不同的车辆的运动状态和环境信息，构建用于训练模型的训练集；

获取用户对各个运动状态和环境信息标注的决策信息；

将所述训练集中的运动状态和环境信息作为模型的输入，将对应标注的决策信息作为模型的输出，通过pcie接口快速对接fpga加速板进行深度学习，训练得到预设的深度学习模型。

进一步地，处理器1001还可以用于调用存储器1005中存储的自动驾驶程序，并执行以下步骤：

通过摄像头和生物电传感器获取用户的面部特征、心跳数据和脑电数据；

根据所述面部特征、所述心跳数据和所述脑电数据，判断所述用户是否违规；

若违规，则发出警告，提醒用户。

基于上述自动驾驶装置的硬件结构，提出本发明自动驾驶方法各个实施例。

本发明提供一种自动驾驶方法。

自动驾驶方法可选应用于自动驾驶系统中。本发明自动驾驶系统可选应用于自动驾驶装置中，在车辆驾驶过程中，通过实时采集环境信息和车辆的运动状态，根据环境信息和车辆的运动状态，输出对应的决策信息，以趋于车辆选择正确的驾驶动作，实现自动驾驶。

参照图2，图2为本发明自动驾驶方法第一实施例的流程示意图。

在本实施例中，提供了自动驾驶方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中，自动驾驶方法包括：

步骤s10，实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息；

步骤s20，将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息；

步骤s30，根据所述决策信息对应的驾驶动作，通过线控系统控制所述车辆行驶。

在本实施例中，自动驾驶装置安装在车辆上，实时获取车辆的信息采集装置采集的目标数据，并根据目标数据，确定车辆的运动状态和车辆所处的环境信息，根据当前的环境信息和运动状态，在深度学习模型中获得对应的决策信息，控制车辆行驶。

以下将对各个步骤进行详细说明：

步骤s10，实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息。

若自动驾驶装置接收到开启自动驾驶功能的指令，则启动自动驾驶功能，辅助用户实现自动驾驶；

或者自动驾驶装置实时检测用户的驾驶状态，当自动驾驶装置判定用户疲劳驾驶，或者对车辆没有进行掌控时，启动自动驾驶功能，辅助用户实现自动驾驶，具体的，自动驾驶装置通过摄像头和生物电传感器，实时监测用户的行车状态，并通过深度学习模型确定用户处于失神、疲劳或者没有掌控方向盘等状态时，启动自动驾驶功能。

当启动自动驾驶功能后，车辆在行驶的过程中，自动驾驶装置下达采集指令，命令信息采集装置实时采集当前环境信息和该车辆的运动数据，并获取信息采集装置采集的数据，根据获取的数据，分析并确定当前车辆的运动状态和所处环境信息。

进一步地，信息采集装置包括摄像头、雷达传感器以及组合导航系统，步骤s10包括：

步骤a，实时获取摄像头捕捉的画面，并对所述画面进行处理，得到处理后的画面；

当启动自动驾驶功能后，自动驾驶装置实时获取摄像头捕捉的画面，对获取的画面进行二值化处理，得到处理后的画面，通过处理后的画面可确定车辆前方的路况，具体的，确定车辆前方是直行路线或者是有障碍物阻拦，确定阻碍物是人，还是车，亦或者是围栏等固定障碍物等，可以理解的，当有限速牌等交通标识时，可通过文字识别技术识别出限速牌上的限速车速，也就是说，自动驾驶装置预存有多种图片识别方法，在实际应用中，通常是多种识别方法一起运行识别，在此不一一列举。

步骤b，实时获取雷达传感器采集的点云，根据所述点云的分布情况，得到所述车辆周围物体的动态分布图；

在启动自动驾驶功能后，自动驾驶装置同步执行实时获取雷达传感器采集的点云，对获取的点云进行统计，并根据点云的分布情况和预设算法，计算出当前车辆相对各点的距离，确定当前车辆与周围物体之间的距离，即当前车辆与障碍物之间的距离。具体的，以激光雷达为例，自动驾驶装置通过发出去的激光和反射回来的激光之间的时间长短、光的传播速度以及当前车速，计算出当前车辆与前方障碍物的距离，若前方障碍物同样是车辆，则可通过两次发出去的激光的时间间隔，计算出前方车辆与当前车辆的距离，并根据当前车辆的车速，计算前方车辆的车速。毫米波雷达基本原理是发射一束电磁波，观察回波与入射波的差异来计算距离、速度等，与激光雷达相似，在此不再赘述。

步骤c，根据所述处理后的画面和所述动态分布图确定所述车辆所处的环境信息。

自动驾驶装置根据处理后的画面和动态分布图，确定当前车辆所处的环境信息，具体的，确定当前车辆前方是直行路线还是有车辆在前方行驶，后方是否有跟车车辆等，若是有车辆在前方行驶，则确定前方车辆与当前车辆之间的距离，以及前方车辆的车速和当前道路的限速车速等。

步骤d，实时获取组合导航系统的定位信息、空间状态信息和加速度。

在启动自动驾驶功能后，自动驾驶装置同步执行实时获取组合导航系统的定位信息、空间状态信息和加速度。

具体的，组合导航系统包括gps和惯性导航系统，步骤d包括：

步骤d1：实时获取gps的定位信息，并通过惯性导航系统中的惯性测量单元imu测得所述车辆的空间状态信息和加速度。

在本实施例中，组合导航系统包括gps和惯性导航系统，惯性导航系统包括imu，在启动自动驾驶功能后，自动驾驶装置同步执行实时获取gps的定位信息，并通过惯性导航系统中的imu测得车辆的空间状态信息和加速度。

步骤e，根据所述定位信息、所述空间状态信息和所述加速度，确定所述车辆的运动状态。

自动驾驶装置根据获取的定位信息、空间状态和加速度，确定车辆当前的运动状态，其中，运动状态包括车辆的当前车速和行驶方向。

步骤s20，将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息。

在本实施例中，运动状态包括车辆的当前车速和行驶方向，环境信息包括周围物体的分布位置、车辆前方车辆的车速和车辆所处道路的道路限速。当自动驾驶装置确定了当前车辆的运动状态和所处的环境信息后，将车辆的运动状态和所处的环境信息输入深度学习模型中，以获得对应的决策信息，其中，深度学习模式是预先采集大量车辆的运动状态和环境信息等数据进行训练得来的，为确保深度学习模型的数据准确，本实施例采用的训练数据至少超过百亿个参数，且越多越好。

具体的，步骤s20包括：

步骤f，将周围物体的分布位置、所述车辆前方车辆的车速、所述道路限速、所述当前车速和所述行驶方向输入预设的深度学习模型中，以获得对应的决策信息。

当自动驾驶装置确定了车辆周围物体的分布位置、车辆前方车辆的车速、车辆所处道路的道路限速、车辆的当前车速和车辆的行驶方向之后，将车辆周围物体的分布位置、车辆前方车辆的车速、车辆所处道路的道路限速、车辆的当前车速和车辆的行驶方向输入预设的深度学习模型中，以获得对应的决策信息。

步骤s30，根据所述决策信息对应的驾驶动作，通过线控系统控制所述车辆行驶。

本实施例自动驾驶装置采用线控系统控制车辆的动作，包括线控转向、线控制动和线控油门等，自动驾驶装置根据决策信息对应的驾驶动作，通过线控系统控制车辆行驶。

需要说明的是，本实施例自动驾驶装置采用线控系统来控制车辆的制动，而不是液压或真空伺服机构来控制制动，自动驾驶装置采用线控系统能够将决策信息对应的驾驶动作更加快速的发送至各个车载系统，进而控制车辆行驶。

本实施例通过实时获取车辆的信息采集装置采集的目标数据，并基于所述目标数据确定所述车辆的运动状态和所处的环境信息；将所述环境信息和所述运动状态输入预设的深度学习模型中，以获得对应的决策信息；根据所述决策信息对应的驾驶动作，通过线控系统控制所述车辆行驶。实现了将采集到的目标数据，通过深度学习确定决策信息，并根据决策信息控制车辆进行行驶，提高了自动驾驶的智能性。

进一步地，基于第一实施例提出本发明自动驾驶方法的第二实施例。

自动驾驶方法的第二实施例与自动驾驶方法的第一实施例的区别在于，参照图3，自动驾驶方法还包括：

步骤s40，获取多个不同的车辆的运动状态和环境信息，构建用于训练模型的训练集；

步骤s50，获取用户对各个运动状态和环境信息标注的决策信息；

步骤s60，将所述训练集中的运动状态和环境信息作为模型的输入，将对应标注的决策信息作为模型的输出，通过pcie接口快速对接fpga加速板进行深度学习，训练得到预设的深度学习模型。

在本实施例中，自动驾驶装置具有学习能力，通过获取多个不同车辆的运动状态和环境信息作为参数，构建用于训练模型的训练集，其中，训练集必须足够大，至少超过百亿个运动状态和环境信息作为参数。

并且自动驾驶装置还获取用户对各个运动状态和环境信息进行标注的决策信息。即一组运动状态和环境信息参数对应一个决策信息。

自动驾驶装置将训练集中的运动状态和环境信息作为模型的输入，将对应标注的决策信息作为模型的输出，根据深度学习方法，通过pcie接口快熟对接fpga加速板进行深度学习，训练得到深度学习模型，其中，深度学习方法包括cnn(convolutionalneuralnetwork，卷积神经网络)和rnn(recursiveneuralnetwork，递归神经网络)等，在此不做限定。

自动驾驶装置在得到深度学习模型之后，即可根据确定的车辆的运动状态和环境信息，在深度学习模型中输出对应的决策信息。

本实施例获取多个不同车辆的各项目标数据，进行构建模型训练集，并获取各项目标数据对应的决策信息，通过深度学习方法训练得到预设的深度学习模型，即可根据确定的车辆的运动状态和环境信息，在深度学习模型中输出对应的决策信息，提高了自动驾驶方法的智能性。

进一步地，基于第一或者第二实施例提出本发明自动驾驶方法的第三实施例。

自动驾驶方法的第三实施例与自动驾驶方法的第一或者第二实施例的区别在于，自动驾驶方法还包括：

步骤g，判断当前天气信息，根据所述天气信息切换对应的雷达传感器采集数据；

其中，所述天气为晴天时，切换激光雷达采集点云；所述天气为非晴天时，切换毫米波雷达采集点云。

在本实施例中，自动驾驶装置在车辆行驶过程中，判断当前的天气信息，根据天气信息切换对应的雷达传感器进行采集数据的动作。

具体的，自动驾驶装置通过气象传感器，采集当前天气信息，并判断当前天气信息属于何种气候，根据判定结果，切换对应的雷达传感器进行采集数据的动作，其中，若天气为晴天时，则切换激光雷达传感器采集点数据；若天气为非晴天时，包括下雨，大雾等气候，则切换毫米波雷达传感器采集点云数据。

需要说明的是，激光雷达在天气不好时，如雾霾，下雨等天气，由于空中颗粒物的存在，会干扰激光的轨迹，导致测量结果不准确；而毫米波雷达抗干扰能力强。

可以理解的，自动驾驶装置所安装的传感器不仅仅只有一个，而是很多个，具体数量和种类根据自动驾驶装置的大小、位置和实际需求进行确定。

本实施例自动驾驶装置安装多种雷达传感器，并通过判断当前的天气信息，切换对应的雷达传感器进行采集数据的工作，提高了自动驾驶方法的智能性和适用性。

进一步地，基于第一、第二或者第三实施例提出本发明自动驾驶方法的第四实施例。自动驾驶方法的第四实施例与自动驾驶方法的第一、第二或者第三实施例的区别在于，自动驾驶方法还包括：

步骤h，通过摄像头和生物电传感器获取用户的面部特征、心跳数据和脑电数据；

步骤i，根据所述面部特征、所述心跳数据和所述脑电数据，判断所述用户是否违规；

步骤j，若违规，则发出警告，提醒用户。

在本实施例中，自动驾驶装置在行驶过程中，除了要检测车辆周围的行车环境，也实时检测用户的行为特征，并判断用户的行为特征是否违规，若违规，则提醒用户。

具体的，步骤h，通过摄像头和生物电传感器获取用户的面部特征、心跳数据和脑电数据。

自动驾驶装置检测用户的行为特征，判断用户的行为特征是否违规，其中，用户包括驾驶员和乘客。

自动驾驶装置通过摄像头获取用户的面部特征，并通过生物电传感器采集用户的心跳数据和脑电数据。

步骤i，根据所述面部特征、所述心跳数据和所述脑电数据，判断所述用户是否违规。

自动驾驶装置根据获取到的面部特征、心跳数据和脑电数据，判断用户是否违规，其中，违规行为包括用户处于走神或者疲劳驾驶状态，若用户处于走神或者疲劳驾驶状态，则判定违规。

可以理解的，自动驾驶装置除了判断用户是否走神或者疲劳驾驶等状态外，还包括判断用户是否系安全带等交通安全行为。

步骤j，若违规，则发出警告，提醒用户。

可以理解的，只要驾驶员或者乘客其中之一有违规行为，则自动驾驶装置发出警告，提醒用户注意安全。

其中，发出警告的方式可以是语音、视频或者文字，在此不做限定。

本实施例自动驾驶装置不仅检测周围的行车环境，而且还通过判断用户的行为特征，发出警告，提醒用户注意安全，提高了自动驾驶方法的智能性和适用性。

此外，本发明实施例还提出一种自动驾驶系统。

参照图4，图中视觉处理单元和imu处理单元未画出。所述系统包括摄像头、激光雷达、毫米波雷达、imu、arm数据融合板卡和fpga加速板卡，所述arm数据融合板卡包括视觉处理单元和imu处理单元，所述视觉处理单元接收摄像头的画面并进行处理；

所述imu处理单元接收imu测得的空间状态和加速度并进行处理；

所述arm数据融合板卡接收视觉处理单元和imu处理单元的第一运算结果；

所述arm数据融合板卡接收毫米波雷达数据和激光雷达数据，并将所述毫米波雷达数据和所述激光雷达数据通过融合算法进行融合处理，得到第二运算结果，并将所述第二运算结果发送给执行器处理；

所述arm数据融合板卡和所述fpga加速板卡通过pcie接口相连，所述fpga加速板卡用于激光雷达数据和视觉数据的处理，并将得到的处理结果发送给arm数据融合板卡；

所述arm数据融合板卡用以执行如权利要求1至7中任一项所述的自动驾驶方法的步骤。

本实施例的自动驾驶系统包括摄像头、激光雷达、毫米波雷达、imu、视觉处理单元、imu处理单元、arm数据融合板卡和fpga加速板卡，其中，视觉处理单元接收摄像头的画面并进行处理运算；

imu处理单元接收imu测得的空间状态和加速度并进行处理运算；

arm数据融合板卡用于通过普通以太网接口接收来自于视觉处理单元、激光雷达处理单元、imu处理单元的第一运算结果。

arm数据融合板卡还用于通过can总线接收毫米波雷达数据和激光雷达数据，并将毫米波雷达数据和激光雷达数据通过融合算法进行融合处理，得到第二运算结果，并在得到第二运算结果后，将第二运算结果通过以太网接口发送给执行器处理，其中，融合算法包括卡尔曼滤波算法，在此不做限定。

arm数据融合板卡还和fpga加速板卡通过pcie接口相连，所述fpga加速板卡用于激光雷达数据和视觉数据的预处理，并将得到的处理结果发送给arm数据融合板卡。其中，fpga加速板卡对雷达数据和视觉数据的预处理包括rdp(雷达数据处理)和点云匹配等。

可以理解的，参照图5，arm数据融合板卡与fpga加速板卡通过pcie接口相连，方便组装不同需求的自动驾驶系统，例如：在景区、度假区、主题公园等复杂的区域可以选用处理能力强的arm数据融合板卡和多资源的fpga加速板卡进行对接组成的自动驾驶系统；在高尔夫球场、工业园区等人少道路不够复杂的区域可以采用低端的arm数据融合板卡和资源少的fpga加速板卡组成的自动驾驶系统。

对于不同场景需求，通过选用不同处理能力的arm数据融合板卡和不同资源的fpga加速板卡进行快速对接方案，实现不同需求的自动驾驶系统，从而避免资源浪费。

本发明自动驾驶系统具体实施方式与上述自动驾驶方法各实施例基本相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质。

所述计算机可读存储介质上存储有自动驾驶程序，所述计算机可读存储介质应用于自动驾驶装置，所述自动驾驶程序被处理器执行时实现如上所述步骤。

本发明计算机可读存储介质具体实施方式与上述自动驾驶方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得多台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。