基于机器学习的ACC/AEB系统及车辆的制作方法

本发明属于高级辅助驾驶的技术领域。更具体地，本发明涉及一种车辆智能化、自学习的acc/aeb系统。另外，本发明还涉及采用该系统的车辆。

背景技术：

近年来，acc/aeb系统作为主动安全系统，已经得到主机厂家和客户越来越多的认可，并且世界各国已经强制性安装此系统，以减轻驾驶人的驾驶疲劳和减少交通碰撞追尾事故的发生。

但是，目前acc/aeb系统在开发过程中都普遍采用先通过对驾驶人驾驶行为参数的研究，再获取一个样本内驾驶人的驾驶行为参数，作为驾驶人acc/aeb控制的主要参数。其存在的问题是：

首先，这样获得的控制参数样本量较小，不能覆盖所有人的驾驶行为和驾驶习惯；

其次，在acc/aeb开发过程中，开发人员都是根据试验的加速度、减速以及制动力等参数进行舒适性和安全性的标定，这样的小样本量的参数完全不适合每个驾驶人的驾驶习惯；

最后，acc/aeb系统没有自学习、自己纠正错误的能力，不能通过自学习适应不同驾驶人及不同工况的场景。

因此，如何在acc/aeb系统在工作的过程中能实现自学习、自己纠正，实现智能化纵向控制，达到舒适、安全、鲁棒性，成为本领域的一个重要课题。

技术实现要素：

本发明提供一种基于机器学习的acc/aeb系统，其目的是使acc/aeb系统能完全做到智能的适应驾驶环境，并具有对出现的特殊场景和工况自学习和自纠正的能力。

为了实现上述目的，本发明采取的技术方案为：

本发明的基于机器学习的acc/aeb系统，包括环境感知模块、数据融合模块、机器学习与决策控制模块以及执行模块。

所述的数据融合模块将环境感知模块获得的有效目标的数据进行数据级和特征级以及时间、相位和空间之间的相互匹配与融合，获得目标更为准确的位置信息参数。

所述的机器学习与决策控制模块将融合后的数据，再结合本车运行过程状态参数和驾驶人意图参数，并将这些参数送入深度学习神经网络，将acc/aeb控制算法和深度学习神经网络相结合，进行自学习、自推理、自纠正以及不断的反复迭代，获得最优的防撞预警时间、防撞预警时间倒数、制动减速度、制动力、加速度的参数；智能地根据防撞预警时间(ttc)时间的相关组合，决策acc和aeb的各种工作状态和介入时机，实时地将控制参数发送给执行机构执行相关的动作。

所述的环境感知模块包括视觉传感器、雷达传感器、激光雷达传感器、车联网v2x及高精度地图及差分gps。

所述的视觉传感器包括单目摄像头、双目摄像头以及3d摄像头；所述的视觉传感器通过摄像机实时拍摄行车前方的场景，通过图像处理算法和坐标变换和图像矫正算法，并对场景中的有效目标信息进行提取。

所述的雷达传感器实现对行车前方目标的识别、分类和跟踪，并测量出有效目标的相关参数。

所述的激光雷达通过扫面方式，建立周围物体的立体模型，并得到更精确的危险目标或跟随目标的位置参数。

所述的车联网v2x通过无线技术通讯，本车将获得周围其它车辆、基础交通设施、道路标识牌、限速标识牌、行人及其可穿戴设备和无线传输设备提供的位置、速度、距离、方位和状态信息。

所述的基础交通设施包括红绿灯状态信息、红绿灯时间长度信息、交通路口转向通过信息。

所述的高精度地图及差分gps为车辆实时提供道路坡度、道路曲率、道路坐标信息及车辆gps定位信息。

所述的执行模块包括线控制动系统、电子稳定系统、发动机或电机控制器。

所述的执行模块根据决策控制模块和拟人驾驶模块比较和纠正的结果输出给执行模块，实现加速、制动、减速的动作，符合驾驶人的驾驶习惯，达到驾驶的舒适性和稳定性。

所述的机器学习模块中的深度学习算法采用卷积神经网络结构。

所述的卷积神经网络cnn采用五层神经网络，其中输入和输出各一层，隐含层3层。

所述的机器学习与决策控制模块接收感知传感器的数据、驾驶人行为参数以及车体运行参数，进行机器学习与训练，并在线实时计算出车辆在不同工况下的最优控制参数。

所述的机器学习与决策控制模块是将acc/aeb控制算法融合在卷积神经网络cnn中进行自学习、自推理、自纠错以及全局优化和局部优化控制参数的智能决策模块。

所述的数据融合模块包括将毫米波雷达、激光雷达、机器视觉传感器(单目摄像头，双目摄像头以及3d摄像头)、车联网v2x及高精度地图及差分gps中的两种或多种传感器进行融合后的数据送给机器学习与决策控制模块。

所述的感知传感器数据是77ghz毫米波雷达传感器参数、激光雷达、机器视觉传感器(单目摄像头，双目摄像头以及3d摄像头)、车联网v2x及高精度地图及差分gps的数据中的任意一种直接送入机器学习与决策控制模块。

所述的机器学习与决策控制模块的输入还包括车辆的滑移率和高精度地图提供的道路坡度和道路曲率信息，并通过cnn网络估算出路面的附着系数，以便于计算最佳驱动力和最佳制动力或减速度。

所述的地面附着系数估算还包括通过视觉图像数据，通过cnn网络估算地面附着系数。

所述的地面附着系数估算采用视觉图像数据和滑移率估算相结合的方式，通过cnn自学习和优化功能，准确的估算出路面的附着系数。

本发明还提供一种车辆的技术方案，其采用以上所述的基于机器学习的acc/aeb系统，通过卷积神经网络优化纵向控制参数。

本发明采用上述技术方案，利用卷积神经网络和acc/aeb控制算法相融合，通过不断的训练与学习，既可以获得适应驾驶人驾驶习惯的控制参数，同时可以在acc/aeb工作的过程中，实现自学习、自纠正，既：对没有遇到过的工况进行自学习、对执行不满意的工况进行自纠正，不断地纠正各个神经元和各个参数之间的权值，实现最优控制参数的输出；实现智能化纵向控制，达到舒适、安全、鲁棒性。

附图说明

附图所示内容简要说明如下：

图1是本发明基于单传感器的机器学习acc/aeb系统结构图；

图2是本发明基于数据融合的机器学习acc/aeb/fcw系统结构图。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

如图1、图2所表达的本发明的结构，是一种基于机器学习的acc/aeb系统。

为了克服现有技术的缺陷，实现使acc/aeb系统能完全做到智能的适应驾驶环境，并具有对出现的特殊场景和工况自学习和自纠正的能力的发明目的，本发明采取的技术方案为：

如图1、图2所示，本发明的基于机器学习的acc/aeb系统，包括环境感知模块、数据融合模块、机器学习与决策控制模块以及执行模块。

针对目前acc/aeb系统不能完全做到智能的适应驾驶环境，并能对出现的特殊场景和工况自学习和自纠正的能力，本发明提出了上述基于机器学习的acc/aeb系统的技术方案。本发明在传统的acc/aeb控制系统基础上，采用深度学习神经网络，并将深度学习神经网络和acc/aeb控制算法和决策流程融合，实现智能学习、智能计算、智能控制和智能纠正驾驶错误情况，实现acc/aeb驾驶过程的自学习、自推理以及自我纠正的能力，进一步提高acc/aeb系统的舒适性、安全性、智能性和鲁棒性。

1、环境感知模块：

所述的环境感知模块包括机器视觉传感器、雷达传感器(77ghz毫米雷达)、激光雷达(激光雷达传感器，lidar)及车联网v2x。环境感知模块完成对行车前方目标的探测、识别、分类、跟踪以及危险目标的确定等。所述的视觉传感器(机器视觉传感器)包括单目摄像头、双目摄像头以及3d摄像头等；所述的视觉传感器主要通过摄像机实时拍摄行车前方的场景，通过图像处理算法和坐标变换和图像矫正算法，并对场景中的有效目标信息进行提取。

其中，摄像头安装于汽车前挡风玻璃处，机器视觉单元通过摄像头实时获取前方道路视频图像数据，然后通过视觉处理器对其进行分析处理后得到前方路况及车况信息；77ghz毫米波雷达安装在车辆保险杠中间位置处，获取前方目标的相对车速、相对距离信息，从而得到前方车况及路况信息；激光雷达安装在车顶上，通过对扫描场景的反馈与信息处理，获得周围障碍物的相关参数。

雷达传感器凭借着其全天候工作特点，实现对行车前方目标的识别、分类和跟踪，并测量出有效目标的相关参数。

激光雷达通过扫面方式，建立周围物体的立体模型，并得到更精确的危险目标或跟随目标的位置参数。

车联网v2x用于接收周围其它车辆、基础交通设施、道路标识牌、限速标识牌、行人及其可穿戴设备和无线传输设备提供的位置、速度、距离、方位和状态信息。

所述的高精度地图及差分gps为实时提供道路坡度、道路曲率、道路坐标信息及gps定位信息。

2、数据融合模块：

所述的数据融合模块包括将毫米波雷达、激光雷达、机器视觉传感器(单目摄像头，双目摄像头以及3d摄像头)、车联网v2x、高精度地图及差分gps等传感器的两种或多种传感器，进行融合后的数据送给机器学习与决策控制模块；

数据融合模块将环境感知模块(视觉传感器、雷达传感器、激光雷达传感器及车联网v2x、高精度地图及差分gps)获得的有效目标的数据进行数据级和特征级以及时间、相位和空间之间的相互匹配与融合，获得目标更为准确的位置信息参数。

具体地：

数据融合模块可将视觉数据、雷达数据以及激光雷达数据经过滤波处理后，通过一定的融合算法将两类或两类以上不同的传感器信息进行融合，以获取准确的前车车况信息及前方路况信息。

数据融合模块将视觉传感器、激光雷达或毫米波雷达的数据进行融合，实现各个传感器之间的优势互补，获得acc/aeb行车前方危险目标的距离、速度、方位角等相关控制参数，将这些控制参数送入机器学习与决策控制模块。数据融合模块完成对多传感器的融合，加强对危险目标的识别与判断，给出危险目标的精确位置数据。

整车总线网络将车辆运行状态参数反馈给机器学习与决策控制模块的输入端，形成闭环控制。

3、机器学习与决策控制模块：

(1)、单一传感器。

所述的机器学习与决策控制模块可以直接接收机器视觉传感器数据、77ghz毫米波雷达数据以及激光雷达数据中其中一个传感器的数据；所述的感知传感器数据是77ghz毫米波雷达传感器参数、激光雷达、机器视觉传感器(单目摄像头，双目摄像头以及3d摄像头)的数据任意一种直接送入机器学习与决策控制模块。

机器学习与决策控制模块接收感知传感器的数据、驾驶人行为参数以及车体运行参数，进行机器学习与训练，并在线实时计算出车辆在不同工况下的最优控制参数；所述的感知传感器数据可以是77ghz毫米波雷达传感器参数、激光雷达、机器视觉传感器(单目摄像头，双目摄像头以及3d摄像头)的数据任意一种直接送入机器学习与决策控制模块；机器学习与决策控制模块可以根据环境感知模块中的一个传感器送来危险目标的数据，实时计算制动减速、制动加速度以及决策车辆在acc/aeb状态下的纵向控制；

机器学习与决策控制模块将融合后的数据，再结合本车运行过程状态参数和驾驶人意图参数，并将这些参数送入深度学习神经网络，将acc/aeb控制算法和深度学习神经网络相结合，进行自学习、自推理、自纠正以及不断的反复迭代，获得最优的防撞预警时间(ttc)、防撞预警时间倒数、制动减速度、制动力、加速度的参数；智能地根据防撞预警时间(ttc)时间的相关组合，决策acc和aeb的各种工作状态和介入时机，实时地将控制参数发送给执行机构执行相关的动作。

机器学习模块中的深度学习算法采用卷积神经网络结构，即：cnn(convolutionalneuralnetwork)结构。所述的卷积神经网络cnn采用五层神经网络，其中输入和输出各一层，隐含层3层。

机器学习与决策控制模块是将acc/aeb控制算法融合在卷积神经网络cnn中进行自学习、自推理、自纠错以及全局优化和局部优化控制参数的智能决策模块。机器学习与决策控制模块根据数据融合模块融合后的数据进行卷积神经网络cnn的学习，得出车辆在acc/aeb状态下的最优纵向控制参数；

机器学习与决策控制模块将接收环境感知模块参数、驾驶人行为参数以及车辆自身状态参数，对驾驶人行为进行训练与学习。

(2)多个传感器。

机器学习与决策控制模块可以接收机器视觉传感器、77ghz毫米波雷达以及激光雷达两个或两个以上数据的融合，以获得前面物体的运动参数；所述的数据融合模块包括将毫米波雷达、激光雷达、机器视觉传感器(单目摄像头，双目摄像头以及3d摄像头)中的两种或多种传感器进行融合后的数据送给机器学习与决策控制模块。

机器学习与决策控制模块将在驾驶人平时驾驶过程中对卷积神经网络进行训率，也可以对特意对一些特殊工况进行训率；

机器学习与决策控制模块是将acc/aeb控制算法融合在卷积神经网络cnn中进行自学习、自推理、自纠错以及全局优化和局部优化控制参数的智能决策模块，实现高度集成与整合，安全可靠，使用和操作简单可靠。而且可以实现在特殊工况下的自学习和自纠正，对驾驶人行为特性的学习与记忆，并结合神经网络优化算法，综合计算出各种工况下acc/aeb的控制参数，做到纵向智能驾驶，提供acc/aeb系统适应不同工况的能力。

机器学习与决策控制模块根据融合的数据信息、本车运行参数信息以及驾驶人意图信息，通过深度学习神经网络和acc/aeb控制算法和策略的结合，实时优化与决策，获得车辆纵向控制参数，如减速度、加速度以及制动力等，并将控制参数送给执行机构。

机器学习与决策控制模块主要将融合后的数据再结合本车运行过程状态参数和驾驶人意图参数，并将这些送入深度学习神经网络，将acc/aeb控制算法和深度学习神经网络相结合，进行自学习、自推理、自纠正以及不断的反复迭代，获得最优的防撞预警时间(ttc)、防撞预警时间倒数、制动减速度、制动力、加速度等参数；智能地根据ttc时间的相关组合，决策acc和aeb的各种工作状态和介入时机，实时的将控制参数发送给执行机构执行相关的动作；

机器学习与决策控制模块是将acc/aeb控制算法融合在卷积神经网络cnn中进行自学习、自推理、自纠错以及全局优化和局部优化控制参数的智能决策模块。机器学习与决策控制模块卷积神经网络可以将acc/aeb特殊场景和关键场景处理不理想的情况，进行自学习和自纠正，不断调整在此特殊工况下的各神经元之间的权重，逐步实现优化，达到最优的控制效果；

机器学习与决策控制模块的输入还包括车辆的滑移率，并通过cnn网络估算出路面的附着系数，以便于计算最佳驱动力和最佳制动力或减速度；所述的机器学习与决策控制模块根据车辆运行状态参数中的滑移率，通过卷积神经网络cnn的迭代学习，获得准确的路面附着系数，以计算准确的驱动力和制动力；所述的机器学习与决策控制模块根据路面图像信息，并采用卷积神经网络cnn估算出准确的路面附着系数，并和滑移率计算的附着系数进行融合，实现各个车辆地面附着系数的计算，实现各个车辆制动力和车辆驱动力的计算。

所述的地面附着系数估算还包括通过视觉图像数据，通过cnn网络估算地面附着系数。地面附着系数估算可以采用视觉图像数据和滑移率估算相结合的方式，通过cnn自学习和优化功能，准确的估算出路面的附着系数。

机器学习与决策控制模块将卷积神经网络cnn的隐含层和acc/aeb算法，如安全制动距离计算算法、工况切换算法及制动及加速控制算法等进行融合；同时卷积神经网络cnn通过对滑移率的迭代学习，以及路面图像的迭代学习，可以获得准确的路面附着系数；该模块根据感知系统提供的相关参数信息，并结合以往训率过程中形成各个参数之间的最优权值，以及对各种工况的记忆，实时在线迭代优化出安全制动距离、工况切换依据以及相应的减速度和加速度等车体纵向控制参数；

其中，根据卷积神经网络的学习训率和迭代优化方法，计算出最优的工况切换模块包括定速模式、定距模式、弯道模式、启停模式和超车模式，以及各个工况模式下的最佳驱动力和最佳减速度等相关控制参数。

4、执行模块：

所述的执行模块包括线控制动系统、电子稳定系统(esc)、动力单元，动力单元为发动机(ems)或电机控制器等。执行模块还包括预警与显示等；根据机器学习与决策控制模块传递的决策信息，启动相应的部件，实现自适应巡航、自动紧急制动等功能中的某一项功能，以及上述功能的组合运用；根据决策控制模块与拟人驾驶模块比较纠正后的控制量，实现对各个执行单元的调节，实现报警提示、减速、制动以及加速等相关纵向控制行为。

执行模块执行的结果通过整车纵向送入到机器学习与决策控制模块的输入端，进而对卷积神经网络执行过程进行纠正，实现闭环控制。

执行模块主要采用机器学习与决策控制模的控制量，控制车辆加减速或制动；所述的执行模块根据决策控制模块和拟人驾驶模块比较和纠正的结果，输出给执行模块，实现加速、制动、减速的动作，符合驾驶人的驾驶习惯，达到驾驶的舒适性和稳定性。

5、采用基于机器学习的acc/aeb系统的车辆：

本发明还提供一种车辆的技术方案，其采用以上所述的基于机器学习的acc/aeb系统，通过卷积神经网络优化纵向控制参数。

上述所述的系统组成及功能、工作原理、控制方法不仅适用于商用汽车，重卡、轻卡、专用车辆等，而且也适用于乘用车，如轿车、面包车、客车及suv等。

本发明将acc/aeb算法融合到卷积神经网络里面，通过卷积神经网络的迭代优化，计算出各个神经元相互之间或各个相关参数之间，在不同工况下的最优权重和最优控制参数；

当驾驶人在驾驶车辆的过程中，机器学习与决策控制模块不断的采集驾驶人在行车过程中的加速、减速、制动压力、车间时距、车速、前车目标相对速度、相对加速度等相关驾驶行为参数，将这些驾驶人行为参数送入机器学习与决策控制模块。

通过驾驶人长期驾驶和对卷积神经网络cnn的训率，将形成不同工况下，车辆控制参数之间的权重值，形成各个工况下的最优参数；当驾驶人训练完卷积神经网络cnn后，在acc/aeb驾驶模式下，环境视觉感知模块将根据行车环境实时的探测车辆行车前方的目标车辆和障碍物，并把目标物体的参数送入到机器学习与决策控制模块；

机器学习与决策控制模块根据运行工况和场景计算出本车所应执行的最优控制参数，同时执行单元执行的结果，将通过整车控制网络传输到机器学习与决策控制模块的输入端，实现闭环控制；当车辆在acc/aeb模式下，出现特殊场景处理不理想，则卷积神经网络会自动调节各个参数之间的权值，实现对特殊场景的自学习和自纠正。

在车辆行驶过程中，卷积神经网络和acc/aeb控制算法相融合，并实时迭代计算，给出各模块的最佳控制参数，然后各模块之间相互配合、相互动作，共同完成车辆的前车避撞预警、自动紧急制动、自适应巡航功能。

本发明涉及车辆自适应巡航、主动安全、雷达、图像处理、多传感器数据融合、模式识别、卷积神经网络、电子、软件、嵌入式计算机、总线通讯等相关领域，通过卷积神经网络和acc/aeb控制算法的融合，实现acc/aeb系统的自学习、自纠正，提高纵向控制的智能化水平。

6、采用单一传感器的实施例：

下面是本发明的一个具体实施例。参照图1，本发明采用单一传感器方案为：

环境感知模块包括机器视觉传感器(单目摄像头、双目摄像头和3d摄像头)、77ghz毫米波雷达、激光雷达传感器。如果系统只有上述其中的一个传感器作为感知器件，将单一传感器采集的数据经滤波、识别、跟踪及危险目标识别后，把危险目标的速度、相对距离、加速度、减速、方位角等相关参数送入机器学习与决策控制模块；机器学习与决策控制模块结合目标运动参数和驾驶人驾驶行为参数、车辆自身运行参数送入卷积神经网络和acc/aeb融合的智能算法模块，通过驾驶人在长期驾驶过程中不断的对卷积神经网络各个层之间以及神经元进行训率与学习，获得各个神经元及各层之间的权重，获得acc/aeb控制的最优参数，如车间时距、不同工况下的制动减速度、加速度以及制动力等。驾驶人也可以对特殊工况进行学习，以获得特殊工况下的执行控制器最优控制参数。

如果驾驶人把车辆转换到acc/aeb驾驶模式的时候，acc/aeb控制模块将根据环境感知传感器获得数据、驾驶行为参数以及车辆自身运行的参数根据卷积神经网络cnn与acc/aeb融合的智能控制算法，计算在不公工况下的车间时距、制动减速、车辆减速度以及制动力等最优控制参数；将此最优控制参数发送给执行单元，执行相关的制动、加速、减速以及合适的车间时距，使车辆符合驾驶人的驾驶习惯，实现平稳、舒适和安全的拟人化驾驶。如果在特殊工况或转换模式执行不理想的情况下，卷积神经网络cnn会不断纠正各个神经元和各个参数之间的权值系数，以达到逐步学习、逐步纠正和逐步优化的功能，实现对工况模式的自学习功能。

7、采用多传感器的实施例：

下面是本发明的另一个具体实施示例。参照图2，本系统采用多传感器融合方案为：

环境感知模块包括机器视觉传感器(单目摄像头、双目摄像头和3d摄像头)、77ghz毫米波雷达、激光雷达。

系统将两个或两个以上的传感器进行融合，将融合得到危险目标的速度、相对距离、加速度、减速、方位角等相关参数送入机器学习与决策控制模块；机器学习与决策控制模块结合目标运动参数和驾驶人驾驶行为参数、车辆自身运行参数送入卷积神经网络cnn和acc/aeb算法融合的智能算法单元中，通过驾驶人在长期驾驶过程中不断的对神经网络各个层之间以及神经元进行训率与学习，获得各个神经元及各层之间的权重和算法各个参数之间的权重，获得驾驶人在驾驶过程中最优的驾驶行为控制参数，如车间时距、不同工况下的制动减速度、加速度以及制动力等；

驾驶人也可以对特殊工况进行学习，以获得特殊工况下的驾驶行为参数；驾驶人还可以对特殊工况进行学习，以获得特殊工况下的执行控制器最优控制参数。

如果驾驶人把车辆转换到acc/aeb驾驶模式的时候，acc/aeb控制模块将根据环境感知传感器获得数据、驾驶行为参数以及车辆自身运行的参数根据卷积神经网络cnn与acc/aeb融合的智能控制算法，计算在不公工况下的车间时距、制动减速、车辆减速度以及制动力等最优控制参数；将此最优控制参数发送给执行单元，执行相关的制动、加速、减速以及合适的车间时距，使车辆符合驾驶人的驾驶习惯，实现平稳、舒适和安全的拟人化驾驶。

如果在特殊工况或转换模式执行不理想的情况下，卷积神经网络cnn会不断纠正各个神经元和各个参数之间的权值系数，以达到逐步学习、逐步纠正和逐步优化的功能，实现对工况模式的自学习功能。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。