一种基于GAN网络的线控雨刷控制系统的制作方法

本发明涉及新能源汽车领域，尤其是涉及一种基于gan网络的线控雨刷控制系统。

背景技术：

随着线控驱动、线控转向和线控制动技术方面的稳定发展，智能汽车已经能够在特定场景下实现无人驾驶。车载相机是智能汽车的主要传感器之一，考虑防水要求，通常安装在驾驶舱内部。在下雨天气，前挡风玻璃外侧容易形成雨滴，遮挡相机的视线。无人驾驶技术暂时未考虑雨天行驶，使所集成的视觉图像处理算法没有图像去雨技术，导致智能汽车通常无法克服雨滴的影响。另外，目前的智能汽车均通过普通车辆改装而来，雨刷系统继续保留传统手动开启方式，无法直接通过智驾控制器进行控制，给无人驾驶技术发展带来阻碍。

同时，深度学习在智能汽车的环境感知方面的应用逐渐增多，环境感知技术也是智能汽车核心技术，占据着重要的地位。图像修复技术一直受到各国研究人员的重视，主要由于户外恶劣天气(如雨、雾、雪、霾)容易造成图像质量下降的问题，影响图像的视觉效果，干扰图像特征信息的提取。图像去雨技术在智能驾驶领域逐渐受到关注，主要是因为前视相机所采集的图像受到雨水的干扰，所得到的图像比较模糊，无法得到准确的图像感知信息，使智能汽车在雨天情况下通常无法实现无人驾驶，主要体现如下：

第一、下雨的时候，雨水附着在前挡风玻璃上，使雨滴遮挡的区域信息损失，且通常焦距无法定位在玻璃上雨滴导致雨滴周围的区域也变得模糊不清，图像可能会被扭曲，极大降低图像语义信息的提取。

其二、现存的深度学习网络训练数据集中没有降雨相关的图像，因此神经网络无法在这些雨天准确识别和理解车辆周围环境。

视觉图像是智能汽车主要的感知信息来源之一。智能汽车线控雨刷控制系统的研究具有重要实际应用价值。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于gan网络的线控雨刷控制系统。

本发明的目的可以通过以下技术方案来实现：

一种基于gan网络的线控雨刷控制系统，用以实现智能汽车的雨刷控制，该系统包括依次连接的前视相机、智驾控制器、整车控制器、雨刷控制器、驱动电机总成、减速器和刮雨器；

前视相机实时采集前方道路图像，并将图像通过usb数据线传输到智驾控制器，智驾控制器内部设有gan网络架构，用以去除雨天获取的图像中的雨滴，并通过图像实时检测车辆周边雨量大小，并将雨刷档位的调整信号通过can线传递到整车控制器，整车控制器获取智驾控制器的can信号后，实时调整雨刷控制器的工作状态，雨刷控制器通过脉冲信号控制驱动电机总成工作，控制雨刷去除前挡风玻璃外侧雨滴。

所述的前视相机固定在前挡风玻璃内侧，其视角范围不超出雨刷工作时的覆盖范围。

所述的智驾控制器为高性能开发板，内部配置linux系统，其周围设有usb、hdmi和ethernet信号接口，用以传输信号和调试开发，开发板可以选用tx2，px2，xavier或者基于nvidia芯片自主开发。

所述的智驾控制器内部集成can卡，通过can卡发送或接收整车控制器的can线控制信号。

所述的智驾控制器内配置的linux系统设有图像处理算法，该图像处理算法采用深度学习的gan网络模型，从gan网络内部的特征表达中实现雨量估计和图像雨滴去除，雨量估计用于调节雨刷的频率，雨滴去除用于去除图像中的雨滴区域，并将雨滴区域进行修复，使去雨后的图像贴近真实的交通环境。

所述的gan网络模型，包括生成网络、判断网络和雨量估计全连接层网络，其中，生成网络包括编码部分和解码部分，生成网络实时生成去雨后的图像，通过判断网络检查所生成的图像是否与真实环境相符，编码部分生成的特征图通过一个卷积层连接雨量估计全连接层网络，用以获取车辆周边雨量的大小。

训练gan网络模型的数据集包括未下雨时实际交通采集的无雨图像、人造下雨的有雨图像、下雨时实际交通采集的有雨图像以及下雨时实际交通采集的有雨图像对应的雨量标注集。

所述的实际无雨图像和人造有雨图像用于网络去雨部分权重的预训练，所述的未下雨和人造下雨的交通图像用于预训练gan网络中的去雨部分的权重参数，实际无雨和实际有雨的道路图像对用于精调网络去雨部分的权重参数，下雨时实际交通采集的有雨图像与对应的雨量标注集用于训练雨量检测部分的权重参数。

训练gan网络模型时，先根据生成对抗原理，同时训练生成网络和判断网络，训练完毕后，固定生成网络的参数，最后训练全连接层的网络参数。

所述的整车控制器和雨刷控制器采用can通讯方式通讯，整车控制器实时发送动作指令，雨刷控制器实时反馈运行状态。

所述的雨刷控制器内部集成电机控制算法，控制器通过脉冲信号精确控制雨刷驱动电机的位置和速度。

所述的驱动电机总成采用步进电机作为雨刷驱动电机，配合限位开关使用，不携带光编解码器，结构简单，成本低，能够通过脉冲个数进行准确定位电机的旋转角度，且没有电刷，可靠性较高。

所述的减速器采用涡轮蜗杆减速结构，其端面齿廓曲线为渐开线，用以满足转速较高且传动精密的场合，工作无异响，寿命较长。

与现有技术相比，本发明具有以下优点：

本发明解决了智能汽车无法对雨刷控制的难题，实用性较强，信息数据来源方便，无需额外增加传感器，开发成本低，使用gan网络架构训练的生成网络，生成的去雨图片更加符合正式道路场景，可提高整个系统的适用性。

附图说明

图1为线控雨刷系统结构图。

图2为图像处理gan网络结构图。

图3为图像处理gan网络去雨部分预训练结构图。

图4为图像处理gan网络去雨部分精细训练结构图。

图5为图像处理gan网络雨量检测部分训练结构图。

图6为图像处理gan网络正常工作结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图1所示，本发明提供一种基于深度学习gan网络的线控雨刷控制系统，区别于传统雨量感应传感器系统的雨刷系统，本发明可实现通过视觉相机完成雨滴的检测，且智驾控制器可直接控制雨刷的开启和工作频率。智驾控制器集成有基于深度学习gan网络算法，可对车载相机的图像进行雨量检测和去除图像中的雨滴，使图像清晰，提高环境感知的效果。

首先通过车载相机实时采集车辆前方的道路情况，并将采集的图像通过usb传输至智驾控制器中进行图像处理。智驾控制器中集成有环境感知算法和决策规划算法，各算法之间通过zcm进行通讯。智驾控制器内部集成有本发明提供的基于深度学习gan网络图像去雨算法和雨滴检测算法。去雨后的图像变得清晰，可用至其他图像语义信息提取算法，另一方面，雨滴检测结果用于控制雨刷工作状态。雨刷控制信号经过can卡转换成为can信号传送至整车控制器。整车控制器将控制can信号转发至底层can。雨刷控制器实时接受底层can中的控制信号，转换成为对应的脉冲信号控制驱动步进电机的转速和转角。雨刷控制器集成电路与电阻电容组成振荡电路和延时电路，并通过继电器控制雨刷电机的运转，用于实现多级或连续可调。

雨刮驱动电机采用步进电机，采用了步进电机替代直流电机，通过给步进电机输入相应的驱动信号，可控制步进电机转动的方向、速度和停止的位置等。步进电机的输出轴转动并带动减速箱，进而使得与减速箱的输出轴相连接的雨刷臂左右摆动，不必为实现雨刷臂左右摆动和同步而增加拉杆，可简化结构和提升机械效率。

同时，本发明提供对应基于深度学习的图像去雨处理和雨量检测网络架构，采用gan网络架构实现对应的功能，相对于其他深度学习的区域网络，基于gan网络的有独特的优势。具有优势如下：

第一、训练数据集容易获取。gan网络通过生成网络和判断网络的对抗学习，调整彼此的网络权重参数，无需对立的正负样本。使得所需训练数据集只需要包含有雨和无雨的真实道路图像即可。

第二、去雨后的图像更加接近实际情况。通过gan网络的对抗学习，判别网络能够区分是否为真实的无雨道路图像，使得生成网络所生成的图像更符合实际道路图像。

图像去雨技术的难点在于雨滴遮蔽的区域是未知的，且封闭区域背景的信息大部分已经完全丢失的。深度网络能够学习数据集中有雨图像的雨滴纹理和无雨图像的图像特征，将有雨图像中的雨滴去除，并按照无雨图像的特征构造一副去雨后的图像。当前视相机检测雨量较大，无法完全去除雨滴时，智驾控制器将通过can信号使雨刷控制器增强雨刷的工作频率，从而实现车载相机对雨刷控制器的线控技术。

实施例：

如图1所示，本发明提供了一种基于gan网络的线控雨刷控制系统。该系统是在智能驾驶汽车的基础上，对雨刷系统进行改装，使智驾系统能够根据实际环境情况，实时对雨刷进行控制。智驾系统中集成有图像去雨算法，能够将在雨天环境下获取的图像的雨滴进行去除操作，得到较为清晰的图像，可提高其他图像处理算法的效率。该方法包括如下步骤：

(1)车载相机实时采集车辆前方的道路情况，并将采集的图像通过usb传输至智驾控制器中进行图像处理，提取图像中的语义信息。

(2)智驾控制器中集成有环境感知算法和决策规划算法，各算法之间通过zcm进行通讯。智驾控制器内部集成有基于深度学习的gan网络图像去雨算法和雨量检测算法。去雨后较为清晰的图像可用于其他感知算法，而雨滴检测结果用于控制雨刷工作状态。雨刷控制信号经过can卡转换成为can信号传送至整车控制器。

(3)整车控制器内部主要包含两部分：整车管理和运动控制算法。线控底盘控制和整车附件控制均由整车控制器控制。整车控制器设有两路独立can：上层can和底层can。上层can用于与智驾系统相互通讯，底层can用于与线控底盘之间的部件相互通讯。发明中提到的雨刷控制器接入底层can。雨刷控制信号通过上层can传送至整车控制器，再由整车控制器转发至雨刷控制器。

(4)雨刷控制器实时接受底层can中的控制信号，转换成为对应的脉冲信号控制驱动步进电机的转速和转角。电机经过涡轮蜗杆减速，带动雨刷往复摆动，从而刮掉前挡风玻璃外侧的雨滴。

在步骤(2)中，线控雨刷系统中的图像处理算法采用基于深度学习的gan网络框架。如图2所示，主要包含生成网络generator、判断网络discriminator和雨量估计全连接层网络。其中生成网络包括编码部分和解码部分。生成网络实时生成去雨后的图像，通过判断网络检查所生成的图像是否与真实环境相符。编码部分生成的特征图通过雨量估计全连接层网络，可估算出车辆周围雨量的大小。gan网络实现方法如下：

1-1、制作用于gan网络训练的数据集，需要的数据集主要包含：未下雨时实际交通采集的无雨图像、人造下雨的有雨图像、下雨时实际交通采集的有雨图像以及下雨时实际交通采集的有雨图像对应的雨量标注集四部分。gan网络通过生成对抗训练，达到同时优化生成网络和判断网络的权重参数。生成对抗的损失函数可以表达为：

其中，在生成对抗训练中，先固定生成网络的权重参数，将有雨图像输入至生成网络中，所得到的结果与无雨的图像同时导入判断网络中，训练判断网络使网络能够足够识别生成的无雨图像和真实的无雨图像；然后再固定判断网络中的权重参数，将判断网络的判断结果进行反向传播，调整生成网络中的权值参数，使生成网络生成的图像与真实图像能够足够真实。

1-2、预训练gan网络中图像去雨部分的权值参数。如图3所示，实际无雨和人造有雨图像对用于网络中去雨部分权重的预训练。反向传播的loss包含网络生成图像o(output)与真实图像t(target)之间的perceptualloss(lp)、判断网络对生成图像的判断结果进行反向传播得到的损失函数(lgan)两部分。生成网络输出训练的损失函数如下：

lg＝αlp(o,t)+βlgan(o)

其中，α、β分别代表各损失函数的权重参数。

1-3、未下雨和下雨时的实际道路图像精调网络中去雨部分的权重参数。如图4所示，由于人工生成的有雨图像与实际图，像有所差异，避免网络对人工生成图像的过度拟合，最后精调gan网络时，仅使用gan损失函数(lgan)调整网络中的权重参数。

1-4、下雨时的实际道路图像与对应的雨量标注集进行训练雨量检测部分的权重参数。如图5所示，生成网络中的编码部分能够提取有雨图像的语义信息，所生成的特征图能够包含输入图像大部分信息。将该特征图引出至一个卷积网络(conv)。卷积后，生成的特征向量导入至全连接层网络(fcs)。全连接层网络输出即为雨量的检测结果。生成网络参数训练完成后，需要固定生成网络中编码部分的权重参数，通过下雨时的实际道路图像与对应的雨量标注集训练此处的卷积层和全连接层。

1-5、网络的应用。如图6所示，gan网络中所有权重参数训练完毕后，可以直接使用该网络完成图像的去雨处理和雨量检测。输入下雨时的实际道路图像，经过生成网络的编码部分和解码部分，能够得到去雨后的清晰图像。并且，编码部分的特征图引出至卷积层和全连接层，得到该图的雨量大小。

在步骤1-1中，训练所用的数据集主要是通过实际采集和人工合成。有雨的真实道路图片在不同雨量大小的天气情况下采集；为了与雨天的情况尽可能接近，无雨的真实道路图像大部分是在阴天或下雨前后的情况下采集。

制作人造有雨图像时，可根据雨滴图像模型公式：

i＝tgt+mraindrop

其中，i为输入的有雨图片；tgt为无雨滴清晰的实际背景图像；mraindrop为雨滴的图像。

人造有雨图像可以是人工通过计算机合成，通过计算机随机生成的雨滴模型与背景图像合在一起，即生成人工下雨时的图像。或者人工制造下雨时的场景，然后获取下雨前后统一位置处的图像对。

本发明主要面向智能汽车，可通过智驾控制器直接控制雨刷工作，仅使用普通的车载相机能够完成雨量的检测，无需额外添加雨量检测传感器；采用深度学习gan网络实现雨量检测功能，并实现有雨图像的去雨功能，使图像清晰，并符合实际道路场景，有利于后期图像处理，提供的网络可以只采集下雨和无雨天气的实际道路图像完成网络的训练，生成的去雨图像更加符合实际交通场景。

总之，本发明提供本一种基于深度学习gan网络的线控雨刷控制系统，区别于传统雨量感应传感器系统的雨刷系统，本发明可实现通过视觉相机完成雨滴的检测，且智驾控制器可直接控制雨刷的开启和工作频率。智驾控制器集成有基于深度学习gan网络算法，可对车载相机的图像进行雨量检测和去除图像中的雨滴，使图像清晰，提高环境感知的效果。