一种辅助驾驶的视觉感知方法及系统与流程

本申请涉及辅助驾驶，尤其是涉及一种辅助驾驶的视觉感知方法及系统。

背景技术：

1、随着深度学习技术的大力发展，辅助驾驶领域成为其主要落地场景，而视觉感知是辅助驾驶系统的重要模块，包括车道线检测、可行驶区域分割和目标检测等具有挑战性的任务。传统的深度学习算法通常只解决以上任务中的一项,无法满足辅助驾驶过程中同时感知多种环境因素的需求。目前较为先进的算法往往通过多任务学习来提高感知效率，现有的多任务辅助驾驶视觉感知系统，通常在深度学习模型的训练阶段进行改进，主要分为结构、优化方法和任务关系三个角度的学习。其中：

2、(1)辅助驾驶视觉感知的多任务模型首先聚焦于对网络结构的设计，均有效提升了在单任务上的性能。例如，在faster rcnn基础上增加fcn分支来产生对应类别的mask，从而准确地完成语义分割任务。或者，使用编码器-解码器结构，设计一个共享编码器和三个任务解码器的多任务模型，用于分类、目标检测和语义分割。或者，使用轻量级cnn作为编码器来提取图像特征，然后将特征图输入到各个解码器中完成视觉感知任务，在准确率和速度方面均达到了最优性能。

3、(2)多任务模型的优化方法主要体现为对损失函数和对梯度的优化，前者都是针对不同任务进行加权和，关键的是如何加权。目前有利用任务不确定性、学习速率、模型性能、回报幅度以及几何平均等方法。后者围绕梯度进行调优，主要是对梯度的修正来平衡任务间的训练速率，如gradnorm方法等。

4、(3)在任务关系上也需要额外的关注，相关性较弱的任务可能会带来负面迁移效应。因此需要让模型学习确定的任务表示或者任务间的关联，例如根据相似性进行聚类，并利用学到的特征表示来进一步提高性能。

5、以上的方法及系统虽然取得了一定的成效，但仍然存在以下两个问题：

6、(1)对于特定场景或特定任务还需要专家经验进行任务权重或梯度系数的调整。

7、(2)需要耗费大量时间手工实验来确定系统中模型结构参数。

技术实现思路

1、本申请的其中一个目的在于提供一种能够解决上述背景技术中至少一个问题的辅助驾驶的视觉感知方法及系统。

2、为达到上述的目的，本申请采用的技术方案为：一种辅助驾驶的视觉感知方法，包括如下步骤：

3、s100：收集辅助驾驶图像数据，将数据集预处理后构成输入x；

4、s200：构建多任务神经网络模型f并将输入x代入以得到多个分支任务特定的输出fi(x)；

5、s300：计算多任务神经网络模型f最终的损失函数lall；

6、s400：将最小化作为损失函数lall的目标进行优化，最终得到最佳多任务神经网络模型f*。

7、优选的，多任务神经网络模型f包括参数共享层b和任务层t；则步骤s200包括如下过程：

8、s210：将输入x代入参数共享层b；

9、s220：参数共享层b提取出输入x的图像特征并得到特征图m；

10、s230：将特征图m代入任务层t中，得到多个分支任务特定的输出fi(x)。

11、优选的，任务层t的初始结构参数确定过程如下：首先对任务层t的各个分支结构进行初始化以得到每一层分支结构的参数为αi；随后通过随机组合得到每一层分支结构的参数为αi0；则在步骤s230中输出fi(x)可表示为fi(x,w(α))；其中，α为分支结构参数，w为神经网络权重，w的尺寸由α通过迭代得到，且第一次迭代时α的取值为αi0。

12、优选的，在步骤s300中，多任务神经网络模型f的输出损失为lout，多任务神经网络模型f的结构损失为larch；则损失函数lall＝lout+larch。

13、优选的，各分支任务的输出损失为li，则多任务神经网络模型f的输出损失lout由各个分支任务的输出损失li进行加权，结构损失larch为各个分支任务之间损失差距的累加和；即

14、

15、

16、其中，α为分支结构参数，w为神经网络权重，n为分支任务数量。

17、优选的，步骤s400包括如下具体过程：

18、s410：对任务层t进行结构搜索，以得到在多个任务间保持平衡的分支任务网络结构参数以及最优的神经网络权重参数；

19、s420：将最小化损失函数作为优化目标，并通过算法对步骤s410中的参数进行训练；

20、s430：将训练的参数与多任务神经网络模型f进行拟合，以得到自动化搜索确定的最佳多任务神经网络模型f*。

21、优选的，在步骤s410中，对于任务层t的结构搜索，需要将任务层t的分支结构由离散结构转变为连续化搜索空间；转变后的连续化搜索空间通过如下公式进行表示：

22、

23、其中，节点x为隐表示，函数o(·)为节点与节点之间候选的操作，o表示候选操作的集合，是节点(i,j)之间结构候选操作o的权重。

24、优选的，在步骤s420中，通过对输出损失lout和结构损失larch进行双优化来实现对损失函数lall的优化；具体通过梯度下降法来最小化以下目标：

25、

26、

27、优选的，通过迭代优化算法对目标进行求解，得到最佳的分支结构参数α和网络权重w；通过将连续的结构参数α恢复为离散的网络节点连接操作o，进而得到一个任务分支结构确定且神经网络权重表现最佳的多任务神经网络模型f*；其中，对连续表示的神经网络结构进行离散化计算的公式如下：

28、

29、

30、一种辅助驾驶的视觉感知系统，包括数据输入模块、共享层特征提取模块、任务层结构搜索模块和模型输出模块；所述数据输入模块用于接收多个数据集的图像并进行预处理；所述共享层特征提取模块用于提取图像的低层语义特征；所述任务层结构搜索模块用于对各任务的网络结构参数进行自动化搜索；所述模型输出模块用于输出最佳模型。

31、与现有技术相比，本申请的有益效果在于：

32、(1)本申请针对辅助驾驶感知复杂环境的实时性需求，构建包含车道线分割和障碍物检测等问题的多任务模型，有效降低网络参数量和计算量，同时减少线上推理时间，非常有利于实际应用。

33、(2)本申请提出的任务层结构搜索方法解决了多任务之间难以平衡训练的问题。该方法原理简单，对硬件要求低，适合推广。

34、(3)本申请所提的多任务方法及系统经过自动化搜索得到的多任务模型，在视觉感知任务上表现优异，检测精度较高。

技术特征：

1.一种辅助驾驶的视觉感知方法，其特征在于，包括如下步骤：

2.如权利要求1所述的辅助驾驶的视觉感知方法，其特征在于：多任务神经网络模型f包括参数共享层b和任务层t；则步骤s200包括如下过程：

3.如权利要求2所述的辅助驾驶的视觉感知方法，其特征在于：任务层t的初始结构参数确定过程如下：首先对任务层t的各个分支结构进行初始化以得到每一层分支结构的参数为αi；随后通过随机组合得到每一层分支结构的参数为αi0；

4.如权利要求3所述的辅助驾驶的视觉感知方法，其特征在于：在步骤s300中，多任务神经网络模型f的输出损失为lout，多任务神经网络模型f的结构损失为larch；则损失函数lall＝lout+larch。

5.如权利要求4所述的辅助驾驶的视觉感知方法，其特征在于：各分支任务的输出损失为li，则多任务神经网络模型f的输出损失lout由n个分支任务的输出损失li进行加权，结构损失larch为n个分支任务之间损失差距的累加和；即

6.如权利要求4所述的辅助驾驶的视觉感知方法，其特征在于：步骤s400包括如下具体过程：

7.如权利要求6所述的辅助驾驶的视觉感知方法，其特征在于：在步骤s410中，对于任务层t的结构搜索，需要将任务层t的分支结构由离散结构转变为连续化搜索空间；转变后的连续化搜索空间通过如下公式进行表示：

8.如权利要求7所述的辅助驾驶的视觉感知方法，其特征在于：在步骤s420中，通过对输出损失lout和结构损失larch进行双优化来实现对损失函数lall的优化；具体通过梯度下降法来最小化以下目标：

9.如权利要求8所述的辅助驾驶的视觉感知方法，其特征在于：通过迭代优化算法对目标进行求解，得到最佳的分支结构参数α和网络权重w；通过将连续的结构参数α恢复为离散的网络节点连接操作o，进而得到一个任务分支结构确定且神经网络权重表现最佳的多任务神经网络模型f*；其中，对连续表示的神经网络结构进行离散化计算的公式如下：

10.一种利用权利要求1-9任一项辅助驾驶的视觉感知方法的系统，其特征在于：包括：

技术总结
本申请公开了一种辅助驾驶的视觉感知方法，包括如下步骤：S100：收集辅助驾驶图像数据，将数据集预处理后构成输入X；S200：构建多任务神经网络模型F并将输入X代入以得到多个分支任务特定的输出f<subgt;i</subgt;(X)；S300：计算多任务神经网络模型F最终的损失函数L<subgt;all</subgt;；S400：将最小化作为损失函数L<subgt;all</subgt;的目标进行优化，最终得到最佳多任务神经网络模型F<supgt;*</supgt;。还公开了一种利用上述辅助驾驶的视觉感知方法的系统，具体包括数据输入模块、共享层特征提取模块、任务层结构搜索模块和模型输出模块。本申请的有益效果：针对辅助驾驶感知复杂环境的实时性需求，构建了多任务模型，有效降低网络参数量和计算量，同时减少线上推理时间，非常有利于实际应用。

技术研发人员：李科
受保护的技术使用者：宁波弗浪科技有限公司
技术研发日：
技术公布日：2024/1/12