一种基于深度学习的越野环境场景识别方法及系统与流程

本发明涉及越野环境场景识别技术领域，尤其涉及一种基于深度学习的越野环境场景识别方法及系统。

背景技术：

无人驾驶车辆在越野环境中的场景理解任务主要包括对道路的识别与检测，以及一些特殊场景，如烟雾场景、沙尘环境等的识别。

目前基于深度学习的场景理解算法大多数是针对城市环境而言，不适用于越野环境。城市环境中的道路类型往往是结构化道路，受环境影响较小，而越野环境下的道路类型通常是非结构化道路，道路轮廓不规则，且受天气影响较大，特征多变，如雨天中的泥泞路面和晴天下的土路的道路特征就不一致，所以一些适用于城市环境的场景理解算法在越野环境下有可能会失效。其次，在场景理解任务中，由于场景复杂度不同，不同场景之间存在交叉关联性。如越野场景可分为烟雾环境、沙尘环境、土路场景、砂石路场景等等，但目前的场景理解算法往往只检测某一种场景，实现的是单输入单输出的检测方式，不能满足复杂越野环境下的单输入多输出的场景理解任务需求。

由于针对场景分类任务，对于相同类别的属性特征，每个深度学习训练出来的模型只能输出一种类别的属性。目前为了实现单输入多输出的场景理解任务，可以有两种实现方式。一种是采取多显卡配置，每个显卡运行一个模型，输出一个属性结果，多个显卡承载多个模型，以此实现多输出的方法。但该方法需要用到多个显卡，成本高，且每个显卡只运行一个模型，配置利用率低。另一种实现多输出的方法是在单个显卡上依次运行多个模型。将待检测图像输入第一个模型，运行出结果后释放该模型，然后将待检测图像输入到下一个模型，依次类推，直至将所有模型遍历一遍。该方法显卡利用率高，但加载模型和释放模型的时间消耗过长，不适用于无人驾驶车辆的实车运行。

另外，当无人车在越野环境中行驶时，可通行区域的提取往往依赖多个激光雷达配合检测，激光雷达成本较高，且使用单一种类的传感器的检测效果不佳。

技术实现要素：

鉴于上述的分析，本发明旨在提供一种基于深度学习的越野环境场景识别方法及系统，用以解决现有越野环境场景识别时间长、可通过区域提取成本高且提取效果较差的问题。

本发明的目的主要是通过以下技术方案实现的：

一种基于深度学习的越野环境场景识别方法，包括如下步骤：

获取越野环境场景下拍摄得到的待检测图像；

对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果和道路类型识别结果；

根据所述道路类型识别结果对所述待检测图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；

在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果，包括：

利用滑动窗口扫描所述待检测图像，得到若干个待检测子区域；

将所述若干个待检测子区域依次输入至训练好的场景识别模型，由所述场景识别模型处理得到每一所述待检测子区域的场景识别结果；

若超过一定比例的待检测子区域的烟雾识别结果均为有烟雾，则所述待检测图像的烟雾识别结果为有烟雾；

若超过一定比例的待检测子区域的扬尘识别结果均为有扬尘，则所述待检测图像的扬尘识别结果为有扬尘；

将所述待检测子区域自然场景识别结果中占比最大的自然场景类型，作为所述待检测图像的自然场景识别结果；

将所述待检测子区域道路类型识别结果中占比最大的道路类型，作为所述待检测图像的道路类型识别结果；

其中，所述待检测子区域的场景识别结果，对应于烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果、无识别结果中的一种。

进一步，通过以下方式训练所述场景识别模型：

获取环境场景样本集及各环境场景样本的标签；

将所述环境场景样本集分为训练集和测试集；利用训练集训练所述场景识别模型，利用测试集对训练后的场景识别模型进行评估，得到满足精度要求的场景识别模型；

所述环境场景样本集至少包括：用于烟雾识别的烟雾样本；用于扬尘识别的扬尘样本；用于自然场景识别的草地样本、林地样本、雪地样本；用于道路类型识别的土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本；及负样本。

进一步，所述对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果，还包括：

将所述待检测图像分别输入至烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型；

由所述烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型分别处理所述待检测图像，得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果。

进一步，通过烟雾样本和无烟雾样本训练所述烟雾识别模型；

通过扬尘样本和无扬尘样本训练所述扬尘识别模型；

通过草地样本、林地样本、雪地样本及负样本训练所述自然场景识别模型；

通过所述土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本训练道路类型识别模型。

进一步，所述根据所述道路类型识别结果对所述待检测图像进行道路语义分割，处理得到所述待检测图像的路面分割结果，包括：

将所述待检测图像输入至路面分割模型，所述路面分割模型根据所述道路类型识别结果确定待分割路面的类型，基于所述待分割路面的类型处理所述待检测图像得到相应类型的路面初步分割结果；

对所述路面初步分割结果进行包括膨胀、腐蚀在内的形态学处理，得到所述待检测图像的路面分割结果。

进一步，所述滑动窗口的大小为128*128，步长为128。

进一步，所述一定比例为5％。

本发明还公开了一种基于深度学习的越野环境场景识别系统，所述系统包括：

待检测图像获取模块，用于获取越野环境场景下拍摄得到的待检测图像；

环境场景识别模块，用于对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果；

路面分割模块，用于根据所述道路类型识别结果对所述待处理图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；

环境场景显示模块，用于在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述环境场景识别模块为场景识别模型，通过以下方式训练所述场景识别模型：

获取环境场景样本集及各环境场景样本的标签；

将所述环境场景样本集分为训练集和测试集；利用训练集训练所述场景识别模型，利用测试集对训练后的场景识别模型进行评估，得到满足精度要求的场景识别模型；

所述环境场景样本集至少包括：用于烟雾识别的烟雾样本；用于扬尘识别的扬尘样本；用于自然场景识别的草地样本、林地样本、雪地样本；用于道路类型识别的土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本；及负样本；

或者，

所述环境场景识别模块包括烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型；其中，

通过烟雾样本和无烟雾样本训练所述烟雾识别模型；

通过扬尘样本和无扬尘样本训练所述扬尘识别模型；

通过草地样本、林地样本、雪地样本及负样本训练所述自然场景识别模型；

通过所述土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本训练道路类型识别模型

本发明有益效果如下：

本实施例提供的基于深度学习的越野环境场景识别方法中，场景识别任务主要包括烟雾识别、扬尘识别、道路类型识别以及自然场景识别共四种任务，道路分割任务为在图像中将识别到的路面单独分割出来。在场景识别过程中，为了适应越野环境识别的交叉性和复杂性，该方法能够实现单输入多输出的检测效果。场景识别任务和道路分割任务的共同完成可以使无人驾驶车辆获得更丰富的场景信息，有助于提高无人驾驶车辆的环境感知能力，同时可通行区域的分割有助于无人驾驶车辆实现更准确的路径规划，同时降低了成本。由于本发明中的系统与方法基于相同的原理实现，所以本系统也具有上述方法相应的技术效果。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例1中基于深度学习的越野环境场景识别方法流程图；

图2为本发明实施例1中自定义网络的网络架构示意图；

图3为本发明实施例1中道路分割模型网络架构示意图；

图4为本发明实施例2中基于深度学习的越野环境场景识别系统结构示意图；

图5为本发明实施例2中另一基于深度学习的越野环境场景识别系统结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

本发明的一个具体实施例，公开了一种基于深度学习的越野环境场景识别方法，如图1所示，包括如下步骤：

步骤s1：获取越野环境场景下拍摄得到的待检测图像；

步骤s2：对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果和道路类型识别结果；

为适应不同硬件和不同精度要求的场景识别，本发明还对场景识别过程做出了改进，提供了两种不同的场景识别方式：

第一种场景识别方式：将所有细分的分类任务认为是一个复杂的分类任务，将所有的样本集中起来共同训练一个模型；具体地，采用这种方式时，步骤s2进一步包括：

步骤s21：利用滑动窗口扫描所述待检测图像，得到若干个待检测子区域；

步骤s22：将所述若干个待检测子区域依次输入至训练好的场景识别模型，由所述场景识别模型处理得到每一所述待检测子区域的场景识别结果；采用该方法进行场景识别时，选取的子区域较小，可认为子区域的属性具有单一性，即，所述待检测子区域的场景识别结果，对应于烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果、无识别结果中的一种。故可以采取滑动窗的方式对图像中不同的子区域分别进行检测，并将检测结果赋给每一个检测窗口，最终在一幅图像中可以得到多个检测结果。在此基础上，需要对多个检测结果进行分析，得到显示于待检测图像上的识别结果，具体过程如下：

步骤s23：若超过一定比例(优选5％)的待检测子区域的烟雾识别结果均为有烟雾，则所述待检测图像的烟雾识别结果为有烟雾；若超过一定比例(优选5％)的待检测子区域的扬尘识别结果均为有扬尘，则所述待检测图像的扬尘识别结果为有扬尘；将所述待检测子区域自然场景识别结果中占比最大的自然场景类型，作为所述待检测图像的自然场景识别结果；将所述待检测子区域道路类型识别结果中占比最大的道路类型，作为所述待检测图像的道路类型识别结果；

上述场景识别方法中，滑动窗口的选取会对检测结果存在一定影响，本发明给出了滑动窗口的优选方案：滑动窗口的大小为128*128，步长为128；按照这种方式得到的子区域之间不存在重叠部分，避免了重复识别过程，有效提升了识别效率和识别精度。本发明还给出了上述场景识别模型的训练方式，具体过程如下：获取环境场景样本集及各环境场景样本的标签；将所述环境场景样本集分为训练集和测试集；利用训练集训练所述场景识别模型，利用测试集对训练后的场景识别模型进行评估，得到满足精度要求的场景识别模型；所述环境场景样本集至少包括：用于烟雾识别的烟雾样本；用于扬尘识别的扬尘样本；用于自然场景识别的草地样本、林地样本、雪地样本；用于道路类型识别的土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本；及负样本。由于在检测过程中采用滑动窗的检测方法，应用的是图像的局部特征，故需要将样本进行裁剪，裁剪出图像中包含检测内容的样本，抛弃图像其他内容，如天空、电线等物体，进一步细化所识别的样本。使用googlenet中的inception-v3网络结构进行场景识别模型训练。

第二种场景识别方式：将四个细分的场景识别任务单独训练识别模型，最终将各个模型集成起来，对于同一张输入图像，同时加载四个训练好的模型进行判断检测；具体地，采用这种方式时，步骤s2进一步包括：将所述待检测图像分别输入至烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型；由所述烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型分别处理所述待检测图像，得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果。这种方式需要分别训练烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型，本发明还给出了训练上述模型的方式：通过烟雾样本和无烟雾样本训练所述烟雾识别模型；通过扬尘样本和无扬尘样本训练所述扬尘识别模型；通过草地样本、林地样本、雪地样本及负样本训练所述自然场景识别模型；通过所述土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本训练道路类型识别模型。由于用四个子任务模型(即烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型)实现不同属性的检测任务，所以在检测过程中需要同时加载四个子任务模型。若采用单卡同步计算的方式同时加载四个子任务，当需要应用模型时，数据输入，此时由于模型处于同步计算方式，所有需要由显卡分配gpu资源，每个模型可以占用一定比例的显卡资源，当每个模型占据一定的gpu资源后，模型接收输入数据开始运行，运行结束后将检测结果输出，由于每个模型检测速度不一，故需等待所有模型均输出结果后，将结果统一输出后再释放gpu资源。由于采用了单卡同步的计算方式，单块显卡的负荷较高，当模型的参数过高时，每个模型分配到的gpu资源可能不足以使模型正常且实时运行。因此，需要对网络模型进行优化，减小参数。本发明采用自定义的网络结构分别训练上述四个子任务模型，在基本满足检测要求的情况下减小参数量，使网络结构轻量化。

示例性地，本实施例还给出了自定义网络的实现过程，各层的设置情况如表1所示。其中，图像尺寸大小记为长*宽*通道数，k表示卷积核的大小，s表示步长，p表示padding的数目。本实施例中，自定义网络模型处理的图像为128*128*3，3表示彩色图像包含的r,g,b三个通道。

表1自定义网络各层设置示意图

该网络结构包括8个卷积层、4个池化层、2个全连接层，每2个卷积层、1个池化层作为1组卷积-池化结构，顺序设置4组卷积-池化结构，最后一组卷积-池化结构的输出与第一全连接层的输入相连，第一全连接层的输出与第二全连接层的输入相连，第二全连接层的输出作为分类结果，如图2所示。分类结果中的分类数可根据模型的需要具体设置。如，在本实施例中，烟雾识别模型的分类结果有两类(有烟雾、无烟雾)、扬尘识别模型的分类结果有两类(有扬尘、无扬尘)、自然场景识别模型的分类结果有四类(草地、林地、雪地及其他)、道路类型识别模型的分类结果有六类(土路、草路、砂石路、水泥路、涉水路面、冰雪路面)。当模型训练完后，通过查看每张图的激活信息可以看出模型是否学习到了特征，只有确保模型学习的特征正确才将其投入使用。

使用该网络结构进行识别时，若待处理图像的大小与网络结构模型中第一个卷积层可处理的图像大小不一致，需要将待处理图像整体缩放至第一个卷积层可处理的图像大小，然后进行后续处理。由于越野环境场景识别任务中，不涉及小尺寸的具体物体识别，对于越野环境的识别，即使将待检测图像进行缩放，采用本实施例中网络结构也能实现准备识别。

由于inception-v3网络参数量大，训练用时长，在本发明需要解决的越野环境场景识别的多分类问题上网络结构较为冗余(本发明中分类工作最多不超过20类，原inception-v3网络是用于imagenet中的1000类的分类工作)，所以提出自定义的网络结构处理多分类问题。具体的参数设计仍然是经过不断的调试得到比较简洁的效果。其中卷积核大小固定为3*3，由于本发明中的分类问题，类别少，物体特征比较简单，因此通道数设置的不超过40个；若设置的通道数过多，有些通道往往学习不到相应的特征，反而造成了参数的冗余，所以每一次的网络加深，通道数变化不会很大。在每个池化层前会有两个相同输出的卷积层，通道数不变和尺寸不变是为了使网络能够在规定大小内重复学习特征，提高网络的细粒度特征。

该两种识别方法都可用于越野环境的场景识别，滑动窗口检测的方法(第一种)的优点在于仅需训练一个模型即可，但检测准确率不稳定。多模型集成的方法(第二种)的优点在于准确率高，但是需要训练多个模型，同时还要修改网络结构以满足实时性的要求。实际应用过程中，可根据识别对于硬件和精度的要求，选取相应的场景识别方法。

步骤s3：根据所述道路类型识别结果对所述待检测图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；具体地，

步骤s31：将所述待检测图像输入至路面分割模型，所述路面分割模型根据所述道路类型识别结果确定待分割路面的类型，基于所述待分割路面的类型处理所述待检测图像得到相应类型的路面初步分割结果；其中，路面分割模型采用全卷积神经网络进行语义分割，将道路情况在图像中分割出来。将所有的路面分割数据集用作路面分割模型的训练，其中类别包括土路样本及其标签、草路样本及其标签、砂石路样本及其标签、水泥路样本及其标签、涉水路面样本及其标签、冰雪路面样本及其标签等共6种，使用fcn-8全卷积神经网络(fullyconvolutionalnetworks)进行道路分割模型训练，如图3所示。若精度不达标，调整超参数设置，重新训练，若精度达到预设值，则保存各个模型。本实施例中不同类型的路面均是由上述路面分割模型获得，利用上述模型可以检测多种道路类型。全卷积神经网络是现有的较早出现的语义分割模型，在图像语义分割方面应用较广。

步骤s32：对所述路面初步分割结果进行包括膨胀、腐蚀在内的形态学处理，得到所述待检测图像的路面分割结果。

步骤s4：在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。

与现有技术相比，本实施例提供的基于深度学习的越野环境场景识别方法中，场景识别任务主要包括烟雾识别、扬尘识别、道路类型识别以及自然场景识别共四种任务，道路分割任务为在图像中将识别到的路面单独分割出来。在场景识别过程中，为了适应越野环境识别的交叉性和复杂性，该方法能够实现单输入多输出的检测效果。场景识别任务和道路分割任务的共同完成可以使无人驾驶车辆获得更丰富的场景信息，有助于提高无人驾驶车辆的环境感知能力，同时可通行区域的分割有助于无人驾驶车辆实现更准确的路径规划，同时降低了成本。

实施例2

在本发明的另一实施例中，提供了一种基于深度学习的越野环境场景识别系统，所述系统包括：待检测图像获取模块，用于获取越野环境场景下拍摄得到的待检测图像；环境场景识别模块，用于对待检测图像进行场景识别，处理得到所述待检测图像的烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果；路面分割模块，用于根据所述道路类型识别结果对所述待处理图像进行道路语义分割，处理得到所述待检测图像的路面分割结果；环境场景显示模块，用于在所述待检测图像上统一显示所述烟雾识别结果、扬尘识别结果、自然场景识别结果、道路类型识别结果及路面分割结果。

优选地，场景识别模型有两种设置方式：

第一种，所述环境场景识别模块为场景识别模型，此时系统结构示意图如图4所示。通过以下方式训练所述场景识别模型：获取环境场景样本集及各环境场景样本的标签；将所述环境场景样本集分为训练集和测试集；利用训练集训练所述场景识别模型，利用测试集对训练后的场景识别模型进行评估，得到满足精度要求的场景识别模型；所述环境场景样本集至少包括：用于烟雾识别的烟雾样本；用于扬尘识别的扬尘样本；用于自然场景识别的草地样本、林地样本、雪地样本；用于道路类型识别的土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本；及负样本；

第二种，所述环境场景识别模块包括烟雾识别模型、扬尘识别模型、自然场景识别模型、道路类型识别模型；此时系统结构示意图如图5所示。其中，通过烟雾样本和无烟雾样本训练所述烟雾识别模型；通过扬尘样本和无扬尘样本训练所述扬尘识别模型；通过草地样本、林地样本、雪地样本及负样本训练所述自然场景识别模型；通过所述土路样本、草路样本、砂石路样本、水泥路样本、涉水路面样本、冰雪路面样本训练道路类型识别模型。

本发明系统实施例的具体实施过程参见上述方法实施例即可，本实施例在此不再赘述。由于本实施例与上述方法实施例原理相同，所以本系统也具有上述方法实施例相应的技术效果。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。