基于深度学习网络的地面场景检测方法和系统与流程

1.本发明涉及辅助驾驶技术领域，具体涉及一种基于深度学习网络的地面场景检测方法和系统。


背景技术：

2.近年来，自动驾驶和辅助驾驶得到了广泛的使用，在辅助驾驶过程中，平顺性是主要的性能条件之一。在面对如积水、泥泞、坑洼等不同的地面状态或草地、岩石、积雪等不同地面类型时，汽车底盘和悬架需要采用不同的策略及时调整阻尼、刚度等参数特性，从而提高底盘自动化水平，提高驾驶体验和乘坐舒适性。
3.现有的地面场景检测方法，通常将地面作为一个整体区域进行检测，若地面场景复杂时，无法获得精确的细粒度结果，导致地面场景检测的准确性较差。


技术实现要素：

4.为此，本发明实施例提供一种基于深度学习网络的地面场景检测方法和系统，以期至少部分解决现有技术中地面场景检测准确性较差的技术问题。
5.为了实现上述目的，本发明实施例提供如下技术方案：一种基于深度学习网络的地面场景检测方法，所述方法包括：获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
6.其中，所述网格像素分割模型是通过地面检测区域样本划分的单元网格样本训练得到的。
7.进一步地，基于所述视差图计算地面检测区域，具体包括：设定从最近地面可视点至距离双目相机v_z米的范围为地面检测区域的纵向范围；由双目视差图做水平投影，以得到v向视差图；在v向视差图上拟合路面斜线，以得到路面方程，所述路面方程表示地面视差值与视差图中图像纵坐标i_y的转换关系；根据路面拟合方程和双目立体视觉公式，计算v_z距离对应的图像纵坐标i_y；基于图像纵坐标i_y在视差图中获得地面检测区域。
8.进一步地，根据双目立体视觉原理，所述双目立体视觉公式为：
式中，v_z表示地面上某一点p到相机的纵向距离，baseline为双目相机的基线，focus为焦距，disp表示地面点p的视差值。
9.进一步地，将所述地面检测区域划分为若干单元网格，具体包括：根据预先设定的检出精度和检出范围，设定所述单元网格的大小。
10.进一步地，预先训练网格像素分割模型，具体包括：获取地面检测区域样本，并将所述地面检测区域样本划分为若干单元网格样本；将各所述单元网格样本输入深度学习网络进行训练，以得到网格像素分割模型。
11.进一步地，将所有所述地面感知结果进行融合，以得到感知融合结果，具体包括：对不同距离范围内、相同地面类型和地面状态的邻近单元网格进行合并，以得到地面检测区域内的地面场景信息和图像中的坐标信息；以所述地面场景信息和所述坐标信息作为感知融合结果。
12.本发明还提供一种基于深度学习网络的地面场景检测系统，所述系统包括：图像获取单元，用于获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；检测区域计算单元，用于基于所述视差图计算地面检测区域；感知结果获取单元，用于将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；第一结果融合单元，用于将所有所述地面感知结果进行融合，以得到感知融合结果；第二结果融合单元，用于将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
13.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
14.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
16.本发明所提供的基于深度学习网络的地面场景检测方法和系统，通过获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。从而利用单元网格的划分，实现了较高的细粒度结果，提高了地面场景检测的准确性。
17.这样，本发明提供的地面场景检测方法和系统，对车辆前方地面类型、地面状态等利用深度学习模型进行多网格像素分割检测，并且融合双目视差图得到空间位置信息。在复杂的地面场景下，能够细粒度的判断地面不同区域的多种地面类型和地面状态，从而准确地检测不同距离的地面场景变化，利用网格像素分割思想，解决了现有技术中地面场景检测准确性较差的技术问题。
附图说明
18.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
19.本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
20.图1为本发明所提供的地面场景检测方法一种具体实施方式的流程图；图2为图1所示方法中计算地面检测区域的流程图；图3为地面检测区域的网格划分结构示意图；图4为网格像素分割模型的训练流程图；图5为图4所示网格像素分割模型所采用的网络结构示意图；图6为本发明所提供的地面场景检测系统一种具体实施方式的结构框图。
具体实施方式
21.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.为了解决现有技术地面场景检测准确性较差的技术问题，本发明提供了一种地面场景检测方法和系统，利用深度学习模型，对车辆前方地面类型、地面状态进行多网格像素分割检测，在降低数据和模型复杂度的同时可以获得细粒度的感知结果；再结合双目立体视觉技术获得空间位置信息，从而实时监测感知前方的地面场景，向车辆控制器输出稳定的检测信号，为汽车悬架调整提供数据支持。
23.请参考图1，图1为本发明所提供的地面场景检测方法一种具体实施方式的流程图。
24.在一种具体实施方式中，本发明所提供的基于深度学习网络的地面场景检测方法包括以下步骤：s101：获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图。具体地，通过车载的双目立体相机获取道路原始图像，该道路原始图像是需要检测的目标区域内的图像。通过双目立体相机可以获取左、右两个原始彩色图像，根据相
机的标定参数进行矫正后，获得左、右两个彩色矫正图像。而后根据双目立体视觉原理，对双目左、右相机的图像匹配区域逐点计算视差值，得到相应的视差图。
25.s102：基于所述视差图计算地面检测区域，在视差图上动态的计算地面检测区域。
26.s103：将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果。为了得到更准确的地面场景信息，将地面检测区域（roi）划分为均匀大小的网格，而后利用预先训练的网格像素分割模型对每个单元网格进行地面类型和地面状态的检测，以得到每个单元网格的地面感知结果。其中，地面感知结果包括了地面类型检测结果和地面状态检测结果。
27.s104：将所有所述地面感知结果进行融合，以得到感知融合结果。具体地，利用上述预训练得到的网格像素分割模型，对地面场景进行检测时，获得地面类型和地面状态构成的感知结果。其中，地面类型可以包括沥青、混凝土、草地、沙漠、雪地等；地面状态可以包括积水、坑洼、破损、泥泞等。
28.s105：将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
29.其中，所述网格像素分割模型是通过地面检测区域样本划分的单元网格样本训练得到的。
30.在一些实施例中，为了提高地面检测区域的获取准确性，可动态地计算地面检测区域。如图2所示，基于所述视差图计算地面检测区域，具体包括以下步骤：s201：设定从最近地面可视点至距离双目相机v_z米的范围为地面检测区域的纵向范围；s202：由双目视差图做水平投影，以得到v向视差图，应当理解的是，由双目视差图做水平投影，以得到水平方向视差图，即v视差图；s203：在v向视差图上拟合路面斜线，以得到路面方程，所述路面方程表示地面视差值与视差图中图像纵坐标i_y的转换关系；s204：根据路面拟合方程和双目立体视觉公式，计算v_z距离对应的图像纵坐标i_y；s205：基于图像纵坐标i_y在视差图中获得地面检测区域。
31.其中，根据双目立体视觉原理，所述双目立体视觉公式为：式中，v_z表示地面上某一点p到相机的纵向距离，baseline为双目相机的基线，focus为焦距，disp表示地面点p的视差值。
32.在一个具体使用场景中，动态计算地地面检测区域（roi）时，假设地面检测区域的纵向范围为：从最近地面可视点至距离双目相机v_z米的范围。由双目视差图做水平投影得到v向视差图，在v向视差图上拟合路面斜线得到路面方程r，即为地面视差值disp与图像纵坐标i_y的转换关系，计算出v_z距离对应的图像纵坐标i_y，从而动态的获得地面检测范围在图像中对应的感兴趣区域roi。
33.在一些实施例中，将所述地面检测区域划分为若干单元网格，具体包括：
根据预先设定的检出精度和检出范围，设定所述单元网格的大小。在一个具体使用场景中，根据具体的检出精度和检出范围设置单元网格的大小，假设单元网格宽为w个像素，高为h个像素，则需要将roi的大小自适应调整为w * h,且w、h分别为w、h的整数倍，w * h = w * h * m * n,即将w * h的roi划分为m * n个w * h的网格。如图3所示，为地面检测区域roi的网格划分示意图。
34.如图4所示，上述预先训练的网格像素分割模型，其预训练过程具体包括以下步骤：s401：获取地面检测区域样本，并将所述地面检测区域样本划分为若干单元网格样本；s402：将各所述单元网格样本输入深度学习网络进行训练，以得到网格像素分割模型。
35.仍以上述使用场景为例，如图5所示，是深度学习网格像素分割模型的一个基本网络示例结构。该网络结构基本包括：（1）roi图像输入，将适配宽高之后w * h的roi图像输入；（2）多个卷积层进行特征提取；（3）模型输出：获得m * n个单元网格的像素分类结果。本方法提出的网格像素分割模型，以深度学习图像分割网络为基础，进行了改进和创新。常见的图像分割网络，是对每一个像素点进行判断类别，得到像素级别的分割结果；而基于网格像素分割的模型，则是以每一个网格为最小单元进行像素类别判断，可以在获得细粒度的检测结果的同时，很大程度的降低数据标注的复杂度和模型计算量。
36.进一步地，将所有所述地面感知结果进行融合，以得到感知融合结果，具体包括：对不同距离范围内、相同地面类型和地面状态的邻近单元网格进行合并，以得到地面检测区域内的地面场景信息和图像中的坐标信息；以所述地面场景信息和所述坐标信息作为感知融合结果。
37.具体地，该方法包括两步融合，其一为多个网格区域感知结果融合，其二为感知信息与双目视差信息融合。其中，在进行多个网格区域感知结果融合时，将m * n个单元网格的模型感知结果进行融合，对不同距离范围内，相同地面类型和地面状态的邻近单元网格进行合并，最后得到整个地面检测区域范围内的各种地面场景信息和图像中的坐标信息。在进行感知信息与双目视差信息融合时，依据双目立体视觉原理，将深度学习网格像素分割模型基于图像的感知结果，融合视差信息，进一步获得准确地空间位置信息。
38.在上述具体实施方式中，本发明所提供的基于深度学习网络的地面场景检测方法，通过获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。从而利用单元网格的划分，实现了较高的细粒度结果，提高了地面场景检测的准确性。
39.这样，本发明提供的地面场景检测方法和系统，对车辆前方地面类型、地面状态等利用深度学习模型进行多网格像素分割检测，并且融合双目视差图得到空间位置信息。在复杂的地面场景下，能够细粒度的判断地面不同区域的多种地面类型和地面状态，从而准确地检测不同距离的地面场景变化，利用网格像素分割思想，解决了现有技术中地面场景
检测准确性较差的技术问题。
40.除了上述方法，本发明还提供一种基于深度学习网络的地面场景检测系统，如图6所示，所述系统包括：图像获取单元100，用于获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；检测区域计算单元200，用于基于所述视差图计算地面检测区域；感知结果获取单元300，用于将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；第一结果融合单元400，用于将所有所述地面感知结果进行融合，以得到感知融合结果；第二结果融合单元500，用于将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
41.在上述具体实施方式中，本发明所提供的基于深度学习网络的地面场景检测系统，通过获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。从而利用单元网格的划分，实现了较高的细粒度结果，提高了地面场景检测的准确性。
42.这样，本发明提供的地面场景检测系统，对车辆前方地面类型、地面状态等利用深度学习模型进行多网格像素分割检测，并且融合双目视差图得到空间位置信息。在复杂的地面场景下，能够细粒度的判断地面不同区域的多种地面类型和地面状态，从而准确地检测不同距离的地面场景变化，利用网格像素分割思想，解决了现有技术中地面场景检测准确性较差的技术问题。
43.本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
44.与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
45.与上述实施例相对应的，本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
46.在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（digital signal processor，简称dsp）、专用集成电路（application specific工ntegrated circuit，简称asic）、现场可编程门阵列（fieldprogrammable gate array，简称fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
47.可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理
器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
48.存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
49.其中，非易失性存储器可以是只读存储器（read-only memory，简称rom）、可编程只读存储器（programmable rom，简称prom）、可擦除可编程只读存储器（erasable prom，简称eprom）、电可擦除可编程只读存储器（electrically eprom，简称eeprom）或闪存。
50.易失性存储器可以是随机存取存储器（random access memory，简称ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（static ram，简称sram）、动态随机存取存储器（dynamic ram，简称dram）、同步动态随机存取存储器（synchronous dram，简称sdram）、双倍数据速率同步动态随机存取存储器（double data ratesdram，简称ddrsdram）、增强型同步动态随机存取存储器（enhanced sdram，简称esdram）、同步连接动态随机存取存储器（synchlink dram，简称sldram）和直接内存总线随机存取存储器（directrambus ram，简称drram）。
51.本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
52.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
53.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。