车载测距方法、装置、车载终端及可读存储介质与流程

本技术涉及自动驾驶，特别是涉及一种车载测距方法、装置、车载终端及可读存储介质。

背景技术：

1、随着自动驾驶技术的快速发展，自动驾驶汽车已被应用在日常工作生活中。自动驾驶汽车采用先进的通信、计算机、网络和控制技术实现实时、连续地控制汽车的行驶。可以理解的是，自动驾驶过程中，需要不断地采集行驶前方、周围的环境图像，以便快速作出正确决策，相应的，处理器获取的图像数据分辨率高且图像数据量大，对图像处理结果精度和实时性的要求均很高。

2、深度学习方法通过神经网络可以直接从数据中学习到有用的特征表示，例如可以使用预训练神经网络识别和过滤图像中的噪声，有效提高图像处理效果，被广泛应用在图像处理技术领域。

3、相关技术在处理图像时所采用的神经网络规模都很大，并无法满足实时性的要求；为了满足实时性要求，提高图像处理效率，但是又无法满足高精度的需求，导致最终所确定深度信息并无法同时满足高精度和实时性要求。

4、鉴于此，高效且高精度地计算深度信息，是所属领域技术人员需要解决的技术问题。

技术实现思路

1、本技术提供了一种车载测距方法、装置、车载终端及可读存储介质，可以高效且高精度地计算深度信息。

2、为解决上述技术问题，本发明实施例提供以下技术方案：

3、本发明实施例一方面提供了一种车载测距方法，应用于车载终端的图像处理过程中，包括：

4、根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息；

5、从所述待测车辆所在道路的道路rgb图中提取rgb特征信息；所述rgb特征信息包括空间信息、rgb通道维度上的语义和文本信息；

6、将所述深度特征信息和所述rgb特征信息进行融合，并对融合之后的特征进行卷积处理；

7、将卷积处理后的特征输入至解码器进行上采样处理，生成深度图。

8、可选的，所述对所述取样区域进行特征提取，包括：

9、预先构建深度特征提取模块；所述深度特征提取模块包括多个相连的粗特征提取单元，每个粗特征提取单元包括相连的膨胀放大层和最大池化层；

10、利用所述深度特征提取模块对所述取样区域进行特征提取。

11、可选的，所述深度特征提取模块还包括精细特征提取单元，所述精细特征提取单元包括卷积神经网络；

12、所述卷积神经网络的输入为最后一个粗特征提取单元的输出特征，输出为所述深度特征信息。

13、可选的，所述根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，包括：

14、基于轮廓匹配算法，将取样点放置至当前时刻获取的道路深度图中的特征区域上。

15、可选的，所述从待测车辆所在道路的道路rgb图中提取rgb特征信息，包括：

16、预先构建rgb编码组件；所述rgb编码组件包括resnet50、注意力模块和空洞卷积模块，所述注意力模块包括并列的通道注意力模块和空间注意力模块，所述空洞卷积模块包括多个并列且不同空洞数的空洞卷积层；

17、将所述道路rgb图输入至所述rgb编码组件，以通过所述resnet50、所述注意力模块和所述空洞卷积模块对所述道路rgb图进行编码处理；

18、其中，所述resnet50的输入为所述道路rgb图，所述通道注意力模块和所述空间注意力模块的输入为所述resnet50的输出，所述空洞卷积模块的各空洞卷积层的输入为所述通道注意力模块和所述空间注意力模块的输出特征和。

19、可选的，所述将卷积处理后的特征输入至解码器进行上采样处理，包括：

20、分别将所述resnet50输出的1/2分辨率、1/4分辨率、1/8分辨率、1/16分辨率的输出特征输入至解码器与对应的分辨率特征进行上采样处理。

21、可选的，所述将卷积处理后的特征输入至解码器进行上采样处理之前，还包括：

22、预先构建并训练好解码器；

23、所述解码器包括多个采样模块，每个采样模块均包括skip结构、转置卷积层和一个卷积层。

24、可选的，所述根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息，包括：

25、将待测车辆所在道路的道路深度图的分辨率转换为1/2低分辨率，得到1/2低分辨率道路深度图；

26、根据所述道路深度图的当前场景实时调整取样区域，并进行特征提取，得到第一深度特征信息；

27、根据所述1/2低分辨率道路深度图的当前场景实时调整取样区域，并进行特征提取，得到1/2深度特征信息。

28、可选的，所述将所述深度特征信息和所述rgb特征信息进行融合，并对融合之后的特征进行卷积处理，包括：

29、调用resize函数，对所述rgb特征信息进行缩放处理，得到rgb缩放特征；

30、对所述rgb缩放特征进行一次卷积处理，得到rgb一次卷积特征；

31、对所述rgb一次卷积特征进行再次卷积处理，得到rgb二次卷积特征；

32、将所述第一深度特征信息、所述rgb缩放特征和所述rgb一次卷积特征进行融合，并对融合之后的特征进行卷积处理，得到第一融合卷积特征；

33、将所述1/2深度特征信息、所述rgb一次卷积特征和所述rgb二次卷积特征进行融合，并对融合之后的特征进行卷积处理，得到1/2融合卷积特征。

34、可选的，所述解码器包括结构相同的第一解码器和第二解码器，所述将卷积处理后的特征输入至解码器进行上采样处理，生成深度图，包括：

35、将所述第一融合卷积特征输入至第一解码器进行上采样处理，得到第一解码特征；

36、将所述1/2融合卷积特征输入至第二解码器进行上采样处理，得到1/2解码特征；

37、对所述1/2解码特征进行分辨率放大处理，以与所述第一解码特征的分辨率相同；

38、将所述第一解码特征和分辨率放大后的1/2解码特征输入至融合特征层进行融合处理，以得到深度图。

39、可选的，所述融合特征层依次包括融合层、第一卷积层、特征选择组合层和第二卷积层；

40、所述特征选择组合层包括全局池化层、第三卷积层、第一relu层、第四卷积层、权重处理层及求和层；

41、所述权重处理层，用于对经过第四卷积层输出的特征的每个通道重新加权。

42、可选的，所述从待测车辆所在道路的道路rgb图中提取rgb特征信息，包括：

43、将所述道路rgb图输入至空间滤波器，以提取所述道路rgb图的空间补全信息；

44、将所述空间补全信息输入至所述融合特征层；

45、其中，所述空间滤波器依次包括边缘特征提取层、多个特征提取层及第五卷积层；每个特征提取层均包括第六卷积层、批归一化层和第二relu层。

46、本发明实施例另一方面提供了一种车载测距装置，应用于车载终端的图像处理过程中，包括：

47、深度特征编码模块，用于根据待测车辆所在道路的道路深度图的当前场景实时调整取样区域，并对所述取样区域进行特征提取，以得到深度特征信息；

48、rgb特征编码模块，用于从所述待测车辆所在道路的道路rgb图中提取rgb特征信息；所述rgb特征信息包括空间信息、rgb通道维度上的语义和文本信息；

49、解码前融合模块，用于将所述深度特征信息和所述rgb特征信息进行融合，并对融合之后的特征进行卷积处理；

50、解码模块，用于将卷积处理后的特征输入至解码器进行上采样处理，生成深度图。

51、本发明实施例还提供了一种车载终端，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述车载测距方法的步骤。

52、本发明实施例最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述车载测距方法的步骤。

53、本技术提供的技术方案的优点在于，采用动态方式进行取样，不仅有利于提高特征提取精准度，还有利于提高特征提取效率，从而有利于高效且精准地进行深度计算，以此实现高精度且高效率的车载测距；本技术先从待测车辆所在道路的道路深度图中提取深度特征信息和rgb特征信息，然后再将深度信息和rgb信息进行融合，并对融合特征进行卷积处理，从而将深度特征和rgb特征进行关联，相比直接融合图像再进行编解码处理，会把不需要的背景和噪声均过滤掉，更有利于进行特征提取，提升特征提取精准度，还可以降低整个计算的复杂度，有效提升处理效率，可以将稀疏的深度图转换为稠密的深度图，也即转换为高分辨率的深度图，从而实现高效且高精度地计算深度信息，实现高效且精准的车载测距，对于应用于自动驾驶领域，可以有效提升自动驾驶的安全性能。

54、此外，本发明实施例还针对车载测距方法提供了相应的实现装置、车载终端及可读存储介质，进一步使得所述方法更具有实用性，所述装置、车载终端及可读存储介质具有相应的优点。

55、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。