深度信息获取方法、装置、电子设备及存储介质与流程

1.本技术涉及图像深度预测技术领域，尤其涉及一种深度信息获取方法、装置、电子设备及存储介质。


背景技术：

2.在自动驾驶领域中，如何获取车辆行人等目标的深度信息，是当前很多研究中较为重要的技术点，如3d重建，障碍物检测，slam(simultaneous localization and mapping，即时定位与地图构建)等等。
3.图像深度算法分为有监督算法和无监督算法，有监督算法的预测深度值更加准确，但是有监督算法需要提供点云，导致这类算法在实际应用中受到限制。因此无监督算法在未来的研究和应用中更加受欢迎。无监督的意思就是无需点云信号，也无需人工标注，只需要输入图像数据本身，就可以训练该算法，并且得到图像深度信息。
4.目前，常用的无监督深度算法包括两种：1、基于视频序列的单目无监督深度估计算法；2、基于视频序列的多帧无监督深度估计算法。而这两种算法，需要保证输入的图像为静态场景的图像，在动态场景下，会导致预测的图像深度信息的精确度较低。


技术实现要素：

5.本技术实施例提供一种深度信息获取方法、装置、电子设备及存储介质，以解决相关技术中无监督深度算法导致预测的图像深度信息的精确度较低的问题。
6.为了解决上述技术问题，本技术实施例是这样实现的：
7.第一方面，本技术实施例提供了一种深度信息获取方法，包括：
8.将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型；所述第一帧图像和所述第二帧图像为两帧连续的图像，且所述第一帧图像的生成时间晚于所述第二帧图像，所述深度信息融合模型包括：单目深度信息获取层、多目深度信息获取层和深度信息融合层；
9.调用所述单目深度信息获取层对所述第一帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的单目深度信息；
10.调用所述多目深度信息获取层根据所述单目深度信息、预测得到的所述目标车辆的车辆速度和目标相机的相机外参，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度；
11.调用所述深度信息融合层根据所述确信度，对所述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到所述第一帧图像的图像深度信息。
12.可选地，所述深度信息融合模型还包括：相机外参获取层，
13.在所述将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型之后，还包括：
14.调用所述相机外参获取层，对所述第一帧图像和所述第二帧图像的图像特征进行
处理，得到所述目标相机的相机外参；
15.根据所述相机外参中的相机平移向量和目标相机的相机拍摄帧率，确定所述目标车辆的车辆速度。
16.可选地，所述多目深度信息获取层包括：编码模块、代价体构建模块和解码模块，
17.所述调用所述多目深度信息获取层根据所述单目深度信息、预测得到的所述目标车辆的车辆速度和目标相机的相机外参，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度，包括：
18.调用所述编码模块对所述第一帧图像和所述第二帧图像进行编码处理，得到所述第一帧图像的第一图像特征和所述第二帧图像的第二图像特征；
19.调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到变换特征，并对所述相机外参和所述变换特征进行处理，得到所述第一帧图像中每个像素的代价体特征；
20.调用所述解码模块根据所述车辆速度和所述单目深度信息对所述代价体特征进行处理，得到所述第一帧图像中每个像素的多目深度搜索范围信息，并根据所述多目深度搜索范围信息，确定所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度。
21.可选地，所述调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到变换特征，并对所述相机外参和所述变换特征进行处理，得到所述第一帧图像中每个像素的代价体特征，包括：
22.调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到所述第一图像特征的第一变换特征和所述第二图像特征的第二变换特征；
23.根据所述第一变换特征、所述第二变换特征和所述相机外参，得到所述第二帧图像中每个像素的初始代价体特征；
24.将所述初始代价体特征投影至所述第一帧图像上，得到所述第一帧图像中每个像素的代价体特征。
25.可选地，所述调用所述深度信息融合层根据所述确信度，对所述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到所述第一帧图像的图像深度信息，包括：
26.调用所述深度信息融合层获取所述第一帧图像中确信度大于第一确信度阈值的第一像素，并将所述第一像素的多目深度信息作为所述第一像素的深度信息；
27.调用所述深度信息融合层获取所述第一帧图像中确信度小于第二确信度阈值的第二像素，并将所述第二像素的单目深度信息作为所述第二像素的深度信息；所述第一确信度阈值大于所述第二确信度阈值；
28.调用所述深度信息融合层获取所述第一帧图像中除所述第一像素和所述第二像素外的第三像素，并根据所述第三像素的确信度对所述第三像素的单目深度信息和所述多目深度信息进行融合，得到融合深度信息，将所述融合深度信息作为所述第三像素的深度信息；
29.根据所述第一像素的深度信息、所述第二像素的深度信息和所述第三像素的深度
信息，得到所述第一帧图像的图像深度信息。
30.第二方面，本技术实施例提供了一种深度信息获取装置，包括：
31.图像输入模块，用于将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型；所述第一帧图像和所述第二帧图像为两帧连续的图像，且所述第一帧图像的生成时间晚于所述第二帧图像，所述深度信息融合模型包括：单目深度信息获取层、多目深度信息获取层和深度信息融合层；
32.单目深度获取模块，用于调用所述单目深度信息获取层对所述第一帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的单目深度信息；
33.多目深度获取模块，用于调用所述多目深度信息获取层根据所述单目深度信息、预测得到的所述目标车辆的车辆速度和目标相机的相机外参，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度；
34.图像深度获取模块，用于调用所述深度信息融合层根据所述确信度，对所述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到所述第一帧图像的图像深度信息。
35.可选地，所述深度信息融合模型还包括：相机外参获取层，
36.所述装置还包括：
37.相机参数获取模块，用于调用所述相机外参获取层，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述目标相机的相机外参；
38.车辆速度确定模块，用于根据所述相机外参中的相机平移向量和目标相机的相机拍摄帧率，确定所述目标车辆的车辆速度。
39.可选地，所述多目深度信息获取层包括：编码模块、代价体构建模块和解码模块，
40.所述多目深度获取模块包括：
41.图像特征获取单元，用于调用所述编码模块对所述第一帧图像和所述第二帧图像进行编码处理，得到所述第一帧图像的第一图像特征和所述第二帧图像的第二图像特征；
42.代价体特征获取单元，用于调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到变换特征，并对所述相机外参和所述变换特征进行处理，得到所述第一帧图像中每个像素的代价体特征；
43.多目深度确定单元，用于调用所述解码模块根据所述车辆速度和所述单目深度信息对所述代价体特征进行处理，得到所述第一帧图像中每个像素的多目深度搜索范围信息，并根据所述多目深度搜索范围信息，确定所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度。
44.可选地，所述代价体特征获取单元包括：
45.变换特征获取子单元，用于调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到所述第一图像特征的第一变换特征和所述第二图像特征的第二变换特征；
46.初始特征获取子单元，用于根据所述第一变换特征、所述第二变换特征和所述相机外参，得到所述第二帧图像中每个像素的初始代价体特征；
47.代价体特征获取子单元，用于将所述初始代价体特征投影至所述第一帧图像上，
得到所述第一帧图像中每个像素的代价体特征。
48.可选地，所述图像深度获取模块包括：
49.第一深度信息获取单元，用于调用所述深度信息融合层获取所述第一帧图像中确信度大于第一确信度阈值的第一像素，并将所述第一像素的多目深度信息作为所述第一像素的深度信息；
50.第二深度信息获取单元，用于调用所述深度信息融合层获取所述第一帧图像中确信度小于第二确信度阈值的第二像素，并将所述第二像素的单目深度信息作为所述第二像素的深度信息；所述第一确信度阈值大于所述第二确信度阈值；
51.第三深度信息获取单元，用于调用所述深度信息融合层获取所述第一帧图像中除所述第一像素和所述第二像素外的第三像素，并根据所述第三像素的确信度对所述第三像素的单目深度信息和所述多目深度信息进行融合，得到融合深度信息，将所述融合深度信息作为所述第三像素的深度信息；
52.图像深度信息获取单元，用于根据所述第一像素的深度信息、所述第二像素的深度信息和所述第三像素的深度信息，得到所述第一帧图像的图像深度信息。
53.第三方面，本技术实施例提供了一种电子设备，包括：
54.存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的深度信息获取方法。
55.第四方面，本技术实施例提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的深度信息获取方法。
56.在本技术实施例中，通过将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型。第一帧图像和所述第二帧图像为两帧连续的图像，且第一帧图像的生成时间晚于第二帧图像，深度信息融合模型包括：单目深度信息获取层、多目深度信息获取层和深度信息融合层。调用单目深度信息获取层对第一帧图像的图像特征进行处理，得到第一帧图像中每个像素的单目深度信息。调用多目深度信息获取层根据单目深度信息、预测得到的目标车辆的车辆速度和目标相机的相机外参，对第一帧图像和第二帧图像的图像特征进行处理，得到第一帧图像中每个像素的多目深度信息，及多目深度信息的确信度。调用深度信息融合层根据确信度，述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到第一帧图像的图像深度信息。本技术实施例通过结合车辆速度和单目深度自适应调整图像的多目深度，并对多目深度和单目深度进行融合得到图像深度，可以得到更精确的图像深度，提高了图像深度预测的精确度。
57.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
58.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
59.图1为本技术实施例提供的一种深度信息获取方法的步骤流程图；
60.图2为本技术实施例提供的一种相机参数获取方法的步骤流程图；
61.图3为本技术实施例提供的一种多目深度获取方法的步骤流程图；
62.图4为本技术实施例提供的一种代价体特征获取方法的步骤流程图；
63.图5为本技术实施例提供的一种图像深度信息获取方法的步骤流程图；
64.图6为本技术实施例提供的一种深度信息融合模型的示意图；
65.图7为本技术实施例提供的一种深度信息获取装置的结构示意图；
66.图8为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
67.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
68.参照图1，示出了本技术实施例提供的一种深度信息获取方法的步骤流程图，如图1所示，该深度信息获取方法可以包括：步骤101、步骤102、步骤103和步骤104。
69.步骤101：将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型。
70.本技术实施例可以应用于对图像的单目深度信息和多目深度信息进行融合，以精确得到图像的深度信息的场景中。
71.在本实施例中，目标车辆可以为自动驾驶车辆，如无人配送车、无人巡逻车等等。
72.第一帧图像和第二帧图像为两帧连续的图像，且第一帧图像的生成时间晚于第二帧图像，具体地，第一帧图像和第二帧图像为目标车辆上的目标相机录制的视频中的两帧连续的图像，如，目标相机拍摄的视频中包含10帧图像，10帧图像按照时间先后顺序依次为图像1、图像2、...、图像10，在第一帧图像为图像2时，则第二帧图像为图像1；而在第一帧图像为图像6时，则第二帧图像为图像5等等。
73.可以理解地，上述示例仅是为了更好地理解本技术实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
74.深度信息融合模型是指用于对多目深度信息和单目深度信息进行融合得到图像深度的模型，在本示例中，深度信息融合模型可以包括：单目深度信息获取层、多目深度信息获取层和深度信息融合层。如图6所示，pose branch为相机外参获取层，monocular branch即为单目深度信息获取层，mvs branch即为多目深度信息获取层等。
75.在具体实现中，在采用目标车辆上的目标相机录制视频，并解析当前帧(即第一帧)图像的深度信息时，可以将第一帧图像和上一时刻的第二帧图像输入至深度信息融合模型。
76.在将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型之后，执行步骤102。
77.步骤102：调用所述单目深度信息获取层对所述第一帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的单目深度信息。
78.在将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型之后，可以调
用单目深度信息获取层对第一帧图像的图像特征进行处理，以得到第一帧图像中每个像素的单目深度信息。如图6所示，可以在monocular branch，采用depthnet对第一帧图像(即图示frame t)进行处理，以得到该第一帧图像的单目深度信息monocular depth。
79.在调用单目深度信息获取层对第一帧图像的图像特征进行处理得到第一帧图像中每个像素的单目深度信息之后，执行步骤103。
80.步骤103：调用所述多目深度信息获取层根据所述单目深度信息、预测得到的所述目标车辆的车辆速度和目标相机的相机参数，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度。
81.车辆速度是指预测得到的目标车辆的行驶速度。
82.相机参数是指拍摄第一帧图像和第二帧图像的目标相机的参数，在本示例中，相机参数可以包括：目标相机的旋转矩阵以及相机平移向量。
83.对于预测得到车辆速度和相机参数实现过程可以结合图2进行如下详细描述。
84.参照图2，示出了本技术实施例提供的一种相机参数获取方法的步骤流程图，如图2所示，该相机参数获取方法可以包括：步骤201和步骤202。
85.步骤201：调用所述相机外参获取层，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述目标相机的相机外参。
86.在本实施例中，深度信息融合模型还可以包括：相机外参获取层，如图7所示，pose branch即为相机外参获取层。
87.在将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型之后，可以调用相机外参获取层对第一帧图像和第二帧图像的图像特征进行处理，以得到目标相机的相机外参。如图7所示，可以将frame t(即第一帧图像)和frame t-1(即第二帧图像)输入至深度信息融合模型之后，可以在pose branch，采用pose net对frame t和frame t-1的图像特征进行处理，以得到目标相机的相机外参，即旋转矩阵和相机平移向量。
88.在调用相机外参获取层对第一帧图像和第二帧图像的图像特征进行处理得到目标相机的相机外参之后，执行步骤202。
89.步骤202：根据所述相机外参中的相机平移向量和目标相机的相机拍摄帧率，确定所述目标车辆的车辆速度。
90.在调用相机外参获取层对第一帧图像和第二帧图像的图像特征进行处理得到目标相机的相机外参之后，可以根据相机外参中的相机平移向量和目标相机的相机拍摄帧率，确定目标车辆的车辆速度。具体地，在相机外参获取层可以根据下述公式(1)预测得到车辆速度：
91.v＝α||t||2ꢀꢀꢀꢀ
(1)
92.上述公式(1)中，v为车辆速度，α为相机拍摄帧率，t为相机平移向量。
93.在得到第一帧图像的单目深度信息、目标车辆的车辆速度和目标相机的相机外参之后，可以将第一帧图像的单目深度信息、目标车辆的车辆速度和目标相机的相机外参作为多目深度信息获取层的输入。可以调用多目深度信息获取层根据第一帧图像的单目深度信息、目标车辆的车辆速度和目标相机的相机外参，对第一帧图像和第二帧图像的图像特征进行处理，以得到第一帧图像中每个像素的多目深度信息，以及每个像素的多目深度信
息的确信度。该确信度可以用于表示该像素趋向于多目深度信息的程度，确信度越大表示该像素越趋向于预测的该像素的多目深度信息等。如图7所示，可以将frame t(即第一帧图像)和frame t-1(即第二帧图像)，以及pose branch和monocular branch两个分支的输出作为mvs branch的输入。以由encoder、homo-warp和decoder对输入进行处理，以得到每个像素的多目深度信息mvs depth及对应的确信度uncertainty。
94.在具体实现中，可以调用多目深度信息获取层获取第一帧图像中每个像素的代价体特征，并动态调整第一帧图像中每个像素的多目深度搜索范围信息，根据多目深度搜索范围信息确定出第一帧图像中每个像素的多目深度信息，及多目深度信息的确信度。对于该实现过程可以结合图3进行如下详细描述。
95.参照图3，示出了本技术实施例提供的一种多目深度获取方法的步骤流程图，如图3所示，该多目深度获取方法可以包括：步骤301、步骤302和步骤303。
96.步骤301：调用所述编码模块对所述第一帧图像和所述第二帧图像进行编码处理，得到所述第一帧图像的第一图像特征和所述第二帧图像的第二图像特征。
97.在本实施例中，多目深度信息获取层可以包括：编码模块、代价体构建模块和解码模块，如图7所示，mvs branch可以包括：encoder(编码模块)、homo-warp(代价体构建模块)和decoder(解码模块)。
98.在将第一帧图像和第二帧图像输入至深度信息融合模型之后，可以调用多目深度信息获取层内的编码模块对第一帧图像和第二帧图像进行编码处理，以得到第一帧图像的第一图像特征，及第二帧图像的第二图像特征。
99.在调用编码模块对第一帧图像和第二帧图像进行编码处理得到第一帧图像的第一图像特征和第二帧图像的第二图像特征之后，执行步骤302。
100.步骤302：调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到变换特征，并对所述相机外参和所述变换特征进行处理，得到所述第一帧图像中每个像素的代价体特征。
101.在调用编码模块对第一帧图像和第二帧图像进行编码处理得到第一帧图像的第一图像特征和第二帧图像的第二图像特征之后，可以采用代价体构建模块对第一图像特征和第二图像特征进行单应性变换，以得到第一图像特征和第二图像特征分别对应的变换特征。然后，对相机外参和变换特征进行处理，得到第一帧图像中每个像素的代价体特征。
102.对于该实现过程，可以结合图4进行如下详细描述。
103.参照图4，示出了本技术实施例提供的一种代价体特征获取方法的步骤流程图，如图4所示，该代价体特征获取方法可以包括：步骤401、步骤402和步骤403。
104.步骤401：调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到所述第一图像特征的第一变换特征和所述第二图像特征的第二变换特征。
105.在本实施例中，在得到第一图像特征和第二图像特征之后，可以调用代价体构建模块对第一图像特征和第二图像特征进行单应性变换，得到第一图像特征的第一变换特征和第二图像特征的第二变换特征。
106.在得到第一变换特征和第二变换特征之后，执行步骤402。
107.步骤402：根据所述第一变换特征、所述第二变换特征和所述相机外参，得到所述
第二帧图像中每个像素的初始代价体特征。
108.在得到第一变换特征和第二变换特征之后，可以根据第一变换特征、第二变换特征和相机外参，得到第二帧图像中每个像素的初始代价体特征。
109.在本实施例中，可以采用平面扫描方法构建每个像素的代价体特征，如下述公式(2)所示：
110.p
t-1,j
＝k*(r*(k-1
*p
t
*dj)+t)
ꢀꢀꢀ
(2)
111.上述公式(2)中，p
t
为第一帧图像对应的变换特征的像素特征，p
t-1,j
为第二帧图像对应的变换特征的像素特征，k为目标相机的相机内参，r为目标相机的旋转矩阵，t为目标相机的相机平移向量，dj为第j个像素的深度值。
112.在具体实现中，可以将上述公式(2)对每个像素均施加一次，进而可以得到第二帧图像中每个像素的代价体特征，即初始代价体特征。
113.步骤403：将所述初始代价体特征投影至所述第一帧图像上，得到所述第一帧图像中每个像素的代价体特征。
114.在得到第二帧图像中每个像素的初始代价体特征之后，可以将初始代价体特征投影至第一帧图像上，以得到第一帧图像中每个像素的代价体特征。
115.在得到第一帧图像中每个像素的代价体特征之后，执行步骤303。
116.步骤303：调用所述解码模块根据所述车辆速度和所述单目深度信息对所述代价体特征进行处理，得到所述第一帧图像中每个像素的多目深度搜索范围信息，并根据所述多目深度搜索范围信息，确定所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度。
117.在得到第一帧图像中每个像素的代价体特征之后，可以调用解码模块根据车辆速度和第一帧图像中每个像素的单目深度信息对相应的代价体特征进行处理，以得到第一帧图像中每个像素的多目深度搜索范围信息。然后，根据多目深度搜索范围信息，确定出第一帧图像中每个像素的多目深度信息，以及每个像素的多目深度信息的确信度。
118.在本实施例中，可以基于预测的速度和单目深度信息动态调整多目深度信息的深度搜索范围，当速度越大，多目深度信息的前提假设(两幅图像的视野变化大)被满足，那么可以扩大深度搜索范围，以更精确的预估深度。当车身速度小，多目深度信息的前提假设不满足，因此可以减少深度搜索范围，让深度尽可能逼近单目深度，这样得到的多目深度更加鲁棒。多目深度搜索范围可以如下述公式(3)所示：
[0119][0120]
上述公式(3)中，d
min
为多目深度搜索范围的最小值，d
max
为多目深度搜索范围的最大值，d
mono
为单目深度信息，β为超参数(取值在1～2之间)，t为相机平移向量，v为车辆速度，βt(v)取值范围在0～1之间。
[0121]
在得到每个像素的多目深度搜索范围信息之后，可以从多目深度搜索范围信息查找到每个像素对应的精准的多目深度信息。
[0122]
对于确信度，可以利用解码器(可以由2d卷积网络加sigmoid激活函数组成)学习代价体特征的熵函数，得到代价体特征的不确定性，以作为每个像素的多目深度信息的确信度。
[0123]
在得到第一帧图像中每个像素的单目深度信息和多目深度信息，以及每个像素的多目深度信息的确信度之后，执行步骤104。
[0124]
步骤104：调用所述深度信息融合层根据所述确信度，对所述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到所述第一帧图像的图像深度信息。
[0125]
在得到第一帧图像中每个像素的单目深度信息和多目深度信息，以及每个像素的多目深度信息的确信度之后，可以调用深度信息融合层根据确信度，对第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到所述第一帧图像的图像深度信息。对于该实现过程可以结合图5进行如下详细描述。
[0126]
参照图5，示出了本技术实施例提供的一种图像深度信息获取方法的步骤流程图，如图5所示，该图像深度信息获取方法可以包括：步骤501、步骤502、步骤503和步骤504。
[0127]
步骤501：调用所述深度信息融合层获取所述第一帧图像中确信度大于第一确信度阈值的第一像素，并将所述第一像素的多目深度信息作为所述第一像素的深度信息。
[0128]
在本实施例中，第一确信度阈值是指预先设置的用于确定图像像素中趋近多目深度信息的像素的确信度阈值，对于第一确信度阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。
[0129]
在得到第一帧图像中每个像素的多目深度信息及对应的确信度之后，可以调用深度信息融合层获取第一帧图像中确信度大于第一确信度阈值的第一像素。
[0130]
在获取到第一帧图像中确信度大于第一确信度阈值的第一像素之后，可以将第一像素的多目深度信息作为第一像素的深度信息。
[0131]
步骤502：调用所述深度信息融合层获取所述第一帧图像中确信度小于第二确信度阈值的第二像素，并将所述第二像素的单目深度信息作为所述第二像素的深度信息；所述第一确信度阈值大于所述第二确信度阈值。
[0132]
第二确信度阈值是指预先设置的用于确定图像像素中趋近于单目深度信息的像素的确信度阈值，对于第二确信度阈值的具体数值可以根据业务需求而定，本实施例对此不加以限制。
[0133]
在本示例中，第一确信度阈值大于第二确信度阈值。
[0134]
在得到第一帧图像中每个像素的多目深度信息及对应的确信度之后，可以调用深度信息融合层获取第一帧图像中确信度小于第二确信度阈值的第二像素。
[0135]
在获取到第一帧图像中确信度小于第二确信度阈值的第二像素之后，可以将第二像素的单目深度信息作为第二像素的深度信息，即以第二像素的单目深度信息替换第二像素的多目深度信息。
[0136]
步骤503：调用所述深度信息融合层获取所述第一帧图像中除所述第一像素和所述第二像素外的第三像素，并根据所述第三像素的确信度对所述第三像素的单目深度信息和所述多目深度信息进行融合，得到融合深度信息，将所述融合深度信息作为所述第三像素的深度信息。
[0137]
在得到第一帧图像中每个像素的多目深度信息及对应的确信度之后，可以调用深度信息融合层获取第一帧图像中除第一像素和第二像素外的第三像素。
[0138]
在得到第一帧图像中的第三像素之后，可以根据第三像素确信度对第三像素的单目深度信息和多目深度信息进行融合得到融合深度信息，进而可以将融合深度信息作为第
三像素的深度信息。
[0139]
步骤504：根据所述第一像素的深度信息、所述第二像素的深度信息和所述第三像素的深度信息，得到所述第一帧图像的图像深度信息。
[0140]
在得到第一像素的深度信息、第二像素的深度信息和第三像素的深度信息之后，可以根据第一像素、第二像素和第三像素分别对应的深度信息，得到第一帧图像的图像深度信息。
[0141]
在本实施例中，对于上述实现方式可以结合下述公式(3)所示：
[0142]dfuse
＝u*d
mono
+(1-u)*d
mvs
ꢀꢀꢀ
(3)
[0143]
上述公式(3)中，d
fuse
为融合的图像深度信息，u为确信度，d
mono
为单目深度信息，d
mvs
为多目深度信息。
[0144]
本技术实施例提供的深度信息获取方法，通过将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型。第一帧图像和所述第二帧图像为两帧连续的图像，且第一帧图像的生成时间晚于第二帧图像，深度信息融合模型包括：单目深度信息获取层、多目深度信息获取层和深度信息融合层。调用单目深度信息获取层对第一帧图像的图像特征进行处理，得到第一帧图像中每个像素的单目深度信息。调用多目深度信息获取层根据单目深度信息、预测得到的目标车辆的车辆速度和目标相机的相机外参，对第一帧图像和第二帧图像的图像特征进行处理，得到第一帧图像中每个像素的多目深度信息，及多目深度信息的确信度。调用深度信息融合层根据确信度，述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到第一帧图像的图像深度信息。本技术实施例通过结合车辆速度和单目深度自适应调整图像的多目深度，并对多目深度和单目深度进行融合得到图像深度，可以得到更精确的图像深度，提高了图像深度预测的精确度。
[0145]
参照图7，示出了本技术实施例提供的一种深度信息获取装置的结构示意图，如图7所示，该深度信息获取装置700可以包括：图像输入模块710、单目深度获取模块720、多目深度获取模块730和图像深度获取模块740。
[0146]
图像输入模块710，用于将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型；所述第一帧图像和所述第二帧图像为两帧连续的图像，且所述第一帧图像的生成时间晚于所述第二帧图像，所述深度信息融合模型包括：单目深度信息获取层、多目深度信息获取层和深度信息融合层；
[0147]
单目深度获取模块720，用于调用所述单目深度信息获取层对所述第一帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的单目深度信息；
[0148]
多目深度获取模块730，用于调用所述多目深度信息获取层根据所述单目深度信息、预测得到的所述目标车辆的车辆速度和目标相机的相机外参，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度；
[0149]
图像深度获取模块740，用于调用所述深度信息融合层根据所述确信度，对所述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到所述第一帧图像的图像深度信息。
[0150]
可选地，所述深度信息融合模型还包括：相机外参获取层，
[0151]
所述装置还包括：
[0152]
相机参数获取模块，用于调用所述相机外参获取层，对所述第一帧图像和所述第二帧图像的图像特征进行处理，得到所述目标相机的相机外参；
[0153]
车辆速度确定模块，用于根据所述相机外参中的相机平移向量和目标相机的相机拍摄帧率，确定所述目标车辆的车辆速度。
[0154]
可选地，所述多目深度信息获取层包括：编码模块、代价体构建模块和解码模块，
[0155]
所述多目深度获取模块730包括：
[0156]
图像特征获取单元，用于调用所述编码模块对所述第一帧图像和所述第二帧图像进行编码处理，得到所述第一帧图像的第一图像特征和所述第二帧图像的第二图像特征；
[0157]
代价体特征获取单元，用于调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到变换特征，并对所述相机外参和所述变换特征进行处理，得到所述第一帧图像中每个像素的代价体特征；
[0158]
多目深度确定单元，用于调用所述解码模块根据所述车辆速度和所述单目深度信息对所述代价体特征进行处理，得到所述第一帧图像中每个像素的多目深度搜索范围信息，并根据所述多目深度搜索范围信息，确定所述第一帧图像中每个像素的多目深度信息，及所述多目深度信息的确信度。
[0159]
可选地，所述代价体特征获取单元包括：
[0160]
变换特征获取子单元，用于调用所述代价体构建模块对所述第一图像特征和所述第二图像特征进行单应性变换，得到所述第一图像特征的第一变换特征和所述第二图像特征的第二变换特征；
[0161]
初始特征获取子单元，用于根据所述第一变换特征、所述第二变换特征和所述相机外参，得到所述第二帧图像中每个像素的初始代价体特征；
[0162]
代价体特征获取子单元，用于将所述初始代价体特征投影至所述第一帧图像上，得到所述第一帧图像中每个像素的代价体特征。
[0163]
可选地，所述图像深度获取模块740包括：
[0164]
第一深度信息获取单元，用于调用所述深度信息融合层获取所述第一帧图像中确信度大于第一确信度阈值的第一像素，并将所述第一像素的多目深度信息作为所述第一像素的深度信息；
[0165]
第二深度信息获取单元，用于调用所述深度信息融合层获取所述第一帧图像中确信度小于第二确信度阈值的第二像素，并将所述第二像素的单目深度信息作为所述第二像素的深度信息；所述第一确信度阈值大于所述第二确信度阈值；
[0166]
第三深度信息获取单元，用于调用所述深度信息融合层获取所述第一帧图像中除所述第一像素和所述第二像素外的第三像素，并根据所述第三像素的确信度对所述第三像素的单目深度信息和所述多目深度信息进行融合，得到融合深度信息，将所述融合深度信息作为所述第三像素的深度信息；
[0167]
图像深度信息获取单元，用于根据所述第一像素的深度信息、所述第二像素的深度信息和所述第三像素的深度信息，得到所述第一帧图像的图像深度信息。
[0168]
本技术实施例提供的深度信息获取装置，通过将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型。第一帧图像和所述第二帧图像为两帧连续的图像，且第一帧图像的生成时间晚于第二帧图像，深度信息融合模型包括：单目深度信息获取层、多目深
度信息获取层和深度信息融合层。调用单目深度信息获取层对第一帧图像的图像特征进行处理，得到第一帧图像中每个像素的单目深度信息。调用多目深度信息获取层根据单目深度信息、预测得到的目标车辆的车辆速度和目标相机的相机外参，对第一帧图像和第二帧图像的图像特征进行处理，得到第一帧图像中每个像素的多目深度信息，及多目深度信息的确信度。调用深度信息融合层根据确信度，述第一帧图像中每个像素的单目深度信息和多目深度信息进行融合，得到第一帧图像的图像深度信息。本技术实施例通过结合车辆速度和单目深度自适应调整图像的多目深度，并对多目深度和单目深度进行融合得到图像深度，可以得到更精确的图像深度，提高了图像深度预测的精确度。
[0169]
本技术实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述深度信息获取方法。
[0170]
图8示出了本发明实施例的一种电子设备800的结构示意图。如图8所示，电子设备800包括中央处理单元(cpu)801，其可以根据存储在只读存储器(rom)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序指令，来执行各种适当的动作和处理。在ram 803中，还可存储电子设备800操作所需的各种程序和数据。cpu801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0171]
电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标、麦克风等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0172]
上文所描述的各个过程和处理，可由处理单元801执行。例如，上述任一实施例的方法可被实现为计算机软件程序，其被有形地包含于计算机可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序被加载到ram803并由cpu801执行时，可以执行上文描述的方法中的一个或多个动作。
[0173]
本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述深度信息获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0174]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0175]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0176]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。
[0177]
本领域普通技术人员可以意识到，结合本技术实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0178]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0179]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组间可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0180]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0181]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0182]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0183]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。