一种高实时性单目深度估计测量方法、装置及电子设备与流程

本发明涉及测量，尤其涉及一种高实时性单目深度估计测量方法、装置及电子设备。

背景技术：

1、在微纳无人系统、智能穿戴系统等端侧智能设备上，由于轻量、便携等设计要求，内置芯片通常质量小、功耗低，仅能支持低分辨率单目相机，因此，这些设备难以使用深度相机、双目相机等传感器获取所处环境的深度信息。

2、深度信息可为无人系统的路径规划等应用提供有力的支持，若想在微纳无人系统设备上获取深度信息，最佳选择为充分利用单目相机捕捉的图像做信息提取，即可以简单的理解为，通过对图像的判读，来预估测量出图像中每个像素点与摄像头所在平面的距离。

3、单目深度估计算法可利用一张或者唯一视角下的rgb图像，估计图像中每个像素与拍摄源平面的距离，因此，它可以增强微纳无人系统中单目相机的功能，通过算法手段获取物体的绝对深度，进而基于深度信息开展导航、自动驾驶和场景识别等任务。

4、然而现有单目深度估计模型相对微纳无人系统环境参数和计算量过大，模型部署困难，而微纳无人系统平台内置芯片质量小、功耗低，仅能支持低分辨率，导致现有单目深度估计模型无法应用在微纳无人系统平台。

5、因此，如何在微纳无人系统平台中应用单目深度估计算法，通过对图像的判读，预估测量出图像的绝对深度信息，利用深度信息为无人系统的路径规划等应用提供有力的支持，是一个需要解决的技术问题。

技术实现思路

1、本发明的目的是提供一种高实时性单目深度估计测量方法、装置、电子设备及计算机存储介质，为解决现有技术中当前的单目深度估计算法无法在微纳无人系统平台中应用的问题。

2、为解决上述技术问题，第一方面，根据一些实施例，本发明提供了一种高实时性单目深度估计测量方法，应用于微纳量级无人机系统中，包括：

3、获取包含深度信息的图像，作为模型训练集；

4、将所述模型训练集送入基础模型进行训练，获得训练模型；

5、将所述训练模型进行压缩，获得压缩后的轻量模型；

6、对所述轻量模型进行评估，评估合格后作为所述单目深度估计方法进行部署；

7、其中，评估合格指标，包括所述图像中每个像素点与摄像头所在平面的距离与所述单目深度估计测量距离之间的置信度和误差。

8、在一些实施例中，所述包含深度信息的图像，是经过预处理的图像。

9、在一些实施例中，对图像的预处理，具体包括：

10、对获取到的包含深度信息的图像进行深度数据补全，使得所述深度数据的图像中不包含无效的深度数据；

11、将所述补全后的深度数据和对应rgb进行数据增强，获得增强后的图像。

12、在一些实施例中，在获得增强后的图像之后，在获取包含深度信息的图像之前，还包括：

13、将数据增强后的数据集进行混合，作为所述模型训练集。

14、在一些实施例中，所述将所述补全后的深度数据和对应rgb进行数据增强，具体包括：

15、所述数据增强方法，包括翻转、颜色通道变化、变换图像尺寸和cutdepth。

16、在一些实施例中，所述cutdepth的数据增强方法，根据如下公式计算得到：

17、

18、其中，(l,u)为截取深度图左上顶点，w为截取深度图宽，h为截取深度图高，w和h为原始深度图的宽高，a、b、c、d为随机的[0-1]的超参，用于决定截取深度图的位置和大小，p是确定w和h最大值的超参，取值范围为[0-1]，p取值为0.75。

19、在一些实施例中，所述将所述模型训练集送入基础模型进行训练，获得训练模型，包括：

20、所述基础模型的结构包括编码器和解码器结合的u型结构，输入为rgb图像；

21、所述编码器为mobilenetv2网络，采用迁移学习的方式加载imagenet数据集上预训练mobilenetv2模型对图像进行特征提取；

22、所述解码器采用1x1卷积层和双线性插值，对编码器1/32分辨率的特征图上采样至1/16分辨率，与对应位置的编码器特征拼接。使用同结构的解码器对拼接后的特征图上采样至1/8分辨率，与对应位置的编码器特征拼接。使用同结构的解码器对拼接后的特征图上采样至1/4分辨率，与对应位置的编码器特征拼接，最后得到1/4分辨率的融合特征；

23、对所述1/4分辨率融合特征使用3x3卷积层和1x1卷积层组合结构，对融合特征进一步细化，得到1/4分辨率预测深度图；

24、使用所述双线性插值将所述1/4分辨率预测深度图上采样到原始分辨率，得到密集的深度图。

25、在一些实施例中，在所述将所述训练模型进行压缩，获得压缩后的轻量模型之前，还包括：

26、设计轻量模型；

27、将所述训练好的基础模型作为教师模型，将所述轻量模型作为学生模型，根据预设的单目深度估计蒸馏方法，对所述轻量模型进行蒸馏，获得蒸馏后的轻量模型；

28、利用量化感知训练对所述蒸馏后的轻量模型进行量化。

29、在一些实施例中，对所述轻量模型进行蒸馏，具体包括：

30、所述轻量模型采用与所述基础模型的相同的构建模型，所述轻量模型的解码器结构与所述基础模型解码器结构相同，所述轻量模型的解码器的通道数小于所述基础模型的解码器的通道数；

31、其中，所述轻量模型的编码器结构为mobilenetv2-0.35（0.35深度系数的mobilenetv2模型）,采用迁移学习方法，加载imagenet上预训练的所述mobilenetv2-0.35模型，用于提取图像特征。

32、在一些实施例中，所述预设的单目深度估计蒸馏方法，包括：

33、确定所述教师模型与真值的损失比所述学生模型与真值的损失大时，使用所述真值监督所述学生模型，否则采用所述教师模型与真值共同监督所述学生模型。

34、在一些实施例中，所述预设的单目深度估计蒸馏方法所采用的损失函数，具体包括：

35、

36、其中为学生模型预测的深度值，为教师模型预测的深度值，y为来自训练集中的真值，m的取值为0.01，的取值为0.1。

37、在一些实施例中，所述利用量化感知训练对所述蒸馏后的轻量模型进行量化，具体包括：

38、对所述蒸馏后的轻量模型进行量化感知训练，导出pytorch形式模型；

39、所述pytorch形式模型转为onnx形式模型后，再转为tensorflow形式的pb模型；

40、将所述pb模型通过静态量化得到tflite形式模型。

41、第二方面，本发明实施例，还提供了一种高实时性单目深度估计装置，包括：

42、生成模块，用于获取包含深度信息的图像，作为模型训练集，将所述模型训练集送入基础模型进行训练，获得训练模型，将所述训练模型进行压缩，获得压缩后的轻量模型；

43、评估模块：用于对所述轻量模型进行评估；

44、部署模块，用于将所述评估模块评估合格后的轻量模型作为所述单目深度估计方法进行部署。

45、第三方面，本发明实施例，还提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行上述如第一方面任一项所述方法的步骤。

46、本发明的上述技术方案至少具有如下有益的技术效果：本发明实施例的技术方案，利用具有深度信息的图像对模型进行训练，获得所需的模型后，对模型再次进行压缩，获得轻量模型，并对轻量模型进行评估，确认轻量模型评估合格后作为单目深度估计方法进行部署，本发明实施例的技术方案，使模型在缩小的同时具有良好的泛化性，平衡了模型大小和精度的问题，可以有效的运行在微纳无人系统平台中，即使微纳无人系统平台内置芯片质量小、功耗低，仅能支持低分辨率的图像，也能良好的有效运行，并能为纳无人系统平台提供对应图像的深度信息。

47、本技术所现有的高实时性单目深度估计算法，利用包含深度信息的图像，通过训练后的模型对图像的判读，有效的预估测量出图像中每个像素点与摄像头所在平面的距离，为无人系统的路径规划等应用提供有力的支持与保障。本发明的实施例的技术方案，首次设计了新颖的适合单目深度估计任务的蒸馏算法，极大弥补了模型压缩后的精度损失，在nyu depth v2室内数据集上，rmse和分别达到0.538和78.8％，预测值和真实值之间的误差小，置信度高。本发明提出的高实时性单目深度估计方法，可实现高性能实时计算，轻量模型的准确度高，计算快速，不消耗过多的算力，满足了微纳无人系统功耗低、计算量小的要求，且，轻量模型也不占用过多的存储空间，即使是低分辨率单目相机也可以有效的获得对应目标的深度信息，本技术实施例的技术方案，在并行超低功耗资源平台上处理224*224分辨率rgb图像仅耗时35ms，已成功部署在微纳无人系统，部署模型参数量为0.487mparams，计算量为0.088gflops，模型小，计算结果准确，有效的解决了现有单目深度估计算法计算量大，依赖于高性能计算平台的问题，本技术的高实时性单目深度估计方法，可利用深度信息，为无人系统的路径规划等应用提供有力的支持与保障。本技术实施例的技术方案，已成功部署在微纳无人系统，相比现有的单目深度估计算法，计算量大幅下降；且，平衡了模型的大小和精度，具有高实时性。