三维重建的方法、装置以及无人机与流程

本技术实施例涉及无人机，并且，更具体地，涉及一种三维重建的方法、装置以及无人机。

背景技术：

1、无人机场景下的三维重建是指利用无人机搭载的传感器和计算设备，通过采集大量的图像或激光扫描数据，并利用计算机视觉和计算机图形学的技术，将这些数据转化为高精度的三维模型或地图的过程。

2、在进行三维重建时，需要使用立体匹配算法，该立体匹配算法可以基于多个图像之间的视差信息，从而推断出场景中物体的三维位置。虽然，立体匹配算法在得到视差信息时取得了较为优异的性能，但是，立体匹配算法输出的视差预测结果仍然存在物体边缘不清晰、大物体内部纹理不清晰以及小物体识别不精确等问题，因此，如何提高立体匹配算法预测的精准度和可靠性是亟需解决的问题。

技术实现思路

1、本技术实施例提供一种三维重建的方法、装置以及无人机，能够提高立体匹配算法预测的精准度和可靠性，从而更好地完成无人机场景下的三维重建。

2、第一方面，提供了一种三维重建方法，该方法包括：获取目标场景的第一图像和第二图像；将所述第一图像和所述第二图像输入到第一神经网络中，得到匹配代价检测结果，所述匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述匹配代价检测结果输入到第二神经网络中，得到视差预测结果；将所述匹配代价检测结果输入到第三神经网络中，得到不确定性预测结果，所述不确定性预测结果用于指示根据所述像素对进行视差预测的可信程度；根据所述视差预测结果和所述不确定性预测结果，确定所述目标场景的三维模型或地图。

3、可选地，第一图像和第二图像可以是通过部署在无人机上的一个相机获取的，也可以是通过部署在无人机上的多个相机获取的。

4、可选地，可以使用卷积神经网络对相机拍摄的图像进行特征提取，得到第一图像和第二图像对应的特征向量。

5、可选地，第二神经网络中的输入可以是匹配代价检测结果中的代价体积(cost-volume)，其用于表示特征图之间像素级别的相似度从而找到对应关系。

6、本技术实施例中，通过将匹配代价检测结果输入到第二神经网络和第三神经网络中，得到视差预测结果和不确定性预测结果，再根据视差预测结果和不确定性预测结果，确定目标场景的三维模型或地图。这样，在三维模型或地图构建的过程中，既考虑到视差预测结果的准确性，又考虑到了视差预测结果的合理性，从而提高了立体匹配算法预测的精准度和可靠性，能够更好地完成无人机场景下的三维重建。

7、结合第一方面，在第一方面的某些实现方式中，所述第三神经网络是通过样本数据和数据标签得到的，所述样本数据包括：样本匹配代价检测结果；所述数据标签为样本不确定性预测结果。

8、本技术实施例中，可以通过样本匹配代价检测结果和样本不确定性预测结果训练第三神经网络，以便于后续根据第三神经网络得到不确定性预测结果，从而提高了立体匹配算法预测的精准度和可靠性。

9、结合第一方面，在第一方面的某些实现方式中，所述第三神经网络训练时对应的损失函数是根据绝对误差损失函数、视差误差分布损失函数和不确定性分布损失函数确定的，所述视差误差分布损失函数和不确定性分布损失函数可以通过累计所述第一图像和所述第二图像中每个像素点对应的权重得到。

10、本技术实施例中，在第三神经网络进行训练时通过引入视差误差分布损失函数和不确定性分布损失函数，这样，上述损失函数能够引导第三神经网络在进行预测时不仅考虑预测的准确性，还要对预测的不确定性进行合理的估计，从而提高了第三神经网络的鲁棒性、可靠性和泛化能力。

11、结合第一方面，在第一方面的某些实现方式中，所述第三神经网络训练时对应的损失函数具体通过如下公式确定：

12、

13、其中，n为所述第一图像和/或所述第二图像中的像素点总数，σi为所述不确定性预测结果，di为第i个像素的视差值，为第i个像素的视差真实值，i≤n，h∈(j)为所述视差误差分布损失函数，hσ(j)为不确定性分布损失函数，m为预设的能够反映区间长度的常数。

14、本技术实施例中，通过引入视差误差分布损失函数和不确定性分布损失函数，使得第三神经网络在训练过程中能够兼顾预测的准确性和不确定性，这样，由于第三神经网络的训练过程得到了改进，使得其在实际应用中输出的预测结果能够用于无人机场景下的三维重建，从而提高了立体匹配算法预测的精准度和可靠性。

15、结合第一方面，在第一方面的某些实现方式中，所述视差误差分布损失函数具体可以通过如下公式确定：

16、

17、其中，视差误差∈(i)在第j个像素对应的权重wj(∈(i))可以通过如下公式确定：

18、

19、其中，μ∈为视差误差的均值，b∈为视差误差的方差，λ1和λ2为常数，αj为预设的能够反映区间长度的常数。

20、结合第一方面，在第一方面的某些实现方式中，所述不确定性分布损失函数具体可以通过如下公式确定：

21、

22、其中，不确定性预测结果σ(i)在第j个像素对应的权重wj(σ(i))可以通过如下公式确定：

23、

24、其中，μ∈为视差误差的均值，b∈为视差误差的方差，λ1和λ2为常数，αj为预设的能够反映区间长度的常数。

25、第二方面，提供了一种三维重建装置，该装置包括：获取单元，用于获取目标场景的第一图像和第二图像；处理单元，用于：将所述第一图像和所述第二图像输入到第一神经网络中，得到匹配代价检测结果，所述匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述匹配代价检测结果输入到第二神经网络中，得到视差预测结果；将所述匹配代价检测结果输入到第三神经网络中，得到不确定性预测结果，所述不确定性预测结果用于指示根据所述像素对进行视差预测的可信程度；根据所述视差预测结果和所述不确定性预测结果，确定所述目标场景的三维模型或地图。

26、结合第二方面，在第二方面的某些实现方式中，所述第三神经网络是通过样本数据和数据标签得到的，所述样本数据包括：样本匹配代价检测结果；所述数据标签为样本不确定性预测结果。

27、结合第二方面，在第二方面的某些实现方式中，所述第三神经网络训练时对应的损失函数是根据绝对误差损失函数、视差误差分布损失函数和不确定性分布损失函数确定的，所述视差误差分布损失函数和不确定性分布损失函数可以通过累计所述第一图像和所述第二图像中每个像素点对应的权重得到。

28、结合第二方面，在第二方面的某些实现方式中，所述第三神经网络训练时对应的损失函数具体通过如下公式确定：

29、

30、其中，n为所述第一图像和/或所述第二图像中的像素点总数，σi为所述不确定性预测结果，di为第i个像素的视差值，为第i个像素的视差真实值，i≤n，h∈(j)为所述视差误差分布损失函数，hσ(j)为不确定性分布损失函数，m为预设的能够反映区间长度的常数。

31、结合第二方面，在第二方面的某些实现方式中，所述视差误差分布损失函数具体可以通过如下公式确定：

32、

33、其中，视差误差∈(i)在第j个像素对应的权重wj(∈(i))可以通过如下公式确定：

34、

35、其中，μ∈为视差误差的均值，b∈为视差误差的方差，λ1和λ2为常数，αj为预设的能够反映区间长度的常数。

36、结合第二方面，在第二方面的某些实现方式中，所述不确定性分布损失函数具体可以通过如下公式确定：

37、

38、其中，不确定性预测结果σ(i)在第j个像素对应的权重wj(σ(i))可以通过如下公式确定：

39、

40、其中，μ∈为视差误差的均值，b∈为视差误差的方差，λ1和λ2为常数，αj为预设的能够反映区间长度的常数。

41、第三方面，提供一种三维重建装置，该装置包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，使得该装置实现上述第一方面中任意一种实现方式中的方法。

42、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中任意一种实现方式中的方法。

43、第五方面，提供一种芯片，该芯片包括电路，该电路用于执行上述第一方面中任意一种实现方式中的方法。

44、第六方面，提供一种计算机程序产品，该计算机产品包括计算机程序，当所述计算机程序被运行时，使得计算机执行上述第一方面中任意一种实现方式中的方法。

45、第七方面，提供了一种无人机，包括：上述第二方面中任意一种实现方式中的三维重建装置。