处理方法、装置以及无人机与流程

本技术实施例涉及无人机，并且，更具体地，涉及一种处理方法、装置以及无人机。

背景技术：

1、无人机场景下的三维重建是指利用无人机搭载的传感器和计算设备，通过采集大量的图像或激光扫描数据，并利用计算机视觉和计算机图形学的技术，将这些数据转化为高精度的三维模型或地图的过程。

2、在进行三维重建时，需要进行匹配代价计算，而当前的匹配代价计算中难以处理图像中的病态区域(例如，遮挡、重复纹理、底纹理等区域)，导致视差预测结果精确度和可靠性较差，进而影响了无人机场景下的三维重建。

技术实现思路

1、本技术实施例提供了一种处理方法、装置以及无人机，能够提高视差预测结果的精准度和可靠性，从而更好地实现感知方向上各个领域(包括无人机领域)的三维重建和避障绕障功能。

2、第一方面，提供了一种处理方法，该方法包括：获取目标场景的第一图像和第二图像；对所述第一图像和所述第二图像进行匹配代价检测，得到第一匹配代价检测结果，所述第一匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述第一匹配代价检测结果输入到第一神经网络中，得到第一视差预测结果；根据所述第一视差预测结果，确定第二视差预测结果，所述第二视差预测结果的邻域范围大于所述第一视差预测结果的邻域范围。

3、可选地，第一图像和第二图像可以是通过部署在无人机上的一个相机获取的，也可以是通过部署在无人机上的多个相机获取的。

4、可选地，可以使用卷积神经网络对相机拍摄的图像进行特征提取，得到第一图像和第二图像对应的特征向量，再对第一图像和第二图像的特征向量进行匹配代价检测。

5、本技术实施例中，在进行视差预测时，通过第一视差预测结果得到邻域范围更大的第二视差预测结果，通过这样的方式，由于更大的邻域范围能够提供更多的上下文信息和局部的细节，使得第二视差预测结果精准度和可靠性得到了提高，从而能够更好地实现感知方向上各个领域的三维重建和避障绕障的功能。

6、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：根据所述第二视差预测结果和所述第一匹配代价检测结果，确定第二匹配代价检测结果；将所述第二匹配代价检测结果输入到所述第一神经网络中，得到第三视差预测结果。

7、可选地，可以扩大第三视差预测结果的邻域范围，得到第四视差预测结果，该第四视差预测结果可以用于实现感知方向上各个领域的三维重建和避障绕障的功能。

8、可选地，根据第二视差预测结果和第一匹配代价检测结果，确定第二匹配代价检测结果可以是通过第二视差预测结果来索引第一匹配代价结果的匹配代价矩阵来实现的。

9、本技术实施例中，在得到第二视差预测结果后，可以使用第二视差预测结果来索引第一匹配代价结果的匹配代价矩阵，得到新的匹配代价结果(第二匹配代价结果)。新的匹配代价结果可以用于进行视差更新，从而得到第三视差预测结果，通过这样的方式，可以不断迭代获取到更准确的视差预测结果，进一步提高视差预测结果的精准度和可靠性。

10、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：根据所述第二视差预测结果，确定所述目标场景的三维模型或地图。

11、本技术实施例中，视差预测结果的精准度和可靠性的提高，可以为三维重建过程提供了更优质的深度信息，从而增强了目标场景的三维模型或地图重建的质量和准确性。

12、结合第一方面，在第一方面的某些实现方式中，所述根据所述第一视差预测结果，确定第二视差预测结果，包括：根据预设的半径设置一个或多个视差值；根据所述一个或多个视差值扩大所述第一视差预测结果的邻域范围，得到所述第二视差预测结果。

13、本技术实施例中，通过扩展第一视差预测结果的邻域范围，能够更好地处理复杂场景中的纹理变化、深度差异和视角变化等问题，从而提高了视差预测的鲁棒性。这种增加上下文信息和局部细节的做法，有助于减少误差和噪声对视差预测结果的影响，从而提供更可靠和准确的视差估计。

14、结合第一方面，在第一方面的某些实现方式中，所述对所述第一图像和所述第二图像进行匹配代价检测，得到第一匹配代价检测结果，包括：将所述第一图像和第二图像输入到第二神经网络中，得到所述第一匹配代价检测结果。

15、可选地，第二神经网络可以是卷积神经网络。

16、本技术实施例中，可以通过第二神经网络对第一图像和第二图像进行匹配代价检测，可以避免人工设计特征或相似度度量准则，这使得匹配代价检测更加灵活和准确，从而可以得到更精准的匹配代价检测结果。

17、结合第一方面，在第一方面的某些实现方式中，在所述将所述第一匹配代价检测结果输入到第一神经网络中，得到第一视差预测结果之前，所述方法还包括：对所述第一匹配代价检测结果进行代价聚合处理。

18、本技术实施例中，在将第一匹配代价检测结果输入到第一神经网络之前，可以进行代价聚合处理，能够增强视差估计的准确性、鲁棒性和稳定性，为后续的三维重建和视觉任务提供更可靠的深度信息。

19、第二方面，提供了一种处理装置，所述装置包括：获取单元，用于获取目标场景的第一图像和第二图像；处理单元，用于：对所述第一图像和所述第二图像进行匹配代价检测，得到第一匹配代价检测结果，所述第一匹配代价检测结果用于指示所述第一图像和所述第二图像中像素对的相似度；将所述第一匹配代价检测结果输入到第一神经网络中，得到第一视差预测结果；根据所述第一视差预测结果，确定第二视差预测结果，所述第二视差预测结果的邻域范围大于所述第一视差预测结果的邻域范围。

20、结合第二方面，在第二方面的某些实现方式中，所述处理单元，还用于：根据所述第二视差预测结果和所述第一匹配代价检测结果，确定第二匹配代价检测结果；将所述第二匹配代价检测结果输入到所述第一神经网络中，得到第三视差预测结果。

21、结合第二方面，在第二方面的某些实现方式中，所述处理单元，还用于根据所述第二视差预测结果，确定所述目标场景的三维模型或地图。

22、结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于：根据预设的半径设置一个或多个视差值；根据所述一个或多个视差值扩大所述第一视差预测结果的邻域范围，得到所述第二视差预测结果。

23、结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于将所述第一图像和第二图像输入到第二神经网络中，得到所述第一匹配代价检测结果。

24、结合第二方面，在第二方面的某些实现方式中，所述处理单元，还用于对所述第一匹配代价检测结果进行代价聚合处理。

25、第三方面，提供一种处理装置，该装置包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，使得该装置实现上述第一方面中任意一种实现方式中的方法。

26、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中任意一种实现方式中的方法。

27、第五方面，提供一种芯片，该芯片包括电路，该电路用于执行上述第一方面中任意一种实现方式中的方法。

28、第六方面，提供一种计算机程序产品，该计算机产品包括计算机程序，当所述计算机程序被运行时，使得计算机执行上述第一方面中任意一种实现方式中的方法。

29、第七方面，提供了一种无人机，包括：上述第二方面中任意一种实现方式中的处理装置。

30、第八方面，提供了一种运载工具，包括：上述第二方面中任意一种实现方式中的处理装置。