视差图检验方法和装置与流程

本技术实施例涉及图像处理领域，并且，更具体地，涉及一种视差图检验方法和装置。

背景技术：

1、近年来，随着深度学习的蓬勃发展，基于深度卷积网络的立体匹配算法受到广泛关注。利用立体匹配算法，可以在无人机的场景中进行视差估计，从而构建出三维模型和地图。

2、然而，尽管深度卷积神经网络具有的强大学习能力，但训练一个立体匹配算法模型通常需要大量的数据，对于雷达或结构光设备，由于难以收集大量的数据，并且难以进行真实场景的标注，这样将导致训练出的模型在真实的场景下预测的精准度和可靠性难以保证。

技术实现思路

1、本技术实施例提供一种视差图检验方法和装置，能够输出准确性高的第一视差图，并且，该视差图检验方法具有良好的泛化性，可以适用于不同的应用场景中。

2、第一方面，提供了一种视差图检验方法，该方法包括：获取目标域图片对和源域图片对；将所述目标域图片对和所述源域图片对输入到第一神经网络中，得到处理结果，所述处理结果包括所述源域图片对基于目标域生成的风格迁移图；将所述目标域图片对和所述处理结果输入到第二神经网络中，得到所述目标域对应的第一视差图和源域对应的第二视差图；将所述第一视差图和所述第二视差图进行投影处理，得到所述目标域视差重构生成的左图和所述源域视差重构生成的左图；确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，以及确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性。

3、可选地，目标域图片对可以是通过双目相机获取的，该双目相机可以部署在无人机上，源域图片对可以是基于预设的标准数据集(例如，已公开的标准数据集)获取的。

4、可选地，第一神经网络可以是循环一致性生成对抗网络(cycle-consistentgenerative adversarial networks，cycle-gan)，第二神经网络可以是立体匹配网络。

5、本技术实施例中，由于第二神经网络的输入包括了基于生成网络的风格迁移的处理结果，使得第二神经网络能够输出准确性高的第一视差图。并且，该视差图检验方法具有良好的泛化性，可以适用于不同的应用场景中。

6、结合第一方面，在第一方面的某些实现方式中，所述确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，包括：将所述目标域图片对中的左图和所述目标域视差重构生成的左图输入到第三神经网络中，得到第一特征向量和第二特征向量，所述第二特征向量为所述目标域右图经过视差重构生成的左图的特征向量；将所述第一特性向量和所述第二特性向量，输入到第四神经网络中，得到第一推理结果，所述第一推理结果用于指示所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性。

7、可选地，该第一推理结果可以指示目标域图片对中的左图和目标域右图根据第一视差图重构的左图是否一致，或者该第一推理结果可以指示目标域图片对中的左图和目标域右图根据第一视差图重构的左图一致的概率值是否满足预设概率值。

8、可选地，第三神经网络可以是卷积神经网络(visual geometry group，vgg)

9、本技术实施例中，通过第三神经网络和第四神经网络的应用，可以快速地判断出目标域图片对中的左图和目标域右图根据第一视差图重构的左图是否一致，从而便于确定是否应用该第一视差图，有利于快速获取准确度高的第一视差图。

10、结合第一方面，在第一方面的某些实现方式中，所述确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性，包括：将所述源域图片对中的左图和所述源域视差重构生成的左图输入到第三神经网络中，得到第三特征向量和第四特征向量，所述第四特征向量为所述源域右图经过视差重构生成的左图的特征向量；将所述第三特征向量和所述第四特征向量，输入到所述第四神经网络中，得到第二推理结果，所述第二推理结果用于指示所述源域图片对中的左图与所述源域视差重构生成的左图的一致性。

11、可选地，该第二推理结果可以指示源域图片对中的左图和源域右图根据第二视差图重构的左图是否一致，或者该第二推理结果可以指示源域图片对中的左图和源域右图根据第二视差图重构的左图一致的概率值是否满足预设概率值。

12、本技术实施例中，通过第三神经网络和第四神经网络的应用，可以快速地判断出源域图片对中的左图和源域右图根据第二视差图重构的左图是否一致，从而便于确定是否应用该第二视差图，有利于快速获取准确度高的第二视差图。

13、结合第一方面，在第一方面的某些实现方式中，所述第一特征向量至所述第四特征向量为n层特征向量，所述第四神经网络训练时对应的损失函数具体通过如下公式确定：

14、

15、其中，n为特征向量的层数，a为第一特征向量，b为第二特征向量，或者a为第三特征向量，b为第四特征向量，‖a‖为第一特征向量或第三特征向量的模，‖b‖为第二特征向量或第四特征向量的模。

16、结合第一方面，在第一方面的某些实现方式中，所述第二神经网络训练时对应的损失函数包括以下内容至少一项：视差图回归损失函数、图像重构损失函数、差异平滑度损失函数、引导置信损失函数。

17、本技术实施例中，基于视差图回归损失函数、图像重构损失函数、差异平滑度损失函数、或引导置信损失函数提供监督信息训练第二神经网络，能够为第二神经网络提供更丰富、更全面的指导，有助于第二神经网络更快速地完成训练，并提高第二神经网络的性能和鲁棒性。

18、第二方面，提供了一种视差图检验装置，所述装置包括：获取单元和处理单元；所述获取单元，获取目标域图片对和源域图片对；所述处理单元，用于：将所述目标域图片对和所述源域图片对输入到第一神经网络中，得到处理结果，所述处理结果包括所述源域图片对基于目标域生成的风格迁移图；将所述目标域图片对和所述处理结果输入到第二神经网络中，得到所述目标域对应的第一视差图和源域对应的第二视差图；将所述第一视差图和所述第二视差图进行投影处理，得到所述目标域视差重构生成的左图和所述源域视差重构生成的左图；确定所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性，以及确定所述源域图片对中的左图与所述源域视差重构生成的左图的一致性。

19、结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于：将所述目标域图片对中的左图和所述目标域视差重构生成的左图输入到第三神经网络中，得到第一特征向量和第二特征向量，所述第二特征向量为所述目标域右图经过视差重构生成的左图的特征向量；将所述第一特性向量和所述第二特性向量，输入到第四神经网络中，得到第一推理结果，所述第一推理结果用于指示所述目标域图片对中的左图与所述目标域视差重构生成的左图的一致性。

20、结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于：将所述源域图片对中的左图和所述源域视差重构生成的左图输入到第三神经网络中，得到第三特征向量和第四特征向量，所述第四特征向量为所述源域右图经过视差重构生成的左图的特征向量；将所述第三特征向量和所述第四特征向量，输入到所述第四神经网络中，得到第二推理结果，所述第二推理结果用于指示所述源域图片对中的左图与所述源域视差重构生成的左图的一致性。

21、结合第二方面，在第二方面的某些实现方式中，所述第一特征向量至所述第四特征向量为n层特征向量，所述第四神经网络训练时对应的损失函数具体通过如下公式确定：

22、

23、其中，n为特征向量的层数，a为第一特征向量，b为第二特征向量，或者a为第三特征向量，b为第四特征向量，‖a‖为第一特征向量或第三特征向量的模，‖b‖为第二特征向量或第四特征向量的模。

24、结合第二方面，在第二方面的某些实现方式中，所述第一神经网络训练时对应的损失函数包括以下内容至少一项：视差图回归损失函数、图像重建损失函数、差异平滑度损失函数、引导置信损失函数。

25、第三方面，提供一种视差图检验装置，该装置包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，使得该装置实现上述第一方面中任意一种实现方式中的方法。

26、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面中任意一种实现方式中的方法。

27、第五方面，提供一种芯片，该芯片包括电路，该电路用于执行上述第一方面中任意一种实现方式中的方法。

28、第六方面，提供一种计算机程序产品，该计算机产品包括计算机程序，当所述计算机程序被运行时，使得计算机执行上述第一方面中任意一种实现方式中的方法。

29、第七方面，提供了一种无人机，包括：上述第二方面中任意一种实现方式中的视差图检验装置。