技术特征：
1.一种基于差分对比学习的深度图合成方法，其特征在于，通过一深度卷积神经网络g作为数据集映射的载体，将渲染合成的深度图和其对应的彩色图，映射合成为具有真实扫描深度图特征的合成深度图；其中，所述训练好的深度卷积神经网络g通过如下步骤训练获得：步骤一：选取渲染得到的合成数据集d
s
＝{(d
s
，i
s
)}和一个真实扫描的数据集d
r
＝{(d
r
，i
r
)}，其中，d和i分别表示为配对的深度图和彩色图。步骤二：将步骤一获取的两个数据集输入至深度卷积神经网络g，并构建一判别器对深度卷积神经网络g进行训练，训练包括：利用判别器对从合成数据集映射合成的合成深度图与真实扫描的数据集中的深度图d
r
进行判别，采用生成式对抗神经网络的方法以减小两个数据分布间的差异为目标进行训练；利用深度卷积神经网络g中的编码器部分分别提取合成数据集的深度图d
s
和其对应的合成深度图的特征，并分别按位置两两相减计算差分，采用对比学习以减小合成数据集的深度图d
s
与其对应的合成深度图特征之间同样位置差分的相互差异为目标进行训练。以减小深度卷积神经网络g对真实扫描的数据集中的深度图d
r
产生的无效映射为目标进行训练。2.根据权利要求1所述的一种基于差分对比学习的深度图像合成方法，其特征在于，所述深度卷积神经网络g的网络结构采用resnet，unet等。3.根据权利要求1所述的一种基于差分对比学习的深度图像合成方法，其特征在于，利用判别器对从合成数据集映射合成的合成深度图与真实扫描的数据集中的深度图d
r
进行判别，以减小两个数据分布间的差异为目标进行训练，采用的目标函数具体为：其中，表示判别器的输出。4.根据权利要求1所述的一种基于差分对比学习的深度图像合成方法，其特征在于，利用深度卷积神经网络g中的编码器部分分别提取合成数据集的深度图d
s
和其对应的合成深度图的特征，并分别按位置两两相减计算差分，以减小合成数据集的深度图d
s
与其对应的合成深度图特征之间同样位置差分的相互差异为目标进行训练，具体为：(a)利用深度卷积神经网络g编码器部分分别对合成数据集的深度图d
s
和其对应的合成深度图进行特征提取，并分别均匀抽取其中的n层的特征图。(b)对抽取出的每层特征图随机抽取区域块并两两相减计算差分，得到合成数据集的深度图d
s
和合成深度图对应的两个差分集合。(c)从步骤(b)中得到的两个差分集合中选择正组合对和负组合对，以最大化正组合对和负组合对之间的差异为目标进行训练。5.根据权利要求1所述的一种基于差分对比学习的深度图像合成方法，其特征在于，所述步骤(c)中，正组合对和负组合对具体为：正组合对：负组合对：j≠k
其中，表示从合成深度图中提取的第1层特征图的区域块，f
il
表示从合成数据集的深度图d
s
中提取的第1层特征图的区域块，i，j，k表示特征图的不同空间位置。以最大化正组合对和负组合对之间的差异为目标进行训练，采用的目标函数具体为：其中，τ表示权重，e为能量函数。6.根据权利要求1所述的一种基于差分对比学习的深度图像合成方法，其特征在于，以减小深度卷积神经网络g对真实扫描的数据集中的深度图d
r
产生的无效映射为目标进行训练，采用的目标函数具体为：其中，φ()表示深度卷积神经网络g编码器部分的输出，ψ()表示深度卷积神经网络g解码器部分的输出，|| ||1表示正则化函数。
技术总结
本发明提供了一种基于差分对比学习的深度图合成方法，该方法采取了一种基于差分对比学习的策略，可以有效地限制深度卷积神经网络生成深度图过程中造成的几何形变，从而可以让渲染得到的无噪声深度图具有真实扫描结果的特征，同时能够很好地保持原本几何结构。在利用渲染数据集进行真实扫描数据集上的深度图增强，语义分割和法向贴图估计的任务中，本发明方法得到的合成深度图均取得了最好的结果。明方法得到的合成深度图均取得了最好的结果。明方法得到的合成深度图均取得了最好的结果。
技术研发人员：沈越凡 郑友怡
受保护的技术使用者：浙江大学
技术研发日：2021.06.15
技术公布日：2021/9/28