基于循环扩散模型的单视图三维重建方法

本发明涉及机器学习，尤其涉及一种基于循环扩散模型的单视图三维重建方法。

背景技术：

1、单视图三维模型重建在计算机视觉、增强现实和工业制造领域是一项具有挑战性的任务，其目标是从单幅图像中生成相应的三维结构。

2、近年来，随着深度学习的不断发展，已经提出了几种基于体素的重建方法。这些方法具有从单个图像生成形状的能力。然而，基于体素的方法也有一个明显的缺点：很难在采样分辨率和网络效率之间取得平衡。为了克服这个限制，研究人员已经探索了基于点云的重建方法。这些方法利用生成模型(例如，变分自动编码器、生成对抗网络、归一化流模型和扩散概率模型)来进行重建。然而，对于早期使用变分自动编码器、生成对抗网络的方法，由于输出点的个数与网络结构设计没有解耦开，需要重新训练不同的网络来得到不同点数的点云。现在基于归一化流模型，扩散概率模型的的方法则通过网络来对点云的分布进行建模，点云的生成可以看作在这个分布采样的过程，因此可以任意设置采样点的数量。现基于归一化流模型，扩散概率模型的的方法的主要缺陷是会引入更多的噪声使得生成点云的质量受到限制，并且训练网络的时间和采样生成的时间较长。

技术实现思路

1、本发明的目的在于提出一种基于循环扩散模型的单视图三维重建方法，采用扩散模型来生成三维模型点云，具有训练稳定的优点；采用循环去噪的方式在训练去噪网络的过程中，提高视图的引导能力；保持生成三维模型点云的质量，具有较高的运行效率。

2、为达此目的，本发明采用以下技术方案：一种基于循环扩散模型的单视图三维重建方法，包括下述步骤：

3、步骤s1：基于随机失活融合的图像特征提取算法，提取并融合得到融合特征向量，通过融合特征向量来预测图像条件特征向量的均值和方差；

4、步骤s2：通过重参数化技巧，对预测的图像条件特征向量的均值和方差进行采样，得到图像条件特征向量；

5、步骤s3：在三维模型的三角面片上进行最远点采样，得到三维模型点云，根据加噪策略对三维模型点云进行逐步加噪，通过加噪后的三维模型点云训练扩散模型中的去噪网络；

6、步骤s4：训练扩散模型的每一次迭代中，通过循环去噪提高图像条件特征向量对去噪网络的引导能力；

7、步骤s5：通过输入单张视图引导去噪网络对服从标准高斯分布的纯噪声点云进行逐步去噪，最终得到与单视图的几何结构一致的三维模型点云。

8、优选的，步骤s1包括下述子步骤：

9、子步骤s11：输入i张三维模型的渲染视图{v1,v2,...,vi}到二维骨干网络ψ中，并进行特征提取，得到i个视图特征向量的集合{f1,f2,...,fi}，每个视图特征向量的维度设置为512；以概率为p对多个视图特征向量的集合进行随机失活，获得随机失活后的视图特征向量的集合f，具体公式为：

10、

11、其中：f表示随机失活过的视图特征向量的集合，vdp表示随机失活操作，p表示随机失活的概率；

12、子步骤s12：使用最大值池化对随机失活后的视图特征向量的集合f进行融合，得到最终的融合特征向量。

13、优选的，步骤s2包括下述子步骤：

14、子步骤s21：构建用于图像条件特征向量的均值和方差的网络，每个网络包括两个全连接层、一个批归一化层和一个线性整流层；网络输出通道数设置为256；

15、子步骤s22：对网络预测的图像条件特征向量的均值和方差进行采样，得到用于引导去噪网络的图像条件特征向量，具体公式如下表示：

16、

17、其中：z表示用于最终用于引导去噪网络的图像条件特征向量，σ表示网络预测得到的方差，μ表示网络预测得到的均值，ε表示从标准高斯分布n(0,i)中采样得到的噪声，i表示单位矩阵。

18、优选的，步骤s3包括下述子步骤：

19、子步骤s31：原始三维模型点云为其中n表示点的数目，表示点云中第i个点在x轴上的值；表示点云中第i个点在y轴上的值；表示点云中第i个点在z轴上的值；

20、子步骤s32：将三维模型点云逐步加噪的过程看作一个马尔可夫链，对三维模型点云进行逐步加噪的公式为：

21、

22、其中：t表示总的扩散步数，m(0)表示三维模型点云，m(t)为服从标准高斯分布n(0,i)的纯噪声点云，m(t)表示在加噪过程中扩散步数为t的中间噪声点云；q(m(t)|m(t-1))表示加噪操作，将噪声点添加到点m(t-1)上，对噪声点云m(t)的分布进行建模；

23、子步骤s33：对每个扩散步下的三维模型点云的加噪操作q(m(t)|m(t-1))的公式为：

24、

25、其中：βt表示根据时间步t控制加噪强度的超参数，βt由β1＝0.0004线性增长到βt＝0.02；i表示单位矩阵；n表示点的数目；m(t)表示在加噪过程中的中间点云。

26、优选的，步骤s4包括下述子步骤：

27、子步骤s41：将作为原始三维模型点云分布的一个独立样本，z为步骤s2中重参数化得到的图像条件特征向量；

28、子步骤s42：将三维模型点云逐步去噪的过程也作为一个马尔可夫链，在图像条件特征向量的引导下，逐步对初始三维高斯噪声进行逐步去噪的公式为；

29、

30、其中：t表示总的扩散步数，m(0)表示原始三维模型点云，m(t)为纯噪声点云，m(t)表示在去噪过程中的中间点云，pθ(m(t-1)|m(t),z)表示去噪操作；

31、根据图像条件特征向量z，对当前时刻点集m(t)进行去噪，得到下一时刻的点集m(t-1)的公式为：

32、pθ(m(t-1)|m(t),z):＝n(m(t-1)|μθ(m(t),t,z),βti)；

33、其中：μθ为去噪网络，用于预测当前时间步下添加在点集的噪声均值；m(t)表示在扩散步数为t时的噪声点云，βt表示扩散步数为t时的加噪强度；n表示点云的数目；i表示单位矩阵；

34、子步骤s43：通过循环扩散提高图像在每个时间步下对网络去噪的引导能力；循环扩散包括：首先给定某个时间步下的点集m(t)，将其作为循环去噪网络的第一次输入点集通过去噪操作得到第二次循环去噪网络的输入点集循环c次得到即最后输出上一时间步的点集m(t-1)；

35、子步骤s44：通过梯度下降算法对网络参数进行优化的公式为：

36、

37、其中：dkl表示q(m(t-1)|m(t),m(0))和两个概率分布之间的kl散度；为通过输入扩散步数为t的噪声点云以及图像条件特征向量到去噪网络中来建模出下一扩散步数t-1的噪声点云的概率分布；pθ(m(0)|m(1),z)为通过输入扩散步数为1的噪声点云m(1)以及图像条件特征向量到去噪网络中来建模出下一时刻的噪声点云m(0)的概率分布；

38、q(m(t-1)|m(t),m(0))为先验概率分布，计算公式为：

39、

40、其中：

41、优选的，步骤s5包括下述子步骤：

42、子步骤s51：从步骤s1中的渲染视图的图集v中随机选择一张视图v，v∈v，设置扩散模型的总迭代步数t＝100；

43、子步骤s52：通过步骤s2和步骤s3对单张视图进行图像特征提取以及采样得到图像条件特征向量z；

44、子步骤s53：从标准高斯分布中采样出一个点集m(t)；

45、子步骤s54：基于欧拉方法，使用已训练的去噪模型，对m(t)进行逐步去噪，直到去噪步数达到总迭代步数t，得到三维模型点云m(0)。

46、本发明的一个技术方案的有益效果：采用扩散模型来生成三维模型点云，相较于现有的基于自动编码器、生成对抗网络的方法，具有训练稳定的优点，并且基于扩散模型的方法是对数据分布进行建模，其网络输出的点数可以任意设置，不需要重新修改网络参数重新训练。

47、为了提高生成三维模型点云与输入视图的相关性，采用循环去噪的方式在训练去噪网络的过程中，提高视图的引导能力。

48、在采样步数远小于现有其他基于扩散模型方法的同时，保持生成三维模型点云的质量，具有较高的运行效率。