多视图三维重建方法及系统与流程

本技术涉及计算机视觉，尤其涉及一种多视图三维重建方法及系统。

背景技术：

1、三维重建在计算机视觉、计算机图形学和虚拟现实等领域中均具有应用，三维重建是通过将多个视角获取的图像或视频数据，恢复物体或场景的三维几何结构。在三维重建方法中，可通过立体视觉、结构光等进行三维重建。然而，这些方法存在一些限制，例如：对纹理特征缺乏鲁棒性、对遮挡物敏感、对光照变化敏感等。

2、为克服上述问题，多视图三维重建利用不同视角获取的多个图像或视频数据，结合计算机视觉和计算机图形学技术，通过匹配、三角剖分、优化等方法，生成更准确的三维模型。然而，在多视图三维重建过程中，存在视角之间的匹配问题、噪声和误匹配问题、视角之间的一致性问题等。

3、为解决这些问题，对于基于深度学习的多视图三维重建方法，输入多为同一场景多视角下的图片，输出为多视角下预测的深度图或融合点云，通过以下流程实现：特征提取、单应性变换、特征体构建、生成代价体、代价体正则化、深度图初始估计及优化、损失计算、深度图滤波和融合等处理步骤。但代价体正则化的方法没有对代价体做优化处理，直接进入3d卷积层编解码，也就是直接利用代价体中的特征值方差信息，并没有考虑到每个特征通道对于深度信息的贡献能力是不相同的，从而导致三维重建精度低。

技术实现思路

1、本技术提供一种多视图三维重建方法及系统，以解决三维重建精度低的问题。

2、第一方面，本技术提供一种多视图三维重建方法，包括：

3、获取待处理图像，所述待处理图像是从不同视角对目标对象采集得到的三通道图像；

4、根据所述待处理图像，构建第一代价体，所述第一代价体为三维矩阵，所述三维矩阵包括深度向量；

5、根据所述深度向量计算特征通道的权重参数；

6、将所述权重参数的全量作用于所述第一代价体，以生成第一概率体；

7、对所述第一概率体执行滤波操作，得到第二概率体；

8、根据所述待处理图像获取真实深度图，并根据所述真实深度图构建第三概率体；

9、获取训练好的学习模型，所述学习模型是利用损失函数训练得到的，所述损失函数为根据所述第二概率体和第三概率体生成；

10、利用所述学习模型，生成真实概率体；

11、根据所述真实概率体生成预测深度图，并基于多个视角的所述预测深度图生成全局点云，表征完成多视图三维重建。

12、在一些可行的实施例中，所述根据所述待处理图像，构建第一代价体，包括：

13、提取所述待处理图像的特征；

14、基于所述特征，通过单应性变换构建特征体，所述特征体为五维矩阵；

15、通过所述五维矩阵生成第二代价体，所述第二代价体为第一四维矩阵，所述第一四维矩阵包括深度维度、特征通道维度、高度维度和宽度维度；

16、变换所述第二代价体的深度维度和特征通道维度，以生成第三代价体。

17、在一些可行的实施例中，所述根据所述待处理图像，构建第一代价体，包括：

18、获取特征图的采样区域，所述第三代价体包括多张特征图，所述采样区域为所述特征图内切椭圆；

19、基于所述采样区域，确定至少五个采样点；

20、将至少五个所述采样点设置在采样位置，所述采样位置至少包括所述特征图对角线与所述内切椭圆相交处以及所述内切椭圆的圆心；

21、根据所述采样位置，对每个特征通道采样五个深度维度的向量，以得到第一代价体，所述第一代价体为三维矩阵。

22、在一些可行的实施例中，所述根据所述深度向量计算特征通道的权重参数，包括：

23、计算所述第一代价体中特征图的方差值；

24、生成多视角的特征值方差信息，所述特征值方差信息为所述方差值取倒数后，在深度维度归一化生成的；

25、将所述特征值方差信息转换为概率信息，以得到转换后的第一代价体；

26、获取所述转换后的第一代价体深度向量中元素下标，所述元素下标为最大值元素的索引位置；

27、基于所述元素下标，获取独热码，并将所述独热码的值设为1；

28、根据所述独热码，构建独热码向量；

29、计算所述特征通道的欧氏距离，所述欧氏距离为所述深度向量与映射的独热码向量的相似度。

30、在一些可行的实施例中，所述根据所述深度向量计算特征通道的权重参数，包括：

31、计算所述特征通道的平均欧氏距离值，所述平均欧氏距离值为所述特征通道的多个欧氏距离的均值；

32、计算所述特征通道的权重参数，以得到所述权重参数向量，所述权重参数为平均欧氏距离值取倒数后，执行乘积归一化得到的权重参数。

33、在一些可行的实施例中，所述将所述权重参数的全量作用于所述第一代价体，生成第一概率体，包括：

34、转换所述第一代价体至第二代价体，所述第二代价体为第一四维矩阵；

35、获取所述第二代价体中特征图的方差值，并将所述权重参数向量中的元素取倒数与所述方差值相乘，以得到修正后的代价体；

36、生成方差值矩阵，所述方差值矩阵为所述修正后的代价体输入编解码网络，并将特征通道维度归一化得到的矩阵；

37、将所述方差值矩阵中的元素取倒数，并沿深度方向执行softmax运算并执行概率归一化，以得到第一概率体。

38、在一些可行的实施例中，所述对所述第一概率体执行滤波操作，得到第二概率体，包括：

39、获取所述第一概率体的元素，以及，所述元素相邻的至少六个元素的概率值；

40、计算至少六个元素概率值的加权平均值；

41、若所述加权平均值小于或等于0.5，将所述第一概率体的元素概率值重置为0，以生成第二概率体。

42、在一些可行的实施例中，所述根据所述待处理图像获取真实深度图，并根据所述真实深度图构建第三概率体，包括：

43、将所述真实深度图转换为第三概率体，所述第三概率体与所述第二概率体为相同概率矩阵。

44、第二方面，本技术提供一种多视图三维重建系统，用于执行第一方面所述的多视图三维重建方法，所述系统包括：

45、获取单元，用于获取待处理图像，所述待处理图像是从不同视角对目标对象采集得到的三通道图像；

46、代价体构建单元，用于根据所述待处理图像，构建第一代价体，所述第一代价体为三维矩阵，所述三维矩阵包括深度向量；

47、概率体构建单元，用于根据所述深度向量计算特征通道的权重参数；将所述权重参数的全量作用于所述第一代价体，以生成第一概率体；以及对所述第一概率体执行滤波操作，得到第二概率体；还用于根据所述待处理图像获取真实深度图，并根据所述真实深度图构建第三概率体；

48、所述获取单元还用于获取训练好的学习模型，所述学习模型是利用损失函数训练得到的，所述损失函数为根据所述第二概率体和第三概率体生成；

49、所述概率体构建单元还用于利用所述学习模型，生成真实概率体；

50、重建单元，用于根据所述真实概率体生成预测深度图，并基于多个视角的所述预测深度图生成全局点云，表征完成多视图三维重建。

51、在一些可行的实施例中，所述概率体构建单元还用于计算所述特征通道的平均欧氏距离值，所述平均欧氏距离值为所述特征通道的多个欧氏距离的均值；

52、计算所述特征通道的权重参数，以得到所述权重参数向量，所述权重参数为平均欧氏距离值取倒数后，执行乘积归一化得到的权重参数。

53、由以上技术方案可知，本技术提供一种多视图三维重建方法及系统，所述方法获取待处理图像，其中，待处理图像是从不同视角对目标对象采集得到的三通道图像；根据待处理图像构建三维矩阵的第一代价体，三维矩阵包括深度向量；根据深度向量计算特征通道的权重参数；将权重参数的全量作用于第一代价体，以生成第一概率体；对第一概率体执行滤波操作，得到第二概率体；根据待处理图像获取真实深度图，并根据真实深度图构建第三概率体；获取利用损失函数训练得到的训练好的学习模型，损失函数为根据第二概率体和第三概率体生成；利用学习模型，生成真实概率体；根据真实概率体生成预测深度图，并基于多个视角的预测深度图生成全局点云，表征完成多视图三维重建，本技术通过计算特征通道的权重参数，从而引入不同特征通道对深度信息的贡献能力的差异，可更加准确生成概率体，从而解决三维重建精度低的问题。