基于局部视锥的三维建模方法、装置和计算机设备

本申请涉及三维建模，特别是涉及一种基于局部视锥的三维建模方法、装置和计算机设备。

背景技术：

1、由于lsmt学习基于射线的1d隐式场仅适用于在令人满意的条件下(例如在良好的照明和没有运动模糊的情况下)清晰地捕获图像的场景，因此，为了更好地处理一些不符合上述要求的图像数据集，有必要提出一种新的深度估计方法，使得目标建模更加准确和稳健。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于局部视锥的三维建模方法、装置和计算机设备。

2、一种基于局部视锥的三维建模方法，所述方法包括：

3、根据相机参数和多视图图像的二维特征构建成本体积，进而得到相关图像的初始深度图；其中多视图图像包括相关图像和多个源图像；

4、从视图的相机取景方向往初始深度图发射一组光线，分别在各光线对应的初始深度的预设范围内采样，得到各光线上的若干个样本点；每一样本点对应一个候选深度值；

5、对于当前像素点，以其对应的光线为中心射线，在其周围发射一组邻近射线；中心射线和对应的一组邻近射线构成一个视锥体；

6、分别以中心射线上的各个样本点为基准，截取视锥体的垂直界面；每一垂直界面对应一个像素矩阵；每一像素矩阵的中心像素点为对应的样本点；

7、根据当前垂直界面的像素矩阵筛选得到对应样本点的相关像素点，进而得到对应样本点的聚合特征；

8、对于中心射线，提取其对应的邻近射线的特征，进而得到光线特征；

9、根据光线特征、各样本点的聚合特征及其候选深度值对目标进行三维建模。

10、一种基于局部视锥的三维建模装置，所述装置包括：

11、初始深度图获取模块，用于根据相机参数和多视图图像的二维特征构建成本体积，进而得到相关图像的初始深度图；其中多视图图像包括相关图像和多个源图像；

12、光线采样模块，用于从相关图像的相机取景方向往初始深度图发射一组光线，分别在各光线对应的初始深度的预设范围内采样，得到各光线上的若干个样本点；每一样本点对应一个候选深度值；

13、视锥体构建模块，用于对于当前像素点，以其对应的光线为中心射线，在其周围发射一组邻近射线；中心射线和对应的一组邻近射线构成一个视锥体；

14、界面截取模块，用于分别以中心射线上的各个样本点为基准，截取视锥体的垂直界面；每一垂直界面对应一个像素矩阵；每一像素矩阵的中心像素点为对应的样本点；

15、样本点特征聚合模块，用于根据当前垂直界面的像素矩阵筛选得到对应样本点的相关像素点，进而得到对应样本点的聚合特征；

16、光线特征聚合模块，用于对于中心射线，提取其对应的邻近射线的特征，进而得到光线特征；

17、目标三维建模模块，用于根据光线特征、各样本点的聚合特征及其候选深度值对目标进行三维建模。

18、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

19、根据相机参数和多视图图像的二维特征构建成本体积，进而得到相关图像的初始深度图；其中多视图图像包括相关图像和多个源图像；

20、从所述视图的相机取景方向往所述初始深度图发射一组光线，分别在各光线对应的初始深度的预设范围内采样，得到各光线上的若干个样本点；每一样本点对应一个候选深度值；

21、对于当前像素点，以其对应的光线为中心射线，在其周围发射一组邻近射线；所述中心射线和对应的一组邻近射线构成一个视锥体；

22、分别以所述中心射线上的各个样本点为基准，截取所述视锥体的垂直界面；每一垂直界面对应一个像素矩阵；每一像素矩阵的中心像素点为对应的样本点；

23、根据当前垂直界面的像素矩阵筛选得到对应样本点的相关像素点，进而得到对应样本点的聚合特征；

24、对于所述中心射线，提取其对应的邻近射线的特征，进而得到光线特征；

25、根据所述光线特征、各样本点的聚合特征及其候选深度值对目标进行三维建模。

26、上述基于局部视锥的三维建模方法、装置和计算机设备，通过在中心射线周围发射一组邻近射线，以此构成一个视锥体；通过截取该视锥体的垂直界面得到多个局部视锥，基于多个局部视锥的上下文特征聚合，替代初始的光线特征和样本点特征，以扩展基于射线的模型的感受野，从而能够实现更准确和稳健的深度预测，进而完成目标建模。

技术特征：

1.一种基于局部视锥的三维建模方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据当前垂直界面的像素矩阵筛选得到对应样本点的相关像素点，进而得到对应样本点的聚合特征，包括：

3.根据权利要求2所述的方法，其特征在于，对所述相关像素点的特征和所述中心像素点的特征进行融合，得到所述中心像素点的聚合特征为：

4.根据权利要求3所述的方法，其特征在于，对于所述中心射线，提取其对应的邻近射线的特征，进而得到光线特征为：

5.根据权利要求4所述的方法，其特征在于，根据所述光线特征、各样本点的聚合特征及其候选深度值对目标进行三维建模，包括：

6.根据权利要求4所述的方法，其特征在于，以光线特征为输入，预测光线隐式场的深度值，以光线特征、该光线上样本点的聚合特征以及各样本点对应的候选深度值为输入，预测对应光线上样本点的符号距离为：

7.一种基于局部视锥的三维建模装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种基于局部视锥的三维建模方法、装置和计算机设备。所述方法包括：获取相关图像的初始深度图；从相关图像相机取景方向往初始深度图发射一组光线，分别在各光线对应的初始深度的预设范围内采样，得到各光线上的若干个样本点；对于当前像素点，以其对应的光线为中心射线，在其周围发射一组邻近射线，构成视锥体；分别以中心射线上的各个样本点为基准，截取视锥体的垂直界面；根据当前垂直界面的像素矩阵筛选得到对应样本点的相关像素点，进而得到对应样本点的聚合特征；对于中心射线，提取其对应的邻近射线的特征，进而得到光线特征；根据光线特征、各样本点的聚合特征及候选深度值对目标进行建模。采用本方法能够使建模更准确和稳健。

技术研发人员：惠军华,马建锋,施逸飞,谢滔,尚同非,郭俊杰
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/3/27