一种基于前景提取的三维重建方法

本发明涉及三维重建技术，尤其涉及一种基于前景提取的三维重建方法。

背景技术：

1、三维重建技术是一种将现实世界中的物体、场景或环境转换为三维模型的过程。三维重建可以实现环境感知和导航，可以通过三维重建构建环境地图，以便于路径规划和避障，同时在医学领域，三维重建可用于医学图像处理和可视化，用于诊断和手术规划。近些年来，三维重建在自动化与医疗结合方面应用越来越广泛，能够实现医疗智能化，提高医疗的便利性。

2、现在三维重建技术的缺点主要是集中在其流程的计算复杂以及抗干扰性较差等。在三维重建的过程中，由于涉及处理大规模的点云数据，需要占用大量的计算资源和使用复杂的数学算法，限制了实时性。此外，由于传感器对外界的敏感性，存在数据丢失与重建差异性等情况，导致重建失真和重建结果缺失，影响重建的准确性。这使得需要多次采样获取准确的数据，才能得出比较好的结果。

技术实现思路

1、本发明提供一种基于前景提取的三维重建方法，旨在解决现有的三维重建技术中实时性弱、抗干扰能力弱的问题。

2、所述三维重建方法包括以下步骤：

3、通过标定相机获取色彩相机的参数和深度相机的参数，建立相机模型并引入空间坐标转化关系以完成rgb-d数据的对齐；

4、通过rgb-d传感器获取多个对齐后的rgb-d数据的帧集；其中，所述帧集包括色彩图像和深度图像；

5、对每一所述帧集通过预设训练网络进行预处理完成数据补齐，得到第一数据帧集；

6、对所述第一数据帧集进行滤波处理，得到第二数据帧集；

7、将所述第二数据帧集转化为目标点云，基于预设配准算法对所述目标点云中关联度高的部分进行配准处理，得到配准结果；

8、建立点云融合前端控制器，所述点云融合前端控制器用于预测目标点云的轨迹以及根据所述配准结果通过预设条件判断是否将所述目标点云进行融合；

9、根据融合后的所述目标点云建立面元模型；

10、通过变形图对所述面元模型进行全局优化，并通过基于方向梯度直方图的增强随机蕨算法对全局优化后的所述面元模型进行闭环检测。

11、优选的，所述预设训练网络为yolo网络。

12、优选的，在所述对每一所述帧集通过预设训练网络进行预处理，得到第一数据帧集的步骤中，所述预处理的过程包括：

13、通过yolo网络对所述色彩图像进行处理，勾选出所述色彩图像中期望重建的第一图像区域；

14、在所述深度图像中找到所述第一图像区域对应的第二图像区域并进行遍历，检索所述第二图像区域中有深度缺失的区域；

15、判断所述第二图像区域中是否有深度缺失的区域，若是，则通过yupnp方法对所述深度图像进行补齐；若否，则跳过本次检索，继续检索下一所述帧集。

16、优选的，所述滤波处理的过程包括：

17、通过拔除离群点算法将所述第一数据帧集中偏离前景的像素点标记为明显背景点；

18、遍历所述深度图像中的区域，根据区域内每一像素点的深度值判断稀疏性，并根据预设阈值将稀疏的点标记为概率背景点；

19、对所有的所述概率背景点进行grabcut分割；

20、对所述第一数据帧集进行双边滤波处理，得到第二数据帧集。

21、优选的，所述预设配置算法为基于kd-tree的改进icp算法。

22、优选的，所述改进的icp算法满足以下关系式：

23、

24、其中，xi、yi分别表示不同所述目标点云的集合x和y中的某一个点对，r表示旋转矩阵，t表示平移向量，f表示所述目标点云中点的数量。

25、优选的，所述预设条件为：配准两个所述目标点云之间的距离是否小于预设的距离阈值，若是，则放弃本次融合；若否，则进行融合。

26、优选的，定义所述面元模型的所有面元的集合为其中的某一面元为影响节点为则在所述通过变形图对所述面元模型进行全局优化的步骤中所述面元模型的变形位置和法向量满足下列关系式：

27、

28、

29、

30、其中，为变形图，为节点，每个节点储存了该节点的转换矩阵平移向量位置表示节点对的影响权重，dmax表示到最邻近的第k+1个节点的距离，表示面元变形后的位置，表示面元变形后的法向量。

31、与现有技术相比，本发明的有益之处在于：本发明使用的预处理方法，相对于现有的三维重建算法，将滤波功能更多的集中在了预处理阶段，基于图片的预处理相对于基于点云的滤波花费资源更少，提高系统的实时性于稳定性；相对于传统的配准方法，花费在配准上的时间过于冗长，且误差大的问题，本发明采用的配准方法使用计算资源更少，且精度更高；本发明使用面元模型，相对于传统网格式的tsdf模型，占用系统内存资源更少。同时，面元模型在闭环检测时更加适配随机蕨算法；综上所述，针对三维重建算法系统，本发明具有实时性高、抗干扰能力强的优点。

技术特征：

1.一种基于前景提取的三维重建方法，其特征在于，所述三维重建方法包括以下步骤：

2.如权利要求1所述的基于前景提取的三维重建方法，其特征在于，所述预设训练网络为yolo网络。

3.如权利要求2所述的基于前景提取的三维重建方法，其特征在于，在所述对每一所述帧集通过预设训练网络进行预处理，得到第一数据帧集的步骤中，所述预处理的过程包括：

4.如权利要求3所述的基于前景提取的三维重建方法，其特征在于，所述滤波处理的过程包括：

5.如权利要求1所述的基于前景提取的三维重建方法，其特征在于，所述预设配置算法为基于kd-tree的改进icp算法。

6.如权利要求5所述的基于前景提取的三维重建方法，其特征在于，所述改进的icp算法满足以下关系式：

7.如权利要求1所述的基于前景提取的三维重建方法，其特征在于，所述预设条件为：配准两个所述目标点云之间的距离是否小于预设的距离阈值，若是，则放弃本次融合；若否，则进行融合。

8.如权利要求1所述的基于前景提取的三维重建方法，其特征在于，定义所述面元模型的所有面元的集合为其中的某一面元为影响节点为则在所述通过变形图对所述面元模型进行全局优化的步骤中所述面元模型的变形位置和法向量满足下列关系式：

技术总结
本发明适用于三维重建领域，提供了一种基于前景提取的三维重建方法。本发明的有益之处在于：本发明使用的预处理方法，相对于现有的三维重建算法，将滤波功能更多的集中在了预处理阶段，基于图片的预处理相对于基于点云的滤波花费资源更少，提高系统的实时性于稳定性；相对于传统的配准方法，花费在配准上的时间过于冗长，且误差大的问题，本发明采用的配准方法使用计算资源更少，且精度更高；本发明使用面元模型，相对于传统网格式的TSDF模型，占用系统内存资源更少；同时，面元模型在闭环检测时更加适配随机蕨算法。综上所述，针对三维重建算法系统，本发明具有实时性高、抗干扰能力强的优点。

技术研发人员：陶杰,姚宇千,郑博文,鲁仁全
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/1/16