一种基于深度学习的点云3D模型贴图方法和装置

本发明涉及数字图像处理领域，尤其涉及一种基于深度学习的点云3d模型贴图方法和装置。

背景技术：

1、在将贴图应用于点云3d模型时，通常有两种常见的方法：纹理映射和投影映射，通过映射可以实现点云数据与图像数据的融合。点云模型通常由大量的点构成，这些点的坐标信息可以占据大量的存储空间。通过贴图，可以用少量的纹理像素来表示大量的几何细节，从而减少数据的存储和传输成本。贴图的渲染通常比几何计算要快得多。在渲染过程中，只需要将纹理颜色应用于每个顶点或点，而无需进行复杂的几何变换和光照计算，从而提高了渲染效率。

2、然而，在低照度的地下暗光环境中，像素的纹理特征不是那么明显，通过映射的方法进行贴图往往没法得到特征明显的成像效果。地下暗光环境中的贴图方法，不仅需要实现3d模型点坐标到2d图像坐标的映射，还要实现对图像特征和点云特征的凸显。

技术实现思路

1、为了解决上述问题，本发明提供了一种基于深度学习的点云3d模型贴图方法，包括以下步骤：

2、s1、通过声呐和激光雷达采集点云数据，摄像头采集图像数据，并对点云数据和图像数据进行预处理；

3、s2、通过卷积神经网络对预处理后的图像数据进行处理，提取图像数据特征，得到特征增强的图像；利用pointnet点云处理网络对预处理后的点云数据进行处理，提取点云数据特征，并采用三角网格构建点云数据的3d模型；

4、s3、对激光雷达和摄像头进行标定，确定它们之间的几何关系，并将3d模型和增强的图像进行时间和空间上的对齐；

5、s4、将增强的图像投影映射到对齐的3d模型上，将点云数据中的位置信息与图像的纹理信息进行叠加，获得具有点云几何信息和图像颜色信息的融合图像1；

6、s5、将点云数据特征和图像数据特征进行融合，得到特征融合的融合图像2；

7、s6、通过训练卷积神经网络将融合图像1和融合图像2进行叠加，生成带贴图3d模型。

8、本发明还提出一种基于深度学习的点云3d模型贴图装置，包括：

9、处理器；

10、存储器，其上存储有可在所述处理器上运行的计算机程序；

11、其中，所述计算机程序被所述处理器执行时实现一种基于深度学习的点云3d模型贴图方法。

12、本发明提供的技术方案带来的有益效果是：

13、本发明提出的一种基于深度学习的点云3d模型贴图方法，通过卷积神经网络提取图像数据特征；利用pointnet点云处理网络提取点云数据特征，并采用三角网格构建点云数据的3d模型；并将3d模型和增强的图像进行时间和空间上的对齐；将对齐后的3d模型和增强的图像进行投影映射，将点云数据中的位置信息与图像的纹理信息进行叠加，获得具有点云几何信息和图像颜色信息的融合图像1；将点云数据特征和图像数据特征进行融合，得到特征融合的融合图像2；将融合图像1和融合图像2进行叠加，通过训练卷积神经网络获得叠加权重，生成带贴图3d模型。相比于传统贴图方法，它更具有普适性，在地下暗光环境中也能得到很好的成像效果，并且能在保持成像准确度的基础上，更加凸显3d点云和图像的特征，以更好得满足工程需求。

技术特征：

1.一种基于深度学习的点云3d模型贴图方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s1中，点云数据的预处理包括：归一化、均匀采样、填充；图像数据的预处理包括：大小调整、裁剪、缩放、灰度化。

3.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s2中，通过卷积神经网络对预处理后的图像数据进行处理，提取图像数据特征，得到特征增强的图像具体为：

4.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s2中，利用pointnet点云处理网络对预处理后的点云数据进行处理，提取点云数据特征具体为：

5.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s3中，对激光雷达和摄像头进行标定包括激光雷达的内外参数标定、相机的内外参数标定；激光雷达的内外参数或相机的内外参数包括位置、姿态、视场角、畸变参数。

6.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s3中，使用时间戳或同步信号来实现3d模型和增强的图像在时间上的对齐。

7.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s4具体为：

8.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s5具体为：

9.根据权利要求1所述的一种基于深度学习的点云3d模型贴图方法，其特征在于，步骤s6具体为：

10.一种基于深度学习的点云3d模型贴图装置，其特征在于，所述装置包括：

技术总结
本发明公开了一种基于深度学习的点云3D模型贴图方法，通过卷积神经网络提取图像数据特征；利用PointNet点云处理网络提取点云数据特征，并采用三角网格构建点云数据的3D模型；并将3D模型和图像进行时间和空间上的对齐；将对齐后的3D模型和图像进行投影映射，将点云数据中的位置信息与图像的纹理信息进行叠加，获得融合图像1；将点云数据和图像数据的特征进行融合，得到特征融合的融合图像2；将融合图像1和融合图像2进行叠加，通过卷积神经网络获得叠加权重，生成带贴图3D模型。相比于传统贴图方法，本发明的方案在地下暗光环境中也能得到很好的成像效果，并且能在保持成像准确度的基础上，更加凸显3D点云和图像的特征，以更好得满足工程需求。

技术研发人员：王子雄,焦玉勇,沈鹿易,闫雪峰,胡郁乐,韩增强,王益腾,周杰,陈双源
受保护的技术使用者：中国地质大学（武汉）
技术研发日：
技术公布日：2024/1/15