多源融合模型构建及纹理生成方法、装置、介质及设备与流程

本发明涉及三维建模，特别是一种多源融合模型构建及纹理生成方法、装置、介质及设备。

背景技术：

1、三维建模是利用三维生产软件通过虚拟三维空间构建具有三维数据的模型，从简单的几何模型到复杂的角色模型；从静态单个产品显示，到动态复杂的场景，如影视动画、游戏设计、工业设计、建筑设计、室内设计、产品设计、景观设计等均需要进行三维建模。

2、传统的建模方案主要先采集数据后，采用空三计算生成tdom(true orho/truedigital ortho map，真正射影像)，然后人工描画单体建筑物dlg(digital line graphic，数字线划图)，再结合点云模型生成建筑物表面模型。同时，通过人工挑选图片制作纹理图片，采用相关软件进行贴图处理。但是，描画单体建筑物dlg，需要导出多种数据中间格式辅助进行，人工工作量较大，效率十分低下；人工挑选纹理图片再进行贴图操作，十分费时费力，而且由于拍照角度问题，有时候挑选一张合适的图片非常困难。

技术实现思路

1、鉴于上述问题，本发明提出一种克服上述问题或者至少部分地解决上述问题的多源融合模型构建及纹理生成方法、装置、介质及设备。

2、本发明提供了一种多源融合模型构建及纹理生成方法，所述方法包括：

3、采集目标采集区域的激光点云数据和多视角影像数据；

4、采用点云实例分割神经网络基于所述激光点云数据分割生成建筑物点云实例，基于所述建筑物点云实例进行表面拟合生成建筑物外表面模型；

5、将所述目标采集区域划分为多个分区网格，并学习各个分区网格对应的场景表征；

6、根据分区网格的网格位置从所述建筑物外表面模型截取对应的局部分区模型，根据所述局部分区模型的各个表面位置及法线方向从对应场景表征中渲染纹理图像；

7、保存纹理图像并将纹理坐标更新至对应局部分区模型的模型属性中，经多个局部分区模型进行模型合并后即可获得最终含纹理的建筑物模型。

8、可选地，采用点云实例分割神经网络基于所述激光点云数据分割生成建筑物点云实例包括：

9、基于所述激光点云数据生成对应的彩色稠密点云，并记录点云中每个点的位置、强度、颜色信息；

10、将所述彩色稠密点云抽析为稀疏点云；

11、利用pointnet++的实例分割网络模型基于所述稀疏点云进行识别推理，以进行建筑物点云实例分割，得到包含多个建筑物点云实例的建筑物点云实例分割结果。

12、可选地，基于所述建筑物点云实例进行表面拟合生成建筑物外表面模型包括：

13、提取独立的建筑物点云实例，采用噪声密度聚类算法，分离出建筑物各个面的点集；

14、基于建筑物各个面的点集进行约束表面拟合生成矢量的建筑物外表面模型。

15、可选地，将所述目标采集区域划分为多个分区网格，并学习各个分区网格对应的场景表征包括：

16、根据图像分辨率及实际采样区域的bbox地理坐标范围将所述目标采集区域均匀划分为固定大小的网格，进行网格合并得到多个分区网格；

17、基于所述多视角影像数据得到各分区网格对应的分区影像；

18、依据所述分区影像学习各个网格对应的场景表征。

19、可选地，依据所述分区影像学习各个网格对应的场景表征包括：

20、根据block-nerf神经网络算法，将单个分区网格对应的分区影像生成数据集，将摄像头位置及角度信息作为网络输入，图像作为网络输出的标签，对block-nerf神经网络进行训练，训练好的神经网络模型即为该网格的场景表征；

21、其中，每个分区场景图像集训练一个神经网络模型即可表征整个场景的颜色分布。

22、可选地，根据分区网格的网格位置从所述建筑物外表面模型截取对应的局部分区模型，根据所述局部分区模型的各个表面位置及法线方向从对应场景表征中渲染纹理图像包括：

23、根据各分区网格的坐标截取所述建筑物外表面模型对应的局部分区模型，得到分区模型实例；

24、根据分区模型实例各个组成矢量面的位置及其法线方向，在给定约束距离处从场景表征神经网络模型中计算各个像素的成像像素值，进行渲染生成一张同矢量面同样大小的正射图像，将所述正射图像保存为纹理贴图图像并记录该图像与建筑物实例构成面的隶属关系。

25、可选地，经多个局部分区模型进行模型合并后即可获得最终含纹理的建筑物模型包括：

26、获取与各分区网格的对应的多个局部分区模型及对应的纹理贴图图像，将多个局部分区模型进行模型合并后即可获得最终含纹理的建筑物模型。

27、本发明还提供了一种多源融合模型构建及纹理生成装置，其包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当所述一个或多个处理器执行所述程序指令时，所述一个或多个处理器用于实现根据上述任意一项所述的多源融合模型构建及纹理生成方法。

28、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述任一项所述的多源融合模型构建及纹理生成方法。

29、本发明还提供了一种计算设备，所述计算设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述任一项所述的多源融合模型构建及纹理生成方法。

30、本发明提供了一种多源融合模型构建及纹理生成方法、装置、介质及设备，通过分割点云中建筑物模型病建筑物外表面模型；同时根据多视角影像进行网格划分，并学习各自的场景表征；根据网格位置截取建筑物外表面模型局部分区模型，根据分区模型从场景表征中渲染纹理图像，保存纹理图像并将纹理坐标更新至模型属性中，经多个局部分区模型进行模型合并后即可获得最终含纹理的建筑物模型，本发明提供的方法可以实现模型拟合完全自动化、纹理图片自动生成且生成的纹理图片更加平滑。

31、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

32、根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

技术特征：

1.一种多源融合模型构建及纹理生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，采用点云实例分割神经网络基于所述激光点云数据分割生成建筑物点云实例包括：

3.根据权利要求2所述的方法，其特征在于，基于所述建筑物点云实例进行表面拟合生成建筑物外表面模型包括：

4.根据权利要求2所述的方法，其特征在于，将所述目标采集区域划分为多个分区网格，并学习各个分区网格对应的场景表征包括：

5.根据权利要求4所述的方法，其特征在于，依据所述分区影像学习各个网格对应的场景表征包括：

6.根据权利要求4所述的方法，其特征在于，根据分区网格的网格位置从所述建筑物外表面模型截取对应的局部分区模型，根据所述局部分区模型的各个表面位置及法线方向从对应场景表征中渲染纹理图像包括：

7.根据权利要求1所述的方法，其特征在于，经多个局部分区模型进行模型合并后即可获得最终含纹理的建筑物模型包括：

8.一种多源融合模型构建及纹理生成装置，其包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当所述一个或多个处理器执行所述程序指令时，所述一个或多个处理器用于实现根据权利要求1-7任意一项所述的多源融合模型构建及纹理生成方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的多源融合模型构建及纹理生成方法。

10.一种计算设备，其特征在于，所述计算设备包括处理器以及存储器：

技术总结
本发明提供了一种多源融合模型构建及纹理生成方法、装置、介质及设备，所述方法通过分割点云中建筑物模型病建筑物外表面模型；同时根据多视角影像进行网格划分，并学习各自的场景表征；根据网格位置截取建筑物外表面模型局部分区模型，根据分区模型从场景表征中渲染纹理图像，保存纹理图像并将纹理坐标更新至模型属性中，经多个局部分区模型进行模型合并后即可获得最终含纹理的建筑物模型，本发明提供的方法可以实现模型拟合完全自动化、纹理图片自动生成且生成的纹理图片更加平滑。

技术研发人员：刘俊伟,程文胜,刘路
受保护的技术使用者：泰瑞数创科技（北京）股份有限公司
技术研发日：
技术公布日：2024/1/13