基于chatGPT的三维点云模型智能3D图像生成方法与流程

本发明属于ai，具体涉及基于chatgpt的三维点云模型智能3d图像生成方法。

背景技术：

1、传统构件3d图像除了直接应用建模之外，可使用3d扫描仪对物体进行3d扫描,获取物体的三维点云数据,然后在3d软件中对点云进行重构、润色和渲染,形成三维立体图。随着科技的发展，还出现了其他不同的构件三维模型的方式。

2、如可参考现有公开号为cn111815698a的中国专利，其公开了一种人工智能单目3d点云生成方法、装置、终端及存储介质。该人工智能单目3d点云生成方法包括：获取基于编码及解码架构建立的3d点云数据生成模型；训练样本集包括多个样本图像以及多个3d点云数据样本，多个样本图像为目标物体的不同角度的照片；每一3d点云数据样本与多个样本图像一一对应，3d点云数据样本基于对应所述样本图像生成；根据多个样本图像以及多个3d点云数据样本对3d点云数据生成模型进行训练，以得到经过训练的单目3d点云数据生成模型；获取目标物体的实时拍摄图像；将实时拍摄图像输入单目3d点云数据生成模型，得到3d点云数据。

3、再如现有公开号为cn113034673b的中国专利，其公开了一种基于智能图像处理的3d点云建模系统，包括图像扫描装置、环轨装置、分析处理模块和模型存储模块，所述图像扫描装置安装于所述环轨装置上并能在所述环轨上滑动，所述图像扫描装置通过对置于所述环轨中心处的物体进行扫描得到图像，所述分析处理模块对至少两张图像进行分析处理得到该物体的3d模型数据，所述3d模型数据被保存至所述模型存储模块中。

4、上述的两个专利分别存在着一些优点，但是都存在着一些缺点，如：由于法无法捕获对象的细腻形状或纹理，所以在建模时三维图像不够准确，可改进。

技术实现思路

1、本发明的目的在于提供基于chatgpt的三维点云模型智能3d图像生成方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于chatgpt的三维点云模型智能3d图像生成方法，包括以下步骤：

4、s1、生成图像：先生成一个以文本标题为条件的综合视图，之后生成一个基于合成视图的粗略点云，之后生成-个以低分辨率点云和合成视图为条件的精细点云，从大于20个的随机摄像机角度，将每个3d模型渲染为rgbad图像；

5、s2、导出图像：对于每个模型，chatgpt脚本都将模型标准化为边界立方体，配置标准照明设置，最后使用chatgpt的内置实时渲染引擎，导出chatgpt图像；

6、s3、构建点云：使用渲染将每个对象转换为彩色点云，通过计算每个chatgpt图像中每个像素的点，来为每个对象构建-个密集点云，这些点云包含数十万个不均匀分布的点，使用最远点采样，来创建均匀的4k点云；

7、s4、渲染点云：通过直接从渲染构建点云，避免直接从3d网格中采样可能出现的各种问题，对模型中包含的点进行取样，或处理以不寻常的文件格式存储的三维模型；

8、s5、数据集聚类：采用各种启发式方法来减少数据集中低质量模型的频率，首先，通过计算每个点云的svd来消除平面对象，只保留那些最小奇异值高于某个阈值的对象，接下来通过clip特征对数据集进行聚类；

9、s6、形成最终数据集：将这些集群分到几个不同质量的点集中，并使用所得点集的加权混合作为我们的最终数据集；

10、s7、三维图像生成：采用三维原生编码器，将三维点云作为输入，提取三维形状的表示。

11、较佳的，所述s3中，获取基于编码及解码架构建立的3d点云数据生成：生成一个基于所述合成视图的粗略点云至少包含1,024个点；生成-个以低分辨率点云和合成视图为条件的精细点云至少包含4,096个点。

12、较佳的，所述s3中，获取基于编码及解码架构建立的3d点云数据生成在提取三维形状的表示后，通过添加.stl导出功能，可以将最终几何图形导出为ascii.stl文件格式以进行3d打印。

13、较佳的，所述s3中，获取基于编码及解码架构建立的3d点云数据生成所述数据集形成格网模型后，将格网模型与gis和工程数据集成，在格网模型的视觉环境中进行信息的直观搜索、导航、可视化和动画。

14、较佳的，所述s3中，获取基于编码及解码架构建立的3d点云数据生成所述将一组与3d对象配对图像输入3d转化模型，以便模型学会在两者之间有效转换；当输入一个prompt时，使chatgpt图像转化模型会生成一个合成渲染对象，将合成渲染对象送到图像转化3d模型，然后生成点云。

15、较佳的，所述s3中，获取基于编码及解码架构建立的3d点云数据生成所述点云的存储格式包括：pts、las、pcd、.xyz和.pcap。

16、较佳的，所述s3中，获取基于编码及解码架构建立的3d点云数据生成采用点云存储器存储信息，包括储存立体扫描结果的三维数值，储存的资讯包含透明度、材质座标、资料可信度、点云三维空间坐标、激光反射强度值、色彩值、点云的法向量。

17、较佳的，所述s3中，获取基于编码及解码架构建立的3d点云数据生成模型；获取训练样本集，所述训练样本集包括多个样本图像以及多个3d点云数据样本，所述多个样本图像为目标物体的不同角度的照片；每一所述3d点云数据样本与所述多个样本图像一一对应。

18、综上所述，本发明主要具有以下有益效果：

19、本发明通过生成图像、导出图像、构建点云、渲染点云、数据集聚类、形成最终数据集、三维图像生成等步骤可构建较为理想的三维图像，本发明采用chatgpt作为三维点云模型智能3d图像的生产工具，具有较好的应用前景。

技术特征：

1.基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于：生成一个基于所述合成视图的粗略点云至少包含1,024个点；生成一个以低分辨率点云和合成视图为条件的精细点云至少包含4,096个点。

3.根据权利要求1所述的基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于：在提取三维形状的表示后，通过添加.stl导出功能，可以将最终几何图形导出为ascii.stl文件格式以进行3d打印。

4.根据权利要求1所述的基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于：所述数据集形成格网模型后，将格网模型与gis和工程数据集成，在格网模型的视觉环境中进行信息的直观搜索、导航、可视化和动画。

5.根据权利要求1所述的基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于：所述将一组与3d对象配对图像输入3d转化模型，以便模型学会在两者之间有效转换；当输入一个prompt时，使chatgpt图像转化模型会生成一个合成渲染对象，将合成渲染对象送到图像转化3d模型，然后生成点云。

6.根据权利要求1所述的基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于：所述点云的存储格式包括：pts、las、pcd、.xyz和.pcap。

7.根据权利要求7所述的基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于：采用点云存储器存储信息，包括储存立体扫描结果的三维数值，储存的资讯包含透明度、材质座标、资料可信度、点云三维空间坐标、激光反射强度值、色彩值、点云的法向量。

8.根据权利要求1所述的基于chatgpt的三维点云模型智能3d图像生成方法，其特征在于：所述s3中，获取基于编码及解码架构建立的3d点云数据生成模型；获取训练样本集，所述训练样本集包括多个样本图像以及多个3d点云数据样本，所述多个样本图像为目标物体的不同角度的照片；每一所述3d点云数据样本与所述多个样本图像一一对应。

技术总结
本发明公开了基于chatGPT的三维点云模型智能3D图像生成方法，包括以下步骤：S1、生成图像：先生成一个以文本标题为条件的综合视图，之后生成一个基于合成视图的粗略点云，生成一个以低分辨率点云和合成视图为条件的精细点云，从大于20个的随机摄像机角度，将每个3D模型渲染为RGBAD图像；S2、导出图像：对于每个模型，chatGPT脚本都将模型标准化为边界立方体，配置标准照明设置，最后使用chatGPT的内置实时渲染引擎，导出chatGPT图像；S3、构建点云。本发明采用chatGPT作为三维点云模型智能3D图像的生产工具，具有较好的应用前景。

技术研发人员：陈研
受保护的技术使用者：苏州智易享科技有限公司
技术研发日：
技术公布日：2024/1/16