一种基于SAM大模型与NeRF的数字孪生建模方法及系统

本发明涉及一种基于sam大模型与nerf的数字孪生建模方法及系统，属于三维建模与计算机视觉领域。

背景技术：

1、数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度的仿真过程，在虚拟空间中完成映射，从而反映、模拟、验证、预测、控制物理实体全生命周期过程的技术手段。从数字孪生的定义出发，数字孪生关键技术包含通信，感知，控制，建模，可视化技术。而建模是由物理实体到数字孪生的关键，传统机械工业中的计算机辅助技术为数字孪生建模提供了基本思路，包括cad(computer aided design)、cae(computer aided engineering)、capp(computer aided process planning)和cam(computer aided manufacturing)。其中三维建模是数字孪生建模技术的重要部分。现阶段大多数工作使用了人工建模，由于其操作繁琐，基于ai和大数据的建模方法被提出。

2、nerf(neural radiance fields)神经辐射场是一种生成三维场景的神经网络模型，通过多视角图片将其渲染成为三维模型，进行自动实时的精细化建模。然而在相机拍摄的多视角图片中存在着背景图像噪声的杂糅的问题，会导致物体建模不够精确、nerf进行训练的速度较慢，进而影响数字孪生的精确度与仿真速度。sam大模型是一种基于神经网络的图像分割方法，它可以根据不同的提示(如点、框、文本等)从图像中分割出感兴趣的对象，并且具有强大的零样本泛化能力。采用sam大模型进行图像分割后再进行基于nerf进行三维重建可以提高数字孪生建模的速度与精度。

技术实现思路

1、本发明提供一种基于sam大模型与nerf的数字孪生建模方法，以解决上述背景技术中提出的问题。

2、本发明旨在一种基于sam大模型与nerf的数字孪生建模方法，sam对获得的多视角图片进行分割，去除背景图像噪声，nerf对分割得到的图像进行建模渲染得到三维模型，并利用点云重建技术将进行物体表面粗糙度的重建来得到高精度的数字孪生模型。

3、本发明还提供了一种基于sam大模型与nerf的数字孪生建模系统。

4、为实现上述目的，本发明提供如下技术方案：

5、一种基于sam大模型与nerf的数字孪生建模方法，包括：

6、对建模物体的多角度采集得到同一场景的静态2d图像；

7、估计得到每张静态2d图像对应的相机内外参；

8、在每张静态2d图像上为目标物体提供分割提示信息，包括：前景点、背景点、边界框、文本描述及任意区域；

9、将静态2d图像及分割提示信息输入sam预训练模型，得到分割掩码，完成分割任务；

10、将获得分割图像的五维坐标，输入nerf模型中进行训练，得到预测的颜色与透明度；

11、进行体积渲染以及使用梯度下降法进行网络训练得到三维模型；

12、利用点云重建技术对三维模型进行表面粗糙度的重建得到物体高精度数字孪生模型。

13、根据本发明优选的，将静态2d图像及分割提示信息输入sam预训练模型，完成分割任务，得到分割图像；包括：

14、静态2d图像和分割提示信息分别通过图像编码器(image encoder)和提示编码器(hint encoder)处理得到掩码，通过元素级的求和操作进行合并；其中，掩码是指用于对图像的特定部分进行遮挡或突出的二值图像或像素级别的掩模；

15、通过掩码解码器将这些图像编码器和提示编码器生成的特征组合在一起，形成嵌入的掩码升维到图像本身的大小，从而得到一输入大小匹配的分割掩码。

16、根据本发明优选的，sam预训练模型包括图像编码器、提示编码器及掩码解码器；

17、图像编码器用于：接收输入的静态2d图像，编码该静态2d图像的信息，将图像转换为一种表示，该表示为一个向量或一组特征图；

18、提示编码器用于：接收分割提示信息，提示编码器将这些分割提示信息编码为与图像编码器输出相匹配的表示；

19、掩码解码器用于：将特征图从低维度空间解码成像素级别的分割掩码。

20、进一步优选的，提示编码器将稀疏输入和密集输入都变成256维的向量进行嵌入；如果输入是密集输入，则使用卷积操作；如果输入是稀疏输入，则使用位置编码；如果输入是文本提示，则使用剪贴嵌入。

21、根据本发明优选的，将获得分割图像的五维坐标输入nerf模型中的多层感知机网络mlp进行训练，得到预测的颜色与透明度；包括：

22、将三维坐标进行位置编码，位置编码公式即高频编码函数如式(i)所示：

23、γ(p)＝(sin(20πp),cos(20πp),…,sin(2l-1πp),cos(2l-1πp))  (i)

24、其中，p表示分割图像的五维坐标的训练向量的任意一维元素，l为高频编码函数的维度,经式(i)升维后,训练向量中的每一维元素将升至(2l+1)维；

25、在位置编码完成后，mlp先使用8个全连接层处理三维位置(x，y，z)，输出体素密度σ和256维特征向量；然后，将得到的256维特征向量与二维方位视角(θ，φ)合并，接着用1个全连接层处理，输出颜色c＝(r，g，b)。

26、根据本发明优选的，通过体积渲染以及使用梯度下降法，进行网络训练，得到三维模型；包括：

27、根据体积渲染将颜色叠加得到最终的像素值，将预测的像素值与真实的图像进行比较，计算损失函数，并用梯度下降法更新网络参数，得到训练的三维的nerf模型。

28、进一步优选的，体积渲染是通过mlp输出的每一个点密度σi和颜色c＝(r，g，b)，来模拟一条光线，计算成像的像素；其光线公式如式(ii)所示：

29、r(t)＝o+td  (ii)

30、式(ii)中，r(t)动态表示光线这条射线，t表示位置，o就是指光心的坐标，d指方向。

31、进一步优选的，采用离散化采样，沿着相机光线的n个采样点，预期的颜色如式(iii)所示：

32、

33、式(iii)中，表示每条光线的颜色，函数ti表示沿射线累积的透过率，即射线而没有击中任何其他粒子的概率，δi代表在光线r上的采样间隔，ci表示在r这条射线上t位置对d方向的光强，j、i分别是指采样时刻，σi指代在r这条射线上t位置的体积密度。

34、进一步优选的，对于给定的场景，采用不同位姿的摄像头拍摄得到n幅图像，利用梯度下降的方法，通过最小化预测图像ip与真实图像ic之间的误差进行拟合，即：ip、ic、n分别是指预测图像的像素值、真实图像像素值、图像的个数。

35、根据本发明优选的，利用点云重建技术对三维模型进行表面粗糙度的重建得到物体高精度数字孪生模型，包括：

36、使用表面形貌测量仪测量粗糙表面，以获得表征该实体的三维形貌的点云数据集；

37、对点云数据集进行预处理；包括：识别和删除明显不在物体表面上的点；平滑点云数据并减少噪声；进行数据对齐；数据修复；

38、曲面粗糙度重建：包括：点云数据读取；特征点拟合；特征区域线拟合；根据识别的特征点，拟合曲线或曲面；网格处理：将点云数据转换为网格(mesh)数据；曲面编辑；构建物体高精度数字孪生模型。

39、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于sam大模型与nerf的数字孪生建模方法的步骤。

40、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于sam大模型与nerf的数字孪生建模方法的步骤。

41、一种基于sam大模型与nerf的数字孪生建模系统，包括：

42、图像获取及处理单元，被配置为：对建模物体的多角度采集得到同一场景的静态2d图像；估计得到每张静态2d图像对应的相机内外参；

43、图像分割单元，被配置为：将静态2d图像及分割提示信息输入sam预训练模型，完成分割任务，得到分割图像；

44、颜色与透明度预测单元，被配置为：将获得分割图像的五维坐标，输入nerf模型中进行训练，得到预测的颜色与透明度；

45、数字孪生模型单元，被配置为：利用点云重建技术对三维模型进行表面粗糙度的重建得到物体高精度数字孪生模型。

46、本发明的有益效果为：

47、1、精细的三维重建：结合sam和nerf，可以实现更精细的三维物体重建。sam大模型可以帮助精确分割和识别物体的各个部分，nerf则提供了高质量的整体三维重建，从而获得更完整和准确的数字孪生模型。

48、2、改进的物体检测和识别：结合sam和nerf的数字孪生模型可以用于改进物体检测和识别的性能，因为它提供了更多的关于物体形状和外观的信息。

49、3、本发明能够有效地利用sam大模型的强大语义理解能力和nerf神经辐射场算法的高效三维重建能力，实现数字孪生建模的自动化和精确化。

50、4、工程和制造应用：在工程领域，这种系统可以用于制造定制零件和进行工程分析，有助于提高产品质量和性能。