生成三维数据的方法、训练模型的方法和计算设备与流程

文档序号:44193782发布日期:2025-12-26 23:05阅读:21来源:国知局
技术特征:

1.一种生成三维数据的方法,包括:

2.根据权利要求1所述的方法,其中,所述通过图像编码模块,基于与三维3d对象对应的多个第一图像,得到语义特征,包括:

3.根据权利要求1所述的方法,其中,所述3d数据包括与3d模型对应的多个第二图像以及各个所述第二图像对应的3d位置信息。

4.根据权利要求1所述的方法,其中,所述通过图像编码模块,基于与三维3d对象对应的多个第一图像,得到语义特征,包括:

5.根据权利要求4所述的方法,其中,所述通过所述图像编码模块,将各个图块映射到语义空间,得到各个图块的第一语义向量,包括:

6.根据权利要求3所述的方法,其中,所述通过生成模块,基于所述表观特征,生成与3d模型对应的3d数据,包括:

7.根据权利要求6所述的方法,其中,所述通过生成模块,基于所述表观特征,生成与3d模型对应的3d数据,还包括:通过所述生成模块中的3d解码器,基于所述第二语义向量和所述第三语义向量生成所述3d数据。

8.根据权利要求1所述的方法,还包括:将所述语义特征和与用户提示文本对应的提示语义特征进行融合,得到融合语义特征,所述用户提示文本包括指示对所述第一物理特征进行修改的信息;以及

9.根据权利要求1所述的方法,其中,所述3d对象包括3d场景。

10.一种训练模型的方法,所述模型包括图像编码模块、表观解码器和生成模块,所述方法包括:

11.根据权利要求10所述的方法,其中,所述通过所述图像编码模块,基于所述多个第一图像,得到语义特征,包括:

12.根据权利要求10所述的方法,其中,所述标签3d数据包括各个所述第一图像对应的标签3d位置信息,所述预测3d数据包括与3d模型对应的多个预测第二图像以及各个所述预测第二图像对应的预测3d位置信息,

13.根据权利要求10所述的方法,其中,所述训练样本包括第一训练样本,所述第一训练样本用于在第一训练阶段训练所述模型,所述方法还包括:

14.根据权利要求11所述的方法,其中,所述训练样本包括第一训练样本,所述第一训练样本用于在第一训练阶段训练所述模型,所述方法还包括:

15.根据权利要求11所述的方法,其中,所述训练样本包括第一训练样本,所述第一训练样本用于在第一训练阶段训练所述模型,所述方法还包括:

16.根据权利要求13-15中的任一项所述的方法,其中,所述训练样本还包括第二训练样本,所述第二训练样本用于在第二训练阶段训练所述模型,所述第二训练阶段在所述第一训练阶段结束之后进行,所述第二训练样本优于所述第一训练样本,

17.根据权利要求16所述的方法,其中,所述第二训练样本还包括与所述3d对象对应的标签表观特征,所述标签表观特征对应的信息中包括与所述第一物理特征对应的标签参数信息,所述方法还包括,

18.根据权利要求1-17中的任一项所述的方法,其中,

19.一种计算设备,包括:


技术总结
本说明书实施例提供一种生成三维数据的方法,其包括:通过图像编码模块,基于与三维3D对象对应的多个第一图像,得到语义特征,所述语义特征对应的语义信息中包括与所述多个第一图像中的第一物理特征对应的信息;通过表观解码器,基于所述语义特征,得到表观特征,所述表观特征对应的表观信息包括与所述第一物理特征对应的信息;以及通过生成模块,基于所述表观特征,生成与3D模型对应的3D数据。利用该方法,能够根据输入图像生成遵循物理规律的3D数据,从而使得根据该3D数据得到的图像或者视频具有更好的符合物理规律的表现效果,提高其真实感和和谐度。

技术研发人员:王福东,陆潇,袁燚,陈景东
受保护的技术使用者:支付宝(杭州)数字服务技术有限公司
技术研发日:
技术公布日:2025/12/25
当前第2页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!
1