计算机模拟中的语音驱动3D静态资产创建的制作方法

本申请涉及必须植根于计算机技术并且产生具体技术改进的技术上创新的非常规解决方案。

背景技术：

1、如本文所理解的，诸如常见背景对象之类的常用计算机游戏资产被用来增加计算机游戏的视觉吸引力。

技术实现思路

1、目前的原理允许内容创建者以自然语言输入的方式描述他们想要的资产，并且从所述(语音)输入创建2d或3d资产。还有助于为艺术家创建初始原型资产以进行迭代。

2、因此，一种方法包括接收诸如来自语音转换的文本，以及使用至少一个神经网络处理所述文本以渲染计算机模拟资产的二维(2d)图像。所述方法还包括将所述2d图像转换为三维(3d)资产。所述方法包括在至少一个计算机模拟中呈现所述3d资产。

3、所述文本可从键盘输入或从语音输入并且可指示至少一个位置，并且所述3d资产与所述位置一致。所述文本/语音可指示至少多个对象，并且所述3d资产与所述多个对象一致。所述方法可包括在呈现所述3d资产之前使用艺术家计算机修改所述3d资产。可使用麦克风来将所述3d资产的修改输入到艺术家计算机。

4、在另一个方面中，一种装置包括至少一个计算机存储器，所述至少一个计算机存储器不是瞬时信号并且继而包括可由至少一个处理器执行以接收二维(2d)图像的相片的指令。所述指令可执行以将所述2d图像转换为3d资产，并且在至少一个计算机模拟中呈现所述3d资产。

5、在另一个方面中，一种设备包括至少一个处理器和被配置为由所述处理器控制的至少一个计算机输出装置。所述处理器用指令编程以识别二维(2d)图像、将所述2d图像转换为3d资产，以及使用所述3d资产作为计算机模拟中的对象。

6、本申请的关于其结构和操作两者的细节可参考附图得到最好的理解，在附图中相同的附图标记指代相同的部分，并且在附图中：

技术特征：

1.一种方法，所述方法包括：

2.如权利要求1所述的方法，其中所述文本是从语音转换接收。

3.如权利要求1所述的方法，所述方法包括至少部分地基于所述文本将音频与所述3d资产相关联。

4.如权利要求2所述的方法，其中所述语音转换指示至少一个位置，并且所述3d资产与所述位置一致。

5.如权利要求2所述的方法，其中所述语音转换指示至少多个对象，并且所述3d资产与所述多个对象一致。

6.如权利要求1所述的方法，所述方法包括在呈现所述3d资产之前使用艺术家计算机修改所述3d资产。

7.如权利要求6所述的方法，所述方法包括使用麦克风来将所述3d资产的修改输入到所述艺术家计算机。

8.一种装置，所述装置包括：

9.如权利要求8所述的装置，其中所述指令可执行以至少部分地基于所述文本将音频与所述3d资产相关联。

10.如权利要求8所述的装置，其中所述指令可执行以接收指示至少一个位置的语音，并且所述3d资产与所述位置一致。

11.如权利要求8所述的装置，其中所述指令可执行以接收指示至少多个对象的语音，并且所述3d资产与所述多个对象一致。

12.如权利要求8所述的装置，其中所述指令可执行以在呈现所述3d资产之前使用艺术家计算机修改所述3d资产。

13.如权利要求8所述的装置，其中所述指令可执行以在显示器上呈现用户界面(ui)，所述用户界面包括选择器以上传所述相片。

14.如权利要求8所述的装置，其中所述指令可执行以在显示器上呈现用户界面(ui)，所述用户界面包括提示以说出期望的资产场景。

15.一种设备，所述设备包括：

16.如权利要求15所述的设备，其中所述指令可执行以：

17.如权利要求15所述的设备，其中所述指令可执行以：

18.如权利要求17所述的设备，其中所述指令可执行以：

19.如权利要求17所述的设备，其中所述指令可执行以：

20.如权利要求15所述的设备，其中所述指令可执行以：

21.如权利要求15所述的设备，其中所述指令可执行以：

22.如权利要求15所述的设备，其中所述指令可执行以：

技术总结
根据自然语言描述生成由一个或多个对象组成的3D场景，所述自然语言描述可由文本或话音(300,302)组成。从所述描述中提取(303)像资产属性和布置之类的相关关键字。使用这些关键字，使用生成模型生成(304)2D图像。使用另一个神经模型来根据所述2D重建(306)所述3D对象。可组合(310)所述3D对象以满足布置规范。替代地，通过对现有3D对象进行变换或通过使用3D生成模型来生成所述3D对象以满足所述描述中的规范。

技术研发人员：S·克里什纳莫蒂,M·泰勒
受保护的技术使用者：索尼互动娱乐股份有限公司
技术研发日：
技术公布日：2024/1/15