用于确定风格化图像生成模型的方法、装置及产品与流程

本公开涉及人工智能，具体为计算机视觉、增强现实、虚拟现实、深度学习等，尤其涉及用于确定风格化图像生成模型的方法、装置以及用于生成风格化图像的方法、装置、电子设备、存储介质以及计算机程序产品，可用于自动驾驶、智能交通场景下。

背景技术：

1、神经渲染、三维重建等技术主要针对现实场景进行恢复。对于基于神经渲染所得到的图像，用户往往有对其编辑的需求，比如，风格化编辑就是编辑需求中的一种。目前，缺乏使用多模态的数据对神经渲染生成的场景和对象进行编辑的技术手段。

技术实现思路

1、本公开提供了一种用于确定风格化图像生成模型的方法、装置以及用于生成风格化图像的方法、装置、电子设备、存储介质以及计算机程序产品。

2、根据第一方面，提供了一种用于确定风格化图像生成模型的方法，包括：基于预训练的神经辐射场，生成参数固定的第一神经辐射场和参数可更新的第二神经辐射场；在多模态的风格化引导数据的引导下，通过第一神经辐射场和第二神经辐射场分别生成引导后图像，其中，风格化引导数据表征引导后图像被期望达到的风格信息；根据风格化引导数据和引导后图像，确定损失信息；根据损失信息，更新第二神经辐射场的参数，以生成风格化图像生成模型。

3、根据第二方面，提供了一种用于生成风格化图像的方法，包括：获取目标风格化引导数据，其中，目标风格化引导数据表征待生成的风格化图像被期望达到的风格信息；在目标风格化引导数据的引导下，通过训练后的风格化图像生成模型生成风格化图像，其中，风格化图像生成模型通过第一方面任一实现方式训练得到。

4、根据第三方面，提供了一种用于确定风格化图像生成模型的装置，包括：第一生成单元，被配置成基于预训练的神经辐射场，生成参数固定的第一神经辐射场和参数可更新的第二神经辐射场；第二生成单元，被配置成在多模态的风格化引导数据的引导下，通过第一神经辐射场和第二神经辐射场分别生成引导后图像，其中，风格化引导数据表征引导后图像被期望达到的风格信息；确定单元，被配置成根据风格化引导数据和引导后图像，确定损失信息；更新单元，被配置成根据损失信息，更新第二神经辐射场的参数，以生成风格化图像生成模型。

5、根据第四方面，提供了一种用于生成风格化图像的方法，包括：获取单元，被配置成获取目标风格化引导数据，其中，目标风格化引导数据表征待生成的风格化图像被期望达到的风格信息；第三生成单元，被配置成在目标风格化引导数据的引导下，通过训练后的风格化图像生成模型生成风格化图像，其中，风格化图像生成模型通过第三方面任一实现方式训练得到。

6、根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面、第二方面任一实现方式描述的方法。

7、根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面、第二方面任一实现方式描述的方法。

8、根据第七方面，提供了一种计算机程序产品，包括：计算机程序，计算机程序在被处理器执行时实现如第一方面、第二方面任一实现方式描述的方法。

9、根据本公开的技术，提供了一种用于确定风格化图像生成模型的方法，对于已训练的神经辐射场，通过不同模态的风格化引导数据约束其输出的结果，进而优化原有的神经辐射场，以产生风格编辑后的图像结果，提高了神经辐射场对于不同模态的风格化引导数据的适用性，有助于提高风格化图像生成过程中的引导效果和生成效率。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种用于确定风格化图像生成模型的方法，包括：

2.根据权利要求1所述的方法，其中，所述风格化引导数据为风格化引导文本，以及

3.根据权利要求2所述的方法，其中，所述根据所述风格化引导文本和所述第一神经辐射场生成的引导后图像对应的原文本，确定第一特征，包括：

4.根据权利要求3所述的方法，其中，所述对所述风格化引导文本进行特征提取，得到引导文本特征，包括：

5.根据权利要求2所述的方法，其中，所述根据所述第一神经辐射场和所述第二神经辐射场各自生成的引导后图像，确定第二特征，包括：

6.根据权利要求5所述的方法，其中，所述对所述第一神经辐射场和所述第二神经辐射场各自生成的引导后图像，分别进行特征提取，得到第一图像特征和第二图像特征，包括：

7.根据权利要求2-6中任一项所述的方法，其中，所述风格化引导数据为风格化引导语音，以及

8.根据权利要求1所述的方法，其中，所述风格化引导数据为风格化引导图像，以及

9.根据权利要求8所述的方法，其中，所述确定所述第一神经辐射场和所述第二神经辐射场之间的第一损失，包括：

10.根据权利要求9所述的方法，其中，所述确定所述第一神经辐射场和所述第二神经辐射场各自生成的引导后图像的低层特征，包括：

11.根据权利要求8所述的方法，其中，所述确定所述风格化引导图像和所述第二神经辐射场生成的引导后图像之间的第二损失，包括：

12.根据权利要求11所述的方法，其中，所述确定所述风格化引导图像和所述第二神经辐射场生成的引导后图像各自对应的高层特征，包括：

13.根据权利要求1-12中任一项所述的方法，其中，所述在多模态的风格化引导数据的引导下，通过所述第一神经辐射场和所述第二神经辐射场分别生成引导后图像，包括：

14.根据权利要求13所述的方法，其中，所述根据所述风格化引导数据和所述引导后图像，确定损失信息，包括：

15.根据权利要求14所述的方法，其中，所述根据所述至少两种模态中每种模态对应的风格化引导数据和引导后图像，确定所述损失信息，包括：

16.一种用于生成风格化图像的方法，包括：

17.一种用于确定风格化图像生成模型的装置，包括：

18.根据权利要求17所述的装置，其中，所述风格化引导数据为风格化引导文本，以及

19.根据权利要求18所述的装置，其中，所述确定单元，进一步被配置成：

20.根据权利要求19所述的装置，其中，所述确定单元，进一步被配置成：

21.根据权利要求18所述的装置，其中，所述确定单元，进一步被配置成：

22.根据权利要求21所述的装置，其中，所述确定单元，进一步被配置成：

23.根据权利要求18-22中任一项所述的装置，其中，所述风格化引导数据为风格化引导语音，以及

24.根据权利要求17所述的装置，其中，所述风格化引导数据为风格化引导图像，以及

25.根据权利要求24所述的装置，其中，所述确定单元，进一步被配置成：

26.根据权利要求25所述的装置，其中，所述确定单元，进一步被配置成：

27.根据权利要求24所述的装置，其中，所述确定单元，进一步被配置成：

28.根据权利要求27所述的装置，其中，所述确定单元，进一步被配置成：

29.根据权利要求17-28中任一项所述的装置，其中，所述第二生成单元，进一步被配置成：

30.根据权利要求29所述的装置，其中，所述确定单元，进一步被配置成：

31.根据权利要求30所述的装置，其中，所述确定单元，进一步被配置成：

32.一种用于生成风格化图像的装置，包括：

33.一种电子设备，其特征在于，包括：

34.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-16中任一项所述的方法。

35.一种计算机程序产品，包括：计算机程序，所述计算机程序在被处理器执行时实现权利要求1-16中任一项所述的方法。

技术总结
本公开提供了一种用于确定风格化图像生成模型的方法、装置、电子设备、存储介质及程序产品，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域。具体实现方案为：基于预训练的神经辐射场，生成参数固定的第一神经辐射场和参数可更新的第二神经辐射场；在多模态的风格化引导数据的引导下，通过第一神经辐射场和第二神经辐射场分别生成引导后图像，风格化引导数据表征引导后图像被期望达到的风格信息；根据风格化引导数据和引导后图像，确定损失信息；根据损失信息，更新第二神经辐射场的参数，以生成风格化图像生成模型。本公开使得神经辐射场适用于不同模态的风格化引导数据，提高了风格化编辑效果和效率。

技术研发人员：吴进波,刘星
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13