一种基于大语言模型的虚拟布景交互式生成方法和系统

本发明涉及多模态交互领域，尤其涉及一种基于大语言模型的虚拟布景交互式生成方法和系统。

背景技术：

1、虚拟布景交互式生成任务旨在现有布景的基础上，根据用户要求构建具有风格化特色的虚拟布景，同时支持智能调整布景内容，从而增强布景表现力，吸引平台用户观看，达到引流效果。

2、现有的主流方法有两种：1）基于有监督学习的方法。2）基于大语言模型的方法。第一种方法需要提供专门类别的布景数据进行有监督训练。第二种方法需要为大语言模型构建专业的提示，从而为大语言模型提供行动依据。

3、然而，直播间所需的风格千变万化，需要在有限的空间内尽可能地集中表现直播间特色，并不适合采用依赖数据的有监督学习的方法；若单独依靠大语言模型，则由于大语言模型缺乏相应的推理与计算能力，生成的数据不能直接用于布景的渲染，否则容易出现出界、重叠等异常现象。同时上述主流方法研究范围局限于室内家具布景以及文档结构生成。

技术实现思路

1、为了解决有监督学习严重依赖训练数据以及大语言模型缺乏推理与计算能力的问题，本发明提出了一种基于大语言模型的虚拟布景交互式生成方法和系统。本发明基于大语言模型实现布景任务类型判断、布景指导格式化数据生成等功能，将目标操作物体信息提取、布景数据生成视作自然语言文本到格式化文本的翻译任务，从而提供可执行依据；通过空间计算与调整完成布景任务。

2、本发明所采用的具体技术方案是：

3、第一方面，本发明提出了一种基于大语言模型的虚拟布景交互式生成方法，包括：

4、获取用户指令，结合布景任务特征描述，判定布景任务类型；

5、将虚拟物体数据库信息、当前布景数据与空间背景设定组成布景上下文信息，结合用户指令、布景上下文信息、预定义的布景任务要求和布景指导格式化数据输出要求，生成布景指导格式化数据；

6、根据布景指导格式化数据进行布景空间正确性计算与调整，生成修正后的布景数据；

7、根据修正后的布景数据渲染当前布景，完成布景任务。

8、进一步地，所述的布景任务类型包括布景补全任务与布景调整任务，所述的布景补全任务的特征描述为往布景中增加物体，所述的布景调整任务的特征描述为调整当前布景中的物体属性。

9、进一步地，所述的往布景中增加物体包括布景风格化布置、布景指定场景布置、布景指定物体种类或名称布置。

10、进一步地，所述的物体属性包括坐标位置、旋转角度和缩放比例。

11、进一步地，所述的获取用户指令，结合布景任务特征描述，判定布景任务类型，包括：

12、预定义布景任务格式化数据输出要求；

13、将用户指令、布景任务特征描述、预定义的布景任务格式化数据输出要求组成查询内容，通过调用大语言模型接口，按照布景任务格式化数据输出要求输出布景任务类型。

14、进一步地，所述的结合用户指令、布景上下文信息、预定义的布景任务要求和布景指导格式化数据输出要求，生成布景指导格式化数据，包括：

15、预定义布景任务要求：对于布景补全任务，根据用户指令、虚拟物体数据库信息以及当前布景数据，生成用以布景补全的物体列表；除非用户指令中允许或者要求物体重复，否则生成的物体列表中的物体不应与当前布景数据中的物体重复；对于布景调整任务，从用户指令中提取出目标操作物体信息，包括目标操作物体唯一标识、名称和操作方法；

16、预定义布景指导格式化数据输出要求；

17、将用户指令、布景上下文信息、预定义的布景任务要求和布景指导格式化数据输出要求组成查询内容，通过调用大语言模型接口，按照布景指导格式化数据输出要求输出布景指导格式化数据，所述的布景指导格式化数据中包含用以布景补全任务的物体列表或者用以布景调整任务的目标操作物体信息。

18、进一步地，所述的根据布景指导格式化数据进行布景空间正确性计算与调整，生成修正后的布景数据，包括：

19、若布景任务类型为布景补全任务类型，则从布景指导格式化数据中获得物体列表并依次摆放列表中的物体；

20、若布景任务类型为布景调整任务类型，则从布景指导格式化数据中获得目标操作物体信息，并依据目标操作物体信息调整物体属性。

21、进一步地，所述的从布景指导格式化数据中获得物体列表并依次摆放列表中的物体，包括：

22、随机生成物体列表中待摆放的当前物体的摆放位置；

23、结合当前物体的缩放比例与默认旋转角度，检查是否存在当前物体超出当前布景数据中的布景空间范围、与当前布景数据中的其他物体重叠的异常现象；若未出现异常现象，则将当前物体添加至当前布景数据中，结束当前物体摆放过程，开始下一个物体摆放；若出现异常现象，将失败次数加1；

24、判断当前物体失败次数，若失败次数达到失败次数上限，则对当前物体进行缩放，判断缩放后的当前物体相对初始化的当前物体的缩放比例，若缩放比例低于限定值，则取消摆放，结束当前物体的摆放过程，若缩放比例未低于限定值，则重新随机生成缩放后的物体的摆放位置并进行异常现象判断；

25、若失败次数未达到失败次数上限，则重新随机生成当前物体的摆放位置并进行异常现象判断。

26、进一步地，所述的从布景指导格式化数据中获得目标操作物体信息，并依据目标操作物体信息调整物体属性，包括：

27、根据目标操作物体信息中的操作方法初始化调整值；

28、根据目标操作物体信息中的唯一标识获得目标操作物体的拷贝副本；

29、将调整值赋值给拷贝副本；

30、检查是否存在目标操作物体超出当前布景数据中的布景空间范围、与当前布景数据中的其他物体重叠的异常现象；若未出现异常现象，则将拷贝副本的属性值覆盖至目标操作物体，结束布景调整任务；若出现异常现象，则按比例缩放调整值；

31、判断按比例缩放后的调整值相对初始化的调整值的缩放比例，若缩放比例低于限定值，则取消调整，结束布景调整任务；若缩放比例未低于限定值，则将按比例缩放后的调整值赋值给拷贝副本并进行异常现象判断。

32、第二方面，本发明提出了一种基于大语言模型的虚拟布景交互式生成的系统，用于实现上述方法。

33、本发明具备的有益效果是：本发明支持用户以自然语言的形式任意创建不同风格化的布景内容，以及以自然语言的形式调整物体属性，适用直播间不同的主题展示需求和智能调整布景内容需求。在多种布景任务类型下，本发明根据布景指导格式化数据进行布景空间正确性计算与调整，生成修正后的布景数据，再根据修正后的布景数据渲染当前布景，保证了布景的正确性，能够在多种布景任务类型下获得良好的视觉效果与交互体验。

技术特征：

1.一种基于大语言模型的虚拟布景交互式生成方法，其特征在于，包括：

2.根据权利要求1所述的基于大语言模型的虚拟布景交互式生成方法，其特征在于，所述的布景任务类型包括布景补全任务与布景调整任务，所述的布景补全任务的特征描述为往布景中增加物体，所述的布景调整任务的特征描述为调整当前布景中的物体属性。

3.根据权利要求1或2所述的基于大语言模型的虚拟布景交互式生成方法，其特征在于，所述的获取用户指令，结合布景任务特征描述，判定布景任务类型，包括：

4.根据权利要求2所述的基于大语言模型的虚拟布景交互式生成方法，其特征在于，所述的结合用户指令、布景上下文信息、预定义的布景任务要求和布景指导格式化数据输出要求，生成布景指导格式化数据，包括：

5.根据权利要求4所述的基于大语言模型的虚拟布景交互式生成方法，其特征在于，所述的根据布景指导格式化数据进行布景空间正确性计算与调整，生成修正后的布景数据，包括：

6.根据权利要求5所述的基于大语言模型的虚拟布景交互式生成方法，其特征在于，所述的从布景指导格式化数据中获得物体列表并依次摆放列表中的物体，包括：

7.根据权利要求5所述的基于大语言模型的虚拟布景交互式生成方法，其特征在于，所述的从布景指导格式化数据中获得目标操作物体信息，并依据目标操作物体信息调整物体属性，包括：

8.一种基于大语言模型的虚拟布景交互式生成系统，其特征在于，包括：

9.根据权利要求8所述的基于大语言模型的虚拟布景交互式生成系统，其特征在于，所述的任务类型判定器模块中的布景任务类型包括布景补全任务与布景调整任务。

10.根据权利要求9所述的基于大语言模型的虚拟布景交互式生成系统，其特征在于，所述的布景指导格式化数据生成器模块生成的布景指导格式化数据包含用以布景补全任务的物体列表或者用以布景调整任务的目标操作物体信息，所述的目标操作物体信息为从用户指令中提取出的目标操作物体唯一标识、名称和操作方法。

技术总结
本发明公开了一种基于大语言模型的虚拟布景交互式生成方法和系统，属于多模态交互领域。包括：获取用户指令，结合布景任务特征描述，判定布景任务类型；将虚拟物体数据库信息、当前布景数据与空间背景设定组成布景上下文信息，结合用户指令、布景上下文信息、预定义的布景任务要求和布景指导格式化数据输出要求，生成布景指导格式化数据；根据布景指导格式化数据进行布景空间正确性计算与调整，生成修正后的布景数据；根据修正后的布景数据渲染当前布景，完成布景任务。本发明能够在多种布景任务类型下获得良好的视觉效果与交互体验。

技术研发人员：王宁,赵洲,郭展宏
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/1/15