虚拟会议的视频集锦获取方法、系统、设备及存储介质与流程

本发明涉及虚拟现实领域，特别涉及一种虚拟会议的视频集锦获取方法、系统、设备及存储介质。

背景技术：

1、随着虚拟现实、增强现实、人工智能等技术的进步，促使虚拟会议系统作为元宇宙应用成功落地并蓬勃发展，提供了高沉浸感、高交互性的线上虚拟会议，不同于传统线上会议，在虚拟会议中，参会者以虚拟形象与他人交互，在虚拟会场走动，从任意视角观看会议等，具有高沉浸感和高交互性。随着越来越多的学术研讨会、展会等在虚拟会议系统中举办，用户需要通过会议摘要、视频集锦等，快速了解会议内容。

2、现有的研究工作大多针对传统线上或线下会议，以文本摘要的形式对会议内容进行总结与呈现，虽然文本摘要可以较好地记录涉及重要主题、关键决策和待完成的任务的会议内容，但丢弃了会议的视觉信息，特别是在重视视觉信息的虚拟会议中，不能直观与准确地反映会议内容。相比文本摘要，制作虚拟会议的视频集锦能够直观与准确地反映会议内容，但是目前生成虚拟会议集锦的方式，是将完整的虚拟会议记录为视频，并借助视频摘要生成技术，生成虚拟会议集锦，但是存储整个虚拟会议的视频需要占用大量存储，消耗大量人力与时间。

3、因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

技术实现思路

1、本发明的目的是提供一种虚拟会议的视频集锦获取方法、系统、设备及存储介质，能够节省存储、时间与人力资源，保证视频集锦完整性的同时，提高视觉吸引力。

2、为解决上述技术问题，本发明提供了一种虚拟会议的视频集锦获取方法，所述视频集锦获取方法包括：

3、确定虚拟会议中的多个关键事件；

4、针对每一所述关键事件，确定所述关键事件的拍摄对象，控制虚拟相机对所述拍摄对象进行拍摄，得到所述关键事件的多个备选视频片段，将多个所述备选视频片段输入预设美学评价模型，得到各个所述备选视频片段的美学评分，将所述美学评分最高的备选视频片段确定为所述关键事件的输出视频片段；

5、对各个所述关键事件的输出视频片段进行拼接，得到所述虚拟会议的视频集锦。

6、在一示例性实施例中，控制虚拟相机对所述拍摄对象进行拍摄的过程包括：

7、确定所述虚拟相机的至少一个目标移动轨迹；

8、控制所述虚拟相机分别按照每个所述目标移动轨迹对所述拍摄对象进行拍摄。

9、在一示例性实施例中，将多个所述备选视频片段输入预设美学评价模型，得到各个所述备选视频片段的美学评分的过程包括：

10、将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型，得到每一所述备选视频片段的美学评分。

11、在一示例性实施例中，将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型，得到每一所述备选视频片段的美学评分的过程包括：

12、将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型，以便通过所述美学评价模型进行评分操作得到每一所述备选视频片段的美学评分；

13、所述评分操作包括：

14、获取所述备选视频片段中与运动特征对应的第一特征数据；

15、获取所述备选视频片段对应的所述虚拟相机的目标移动轨迹的第二特征数据；

16、通过所述第二特征数据对所述第一特征数据进行加权，得到融合特征数据；

17、基于所述融合特征数据计算所述备选视频片段的美学评分。

18、在一示例性实施例中，所述预设美学评价模型包括运动特征提取模块、轨迹特征提取模块以及自适应融合模块以及美学评分计算模块，所述运动特征提取模块包括卷积层、池化层以及多层感知机层，所述轨迹特征提取模块包括多层感知机层以及最远点采样层，所述自适应融合模块包括自注意力层以及多层感知机层，所述美学评分计算模块包括多个多层感知机层和激活函数层；

19、获取所述备选视频片段中与运动特征对应的第一特征数据的过程包括：

20、利用所述运动特征提取模块中的卷积层、池化层以及多层感知机层对所述备选视频片段进行处理，得到与运动特征对应的第一特征数据；

21、获取所述备选视频片段对应的所述虚拟相机的目标移动轨迹的第二特征数据的过程包括：

22、利用所述轨迹特征提取模块中的多层感知机层以及最远点采样层对所述备选视频片段对应的所述虚拟相机的目标移动轨迹进行处理，得到第二特征数据；

23、通过所述第二特征数据对所述第一特征数据进行加权，得到融合特征数据的过程包括：

24、利用所述自适应融合模块中的自注意力层以及多层感知机层对所述第一特征数据和所述第二特征数据进行处理，得到所述融合特征数据；

25、基于所述融合特征数据计算所述备选视频片段的美学评分的过程包括：

26、利用所述美学评分计算模块中的多个多层感知机层和激活函数层对所述融合特征数据进行处理，得到所述美学评分。

27、在一示例性实施例中，确定所述虚拟相机的至少一个目标移动轨迹之前，所述视频集锦获取方法还包括：

28、生成并提示移动轨迹选择信息；

29、确定所述虚拟相机的至少一个目标移动轨迹的过程包括：

30、基于用户根据所述移动轨迹选择信息发送的第一用户操作指令确定所述虚拟相机的至少一个目标移动轨迹。

31、在一示例性实施例中，确定所述虚拟相机的至少一个目标移动轨迹之前，所述视频集锦获取方法还包括：

32、预先建立各个所述关键事件与所述虚拟相机的运动轨迹的对应关系；

33、确定所述虚拟相机的至少一个目标移动轨迹的过程包括：

34、基于所述关键事件与所述对应关系，确定所述虚拟相机的至少一个目标运动轨迹。

35、在一示例性实施例中，控制虚拟相机对所述拍摄对象进行拍摄之前，所述视频集锦获取方法还包括：

36、确定所述虚拟相机的至少一个目标拍摄景别；

37、控制虚拟相机对所述拍摄对象进行拍摄的过程包括：

38、控制所述虚拟相机分别按照各个所述目标拍摄景别对所述拍摄对象进行拍摄。

39、在一示例性实施例中，控制所述虚拟相机分别按照各个所述目标拍摄景别对所述拍摄对象进行拍摄之前，所述视频集锦获取方法还包括：

40、获取所述虚拟相机在不同的拍摄位置获取的图像数据；

41、基于各个所述图像数据确定所述虚拟相机在各个所述拍摄位置的拍摄景别。

42、在一示例性实施例中，基于各个所述图像数据确定所述虚拟相机在各个所述拍摄位置的拍摄景别的过程包括：

43、针对每一所述图像数据，获取所述图像数据中的拍摄对象对应的边界框及占比类别，根据所述图像数据的大小及所述边界框确定占比值，利用所述占比类别和所述占比值确定所述图像数据对应的拍摄位置的拍摄景别。

44、在一示例性实施例中，控制虚拟相机对所述拍摄对象进行拍摄之前，所述视频集锦获取方法还包括：

45、确定所述虚拟相机的至少一个目标拍摄视角；

46、控制虚拟相机对所述拍摄对象进行拍摄的过程包括：

47、控制所述虚拟相机分别按照各个所述目标拍摄视角对所述拍摄对象进行拍摄。

48、在一示例性实施例中，控制虚拟相机对所述拍摄对象进行拍摄之前，所述视频集锦获取方法还包括：

49、确定所述虚拟相机的目标拍摄参数，所述目标拍摄参数包括目标移动轨迹、目标拍摄角度以及目标拍摄景别中的至少两项；

50、控制所述虚拟相机按照所述目标拍摄参数对所述拍摄对象进行拍摄。

51、在一示例性实施例中，确定虚拟会议中的多个关键事件的过程包括：

52、获取虚拟会议的会议类型；

53、根据所述会议类型确定所述虚拟会议的多个关键事件。

54、在一示例性实施例中，确定所述关键事件的拍摄对象的过程包括：

55、确定所述关键事件在所述虚拟会议中所处的会议阶段；

56、基于所述会议阶段确定所述关键事件的拍摄对象。

57、在一示例性实施例中，所述会议阶段包括会议开始阶段和会议结束阶段；

58、基于所述会议阶段确定所述关键事件的拍摄对象的过程包括：

59、当所述会议阶段为所述会议开始阶段或所述会议结束阶段，确定所述关键事件的拍摄对象为会议主席台和/或会议观众席。

60、在一示例性实施例中，所述会议阶段还包括处于所述会议开始阶段和所述会议结束阶段之间的会议其他阶段；

61、基于所述会议阶段确定所述关键事件的拍摄对象的过程包括：

62、当所述会议阶段为所述会议其他阶段，确定所述关键事件的拍摄对象为位于所述会议主席台上的用户对象。

63、在一示例性实施例中，对各个所述关键事件的输出视频片段进行拼接，得到所述虚拟会议的视频集锦的过程包括：

64、基于所述虚拟会议的所有所述关键事件，构建所述虚拟会议的故事线；

65、利用所述故事线对各个所述关键事件的输出视频片段进行拼接，得到所述虚拟会议的视频集锦。

66、在一示例性实施例中，该视频集锦获取方法还包括：

67、构建虚拟会议集锦美学数据集；所述虚拟会议集锦美学数据集包括每一所述关键事件对应的第一样本和第二样本，所述第一样本为基于预设拍摄参数拍摄到的所述关键事件对应的视频片段，所述第二样本为基于随机拍摄参数拍摄到的所述关键事件对应的视频片段，所述第一样本和所述第二样本均包括美学评分标记；

68、基于所述虚拟会议集锦美学数据集训练美学评价网络，得到预设美学评价模型。

69、为解决上述技术问题，本发明还提供了一种虚拟会议的视频集锦获取系统，所述视频集锦获取系统包括：

70、第一确定模块，用于确定虚拟会议中的多个关键事件；

71、美学处理模块，用于针对每一所述关键事件，确定所述关键事件的拍摄对象，控制虚拟相机对所述拍摄对象进行拍摄，得到所述关键事件的多个备选视频片段，将多个所述备选视频片段输入预设美学评价模型，得到各个所述备选视频片段的美学评分，将所述美学评分最高的备选视频片段确定为所述关键事件的输出视频片段；

72、拼接模块，用于对各个所述关键事件的输出视频片段进行拼接，得到所述虚拟会议的视频集锦。

73、为解决上述技术问题，本发明还提供了一种电子设备，包括：

74、存储器，用于存储计算机程序；

75、处理器，用于执行所述计算机程序时实现如上文任意一项所述的虚拟会议的视频集锦获取方法的步骤。

76、为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文任意一项所述的虚拟会议的视频集锦获取方法的步骤。

77、本发明提供了一种虚拟会议的视频集锦获取方法，首先确定虚拟会议中的多个关键事件，针对各个关键事件进行拍摄，得到备选视频片段进行存储即可，无需存储虚拟会议的完整视频，节省存储、时间与人力资源，然后对各个备选视频片段美学评价，得到各个备选视频片段的美学评分，选取各个关键事件的美学评分最高的备选视频片段进行拼接得到虚拟会议的视频集锦，保证视频集锦完整性的同时，提高视觉吸引力。本发明还提供了一种视频集锦获取系统、电子设备及计算机可读存储介质，具有和上述视频集锦获取方法相同的有益效果。