基于体积视频的直播方法、装置、电子设备及存储介质与流程

本申请涉及图像处理，具体涉及一种基于体积视频的直播方法、装置、电子设备及存储介质。

背景技术：

1、体积视频(volumetric video，又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频，体积视频将空间的概念加入到视频中，用三维模型来更好的还原真实三维世界，而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列，使得用户可以随自己喜好调整到任意视角进行观看，较二维平面视频具有更高的还原度和沉浸感。体积视频可以应用在多个不同的场景中，例如，可以将体积视频应用到直播场景中。但是，在将体积视频应用到直播场景中时，并不能支持观看对象和直播场景中三维人物模型进行互动。

技术实现思路

1、本申请实施例提供一种基于体积视频的直播方法、装置、设备、存储介质及程序产品，可以支持观看对象和直播场景中三维人物模型进行互动，从而提高了体积视频的互动性和趣味性。

2、本申请实施例提供一种基于体积视频的直播方法，包括：

3、获取三维人物模型的直播视频数据和融合对象的拍摄视频；

4、对所述融合对象的拍摄视频进行形象识别处理，得到所述融合对象的虚拟形象；

5、对所述三维人物模型的直播视频数据进行解析，得到所述直播视频数据的背景信息；

6、将所述融合对象的虚拟形象和所述直播视频数据的背景信息进行融合处理，得到融合后直播视频数据；

7、获取观看视角信息，基于所述观看视角信息确定所述融合后直播视频数据中三维人物模型和所述融合对象的虚拟形象的显示内容；

8、基于所述显示内容显示所述融合后直播视频数据。

9、相应地，本申请实施例提供一种基于体积视频的直播装置，包括：

10、获取单元，用于获取三维人物模型的直播视频数据和融合对象的拍摄视频；

11、形象识别单元，用于对所述融合对象的拍摄视频进行形象识别处理，得到所述融合对象的虚拟形象；

12、解析单元，用于对所述三维人物模型的直播视频数据进行解析，得到所述直播视频数据的背景信息；

13、融合单元，用于将所述融合对象的虚拟形象和所述直播视频数据的背景信息进行融合处理，得到融合后直播视频数据；

14、确定单元，用于获取观看视角信息，基于所述观看视角信息确定所述融合后直播视频数据中三维人物模型和所述融合对象的虚拟形象的显示内容；

15、显示单元，用于基于所述显示内容显示所述融合后直播视频数据。

16、此外，本申请实施例还提供一种电子设备，包括处理器和存储器，上述存储器存储有计算机程序，上述处理器用于运行上述存储器内的计算机程序实现本申请实施例提供的基于体积视频的直播方法。

17、此外，本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序适于处理器进行加载，以执行本申请实施例所提供的任一种基于体积视频的直播方法。

18、此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，上述计算机程序被处理器执行时实现本申请实施例所提供的任一种基于体积视频的直播方法。

19、在本申请实施例中，可以获取三维人物模型的直播视频数据和融合对象的拍摄视频；对融合对象的拍摄视频进行形象识别处理，得到融合对象的虚拟形象；对三维人物模型的直播视频数据进行解析，得到直播视频数据的背景信息；将融合对象的虚拟形象和直播视频数据的背景信息进行融合处理，得到融合后直播视频数据；获取观看视角信息，基于观看视角信息确定融合后直播视频数据中三维人物模型和融合对象的虚拟形象的显示内容；基于显示内容显示所述融合后直播视频数据，可以支持观看对象和直播场景中三维人物模型进行互动，从而提高了体积视频的互动性和趣味性。

技术特征：

1.一种基于体积视频的直播方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述融合对象的拍摄视频进行形象识别处理，得到所述融合对象的虚拟形象，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述融合对象的虚拟形象和所述直播视频数据的背景信息进行融合处理，得到融合后直播视频数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述融合对象的等级信息确定所述融合对象的虚拟形象在所述直播视频数据的背景信息中的融合位置，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述观看视角信息确定所述融合后直播视频数据中三维人物模型和所述融合对象的虚拟形象的显示内容，包括：

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述虚拟形象控制逻辑对所述虚拟形象在所述融合后直播视频数据的位置信息进行调整处理，包括：

8.一种基于体积视频的直播装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的基于体积视频的直播方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至7任一项所述的基于体积视频的直播方法。

技术总结
本申请实施例公开了一种基于体积视频的直播方法、装置、电子设备及存储介质；在本申请实施例中，可以获取三维人物模型的直播视频数据和融合对象的拍摄视频；对融合对象的拍摄视频进行形象识别处理，得到融合对象的虚拟形象；对三维人物模型的直播视频数据进行解析，得到直播视频数据的背景信息；将融合对象的虚拟形象和直播视频数据的背景信息进行融合处理，得到融合后直播视频数据；获取观看视角信息，基于观看视角信息确定融合后直播视频数据中三维人物模型和融合对象的虚拟形象的显示内容；基于显示内容显示融合后直播视频数据，可以支持观看对象和直播场景中三维人物模型进行互动，从而提高了体积视频的互动性和趣味性。

技术研发人员：孙伟,罗栋藩,邵志兢,张煜
受保护的技术使用者：珠海普罗米修斯视觉技术有限公司
技术研发日：
技术公布日：2024/1/12