一种基于多个多球面图像的多视点视频自适应传输方法

本发明涉及视频传输领域，尤其涉及的是一种基于多个多球面图像的多视点视频自适应传输方法。

背景技术：

1、在现行网络带宽瓶颈下，对多视点视频进行自适应网络传输，即由系统自身根据当前网络情况和用户观看行为来自动选择相对应的视频内容和码率，以尽可能地给用户提供最好的观看体验。多视点媒体是一种可以表示3d场景的包含深度信息的多视角视频格式，可以让用户在观看视频时自由地移动头部和身体，获得更加沉浸式的体验。多视点视频相较于传统视频的数据量更大，表现方式更复杂，多视点视频高带宽和低延时的需求在现行的网络框架下仍是一个巨大的挑战。

2、传统的三维表示方法通常使用基于体积媒介或基于图像的解决方案来表示三维场景或物体。体积视频使用三维元素如体素、点云或三维网格构建显式三维模型。大多数增强现实/虚拟现实内容是通过这种三维几何代理和纹理来生成整个场景，并根据实时相机姿态生成相应的视图。

3、然而，基于复杂和精细模型的渲染意味着更高的延迟和更大的计算量，并且目前尚未在移动设备上实现基于轻量级硬件的解码器来实时解码体积数据。为了确保视图合成时间独立于场景复杂性，一些研究选择直接从已知的源视图进行插值，通常通过扭曲目标附近的源图，来生成目标视图。然而，这种方法需要大量的视图，将产生大量的场景视图，需要大量数据存储和传输带宽。此外，具有基于坐标的神经网络的表示方法，例如，神经辐射场 (neural radiance field,nerf) 可以获得质量良好的新颖视图但是不能实现实时性并且泛化性差。除此之外，虽然5g带宽的增长给沉浸式视频传输提供更好的硬件条件，但是沉浸式视频依然对现行带宽造成了巨大的压力。也就是说，现有的多视点视频传输方式对传输带宽造成了很大的压力。

4、因此，现有技术存在缺陷，有待改进与发展。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于多个多球面图像的多视点视频自适应传输方法，旨在解决现有技术中多视点视频传输方式对传输带宽造成了很大的压力的问题。

2、本发明解决技术问题所采用的技术方案如下：

3、一种基于多个多球面图像的多视点视频自适应传输方法，所述方法包括：

4、确定待传输的多视点视频；

5、获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；

6、获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；

7、获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；

8、根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。

9、可选地，所述多视点视频是由云端服务器将获取到的多个多球面图像按照预设组织规则构建而成，所述预设组织规则包括：

10、确定获取到的多个多球面图像在虚拟3d空间对应的球心位置，根据所述球心位置构建所述多视点视频，每个所述多球面图像包括多层同心球面；

11、根据所述球心位置对各个所述多球面图像进行编号，得到图像编号；

12、将每个所述多球面图像的多层同心球面编码为不同质量等级的图层组，并按照质量等级由低到高的顺序对每个图层组进行编号，得到等级编号；

13、其中，相邻的两个多球面图像的用户最大可偏移范围是相交的，相邻的两个多球面图像之间球心位置的距离为所述用户最大可偏移范围。

14、可选地，所述获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像，包括：

15、接收客户端发送的用户视点变化信息，并根据所述用户视点变化信息对下一时段的用户视点进行预测，得到用户视点预测信息；

16、根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像的图像编号。

17、可选地，所述获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组，包括：

18、获取网络环境变化信息，根据所述网络环境变化信息对下一时段的网络带宽进行预测，得到网络带宽预测信息；

19、根据所述网络环境变化信息，对多个所述候选多球面图像按照视频质量优先级由高到低的顺序进行排序，将优先级最高的候选多球面图像作为目标多球面图像，并确定所述目标多球面图像的图像编号；

20、获取所述目标多球面图像对应的已缓存图层组，确定所述已缓存图层组的等级编号；

21、将质量等级高于所述已缓存图层组的图层组作为候选图层组，并将所述候选图层组中质量等级最低的候选图层组作为目标图层组，确定所述目标图层组的等级编号。

22、可选地，获取所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组，包括：

23、判断是否已下载所述目标多球面图像对应的全景立体图对；

24、若是，则获取已下载的所述目标多球面图像对应的全景立体图对，并从所述云端服务器中下载所述目标图层组。

25、可选地，所述判断是否已下载所述目标多球面图像对应的全景立体图对之后，还包括：

26、若否，则根据所述目标多球面图像的图像编号从云端服务器中同时下载所述目标多球面图像的全景立体图对及最低质量等级的图层组。

27、可选地，根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端，包括：

28、将所述全景立体图对重投影到3d空间，得到每一图层对应的纹理图对；

29、获取所述目标图层组中的混合权重图，使用上采样的混合权重图将所述纹理图对生成目标多球面图像中每一个图层对应的纹理图；

30、获取所述目标图层组中的透明度图层，对所述透明度图层进行上采样，并获取所述目标多球面图像对应的低于所述目标图层组的已缓存图层组；

31、所述目标图层组与所述已缓存图层组一次构成当前质量等级的多球面图像；

32、根据所述纹理图、所述当前质量等级的多球面图像和所述用户视点预测信息渲染得到目标视图；

33、将所述目标视图发送至客户端。

34、本发明还公开一种基于多个多球面图像的多视点视频自适应传输装置，所述装置包括：

35、确定模块，用于确定待传输的多视点视频；

36、第一获取模块，用于获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；

37、第二获取模块，用于获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；

38、下载模块，用于获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；

39、渲染模块，用于根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。

40、本发明还公开一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多个多球面图像的多视点视频自适应传输程序，所述基于多个多球面图像的多视点视频自适应传输程序被所述处理器执行时实现如上所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。

41、本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于多个多球面图像的多视点视频自适应传输方法的步骤。

42、本发明提供的一种基于多个多球面图像的多视点视频自适应传输方法，包括：确定待传输的多视点视频；获取用户视点预测信息，根据所述用户视点预测信息确定所述多视点视频中的候选多球面图像；获取网络带宽预测信息和已缓存图层组，并根据所述网络带宽预测信息、所述候选多球面图像及所述已缓存图层组确定目标多球面图像以及对应的目标图层组；获取所述目标多球面图像对应的全景立体图对，并从云端服务器中下载所述目标图层组；根据所述全景立体图对和所述目标图层组进行渲染，得到目标视图，并将所述目标视图发送至客户端。本发明通过用户视点预测信息、网络带宽预测信息和已缓存图层组确定目标多球面图像并以图层组为单位进行图像的获取，减小了传输宽带的压力。