基于CDN的多视角码流传输方法、装置、设备和存储介质与流程

本发明涉及多视角视频传输领域，尤其是一种基于cdn的多视角码流传输方法、装置、设备和存储介质。

背景技术：

内容分发布网络(cdn)，cdn的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。

随着vr技术的不断发展，多视点视频数据传输变的越来越重要，在360度的全景视频传输中，其特点是用户可以自由地选择观看的视角，从而可以观看被拍摄物体的不同侧面。

相对传统视频，广角视频(如360度全景视频)增加了视角的概念，由于人眼的可视范围在120度左右，超过这个范围的物体，需要旋转头部才能够看到，水平360度的全景视频超过了人眼的可视范围，对于超出人眼可视范围的视频区域可以不编码也可以用较低的码率、帧率进行编码，从而降低系统的传输带宽需求，基于这一特性人们提出了很多种360度全景视频的多视角编码方法。然而，一方面，现有的视角切换方法切换速度慢，导致用户体验差；另一方面，采用传输全视角视频的方式又会导致传输数据量大，成本提高。因此提供一种全景视频场景中切换迅速的多视角码流传输方法是很有必要的，因为视角切换的速度是全景视频用户体验的一个重要指标。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种全景视频场景中切换迅速的多视角码流传输方法、装置、设备和存储介质。

本发明所采用的技术方案是：

第一方面，本发明提供一种基于cdn的多视角码流传输方法，应用于广角视频传输中，包括步骤：

获取已编码视角的码流集合；

在所述码流集合中查找与当前视角点距离满足第一选择标准的至少一个临近视角点；

下载当前视角的码流数据，同时下载备份所述临近视角的码流数据。

进一步地，所述广角视频包括360全景视频。

进一步地，所述视角点的坐标系具体为空间直角坐标系。

进一步地，当前视角中心点表示为vi(pi,yi,ri)，在空间直角坐标系的位置为(xi,yi,zi)，其转换关系为：

其中pi为俯仰角，yi为方位角，ri为横滚角；

与当前视角临近的视角点表示为vj(pi,yi,ri)，在空间直角坐标系中的位置为(xj,yj,zj)，则两个视角的距离定义为：

dj＝(vi-vj)²＝(xi-xj)²+(yi-yj)²+(zi-zj)²

所述第一选择标准为：两个视角的距离小于预设距离阈值，表示为：

dj<m

其中m为预设距离阈值。

进一步地，如果根据第一选择标准查找的临近视角点数量多于一个时，则下载备份所有的临近视角点的码流数据。

进一步地，所述码流数据包括三个维度：时间维度、清晰度维度和视角维度；

所述时间维度指码流的顺序播放；

所述清晰度维度指码流按照不同分辨率编码形成的不同码率码流；

所述视角维度指在360度完整场景范围内根据预定义视角进行码流分割；

下载当前视角的码流数据具体指：下载当前视角维度的、第一预设时间维度和第一预设清晰度维度的码流数据。

进一步地，所述下载备份指：在用户下载接收当前视角码流时，cdn提前下载预备临近视角维度的、第二预设时间维度和第二预设清晰度维度的码流数据。

第二方面，本发明提供一种基于cdn的多视角码流传输装置，包括：

码流集合获取模块：用于获取已编码视角的码流集合；

临近视角选择模块：用于在所述码流集合中查找与当前视角点距离满足第一选择标准的至少一个临近视角点；

备份下载码流数据模块：下载当前视角的码流数据，同时下载备份所述临近视角的码流数据。

第三方面，本发明提供一种基于cdn的多视角码流传输控制设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述任一项所述的方法。

本发明的有益效果是：

本发明通过获取已编码视角的码流集合，在所述码流集合中查找与当前视角点距离满足第一选择标准的至少一个临近视角点，下载当前视角的码流数据，同时下载备份所述临近视角的码流数据，利用视角维度进行传输改进来提高切换效率，可以确保用户在观看过程中，能够由一个视角的码流快速切换到另外一个视角码流，使全景视频用户体验更好，不会感受到明显的码流延迟，同时节省传输带宽，具有良好的经济和社会效益。

本发明可广泛适用于广角视频传输领域。

附图说明

图1是本发明一种实施例中基于cdn的多视角码流传输方法流程图；

图2是现有技术中cdn的多视角的编码方式示意图；

图3是本发明一种实施例中cdn的多视角的编码方式示意图；

图4是本发明一种实施例中基于cdn的多视角码流传输装置结构图；

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

现有技术中，对于分片传输的传统码流，其不同视频分片之间只有时间这一个维度的相关性，即用户下载第n个分片后，cdn需要对分片进行缓冲，那么下载第n+1,n+2，…分片下载的可能性非常大，而为了适应不同用户的不同网络状态，视频数据的服务商通常会按照不同的分辨率编码方法对视频进行编码，如常见的480p，720p，1080p等几种分辨率，这就导致cdn需要下载时间和分辨率两个维度的视频数据，而vr场景中，如360度全景视频传输中，cdn还需要在视角维度上缓冲与当前时间视角相邻的视角上的音视频数据才能提高切换效率。

实施例一：

如图1所示，为本实施例的一种基于cdn的多视角码流传输方法流程图，包括步骤：s1：获取已编码视角的码流集合；s2：在码流集合中查找与当前视角中心点距离满足第一选择标准的至少一个临近视角点；s3：下载当前视角的码流数据，同时下载备份临近视角的码流数据。

本实施例中，n个已编码视角的码流集合表示为{v1,v2,v3,...vn}，假设当前视角为vi，则根据第一选择标准在码流集合中查找与当前视角vi距离最近的num个临近视角，并在下载当前视角vi的码流数据时，下载备份缓存num个临近视角的码流数据。

其中视角中心点为球面视角点在空间直角坐标系下的坐标，例如当前视角中心点表示为vi(pi,yi,ri)，在空间直角坐标系的位置为(xi,yi,zi)，其转换关系为：

pi为俯仰角，yi为方位角，ri为横滚角。

与当前视角相邻的视角中心点表示为vj(pi,yi,ri)，在空间直角坐标系中的位置为(xj,yj,zj)，则两个视角的距离定义为：

dj＝(vi-vj)²＝(xi-xj)²+(yi-yj)²+(zi-zj)²

因而第一选择标准设置为：两个视角的距离小于预设距离阈值，具体表示为：

dj<m

其中m为预设距离阈值。

即当dj小于预设距离阈值的时候就认为视角j视角中心点与视角i视角中心点距离最小，因此在用户下载视角i的码流时，需要同时将视角j的数据下载备份好，一旦用户需要从视角i切换到视角j，可以很快的完成切换过程。

如果在码流集合中查找与当前视角中心点距离满足第一选择标准的临近视角点多于1个时，则下载备份所有的距离最小视角中心点的码流数据，即上面的num数值大于等于1，则在下载视角i的码流时，需要同时将num个距离最小的视角j1～jnum的数据下载备份好。

如图2所示，为现有技术中cdn的多视角的编码方式示意图，其中可见，码流包括两个维度：时间维度和清晰度维度，其中时间维度指码流的播放顺序，清晰度维度指码流按照不同分辨率编码形成的不同码率码流，常见的包括420p、720p和1080p等。

如图3所示，为本实施例中cdn的多视角的编码方式示意图，图中可见，本实施例的cdn备份数据时的策略与现有技术不同，码流包括三个维度：时间维度、清晰度维度和视角维度，其中视角维度指在360度完整场景范围内根据预定义视角进行码流分割，以清晰度720p、1080p为例，可见在视角维度上，不同清晰度码流均包含多个不同视角的码流，在用户下载接收当前视角码流时，即下载接收当前视角维度的、第一预设时间维度和第一预设清晰度维度的码流数据，cdn提前下载预备与当前视角距离最近的所有临近视角维度的、第二预设时间维度和第二预设清晰度维度的码流数据，其中第一预设时间和第二预设时间可以相同，第一预设清晰度和第二预设清晰度可以相同。

实施例二：

如图4所示，为实施例中基于cdn的多视角码流传输装置结构图，包括：码流集合获取模块：用于获取已编码视角的码流集合；临近视角选择模块：用于在码流集合中查找与当前视角点距离满足第一选择标准的至少一个临近视角点；备份下载码流数据模块：下载当前视角的码流数据，同时下载备份所述临近视角的码流数据。

本发明还公开了一种基于cdn的多视角码流传输控制设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如实施例一公开的方法。

本发明还公开了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如实施例一公开的方法。

本发明通过获取已编码视角的码流集合，在所述码流集合中查找与当前视角点距离满足第一选择标准的至少一个临近视角点，下载当前视角的码流数据，同时下载备份所述临近视角的码流数据，利用视角维度进行传输改进来提高切换效率，可以确保用户在观看过程中，能够由一个视角的码流快速切换到另外一个视角码流，使全景视频用户体验更好，不会感受到明显的码流延迟，同时节省传输带宽，具有良好的经济和社会效益，本发明可广泛适用于广角视频传输领域。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。