一种全景视频交互传输方法、服务器和客户端的制作方法
【技术领域】
[0001] 本发明涉及视频处理领域，尤其涉及一种全景视频交互传输方法、服务器和客户 端。
【背景技术】
[0002] 视频信息的采集与传输是信息技术发展的一个重要方向，网络摄像机、视频会议、 视频聊天等以视频为主的信息传播已经开始为人们提供服务。目前，由于单一摄像头视野 有限，只能摄取现场的某一局部，不能让不同的用户同时观看不同角度的自己感兴趣的场 景，无法满足用户的个性化要求，视频重复观赏的价值有限。
[0003] 随着虚拟现实（英文：VirtualReality，简称：VR)和计算机图形学技术研宄的 迅猛发展，基于图像的虚拟现实场景绘制技术（英文：Image_BasedRendering，简称： IBR)成为一种绘制典范，它并不将全部的空间信息重建出来，而是利用全景图（英文： panoramicimages)构建空间某位置上的虚拟环境，而用户仅在这个位置上有真实感很强 的浸入感。所以对于用户空间位置不变仅改变视角的全景视频浏览等应用，可以用很少的 计算资源实时实现真实感很强的浸入式虚拟体验。
[0004] 传统的全景技术应用受到计算能力和存储空间等多方面限制，大多集中应用在静 态全景图像的形态上，并且被广泛应用在地图导航、虚拟旅游、产品静态展示等方面。但目 前，全景摄像机的开源化，以及以OculusRift(为电子游戏设计的头戴式头盔）为代表的 头戴式浸入式显示器的普及，使得全景视频开始小范围的流行起来，用户通过配戴虚拟现 实眼镜，浸入到由全景视频所构成的虚拟空间之中，体验上与普通单视角视频有很大区别。
[0005] 但是，在单位面积像素相同的前提下，全景视频的数据量远远超过普通单视角视 频，这对传输和播放实时传输和交互式体验提出了很高的要求，制约了全景视频的应用和 普及。
[0006] 如图1所示为将全景视频应用于远程教学的示例图，服务器将高清格式的视频按 照用户可能的感兴趣区域（英文：RegionofInteresting，简称：Rol)进行分区块编码，根 据用户观看的区域，选择性地进行瓦片（英文：Tile)传输。但是一旦用户快速缩放或切换 视角，将导致视频缺块等问题，无法保证视频质量。
【发明内容】
[0007] 本发明实施例提供一种全景视频交互传输方法、服务器和客户端，用以解决现有 技术下因视角缩放或切换的交互过程导致全景视频出现缺块的质量问题。
[0008] 第一方面，本发明实施例提供了一种全景视频交互传输方法，包括：
[0009] 服务器对全景视频进行视频图像分割，得到多个局部视频；
[0010] 所述服务器按照不同的视频参数，对所述多个局部视频中的任一个局部视频进行 多次编码压缩，得到对应所述任一个局部视频的多种切片；
[0011] 所述服务器在当前周期接收客户端发送的切片请求，根据所述切片请求指示的所 述多个局部视频分别对应的待获取的切片的视频参数，获取对应的切片发送给所述客户 端，以用于所述客户端将获取的切片在下个周期合并渲染形成全景视频。
[0012] 结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：
[0013] 所述服务器对所述多个局部视频进行编号，并将所述多个局部视频的编号、位置 信息、对应多种切片的视频参数以及切片的存储位置记录在文件中；
[0014] 所述服务器将所述文件发送给所述客户端。
[0015] 结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的 实现方式中，所述视频参数包括分辨率、码率、PSNR和帧率中的至少一种。
[0016] 第四方面，本发明实施例提供了一种全景视频交互传输方法，包括：
[0017] 客户端确定在当前周期全景视频中的感兴趣区域；
[0018] 所述客户端根据被触控的动作，确定所述客户端的工作状态；
[0019] 所述客户端根据所述感兴趣区域和工作状态，确定所述全景视频的边缘区域、普 通区域和不感兴趣区域；
[0020] 所述客户端根据所述感兴趣区域、边缘区域、普通区域和不感兴趣区域，确定所述 全景视频包含的每一个局部视频分别对应的待获取的切片的视频参数；
[0021] 所述客户端将确定的所述每一个局部视频分别对应的待获取的切片的视频参数 携带在切片请求中发送给服务器，以及
[0022] 接收所述服务器根据所述切片请求返回的切片；
[0023] 所述客户端将接收的切片在下个周期合并渲染形成全景视频。
[0024] 结合第四方面，在第四方面的第一种可能的实现方式中，客户端确定在当前周期 全景视频的感兴趣区域之前，所述方法还包括：
[0025] 所述客户端接收所述服务器发送的文件，所述文件用于记录所述全景视频包含的 多个局部视频的编号、位置信息、对应多种切片的视频参数以及切片在所述服务器的存储 位置；
[0026] 所述客户端根据所述文件中记录的多种切片的视频参数，预先定义分别对应感兴 趣区域、边缘区域、普通区域和不感兴趣区域的切片的初始视频参数。
[0027] 结合第四方面或第四方面的第一种可能的实现方式，在第四方面的第二种可能的 实现方式中，所述视频参数包括分辨率、码率、PSNR和帧率中的至少一种。
[0028] 结合第四方面和第四方面的第一种至第二种可能的实现方式中的任意一种，在第 四方面的第三种可能的实现方式中，
[0029] 所述感兴趣区域为用户视野范围在所述全景视频上覆盖到的局部视频区域；
[0030] 所述边缘区域为所述全景视频上与所述感兴趣区域相邻、且在所述视野范围之外 的局部视频区域；
[0031] 所述普通区域为所述全景视频上除所述感兴趣区域与边缘区域之外的其他局部 视频区域；
[0032] 所述不感兴趣区域为所述普通区域中与所述感兴趣区域的空间距离或球面距离 超过设定阈值的局部视频区域。
[0033] 结合第四方面和第四方面的第一种至第三种可能的实现方式中的任意一种，在第 四方面的第四种可能的实现方式中，所述被触控的动作包括加速度传感器旋转动作，键盘 动作，鼠标动作中的至少一种。
[0034] 结合第四方面和第四方面的第一种至第四种可能的实现方式中的任意一种，在第 四方面的第五种可能的实现方式中，所述客户端根据被触控的动作，确定所述客户端的工 作状态，包括：
[0035] 当所述被触控的动作产生的位移加速度在预设时长内一直小于第一阈值，且所述 被触控的动作不包含缩小或放大动作时，确定所述客户端处于静止/旋转状态；
[0036] 当所述被触控的动作产生的位移加速度在所述预设时长内一直小于所述第一阈 值，且所述被触控的动作包含缩小动作时，确定所述客户端处于缩小状态；
[0037] 当所述被触控的动作产生的位移加速度在所述预设时长内一直小于所述第一阈 值，且所述被触控的动作包含放大动作时，确定所述客户端处于放大状态；
[0038]当所述被触控的动作产生的位移加速度大于所述第一阈值且小于第二阈值时，确 定所述客户端处于慢移动状态；
[0039] 当所述被触控的动作产生的位移加速度大于所述第二阈值时，确定所述客户端处 于快移动状态。
[0040] 结合第四方面的第五种可能的实现方式，在第四方面的第六种可能的实现方式 中，所述客户端根据所述感兴趣区域和工作状态，确定所述全景视频的边缘区域、普通区域 和不感兴趣区域，包括：
[0041] 所述客户端根据所述感兴趣区域的位置信息，以及对应所述工作状态预设的边缘 区域、普通区域和不感兴趣区域包含的局部视频数目，确定对应所述感兴趣区域的边缘区 域、普通区域和不感兴趣区域的位置信息。
[0042] 结合第四方面的第六种可能的实现方式，在第四方面的第七种可能的实现方式 中，若对应所述静止/旋转状态预设的感兴趣区域、边缘区域、普通区域和不感兴趣区域包 含的局部视频数目分别为A1、B1、C1、D1，对应所述缩小状态的感兴趣区域、边缘区域、普通 区域和不感兴趣区域预设的包含的局部视频数目分别为A2、B2、C2、D2,则A1〈A2, B1〈B2， C1>C2, D1>D2;
[0043] 若对应所述放大状态预设的感兴趣区域、边缘区域、普通区域和不感兴趣区域包 含的局部视频数目分别为A3、B3、C3、D3,则A1>A3, B1>B3, C1〈C3, D1〈D3;
[0044] 若对应所述慢移动状态预设的感兴趣区域、边缘区域、普通区域和不感兴趣区域 包含的局部视频数目分别为A4、B4、C4、D4,则A4 = 0, A1+B1彡B4, C1+D1彡C4, D4 = 0 ;
[0045] 若对应所述快移动状态预设的感兴趣区域、边缘区域、普通区域和不感兴趣区域 包含的局部视频数目分别为A5、B5、C5、D5,则A5彡0, A1+B1彡B5, C1+D1彡C5