本发明涉及视频处理技术，更具体地，涉及VR视频转码方法及装 置。
背景技术：
虚拟现实(VR)技术是一种创建和体验虚拟世界的计算机仿系统， 例如，可以根据观察者头、眼和手的跟踪技术呈现相对应的三维实时图 像。在基于网络的虚拟现实技术中，预先将全视角的视频数据存储在服 务器上，然后将全视角的视频数据传送至诸如眼镜之类的显示装置上， 根据观察者的观看位置将相应视角的视频数据显示在显示装置上。
然而，高分辨率的视频数据需要占据大量的传输带宽，并且需要显 示装置具备强大的数据处理能力。由于数据传输带宽和显示装置处理能 力的需求高，因此，现有的视频处理技术对网络和终端设置的要求高， 并且难以实现高分辨率的实时图像显示。
因此，期望进一步改进服务器端的数据处理方式，以节省传输带宽 和降低显示装置的性能需求，以及实现流畅的实时性图像显示。
技术实现要素：
有鉴于此，本申请提供一种视频转码方法及装置，已解决上述问题。
根据本发明的第一方面，提供一种VR视频转码方法，包括：
解码源VR视频数据，以获得音频数据集和第一帧数据集，所述源 VR视频数据和所述第一帧数据集具有源分辨率；
根据所述第一帧数据集获得第二帧数据集；
根据所述第一帧数据集获得第三帧数据集，所述第二帧数据集和所 述第三帧数据集为通过不同方式获得的具有相同的目标分辨率的帧数据 集；
将所述第二帧数据集减去所述第三帧数据集获得目标分标率差值；
合成切割所述第二帧数据集和所述音频数据集，得到基础视频集； 以及
编码切割所述目标分辨率差值，得到增强视频集，所述基础视频集 和所述增强视频集用于VR视频播放。
优选地，所述源分辨率大于等于所述目标分辨率。
优选地，所述根据所述第一帧数据集获得第二帧数据集包括：
将所述第一帧数据集无损缩小到所述目标分辨率，以获得所述第二 帧数据集。
优选地，所述根据所述第一帧数据集获得第三帧数据集包括：
采用既定视频编码方式压缩所述第一帧数据集；
对于压缩后的第一帧数据集，缩小分辨率得到基础分辨率视频，所 述基础分辨率视频的基础分辨率小于所述目标分辨率；
解码所述基础分辨率视频；以及
采用第一插值算法放大分辨率得到所述第三帧数据集。
优选地，所述第一插值算法为双线性插值算法。
优选地，所述合成切割所述第二帧数据集和所述音频数据集，得到 基础视频集包括：
将所述第二帧数据集和所述音频数据集合成一个或多个视音频；以 及
将所述一个或多个视音频按照时间维度切割，以获得基础视频集。
优选地，所述编码切割所述目标分辨率差值，得到增强视频集包括：
将所述目标分辨率差值基于时间和/或空间维度切割，以获得所述 增强视频集。
优选地，所述空间维度的切割和用户当前的视场角度相关。
根据本发明的第二方面，提供一种VR视频转码装置，包括：
分解模块，用于解码源VR视频数据解码，以获得音频数据集和第 一帧数据集，所述源VR视频数据和所述第一帧数据集具有源分辨率；
第一生成模块，用于根据所述第一帧数据集获得第二帧数据集；
第二生成模块，用于根据所述第一帧数据集获得第三帧数据集，所 述第二帧数据集和所述第三帧数据集为通过不同方式获得的具有相同的 目标分辨率的帧数据集；
差值计算模块，用于将所述第二帧数据集减去第三帧数据集获得目 标分标率差值；
合成切割模块，用于合成切割所述第二帧数据集和所述音频数据集， 得到基础视频集；
编码切割模块，用于编码切割所述目标分辨率差值，得到增强视频 集，所述基础视频集和所述增强视频集用于以后的VR视频播放。
优选地，所述源分辨率大于等于所述目标分辨率。
本发明提供的VR视频转码，将源VR视频数据处理成基础视频集 和增强视频集，在播放时，增强视频集叠加到基础视频集上，以得到目 标分辨率更高效的显示效果。通过叠加的方式分开传输基础视频集和增 强视频集，传输效率更高。
附图说明
通过参照以下附图对本发明实施例的描述，本发明的上述以及其它 目的、特征和优点将更为清楚，在附图中：
图1是VR播放系统的网络示意图；
图2是适用于图1的VR播放系统的方法的流程图；
图3示出了本发明实施例的VR视频转码方法的流程图；
图4示出图3中将帧数据集1经过编码缩小和解码放大至目标分辨 率，得到帧数据集3的详细步骤的流程图；
图5示出图3中将帧数据集1和音频数据集1合成切割得到基础视 频集的详细步骤的流程图；
图6示出图3中将目标分辨率差值进行编码压缩和切割得到增强视 频集集的详细步骤的流程图；
图7示出了本发明实施例的VR视频转码装置的结构图。
具体实施方式
以下将参照附图更详细地描述本发明。在各个附图中，相同的元件 采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按 比例绘制。此外，可能未示出某些公知的部分。
图1是VR播放系统的网络示意图。设备网络10包括通过网络110 耦接的服务器100和显示设备120以及VR设备。服务器100可以例如独 立的计算机服务器或者服务器集群，服务器100用于存储各种视频数据 以及存储处理这些视频数据的各种应用程序。服务器100上例如实时运 行着各种守护进程，一方面，用于处理服务器100上的各种视频数据， 另一方面，用于响应VR设备和显示设备120的各种请求。网络110可以 是任意(一个或多个)网络，例如因特网、局域网和物联网等。显示设 备120例如是一个具有独立显示屏的和一定处理能力的计算机设备，可 以是：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机 计算机、掌上电脑、个人数字助理、智能手机、智能电器、游戏控制台、 iPAD/iPhone、视频播放器、DVD刻录机/播放器、电视机、家庭娱乐 系统或任意其它合适的计算设备。显示设备120可以存储VR播放器软件， 当VR播放器启动后，播放器向服务器100请求和接收各种视频数据，并 且将下载到显示设备端的视频数据在播放器内进行渲染播放。在本例中， VR设备130是一个外接式头显设备，可以和显示设备120以及服务器100 进行各种交互，通过信号传递向显示设备120和/或服务器100传递用户 当前的信息，例如，用户当前的视场角度，显示设备120可以根据这些 信息能够灵活处理当前播放的视频数据。在一些实施例里，当用户头盔 位置发生改变时，显示设备120判断用户的核心观影区域发生改变，并 在核心观影区域播放高分辨率的视频数据。
在上述实施例，VR设备130是一个外接式头显设备，但是本领域的 技术人员可以理解到，VR设备130不仅限于此，VR设备130还可以一体 式头显设备。一体式头显设备本身具有显示屏的功能，因此可以不需要 外部的显示设备，例如本例中，如果采用一体式头显设备，即可以省略 显示120。此时，一体式头显设备承担了从服务器100上获取视频数据 以及播放的工作，同时，一体式头显设备检测到用户当前的一些位置变 化信息基于这些位置变化信息调整播放工作。
图2是适用于图1的VR播放系统的方法的流程图。该方法包括以下 步骤。
在步骤S10中，服务端进行视频数据处理。
在步骤S20中，显示设备端基于和VR设备的交互获得用户的位置 变化信息。
在步骤S30中，显示设备端基于用户的位置变化信息向服务端请求 视频数据以及接收视频数据。
在步骤S40中，显示设备端基于接收到的视频数据进行渲染处理。
其中，步骤S10用于处理存储在服务器端的视频数据。不同于传统 的处理方法直接源VR视频数据存储为显示数据并且提供至显示装置， 本发明实施例的视频数据处理步骤包括对源VR视频数据进一步地的处 理。例如，将视频数据从一种视频编码方式转换为另一种视频编码方式。 或者，将低分辨率的视频数据转换为高分辨率的视频数据，以适应显示 设备的高需求。此处，视频编码方式就是指通过特定的压缩技术，将某 个视频格式的文件转换成另一种视频格式文件的方式。目前视频流传输 中最为重要的编码标准有国际电联的H.261、H.263、H.264。
图3示出了本发明实施例的VR视频转码方法的流程图，该方法可 以作为一个较佳的实施例，应用于上述的视频数据处理步骤。该VR视频 转码方法具体包括以下步骤。
在步骤S100中，将源VR视频数据解码成得到音频数据集1和帧 数据集1。
源VR视频数据包括音频数据和全视角的视频数据，例如包含水平 360度和垂直120度视角范围的视频数据。该源VR视频数据的原始分 辨率可以达到12,600×6,000像素。视频数据包括多个连续帧的图像画面。 每个图像画面的分辨率均需要该原始分辨率。在该步骤中，根据源VR 视频数据的编码方式对源VR视频数据进行解码，并分离出多个帧的音 频数据和多个帧的图像数据，所述多个帧的音频数据组成音频数据集， 所述多个帧图像数据组成帧数据集。
在步骤S200中，将帧数据集1无损缩小到目标分辨率得到帧数据 集2。
源VR视频数据的原始分辨率例如12,600×6,000像素，目标分辨率 例如6,300×3,000像素，通过分辨率缩减操作，能够根据原始分辨率的 视频数据获得目标分辨率的视频数据。由于帧数据集1包含多个帧的视 频数据，则生成的帧数据集2也包括多个帧的数据。
在步骤S300中，将帧数据集1经过编码缩小和解码放大至目标分 辨率，得到帧数据集3。
源VR视频数据的原始分辨率例如12,600×6,000像素，则帧数据集 1的每帧数据的分辨率均为12,600×6,000像素。在本步骤中，首先先将 帧数据集编码缩小获得一个基础分辨率的视频数据，然后将基础分辨率 的视频数据解码放大，放大到目标分辨率，从而得到一个帧数据集3。 帧数据集3和帧数据2都包含多个帧的视频数据，以及具有相同的分辨 率：目标分辨率，但是两者获得的方式不同。另外，在本例中，满足一 下公式：
原始分辨率>＝目标分标率>＝基础分辨率。
对于同一显示设备，低分辨率的图像展示出低质量的画面，高分辨 率的视频数据展示出高质量的画面。
在步骤S400中，将帧数据集2和帧数据集3相减得到目标分辨率 差值。
在本步骤中，例如采用下述公式将帧数据集2和帧数据集3相减得 到目标分辨率差值。
假设像素Px,yOriginal＝(r,g,b)T是帧数据集2中，坐标为x,y 的像素，r,g,b∈[L,H]，Px,yScaledBase＝(r′,g′,b′)T是帧数据集3中 坐标为x,y的像素，r′,g′,b′∈[L,H]，那么对于所有的x,y有以下差值 生成方程式(1)：
也就是说，通过相同像素点的r,g,b分量相减，得到目标分辨率差 值Px,yNormalizedResidual中各个像素点的值。但是本领域的技术人员应该 明白，本发明不仅限于此，它还可以扩展到其他颜色空间，例如YUV， CMY，HSV，HSI。
在步骤S500中，将帧数据集2和音频数据集1合成切割得到基础 视频集。
对于帧数据集2中的每帧数据，将其和音频数据集1中的每帧音频 组合起来获得视音频数据，然后视音频数据进行切割，切割为基于时间 维度的切割。例如，定义一个时间切割单位，根据该时间切割单位将具 有一定时间长度的视音频数据分割成多个视音频。例如，定义一个时间 切割单位为2分钟，根据该时间切割单位将一个时长为10分钟的视音频 数据分成5个时长为2分钟的视音频。
在步骤S600中，将目标分辨率差值进行编码压缩和切割得到增强 视频集。
通过既定编码方式对目标分辨率差值进行编码后切割，既定编码方 式包括H.264.H.265等等。编码后的视频数据切割得到增强视频集。切 割方式包括基于时间维度和空间维度的切割。为方便起见，时间维度的 切割一般选用和步骤S500的相同的时间切割单位。而空间维度的切割 可以选择多种方式。例如，定义一个空间切割单位，根据该空间切割单 位将视频数据均匀分割成多个子数据。
图4示出图3中将帧数据集1经过编码缩小和解码放大至目标分辨 率，得到帧数据集3的详细步骤的流程图。
在步骤S301中，将帧数据集1按照既定的视频编码方式进行编码 压缩。
在本步骤中，将帧数据集1中的各个帧的数据通过特定视频编码方 式进行压缩，例如采用H.264或H.265格式压缩。
在步骤S302中，缩小分辨率得到基础分辨率视频。
采用最近邻插值、双线性插值、双线性内插法、三次卷积法等算法 中的一种，根据帧数据集1获得基础分辨率视频，基础分辨率视频也就 是具有基础分辨率的视频数据。
在步骤S303中，将基础分辨率视频解码。
通过和步骤S301中对应的解压缩方式对基础分辨率视频进行解码， 以获得基础分辨率的帧数据集。
在步骤S304中，插值放大得到帧数据集3。
采用最近邻插值、双线性插值、双线性内插法、三次卷积法等算法 基于基础分辨率视频得到目标分辨率的视频数据，即得到帧数据集3。 目标分辨率大于等于基础分辨率。
图5示出图3中将帧数据集1和音频数据集1合成切割得到基础视 频集的详细步骤的流程图。
在步骤S501中，将帧数据集2和音频数据集1合成得到一个或多 个视音频。
在该步骤中，将帧数据集2和音频数据集1重新组合，从而形成完 整的一个或多个视音频。该一个或多个视音频具有目标分辨率。每个视 音频可以具有相同或不同时间长度。
在步骤S502中，将一个或多个视音频切割成基础视频集。
该切割基于时间维度进行切割。切割将视频数据分割成多个具有相 同或者不同时长的子视频，组成基础视频集。
图6示出图3中将目标分辨率差值进行编码压缩和切割得到增强视 频集集的详细步骤的流程图。
在步骤S601中，将目标分辨率差值按照既定的视频编码方式进行 编码压缩
在本步骤中，将帧数据集1中的各个帧的数据通过特定视频编码方 式进行压缩，例如采用H.264或H.265格式压缩。
在步骤S602中，将编码后的目标分辨率差值切割得到增强视频集。。
在本步骤中，采用和S500相同的方式进行视频切割，得到增强视 频集。
切割方式包括基于时间维度和空间维度的切割。为方便起见，时间 维度的切割一般选用和步骤S500的相同的时间切割单位。而空间维度 的切割可以选择多种方式。例如，定义一个空间切割单位，根据该空间 切割单位将视频数据均匀分割成多个子数据。
本发明提供的VR视频转码，将源VR视频数据处理成基础视频集 和增强视频集，在播放时，增强视频集叠加到基础视频集上，以得到目 标分辨率更高效的显示效果。通过叠加的方式分开传输基础视频集和增 强视频集，传输效率更高。
图7示出了本发明实施例的VR视频转码装置的结构图。VR视频转 码装置包括分解模块701、第一生成模块702、第二生成模块703，差值 计算模块704，合成切割模块705和编码切割模块706以及存储模块707。
分解模块701，用于解码源VR视频数据解码，以获得音频数据集 和第一帧数据集，所述源VR视频数据和所述第一帧数据集具有源分辨 率。
第一生成模块702，用于根据第一帧数据集获得第二帧数据集。
第二生成模块703用于根据第一帧数据集获得第三帧数据集。第二 帧数据集和第三帧数据集为通过不同方式获得的具有相同的目标分辨率 的帧数据集。例如，通过缩减第一帧数据集的分辨率到目标分辨率获得 第二帧数据集，通过对第一帧数据集编码压缩后再缩小分辨率到目标分 辨率以获得第三帧数据集。第一、第二和第三帧数据集各自包含多个帧 数据。
差值计算模块704用于将第二帧数据集减去第三帧数据集获得目 标分标率差值。将第一生成模块702生成的第二帧数据集和第二生成模 块703生成的第三帧数据集相减获得目标分标率差值。
合成切割模块705用于合成切割第二帧数据集和音频数据集，得到 基础视频集。
编码切割模块706用于编码切割目标分辨率差值，得到增强视频集。
存储模块707用于存储基础视频集和增强视频集。基础视频集和增 强视频集用于VR视频播放。在播放时，增强视频集叠加到基础视频集 上，以得到目标分辨率更高效的显示效果。优选地，源分辨率大于等于 目标分辨率。
本发明实施例提供的VR视频转码装置，用于处理VR视频数据，将 其处理成基础视频集和增强视频集，以分别传输基础视频集和增强视频 集，得到更高的传输效果，同时得到播放效果没有受到影响甚至得到提 高。
本发明实施例虽然以较佳实施例公开如上，但其并不是用来限定权 利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以 做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求 所界定的范围为准。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本 领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神 和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。