一种视频处理方法、视频码流及视频处理装置与流程

本发明涉及一种那个视频处理方法、视频码流及视频处理装置。

背景技术：
视频信号中存在着大量的冗余信息，这些冗余信息可以分成空间冗余信息、时间冗余信息、数据冗余信息和视觉冗余信息。视频压缩技术一般基于块的、集预测编码、变换编码和熵编码于一体的混合编码(HybridCoding)框架。目前，由联合视频组(JVT，JointVideoTeam)制定的H.264/AVC视频压缩标准代表了最先进的视频图像压缩技术。该编码标准便是构建在混合编码框架上的。视频混合编码框架中的预测编码将编码图像区域分成编码单元，对编码单元进行预测编码，得到参考图像区域，并求得预测值和待编码值的差即残差数据，对残差数据进行二维变换编码；然后在变换域中对变换系数进行量化、扫描转换成一维信号；最后进行熵编码。在混合编码框架中，预测编码是非常重要的部分，尤其是图像区域间预测，是提高编码效率的有效技术手段。因此，在图像区域间预测技术中，生成参考图像区域是非常重要的环节，高效的图像区域生成算法，能够使得残差值减小，最终使得编码的码率降低。因此，开发高效的参考图像区域生成算法对提高编码效率具有重要意义。在多视点视频编码中，参考图像区域的获得，除了通过时域上相邻图像区域的提取之外，还可通过相邻视点的同时刻图像区域获得。提高从相邻图像区域提取参考图像区域质量的方法，可提高多视点视频预测效果，从而提高编码效率。从20世纪40年代电视发明以来，经历了黑白电视、彩色电视和正在发展的数字高清晰度电视三个阶段，电视技术正逐渐向大屏幕、彩色化、高清晰度、多媒体方向发展。三维电视(3DTV)具有深度感和临场感，将会使观众获得最大限度的立体感受，因而必将成为又一个新的发展方向。对应用于三维电视的三维视频的压缩编码技术的研究具有重要意义。纹理序列即是当前使用摄像机获得的二维图像序列。获得纹理序列是一个将三维真实世界投影到摄像机图像平面的过程。这一过程中第三维的信息被丢弃，使得仅依靠纹理序列不能得到相应的三维场景的所有信息。为完善地表达三维场景，就需要引入与纹理序列相对应的补充信息，以表示出第三维的信息。一般说来，补充信息每一图像区域的分辨率与纹理序列一致或比后者更低，并采用灰度图的格式，每一个像素点的灰度值表征了相应纹理序列上该点的深度等信息。利用纹理序列和相应的补充信息以及必须的摄像机参数，即可完整表示三维场景。目前最为常见的补充信息格式为将纹理序列上对应点的深度信息灰度值表达的深度序列。除此之外，还有将在三维投影中投影单位距离时像素移动的像素距离直接或经变换后以灰度值表达的补充信息等。人眼产生立体感主要基于双目补充信息(binocularparallax)和运动补充信息(motionparallax)两个方面。如果采用一个装置使左右眼分别看到不同的补充信息图像，则大脑中就会产生精确的三维物体，以及该物体在场景中的定位，这就是具有深度的立体感。为了达到这一效果，需要利用一对或多对纹理和补充信息分别生成相应的单眼图像。在三维电视应用环境下，除了经由信道传输的纹理序列，用户端往往还需利用补充信息结合纹理序列合成更多的虚拟视点图像作为供观众观看的单眼图像，以得到较佳的三维感受。在三维电视领域，将不同摄像机角度下获得的三维场景的投影图像称为不同的视点图像；在这里，摄像机可以是现实存在的，也可以是虚拟的，虚拟摄像机角度下的视点图像被称为虚拟视点图像。为完成合成虚拟视点图像的功能，除了补充信息之外，还需要表达待投影和投影目标摄像机之间的位置关系的摄像机参数信息。结合运用摄像机参数信息和补充信息，可将相应的纹理序列投影到需要的视点位置上。若不使用纹理序列而仅使用补充信息，也可将补充信息本身投影到需要的视点位置上。前向投影步骤(ForwardWarping)是指利用摄像机参数将已有视角的图像投影到虚拟视角位置的过程。该步骤是虚拟视生成中最基本、最重要的步骤，其基本原理是利用机器视觉的相关知识，将原始纹理图和深度图重建为三维世界中的图像点，再按照所需角度将其重新投影为所需角度的二维图像。图1为不同摄像机坐标之间的转换关系示意图，图中所示的(x，y，z)是原始图像摄像机坐标系，(u，v，m)则是虚拟摄像机中的坐标系。对于三维空间中一点，既可以用(x，y，z)坐标表示，也可以用(u，v，m)坐标来表示。对原始图像而言，图像上的每一个像素的(x，y，z)坐标均为已知，其中x和y由该像素在二维纹理图像中的坐标位置确定，z则由深度图像提供。要得到虚拟视图像，需要计算出原始图像各个点在虚拟视角坐标上的位置(u，v)。在得到(u，v)之后，只需将原始图像中(x，y)点的颜色信息复制到虚拟视图像的(u，v)位置即可。由机器视觉相关知识得到通过(x，y，z)计算(u，v)的公式如下：式中：[u，v，1]T——(u，v)的齐次坐标；[X，Y，Z，1]T——(x，y，z)的齐次坐标；s——缩放系数，代表了两个坐标系坐标单位间的比例；fx与fy——摄像机焦距；cx与cv——基准点的位置，它们与fx、fy共同组成的矩阵被称为摄像机矩阵或内参数矩阵，内参数矩阵不依赖场景的视图，一旦计算出，可以被重复使用(只要焦距固定)；rij以及tk——它们组成的矩阵被称为旋转-平移矩阵或外矩阵，其中rij表征了场景的旋转，而tk表征了场景的平移(也可以理解为场景不动，摄像机在平移和转动)。通过上述方法，可以将已有视角的图像投影到虚拟视角位置。在投影过程中，既可以利用深度等补充信息完成纹理图的投影，也可利用深度等补充信息将其自身投影到需要的位置。在前向投影中，有一类基于边界检测的泼溅算法，该算法的主要内容为，对于处在深度等补充序列图像内容边界附近的像素点，在投影中将该点投影到目标视点中距离三维投影位置小于一定阈值的像素点上。在三维电视应用环境下，常有多路纹理与多路补充信息需要进行传输。在多路视频的编码中，以H.264/AVC的增强集MVC编码标准为代表的编码技术采用了视点间预测的技术手段，进一步提高了编码效率。视点间预测技术的主要思想为，利用其他视点的同一时刻图像区域信息作为当前待编码的视频区域的参考图像区域。由于两者之间具有较强的相关性，因此能够得到较优的预测效果，最终得到优秀的编码效率。现有技术的问题如下：在补充信息的视点间预测没有专门针对补充信息的特点进行优化，没有结合利用补充信息信息和视点位置信息来生成视点间参考图像区域，而只是将补充信息图像内容进行整体平移(平移量可以为零)而得到视点间参考图像区域，因此对于补充信息中不同视点间图像内容的角度变化及图像内容不同物体间不同程度的位置变化不能精确的模拟，造成视点间预测效率不高，效果不佳，最终使得视点间视频编码效率不高。在多路补充信息的编码中，若能充分利用多路补充信息的特点设计高效的参考图像区域生成方法，则能够获得更优秀的预测效果和编码效率。

技术实现要素：
本发明的第一目的在于提供一种用于三维视频的视频处理方法。一种视频处理方法，包括：(1)使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域；(2)使用所述的参考图像区域对乙视点的补充信息进行预测；(3)所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。作为优选，所述的预测包含一种预测模式，当该预测模式使用所述的参考图像区域时，该预测模式的运动矢量为零。作为优选，所述使用甲视点的补充信息重建图像区域生成乙视点补充信息参考图像区域时包括如下两种方法或两种方法中的一种：(1)按照投影精度X对所述的重建图像区域进行上采样；(2)按照投影精度Y进行下采样得到乙视点补充信息参考图像区域；所述的投影精度X大于等于所述的投影精度Y。作为优选，按以下两种方法之一对所述投影精度进行操作：(1)将投影精度X和投影精度Y或两者之一编入码流；(2)由码流提取得到投影精度X和投影精度Y或两者之一。作为优选，在所述使用甲视点的补充信息重建图像区域生成乙视点补充信息参考图像区域的过程包括正向投影、空洞填充，所述正向投影按照摄像机参数对图像进行相应的三维投影，空洞填充对正向投影不能获得的像素位置进行填充处理，所述正向投影中运用了基于边界检测的泼溅算法。本发明第二目的在于提供一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：(1)使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域；(2)利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息；(3)所述的甲视点的补充信息重建图像区域与所述的乙视点补充信息参考图像区域为同一时刻的图像区域。作为优选，所述的预测包含一种预测模式，当该预测模式使用所述的参考图像区域时，该预测模式的运动矢量为零。作为优选，所述视频码流中包括投影精度X与投影精度Y，投影精度X大于等于投影精度Y，所述投影精度X在使用甲视点的补充信息重建图像区域生成乙视点补充信息参考图像区域过程中用于对所述的甲视点的补充信息重建图像区域进行上采样，所述投影精度Y在使用甲视点的补充信息重建图像区域生成乙视点补充信息参考图像区域过程中用于下采样得到乙视点补充信息参考图像区域。本发明第三目的在于提供一种视频处理装置，该装置包括：参考图像生成模块、缓存模块；所述的参考图像生成模块以甲视点时刻T的补充信息重建图像区域和摄像机参数作为输入，并与缓存模块相连，使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域并通过所述的缓存模块输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息的预测；所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。作为优选，所述的参考图像生成模块包括如下两种特点或两种特点中的一种：(1)参考图像生成模块还以投影精度X作为输入，所述的参考图像生成模块包含以下子模块：上采样模块，所述的上采样模块用于按照投影精度X进行上采样；(2)参考图像生成模块还以投影精度Y作为输入，所述的参考图像生成模块包含以下子模块：下采样模块，所述的下采样模块用于按照投影精度Y对图像进行下采样。作为优选，所述的参考图像生成模块按以下两种方法之一对所述投影精度进行操作：(1)将投影精度X和投影精度Y或两者之一编入码流；(2)由码流提取得到投影精度X和投影精度Y或两者之一。作为优选，所述的参考图像生成模块还以投影精度X和投影精度Y作为输入；所述的参考图像生成模块包含以下子模块：上采样模块、正向投影模块、空洞填充模块和下采样模块；所述的上采样模块以甲视点时刻T的补充信息重建图像区域和投影精度X作为输入，并与正向投影模块相连；所述的正像投影模块以摄像机参数作为输入，并与空洞填充模块相连；所述的空洞填充模块与下采样模块相连；所述的下采样模块需要投影精度Y作为输入，并与缓存相连；所述的上采样模块用于按照投影精度X进行上采样，所述的正像投影模块用于按照摄像机参数对图像进行相应的三维投影，所述的空洞填充模块用于对正向投影不能获得的像素位置进行填充处理，所述的下采样模块用于按照投影精度Y对图像进行下采样。本发明与现有技术相比的有益效果：1、充分利用了补充信息的特性，生成了更有效的视点间补充序列参考图像区域，提高了补充信息视点间预测的效率。2、充分利用了三维视频信息中的视点信息，并结合补充信息内容对补充序列图像进行了三维投影，从而获得了内容位置更为精确、预测效果更佳的预测图像区域。3、生成预测图像区域的过程中综合考虑了性能与算法复杂度，得到了性能与速度的良好均衡。附图说明图1为现有技术中不同摄像机坐标之间的转换关系示意图；图2为本发明所述的一种视频处理装置实施例示意图；图3为本发明所述的一种视频处理装置实施例示意图；图4为本发明所述的一种视频处理装置实施例示意图；图5为本发明所述的一种视频处理装置实施例示意图；图6为本发明所述的一种视频处理装置实施例示意图；图7为本发明所述的一种视频处理装置实施例示意图；具体实施方式本发明是针对现有三维视频压缩编码中视点间预测技术所存在的问题而提出的解决方案。一种典型的运用本发明的视频处理装置如图2所示，该视频处理装置包括参考图像生成模块、缓存模块。所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域和摄像机参数作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测；参考图像生成模块作用为使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域。下面具体介绍几种本发明视频处理方法的实施实例：实例中的图像区域可以是多种不同的区域，例如一图像区域图像、二分之一图像区域图像、四分之一图像区域图像、mxn的图像块、一个条带、图像中的某梯形区域、图像中的某三角形区域、由图像中不相邻的像素组成的区域等。实例中的补充信息可以为各类不同的补充信息，例如深度信息、视差信息等。实例一：本实施例所述的一种视频处理方法，该方法利用甲视点重建图像区域生成乙视点参考图像区域，方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过投影不能获得的像素点，利用其周围像素点由线性插值获得。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例二：本实施例所述的一种视频处理方法，该方法利用甲视点重建图像区域生成乙视点参考图像区域，方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近和次接近的像素位置，出现重叠的像素点，则保留在三维投影关系中距离摄像机较近的点的值，乙视点中经过投影不能获得的像素点，利用其周围像素点由双线性插值获得。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例三：本实施例所述的一种视频处理方法，该方法利用甲视点重建图像区域生成乙视点参考图像区域，方法为按照甲视点重建图像区域的深度值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过甲视点重建图像区域像素投影不能获得的像素点，使用默认像素值，例如0、255等，进行填充；用同上述的利用甲视点重建图像区域生成乙视点参考图像区域的方法，利用丙视点重建图像区域生成乙视点参考图像区域；利用甲视点重建图像区域生成的乙视点参考图像区域和丙视点重建图像区域生成的乙视点参考图像区域插值得到用于预测的乙视点参考图像区域，插值的方法可以是平均插值或加权插值等。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例四：本实施例所述的一种视频处理方法，该方法利用甲视点重建图像区域生成乙视点参考图像区域，方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过投影不能获得的像素点，使用默认像素值，例如0、255等，进行填充；在乙视点编解码中，当参考图像区域为利用甲视点重建图像生成的视点间参考图像区域时编解码中SKIP模式的运动矢量恒为0，当参考图像区域不为利用甲视点重建图像生成的视点间参考图像区域时，使用现有技术中的SKIP模式的运动矢量导出方法获得运动矢量。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例五：本实施例所述的一种视频处理方法，该方法利用甲视点重建图像区域生成乙视点参考图像区域，方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近和次接近的像素位置，出现重叠的像素点，则保留在三维投影关系中距离摄像机较近的点的值，乙视点中经过投影不能获得的像素点，利用其周围像素点由双线性插值获得；乙视点补充信息的编解码中，有一种特殊的模式，该模式的特点为：仅在参考图像区域为用甲视点重建图像生成的参考图像区域时可用；该模式中运动矢量恒为0。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例六：本实施例所述的一种视频处理方法，该方法利用甲视点重建图像区域生成乙视点参考图像区域，方法为按照甲视点重建图像区域的深度值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过甲视点重建图像区域像素投影不能获得的像素点，利用其周围像素点由线性插值获得；用同上述的利用甲视点重建图像区域生成乙视点参考图像区域的方法，利用丙视点重建图像区域生成乙视点参考图像区域；利用甲视点重建图像区域生成的乙视点参考图像区域和丙视点重建图像区域生成的乙视点参考图像区域插值得到用于预测的乙视点参考图像区域，插值的方法可以是平均插值或加权插值等；在乙视点编解码中，当参考图像区域为上述的用于预测的乙视点参考图像区域时编解码中SKIP模式的运动矢量恒为0，当参考图像区域不为利用甲视点重建图像生成的视点间参考图像区域时，使用现有技术中的SKIP模式的运动矢量导出方法获得运动矢量。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例七：本实施例所述的一种视频处理方法，该方法根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，利用其周围亚像素点由线性插值获得；根据默认的设定投影精度Y对经过上述投影步骤乙视点的参考图像区域进行下采样，获得整像素精度的乙视点参考图像区域。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例八：本实施例所述的一种视频处理方法，该方法根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，利用其周围亚像素点由线性插值获得；用于下采样的投影精度Y与所述的投影精度X相等。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例九：本实施例所述的一种视频处理方法，该方法根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，利用其周围亚像素点由线性插值获得；根据默认的设定投影精度Y对经过上述投影步骤乙视点的参考图像区域进行下采样，获得整像素精度的乙视点参考图像区域；在编码中，将投影精度X和投影精度Y写入码流。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十：本实施例所述的一种视频处理方法，该方法根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，使用默认像素值，例如0、255等，进行填充；用于下采样的投影精度Y与所述的投影精度X相等，因此省略下采样步骤；在编码中，将投影精度X写入码流。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十一：本实施例所述的一种视频处理方法，该方法由码流中提取得到投影精度X和投影精度Y；根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，利用其周围亚像素点由线性插值获得；根据默认的设定投影精度Y对经过上述投影步骤乙视点的参考图像区域进行下采样，获得整像素精度的乙视点参考图像区域。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十二：本实施例所述的一种视频处理方法，该方法由码流中提取得到投影精度X；投影精度Y与投影精度X相等；根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，利用其周围亚像素点由线性插值获得；用于下采样的投影精度Y与所述的投影精度X相等，因此省略下采样步骤。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十三：本实施例所述的一种视频处理方法，该方法在利用甲视点重建图像区域生成乙视点参考图像区域中使用了甲视点和乙视点的摄像机参数；利用甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，对于不处在深度图像边界附近的像素，将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，对于处在深度图像边界附近的像素，将甲视点重建图像区域像素投影到与三维投影位置一定距离之内的像素点上，即运用了基于边界的泼溅算法，所述的一定距离可以是一像素距离、二分之一像素距离、水平方向上一像素距离、水平方向上二分之一像素距离等；乙视点中经过投影不能获得的像素点，利用其周围像素点由线性插值获得。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十四：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过投影不能获得的像素点，利用其周围像素点由线性插值获得。利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十五：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近和次接近的像素位置，出现重叠的像素点，则保留在三维投影关系中距离摄像机较近的点的值，乙视点中经过投影不能获得的像素点，利用其周围像素点由双线性插值获得。利用获得的所述的参考图像区域，结合码流中提取得到相关信息，例如编码残差等，对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十六：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法为按照甲视点重建图像区域的深度值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过甲视点重建图像区域像素投影不能获得的像素点，利用其周围像素点由线性插值获得；用同上述的利用甲视点重建图像区域生成乙视点参考图像区域的方法，利用丙视点重建图像区域生成乙视点参考图像区域；利用甲视点重建图像区域生成的乙视点参考图像区域和丙视点重建图像区域生成的乙视点参考图像区域插值得到用于预测的乙视点参考图像区域，插值的方法可以是平均插值或加权插值等。利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十七：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过投影不能获得的像素点，使用默认像素值，例如0、255等，进行填充；在乙视点解码中，当参考图像区域为利用甲视点重建图像生成的视点间参考图像区域时解码中SKIP模式的运动矢量恒为0，当参考图像区域不为利用甲视点重建图像生成的视点间参考图像区域时，使用现有技术中的SKIP模式的运动矢量导出方法获得运动矢量。利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十八：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法为按照甲视点重建图像区域的补充信息值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近和次接近的像素位置，出现重叠的像素点，则保留在三维投影关系中距离摄像机较近的点的值，乙视点中经过投影不能获得的像素点，利用其周围像素点由双线性插值获得；乙视点补充信息的解码中，有一种特殊的模式，该模式的特点为：仅在参考图像区域为用甲视点重建图像生成的参考图像区域时可用；该模式中运动矢量恒为0。利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例十九：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法为按照甲视点重建图像区域的深度值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置，乙视点中经过甲视点重建图像区域像素投影不能获得的像素点，利用其周围像素点由线性插值获得；用同上述的利用甲视点重建图像区域生成乙视点参考图像区域的方法，利用丙视点重建图像区域生成乙视点参考图像区域；利用甲视点重建图像区域生成的乙视点参考图像区域和丙视点重建图像区域生成的乙视点参考图像区域插值得到用于预测的乙视点参考图像区域，插值的方法可以是平均插值或加权插值等；在乙视点解码中，当参考图像区域为上述的用于预测的乙视点参考图像区域时解码中SKIP模式的运动矢量恒为0，当参考图像区域不为利用甲视点重建图像生成的视点间参考图像区域时，使用现有技术中的SKIP模式的运动矢量导出方法获得运动矢量。利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例二十：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法包括，由码流中提取得到投影精度X和投影精度Y；根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，利用甲视点和乙视点的摄像机参数将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，利用其周围亚像素点由线性插值获得；根据默认的设定投影精度Y对经过上述投影步骤乙视点的参考图像区域进行下采样，获得整像素精度的乙视点参考图像区域。利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例二十一：本实施例所述的一种视频码流，通过对该视频码流进行解码，可获得乙视点补充信息，所述解码获得乙视点补充信息的过程包含如下的方法：使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，具体方法包括，由码流中提取得到投影精度X；投影精度Y与投影精度X相等；根据默认的投影精度X对甲视点重建图像区域进行上采样，投影精度X为整像素精度时，则上采样倍率为1，即像素值不发生变化，投影精度X不为整像素精度时，则上采样倍率为能使得图像上采样后达到设定精度X的倍率；利用上采样后的甲视点重建图像区域生成乙视点参考图像区域的方法为按照甲视点重建图像区域的深度值，依照三维投影关系，依照三维投影关系，利用甲视点和乙视点的摄像机参数将上采样后甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的亚像素位置，亚像素的精度由前述的投影精度X决定，若投影精度X为整像素精度，则此处之亚像素位置等同于整像素位置，若投影精度X不为整像素精度，则此处的亚像素精度等同于投影精度X所规定的精度，乙视点中经过投影不能获得的亚像素点，利用其周围亚像素点由线性插值获得；用于下采样的投影精度Y与所述的投影精度X相等，因此省略下采样步骤。利用获得的所述的参考图像区域，结合相关信息对乙视点的补充信息进行预测，预测结果用于解码获得乙视点补充信息。所述的甲视点的补充信息重建图像区域与乙视点补充信息参考图像区域为同一时刻的图像区域。实例二十二：本实施例所述的一种视频处理装置，如图2所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域和摄像机参数作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测；参考图像生成模块作用为使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置。实例二十三：本实施例所述的一种视频处理装置，如图3所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域，摄像机参数，投影精度X和投影精度Y作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测；所述的参考图像生成模块包含以下子模块：上采样模块，正向投影模块、空洞填充模块和下采样模块；所述的上采样模块需要甲视点时刻T的补充信息重建图像区域和投影精度X作为输入，并与正向投影模块相连，所述的正像投影模块需要摄像机参数作为输入，并与空洞填充模块相连，所述的空洞填充模块与下采样模块相连，所述的下采样模块需要投影精度Y作为输入，并与缓存相连；所述的上采样模块用于按照投影精度X进行上采样，所述的正像投影模块用于按照摄像机参数对图像进行相应的三维投影，所述的空洞填充模块用于将正向投影后的图像进行空洞填充处理，下采样模块用于按照投影精度Y对图像进行下采样。所述的参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置；所述的正向投影模块按照甲视点重建图像区域的补充信息值，依照三维投影关系，将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置；所述的空洞填充模块将乙视点中经过投影不能获得的像素点，利用其周围像素点由线性插值获得。实例二十四：本实施例所述的一种视频处理装置，如图4所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域和摄像机参数作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测；参考图像生成模块作用为使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置；所述的摄像机参数被写入码流。实例二十五：本实施例所述的一种视频处理装置，如图5所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域和摄像机参数作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测；参考图像生成模块作用为使用甲视点的补充信息重建图像区域和摄像机参数生成乙视点补充信息参考图像区域，参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置；所述的摄像机参数由码流中获得。实例二十六：本实施例所述的一种视频处理装置，如图6所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域，摄像机参数，投影精度X和投影精度Y作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测；所述的参考图像生成模块包含以下子模块：上采样模块，正向投影模块、空洞填充模块和下采样模块；所述的上采样模块需要甲视点时刻T的补充信息重建图像区域和投影精度X作为输入，并与正向投影模块相连，所述的正像投影模块需要摄像机参数作为输入，并与空洞填充模块相连，所述的空洞填充模块与下采样模块相连，所述的下采样模块需要投影精度Y作为输入，并与缓存相连；所述的上采样模块用于按照投影精度X进行上采样，所述的正像投影模块用于按照摄像机参数对图像进行相应的三维投影，所述的空洞填充模块用于将正向投影后的图像进行空洞填充处理，下采样模块用于按照投影精度Y对图像进行下采样。所述的参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置；所述的正向投影模块按照甲视点重建图像区域的补充信息值，依照三维投影关系，将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置；所述的空洞填充模块将乙视点中经过投影不能获得的像素点，利用其周围像素点由线性插值获得；所述的摄像机参数、投影精度X、投影精度Y被写入码流。实例二十七：本实施例所述的一种视频处理装置，如图7所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域，摄像机参数，投影精度X和投影精度Y作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测；所述的参考图像生成模块包含以下子模块：上采样模块，正向投影模块、空洞填充模块和下采样模块；所述的上采样模块需要甲视点时刻T的补充信息重建图像区域和投影精度X作为输入，并与正向投影模块相连，所述的正像投影模块需要摄像机参数作为输入，并与空洞填充模块相连，所述的空洞填充模块与下采样模块相连，所述的下采样模块需要投影精度Y作为输入，并与缓存相连；所述的上采样模块用于按照投影精度X进行上采样，所述的正像投影模块用于按照摄像机参数对图像进行相应的三维投影，所述的空洞填充模块用于将正向投影后的图像进行空洞填充处理，下采样模块用于按照投影精度Y对图像进行下采样。所述的参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置；所述的正向投影模块按照甲视点重建图像区域的补充信息值，依照三维投影关系，将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置；所述的空洞填充模块将乙视点中经过投影不能获得的像素点，使用默认像素值，例如0、255等，进行填充；所述的摄像机参数、投影精度X、投影精度Y由码流中获得。实例二十八：本实施例所述的一种视频处理装置，如图6所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域，摄像机参数，投影精度X和投影精度Y作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测，所述的预测包含一种预测模式，当该预测模式使用所述的参考图像区域时，该预测模式的运动矢量为零；所述的参考图像生成模块包含以下子模块：上采样模块，正向投影模块、空洞填充模块和下采样模块；所述的上采样模块需要甲视点时刻T的补充信息重建图像区域和投影精度X作为输入，并与正向投影模块相连，所述的正像投影模块需要摄像机参数作为输入，并与空洞填充模块相连，所述的空洞填充模块与下采样模块相连，所述的下采样模块需要投影精度Y作为输入，并与缓存相连；所述的上采样模块用于按照投影精度X进行上采样，所述的正像投影模块用于按照摄像机参数对图像进行相应的三维投影，所述的空洞填充模块用于将正向投影后的图像进行空洞填充处理，下采样模块用于按照投影精度Y对图像进行下采样。所述的参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置；所述的正向投影模块按照甲视点重建图像区域的补充信息值，依照三维投影关系，将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置；所述的空洞填充模块将乙视点中经过投影不能获得的像素点，利用其周围像素点由线性插值获得；所述的摄像机参数、投影精度X、投影精度Y被写入码流。实例二十九：本实施例所述的一种视频处理装置，如图7所示，由参考图像生成模块、缓存模块组成；所述的参考图像生成模块需要甲视点时刻T的补充信息重建图像区域，摄像机参数，投影精度X和投影精度Y作为输入，并与缓存相连，所述的缓存输出乙视点时刻T的补充信息参考图像区域，该图像区域用于乙视点补充信息预测，所述的预测包含一种预测模式，当该预测模式使用所述的参考图像区域时，该预测模式的运动矢量为零；所述的参考图像生成模块包含以下子模块：上采样模块，正向投影模块、空洞填充模块和下采样模块；所述的上采样模块需要甲视点时刻T的补充信息重建图像区域和投影精度X作为输入，并与正向投影模块相连，所述的正像投影模块需要摄像机参数作为输入，并与空洞填充模块相连，所述的空洞填充模块与下采样模块相连，所述的下采样模块需要投影精度Y作为输入，并与缓存相连；所述的上采样模块用于按照投影精度X进行上采样，所述的正像投影模块用于按照摄像机参数对图像进行相应的三维投影，所述的空洞填充模块用于将正向投影后的图像进行空洞填充处理，下采样模块用于按照投影精度Y对图像进行下采样。所述的参考图像生成模块中使用的算法为基于补充信息的虚拟视投影算法，该算法利用补充信息内容，按照摄像机参数，将补充信息投影至乙视点的位置；所述的正向投影模块按照甲视点重建图像区域的补充信息值，依照三维投影关系，将甲视点重建图像区域像素投影到乙视点中与该像素三维投影位置最接近的像素位置；所述的空洞填充模块将乙视点中经过投影不能获得的像素点，利用其周围像素点由线性插值获得；所述的摄像机参数、投影精度X、投影精度Y由码流中获得。