一种局部视差矢量的导出方法与流程

本发明涉及多视点视频编码技术领域，尤其涉及三维多视点视频编码中的局部视差矢量的导出方法。

背景技术：

近几年来，三维多视点视频因能提供更为丰富的视觉信息和更具沉浸感的观看效果，被人们所青睐。由于三维多视点视频利用两个或多个摄像机进行拍摄视点数大大增加，其数据量和传统的二维视频相比也大大增加，高效的三维多视点视频压缩编码的研究十分重要。目前，国际视频标准化组织MPEG和ITU-T VCEG联合制定3D视频压缩编码标准3D-HEVC(High Efficiency Video Coding)。同时中国数字音视频编解码技术标准工作组也正在制定具有中国自主知识产权的3D多视点视频编码标准3D-AVS(Audio Video Coding Standard)。

与传统二维视频相比，除了空间冗余、时间冗余和信息冗余外，三维多视点视频编码还存在着非常大的视点间冗余：由于多视点拍摄的特点，同一时刻，多个摄像机从不同的角度对同一个场景进行拍摄，场景中的背景以及运动的物体都是相同的，各视点之间的同一个物体的纹理信息以及物体的运动信息都具有很强的相关性。为了利用视点间的这种相关性，从而消除视点间的冗余，一些利用视差矢量的视间预测工具如视差补偿预测技术、视间运动预测技术和视间残差预测技术等被集成到3D-HEVC中，目前3D-AVS也已经集成了视差补偿预测技术和视间运动预测技术。利用视差矢量的工具描述如下：

视差补偿预测

为了利用参考视点中已经编码的参考帧的纹理信息，与运动补偿预测相似，引入了视差补偿预测。运动补偿预测是参考相同视点不同时刻已经编码的参考帧而进行的帧间预测，视差补偿预测是参考不同视点同一时刻已经编码的参考帧而进行的视间预测，如图1所示。

视间运动预测

为了利用参考视点中已经编码的参考帧的运动信息，引入了视间运动预测。为了从参考视点对应块获得依赖视点当前块的候选运动信息，首先要为当前块获取视差矢量，然后由当前块的位置加上获取得到的视差矢量在参考视点中已经编码的视间参考帧中定位到当前块的对应预测块。如果对应预测块采用的是帧间预测模式，那么相应的运动信息就可以作为当前块的候选运动信息，如图2所示。

视间残差预测

为了利用参考视点中的残差信息，引入了视间残差预测。由获取得到的视差矢量定位到参考视点中的对应块，当前块的残差信号可以由参考视点中对应块的残差信息进行预测，如图3所示。

根据以上描述，可以发现视差矢量可以应用到任何需要为当前块在视间参考帧中定位到对应块的任何视间预测技术。目前3D-HEVC和3D-AVS分别采用以下的视差矢量的获取方式：

3D-HEVC中的视差矢量获取

在目前的3D-HEVC测试模型中，视差矢量是通过时域邻近块和几个空域邻近块导出的(参见L.Zhang,Y.Chen,M.Karczewicz,"CE5.h:Disparity vector generation results,"JCT2-A0097,July 2012；Jaewon Sung,Moonmo Koo,Sehoon Yea,"3D-CE5.h:Simplification of disparity vector derivation for HEVC-based 3D video coding,"JCT2-A0126,July 2012)，如图4所示，其中空域邻近块除了做视间补偿预测(Disparity Compensated Prediction，DCP)块以外，还考虑使用视间运动预测的运动补偿预测(Motion Compensated Prediction)块，被叫做视差矢量运动补偿预测(DV-MCP)块(参见J.Kang,Y.Chen,L.Zhang,M.Karczewicz,"3D-CE5.hrelated:Improvements for disparity vector derivation,"Document of Joint Collaborative Team on 3D Video CodingExtension Development,JCT3V-B0047,Shanghai,Oct.2012)，如图5所示。DV-MCP块的运动信息是由视间参考帧对应的块的运动信息得到的，对应块的位置是由视差矢量定位得到的，这个视差矢量即作为需要导出的视差矢量DV的来源之一。在该方法中一旦从任意一个邻近块中获取得到一个视差矢量DV，整个搜索过程就停止。然而，这种技术的视差矢量的来源比较少，邻近块很容易可能都不存在DCP块和DV-MCP块，导致无法导出视差矢量，在这种情况下，3D-HEVC利用零矢量(0,0)代替当前块的视差矢量，使得导出的视差矢量不够准确。

3D-AVS中的视差矢量获取

在目前的3D-AVS测试模型中，采用了一种特殊的全局的视差矢量获取方案(参见“一种有效的视差矢量获取方法”，马冀，张岳欢，张娜，范晓鹏，赵德斌，M3582，AVS第51次会议，福州，2014年12月)，利用当前帧参考帧列表中距当前帧时域距离最近的时域参考帧中包含的所有视差矢量求均值，作为当前帧的全局视差矢量，如图6所示。这种方案利用的是时域的参考帧而并非当前帧，并且利用的是全局信息，这样获取得到的视差矢量是不准确的。

现有的相关专利，例如申请号为CN104301739A的中国发明专利申请，涉及一种多视点视频编码方法，其将多种编码模式用于副视点中的编码单元，其中多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且编码单元允许被分割成更小的编码单元，上述多视点视频编码方法包含：接收与当前编码单元相关的输入数据，其中当前编码单元对应于当前副视点中当前图像的当前纹理单元或当前深度单元；决定与当前编码单元或当前编码单元的相邻单元集合相关的一或多个编码条件；以及若上述一或多个编码条件满足，利用合并模式或跳过模式编码当前编码单元而无需评估帧间模式与帧内模式中至少一者的编码性能。以上所述的多视点视频编码方法能大幅削减编码时间而不会带来性能损失的副作用。

为此提供一种更加有效的视差矢量的导出方案来提升三维多视点视频编码中视间预测技术的编码性能十分重要。

技术实现要素：

本发明的目的是为了解决在3D-HEVC现有技术中获得视差矢量的来源太少导致根据邻近单元可能无法导出非零的视差矢量以及3D-AVS现有技术利用全局信息导出的视差矢量不够准确的问题，而提出的一种利用局部信息的三维多视点视频编码的视差矢量导出方案。

一种局部视差矢量的导出方法，其特征在于：多视点视频编码中的一种局部视差矢量的导出方法，具体是按照以下步骤进行的：

步骤一、选择当前预测单元PU相邻的左边、左上、上边和右上和左下的已经编码的区域作为5个候选区域，分别记作a1、b2、b1、b0和a0，区域的大小具体分别取左边为R×W，上边为R×H，右边为R×W；其中W和H为当前预测块PU的宽和高；R为区域系数，初始值取1；

步骤二、将候选区域划分为l×w大小的若干个单元，l和w一般取为4；

步骤三、在这5个候选区域中，按照一定的顺序，一个一个进行如下判断：判断当前候选区域的这些l×w单元中的是否有可以使用的视差矢量，如果有，则将所有视差矢量进行均值计算得到的视差矢量，作为当前块的局部视差矢量；

步骤四、根据步骤三得到的当前编码预测块的视差矢量，可以定位到其在视间参考帧中的对应块，根据对应块的运动矢量来预测当前块的运动矢量；

步骤五、当前块的邻近块为运动补偿预测MCP的块或帧内预测Intra块时，利用步骤三得到的视差矢量作为视差运动补偿过程中的视差矢量预测；

优选地，步骤三中若当前候选区域所有l×w单元没有可以使用的视差矢量，则其具体的实现过程如下：(1)考察下一个候选区域；(2)若当前R下所有的候选区域都没有可以使用的视差矢量，扩大区域系数R，即将区域系数增加1，得到新的候选区域；按照既定的顺序判断这些候选区域是否有可以使用的视差矢量：如果有，则将当前候选区域的所有可以使用的视差矢量进行均值计算导出当前块的视差矢量；如果没有，则继续扩大区域系数R直到导出视差矢量或者相邻区域系数R达到最大值R_M停止。

与现有技术相比，本发明公开的多视点视频编码中的一种局部视差矢量的导出方法，具有如下有益效果：

本发明利用当前帧中的当前块的邻近块都不是视差补偿预测的块时，利用当前预测单元导出的局部视差矢量作为视差补偿预测过程中的视差矢量的预测；并且用导出的视差矢量定位到当前块在视间参考帧中的对应块，根据对应块的运动矢量来预测当前块的运动矢量。

因此将导出的当前预测单元的局部视差矢量作为视间参考帧对应的视差信息，可以用于视间运动预测、视差补偿预测或任何其他需要为当前块在参考视点中定位到对应块的工具；使得本发明在没有增加多视点视频编码时间的基础上，在低延迟配置条件下提升了多视点视频编码视点1.96％-2.01％和合成视点1.23％-1.32％的BD-rate值。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

图1为本发明实施例提供的视间补偿预测示意图；

图2为本发明实施例提供的视间运动预测示意图；

图3为本发明实施例提供的视间残差预测示意图；

图4为本发明实施例提供的3D-HEVC视差矢量获取的时域、空域相邻块示意图；

图5为本发明实施例提供的3D-HEVC视差矢量获取的视差矢量运动补偿预测块示意图；

图6为本发明实施例提供的3D-AVS视差矢量获取的全局视差矢量示意图；

图7为本发明实施例提供的一种当前预测单元PU的五个相邻候选区域的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明公开的多视点视频编码中的一种局部视差矢量获取方法，主要解决当前3D-HEVC中获取视差矢量的来源较少，易由默认导出的零矢量代替视差矢量导致不准确，3D-AVS中利用全局信息导出视差矢量不够准确而提出的一种多视点视频编码中的局部视差矢量获取方法。该方法是主要将当前预测单元PU相邻已经编码的左边、左上、上边、右上、左下五个候选区域划分为若干个l×w大小的块，按照一定的顺序考察当前候选区域所有划分的块中是否含有视差矢量来决定是否考察下一个候选区域，如果当前候选区域均没有可以使用的视差矢量则扩大相邻区域得到新的候选区域，直到当前候选区域所有划分的块中存在视差矢量或候选区域到达设置的最大相邻区域为止，最后利用当前候选区域l×w块中的所有视差矢量求均值获得当前预测单元的局部视差矢量达到视差矢量获取的目的。

在一个优选实施方案中，本发明公开多视点视频编码中的一种局部视差矢量的导出方法，包括：

步骤一、选择当前预测单元PU相邻的左边、左上、上边和右上和左下的已经编码的区域作为5个候选区域，分别记作a1、b2、b1、b0和a0，如图7所示，区域的大小具体分别取左边为R×W，上边为R×H，右边为R×W；其中W和H为当前预测块PU的宽和高；R为区域系数，初始值取1；相邻区域的大小根据当前预测块PU的宽和高的不同而不同。

步骤二、将候选区域划分为l×w大小的若干个单元，l和w一般取为4；

步骤三、在这5个候选区域中，按照一定的顺序，一个一个进行如下判断：判断当前候选区域的这些l×w单元中的是否有可以使用的视差矢量，如果有，则将所有视差矢量进行均值计算得到的视差矢量，作为当前块的局部视差矢量，并停止寻找；

步骤四、若当前候选区域所有l×w单元没有可以使用的视差矢量，则考察下一个候选区域；

步骤五、若当前R下所有的候选区域都没有可以使用的视差矢量，扩大区域系数R，即将区域系数增加1，得到新的候选区域；

步骤六、循环步骤三、四、五，直到导出当前块的视差矢量或者相邻区域系数达到最大值R_M停止；

步骤七、根据步骤三、四、五、六得到的当前编码预测块的视差矢量，可以定位到其在视间参考帧中的对应块，根据对应块的运动矢量来预测当前块的运动矢量；

步骤八、当前块的邻近块为运动补偿预测MCP的块或帧内预测Intra块时，利用步骤三、四、五、六得到的视差矢量作为视差运动补偿过程中的视差矢量预测；

即完成了多视点视频编码中的一种局部视差矢量的导出方案。

为了进一步描述本公开，下面进一步描述了示例性的实施方式。

具体实施方式一：

本实施方式的一种多视点视频编码中的视差矢量的导出方式，具体是按照以下步骤获得的：

步骤一、选择当前预测单元PU相邻的左边、左上、上边和右上和左下的已经编码的区域作为5个候选区域，分别记作a1、b2、b1、b0和a0，如图7所示，区域的大小具体分别取左边为R×W，上边为R×H，右边为R×W；其中W和H为当前预测块PU的宽和高；R为区域系数，初始值取1，R_M本实施方案取为4；相邻区域的大小根据当前预测块PU的宽和高的不同而不同。

步骤二、将候选区域划分为4×4大小的若干个单元；

步骤三、在这5个候选区域中，按照左边a1、上边b1、左上b2、右上b0、左下a0的顺序，一个一个进行如下判断：判断当前候选区域的这些4×4单元中的是否有可以使用的视差矢量，如果有，则将所有视差矢量按照公式(1.1)进行均值计算得到的视差矢量，作为当前块的局部视差矢量，并停止寻找；

式中Ω_R表示在给定R下的候选区域中所有DV的集合，N_R表示Ω_R这个集合的大小。优选地，在具体实施的过程中，为了方便硬件的设计，固定最大操作数，当前区域N_R的最大数目取256，如果超过256，则停止寻找按照256计算。

步骤四、若当前候选区域所有4×4单元没有可以使用的视差矢量，则考察下一个候选区域；

步骤五、若当前R下所有的候选区域都没有可以使用的视差矢量，扩大区域系数R，即将区域系数增加1，得到新的候选区域；

步骤六、循环步骤三、四、五，直到导出当前块的视差矢量或者相邻区域系数达到最大值R_M＝4停止。

本实施方式效果：

本实施方式利用导出的视差矢量定位到当前块在视间参考帧中的对应块，根据对应块的运动矢量来预测当前块的运动矢量。并且当当前块的邻近块都不是视差补偿预测的块时；利用导出的视差矢量作为视差补偿预测过程中的视差矢量的预测。因此将导出的当前预测块的局部视差矢量作为视间参考帧对应的视差信息，可以用于视间运动预测、视差补偿预测或任何其他需要为当前块在参考视点中定位到对应块的工具；使得本实施方式在没有增加多视点视频编码时间的基础上，在低延迟配置条件下提升了多视点视频编码视点1.99％的BD-rate值，提升了合成视点的1.32％的BD-rate值。

具体实施方式二：

本实施方式的一种多视点视频编码中的视差矢量的导出方式，具体是按照以下步骤获得的：

步骤一、选择当前预测单元PU相邻的左边、左上、上边和右上和左下的已经编码的区域作为5个候选区域，分别记作a1、b2、b1、b0和a0，如图7所示，区域的大小具体分别取左边为R×W，上边为R×H，右边为R×W；其中W和H为当前预测块PU的宽和高；R为区域系数，初始值取1，R_M本实施方案取为4；相邻区域的大小根据当前预测块PU的宽和高的不同而不同。

步骤二、将候选区域划分为4×4大小的若干个单元；

步骤三、在这5个候选区域中，按照左边a1、上边b1、右上b0、左下a0、左上b2的顺序，一个一个进行如下判断：判断当前候选区域的这些4×4单元中的是否有可以使用的视差矢量，如果有，则将所有视差矢量按照具体实施方式一中的公式(1.1)进行均值计算得到的视差矢量，作为当前块的局部视差矢量，并停止寻找；

步骤四、若当前候选区域所有4×4单元没有可以使用的视差矢量，则考察下一个候选区域；

步骤五、若当前R下所有的候选区域都没有可以使用的视差矢量，扩大区域系数R，即将区域系数增加1，得到新的候选区域；

步骤六、循环步骤三、四、五，直到导出当前块的视差矢量或者相邻区域系数达到最大值R_M＝4停止。

本实施方式效果：

本实施方式与具体实施方式一相同，将导出的当前预测块的局部视差矢量作为视间参考帧对应的视差信息，可以用于视间运动预测、视差补偿预测或任何其他需要为当前块在参考视点中定位到对应块的工具；使得本实施方式在没有增加多视点视频编码时间的基础上，在低延迟配置条件下提升了多视点视频编码视点1.96％的BD-rate值，提升了合成视点的1.23％的BD-rate值。

具体实施方式三：

本实施方式的一种多视点视频编码中的视差矢量的导出方式，具体是按照以下步骤获得的：

步骤一、选择当前预测单元PU相邻的左边、左上、上边和右上和左下的已经编码的区域作为5个候选区域，分别记作a1、b2、b1、b0和a0，如图7所示，区域的大小具体分别取左边为R×W，上边为R×H，右边为R×W；其中W和H为当前预测块PU的宽和高；R为区域系数，初始值取1，R_M本实施方案取为4；相邻区域的大小根据当前预测块PU的宽和高的不同而不同。

步骤二、将候选区域划分为4×4大小的若干个单元；

步骤三、在这5个候选区域中，按照左边a1、上边b1、左上b2、左下a0、右上b0的顺序，一个一个进行如下判断：判断当前候选区域的这些4×4单元中的是否有可以使用的视差矢量，如果有，则将所有视差矢量按照具体实施方式一中的公式(1.1)进行均值计算得到的视差矢量，作为当前块的局部视差矢量，并停止寻找；

步骤四、若当前候选区域所有4×4单元没有可以使用的视差矢量，则考察下一个候选区域；

步骤五、若当前R下所有的候选区域都没有可以使用的视差矢量，扩大区域系数R，即将区域系数增加1，得到新的候选区域；

步骤六、循环步骤三、四、五，直到导出当前块的视差矢量或者相邻区域系数达到最大值R_M＝4停止。

本实施方式效果：

本实施方式与具体实施方式一相同，将导出的当前预测块的局部视差矢量作为视间参考帧对应的视差信息，可以用于视间运动预测、视差补偿预测或任何其他需要为当前块在参考视点中定位到对应块的工具；使得本实施方式在没有增加多视点视频编码时间的基础上，在低延迟配置条件下提升了多视点视频编码视点2.01％的BD-rate值，提升了合成视点的1.28％的BD-rate值。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。