三维视频编码中子预测单元运动信息继承方法
【专利摘要】本发明揭露一种深度区块编码方法及其装置，用于三维视频编码。本发明实施例将深度区块划分为多个深度子区块并且决定缺省运动参数。对于每个深度子区块，决定同位纹理区块的运动参数，其中该同位纹理区块覆盖该深度子区块的中心采样。如果该运动参数可用，则分配该运动参数作为该深度子区块的继承运动参数。如果该运动参数不可用，则分配该缺省运动参数作为该深度子区块的继承运动参数。接着使用该继承运动参数或运动候选，编码或解码该深度子区块，其中该运动候选从包含该继承运动参数的运动候选集合中选出。该深度区块可对应深度预测单元并且该深度子区块对应深度子预测单元。
【专利说明】
三维视频编码中子预测单元运动信息继承方法[0001 ]交叉引用[0002]本发明要求如下优先权:编号为PCT/CN2014/071576,申请日为2014年1月27日，名 称为“Methods for Mot1n Parameter Hole Filling”的PCT专利申请。上述PCT专利申请 在此一并作为参考。
技术领域
[0003]本发明涉及一种三维视频编码技术。特别地，本发明涉及一种三维视频编码中使用从纹理图像(texture picture)中继承的运动信息的深度编码技术。【背景技术】
[0004]近期，三维电视已经成为一种技术趋势以给观者带来震撼的观影体验。已经发展出了多种技术以支持三维观影。其中，多视图视频是三维电视应用中的关键技术。传统视频是仅给用户提供来自摄像机视角的单一场景视图的二维媒介。然而，多视图视频能提供动态场景的任意视点并且给用户带来真实的视觉感受。三维视频格式也包含与相应纹理图像相关联的深度图(depth map)。也必须编码深度图以显示三维视图或多视图。
[0005]本领域已经揭露了提升三维视频编码的编码效率的多种技术。也存在使编码技术标准化的开发活动。例如，国际标准组织(Internat1nal Organizat1n for Standardizat1n，ISO)中的一个工作组IS0/IEC JTC1/SC29/WG11正在开发基于三维视频编码标准的高效率视频编码(称为3D-HEVC)。在3D-HEVC中，已经开发出了称为运动参数继承(Mot1n Parameter Inheritance，MPI)的技术(例如，Gerhard Tech等，“3D-HEVC Draft Text 2”，ITU-T SG 16 WP 3以及IS0/IEC JTC 1/SC 29/WG 11 的关于3D视频编码扩展开发的联合协作组，第6次会议:瑞士日内瓦，2013年10月25至11月1日，文件:JCT3V-F1001)以允许深度图继承纹理图像的运动信息。MPI模式后的基本概念是既然视频信号以及其关联深度图对应相同时间相同视点处的相同场景预测，因此视频信号以及其关联深度图的运动特征应该是相似的。为了深度图数据的有效编码，使用MPI模式允许深度图数据继承相应视频信号的编码单元(Coding Unit，⑶)、预测单元(Predict1n Unit，PU)划分以及相应运动参数。根据HEVC的视频信号的运动矢量使用四分之一采样精确度(quarter-sample accuracy)。另一方面，深度图的运动矢量使用全采样精确度(full-sample accuracy)。因此，在继承过程中，将视频信号的运动矢量量化至最接近全采样位置，其可通过右移两位 (right-shift-by-2)操作来实现。对于深度图的每个区块，自适应决定是否从视频信号继承运动信息或使用其自身运动信息。
[0006]可在深度图的分层编码树区块的任意层使用MPI模式。如果在深度图编码树的较高层指示MPI模式，则与视频信号的相应运动数据一样，本较高层单元的深度图数据可继承 CU/PU细分。在3D视频编码扩展的联合协作组的最近开发中，已经揭露了子预测单元(sub-Predict1n Unit，sub_PU)层MPI(例如，Ying Chen等，“CE2:Sub_PU based MPI”，ITU_T SG 16 WP 3以及IS0/IEC JTC 1/SC 29/WG 11的关于3D视频编码扩展开发的联合协作组，第7次会议:美国圣何塞，2014年I月11日至17日，文件:JCT3V-G0119)。根据sub_PU层MPI合并候选，对于当前深度HJ的每个sub-PU，为当前sub-PU继承(具有右移两位的运动矢量)覆盖当前sub-PU中间位置的同位纹理区块的运动参数。
[0007]如上所示，sub-PU MPI从相同存取单元中同位纹理区块(参考区块)的运动参数中获取每个sub-PU的运动参数。在sub-PU MPI进程期间，存储并更新一个临时运动参数集合。对于每个sub-PU，如果用于当前sub-PU的参考区块的运动参数可用，则使用参考区块的运动参数更新临时运动参数。否则，如果参考区块不具有可用运动参数，则将临时运动参数复制至当前sub-ro。本进程称为运动参数孔洞填充进程(mot1n parameter hole fillingprocess)。
[0008]当相应参考区块不具有可用运动参数(运动孔洞)时，当前sub-PU的运动孔洞填充进程为sub-PU使用临时运动参数。图1是根据现存方法描述的运动孔洞填充示例。在本示例中，将当前深度PU(IlO)分割为16个sub-PU。对于每个sub-PU，如果存在同位纹理区块的运动参数，则继承覆盖每个sub-PU中间位置的同位纹理区块(120)的运动参数。如果同位纹理区块的运动参数不可用，则同位纹理区块具有运动孔洞(mot1n hole)。在同位区块中存在两个运动孔洞(深色填充的区块2与区块12)。如果如参考130所示按照光栅扫描顺序处理sub-PU，则可通过运动孔洞前最后可用MPI填充该运动孔洞。因此，可使用sub-PU I的运动参数填充sub-PU 2的运动参数，并且可使用sub-PU 11的运动参数填充sub-PU 12的运动参数。如图1所示，为了填充运动孔洞，sub-PU运动孔洞填充进程需要识别运动孔洞之前具有可用运动参数的最后sub-PU位置。因此，用于填充运动孔洞的运动参数取决于sub-PU处理顺序，其并不支持并行处理。
【发明内容】
[0009]本发明揭露一种深度区块编码方法及其装置，用于三维视频编码。本发明实施例将深度区块划分为多个深度子区块并且决定缺省运动参数。对于每个深度子区块，决定同位纹理区块的运动参数，其中该同位纹理区块覆盖该深度子区块的中心采样。如果该运动参数可用，则分配该运动参数作为该深度子区块的继承运动参数。如果该运动参数不可用，则分配该缺省运动参数作为该深度子区块的继承运动参数。接着使用该继承运动参数或运动候选，编码或解码该深度子区块，其中该运动候选从包含该继承运动参数的运动候选集合中选出。该深度区块可对应深度预测单元并且该深度子区块对应深度子预测单元。该当前深度子区块的中心采样对应该当前深度子区块的右下象限并且紧邻该当前深度组区块中心点的深度米样。
[0010]可基于与同位纹理区块相关联的该运动参数决定该缺省运动参数，其中该同位纹理区块覆盖该多个深度子区块的所选深度子区块。例如，该多个深度子区块的该所选深度子区块对应该多个深度子区块的中心深度子区块，其中该中心深度子区块位于该深度区块的该中心点的左下位置。该多个深度子区块的该所选深度子区块也可对应该多个深度子区块的中心深度子区块，其中该中心深度子区块位于该深度区块的该中心点的左下、左上或右上位置。如果该缺省运动参数与覆盖该当前深度子区块的该中心采样的该同位纹理区块的该运动参数不可用，则将该当前深度子区块的该继承运动参数设定为不可用。
[0011]使用该缺省运动参数作为3D-HEVC中删减其他合并候选的代表运动参数。此外，如果深度子区块尺寸小于阈值，则禁能该运动候选集合删减步骤。【附图说明】
[0012]图1是基于高效率视频编码的根据现存三维视频编码描述的运动孔洞填充进程示例；
[0013]图2A是根据本发明实施例描述的使用同位纹理区块的运动参数决定缺省运动参数的示例，其中该同位纹理区块与该中心子预测单元相关联，并且该中心子预测单元对应该预测单元的中心点的右下位置处的子预测单元；[〇〇14]图2B描述基于同位纹理区块的运动参数导出缺省运动参数的示例，其中上述同位纹理区块覆盖预测单元中心点右下位置处子预测单元的中心采样，其中该子预测单元的该中心采样的位置对应该子预测单元的该中心点的右下采样；
[0015]图3是根据本发明实施例描述的具有缺省运动参数用于运动孔洞填充进程的三维编码系统的示例流程图。【具体实施方式】
[0016]在传统3D-HEVC中，运动孔洞的运动参数继承(MPI)孔洞填充进程依赖于运动孔洞之前的最后可用MPI。因此，运动孔洞的运动参数取决于sub-PU的处理顺序，其并不支持并行处理。为了克服上述问题，本发明实施例使用运动孔洞填充的缺省运动参数(default mot1n parameter)，从而使得并行处理每个sub-PU的运动预测。此外，删减运动候选无需等待所有sub-PU决定继承运动参数。因此，对于当前PU的每个sub-PU，如果其相应参考区块不包含可用运动参数，则为sub-PU使用缺省运动参数。与PU或sub-PU相关联的运动信息包含一个或多个运动矢量、参考图像指标、参考图像列表等。与PU或sub-PU相关联的运动信息在本发明中称为运动参数。
[0017]根据与所选深度sub-PU相关联的同位纹理参考区块(co-located texture reference block)的运动参数，决定缺省运动参数。此外，同位纹理参考区块对应覆盖所选深度sub-PU的中心采样的参考区块。所选深度sub-PU对应深度PU中的任意sub-PU。然而，优选的是在PU的中心选择深度sub-PU。例如，如图2A所示，中心sub-PU对应PU( 230)的中心点 (210)的右下位置(220)处的sub-PU。然而，也可选择其他中心深度sub-PU。例如，PU的中心 sub-PU对应中心点(210)左下、右上或左上处的子区块。换句话说，中心sub-PU对应各自象限的sub-PU并且紧邻当前PU的中心点(210)。虽然使用预测单元(PU)作为区块结构的示例， 但也可使用其他区块结构(例如编码单元或宏区块)。
[0018]接下来揭示决定缺省运动参数的示例。如果覆盖深度中心的同位纹理区块具有可用运动参数，则使用可用运动参数作为缺省运动参数。例如，如果nPSW与nPSH是PU的宽度与高度，并且nSubPsW与nSubPsH是sub-PU的宽度与高度，则根据下列方程式决定中心像素 (xc,yc):
[0019]xc = (nPSW/nSubPsW/2)*nSubPsW+nSubPsW/2，以及(1)
[0020]yc=(nPSH/nSubPsH/2)*nSubPsH+nSubPsH/2)。(2)[〇〇21]图2B描述基于同位纹理区块的运动参数导出缺省运动参数的示例，其中上述同位纹理区块覆盖PU中心点右下位置处sub-PU的中心采样。根据方程式(1)与(2)，决定PU中心点(210)右下位置(220)处sub-PU的中心采样(240)的位置。在图2B示例中，nPSW/nSubPsW与nPSH/nSubPsH 皆等于 4。
[0022I 如果覆盖中心像素的纹理区块不具有可用运动参数，则终止sub-PU MPI进程。
[0023]在另一实施例中，运动孔洞填充进程取决于PU尺寸或CU尺寸。例如，仅当PU或CU尺寸等于或大于阈值时，执行运动孔洞填充进程。如果PU或⑶尺寸小于阈值，则终止运动孔洞填充进程。
[0024]继承运动参数可用于编码或解码深度sub-Pu。也可随着sub-PU候选集合的其他运动候选，将继承运动参数用作运动候选。通常，当增加新候选时，会将删减进程应用于候选集合。可选择最终运动候选。最终候选可用于解码或编码深度sub-PU。也可使用最终候选作为预测器以编码或解码与深度sub-PU相关的运动信息。例如，可使用最终候选作为合并候选(Merge candidate)以编码深度sub-PU的运动矢量。
[0025]本发明实施例的运动参数继承的性能可与对应JCT3V-G0119的原始系统性能做比较。基于不同组测试数据执行性能比较。本发明实施例在BD-rate方面取得轻微改善。其中BD-rate是视频压缩领域常用的性能测量值。
[0026]图3是根据本发明实施例描述的具有运动信息继承的三维编码系统中处理深度区块的示例流程图。如步骤310所示，系统接收与深度图的当前深度区块相关联的输入数据。在编码器侧，输入数据对应待编码的深度区块。在解码器侧，输入数据对应待解码的已编码深度数据。可从存储器(例如，计算机存储器、类似RAM或DRAM的缓冲器)或其他介质获取输入数据。也可从处理器接收输入数据，例如，控制器、中央处理单元、数字信号处理器或源于输入数据的电路。如步骤320所示，可将当前深度区块划分为多个深度子区块(sub-block)，并且如步骤330所示，决定缺省运动参数。在编码器侧，编码器决定如何将区块分割为子区块。与区块划分相关联的信息必须在比特流中，从而使得解码器可正确划分区块。或者，可预定义或隐含决定上述区块划分，从而使得无需在比特流中传输划分信息。如步骤340所示，决定与第一同位纹理区块相关联的第一运动参数，其中上述第一同位纹理区块覆盖当前深度子区块的中心采样。既然在深度数据之前编码相同存取单元中的纹理数据，所以也应处理与相应纹理区块相关联的运动参数。在步骤350，决定第一运动参数是否可用。如果结果是“是”，则执行步骤360 ο如果结果是“否”，则执行步骤370 ο在步骤360，可分配第一运动参数作为当前深度子区块的继承运动参数。在步骤370，可分配缺省运动参数作为当前深度子区块的继承运动参数。接着，如步骤380所示，使用继承运动参数或运动候选，编码或解码当前深度子区块，其中上述运动候选是从包含继承运动参数的运动候选集合中选出的。在步骤390，检查是否已经处理了所有深度子区块。如果结果是“是”，则终止深度区块进程。如果结果是“否”，则进程进入步骤340以处理另一深度子区块。
[0027]上述流程图是根据本发明实施例描述的运动参数继承示例。本领域技术人员可在不脱离本发明精神的情况下修改每个步骤、重排步骤、分割步骤或组合步骤以实施本发明。
[0028]呈现上述描述以允许本领域技术人员根据特定应用以及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。然而，本领域技术人员可以理解本发明是可实施的。
[0029]上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital Signal Processor，DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
[0030]在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。
【主权项】
1.一种深度区块编码方法，用于三维视频编码，所述深度区块编码方法包含:接收与深度图的当前深度区块相关联的输入数据；将该当前深度区块划分为多个深度子区块；决定缺省运动参数；对于当前深度子区块:决定与第一同位纹理区块相关联的第一运动参数，其中该第一同位纹理区块覆盖该当 前深度子区块的中心采样；如果该第一运动参数可用，则分配该第一运动参数作为该当前深度子区块的继承运动 参数；如果该第一运动参数不可用，则分配该缺省运动参数作为该当前深度子区块的该继承 运动参数；以及使用该继承运动参数或运动候选，编码或解码该当前深度子区块，其中该运动候选从 包含该继承运动参数的运动候选集合中选出。2.如权利要求1所述的方法，其特征在于，该当前深度区块对应深度预测单元，以及该 当前深度子区块对应深度子预测单元。3.如权利要求1所述的方法，其特征在于，决定该缺省运动参数的步骤对应基于与同位 纹理区块相关联的第二运动参数识别该缺省运动参数，其中该同位纹理区块覆盖该多个深 度子区块的所选深度子区块。4.如权利要求3所述的方法，其特征在于，该多个深度子区块的该所选深度子区块对应 该多个深度子区块的中心深度子区块，其中该中心深度子区块位于该当前深度区块的右下 象限并且紧邻该当前深度区块的中心点。5.如权利要求3所述的方法，其特征在于，如果该缺省运动参数与该第一运动参数皆是 不可用的，则将该当前深度子区块的该继承运动参数设定为不可用的。6.如权利要求3所述的方法，其特征在于，该多个深度子区块的该所选深度子区块对应 该多个深度子区块的中心深度子区块，其中该中心深度子区块位于该当前深度区块的左 下、右上或左上象限并且紧邻该当前深度区块的中心点。7.如权利要求1所述的方法，其特征在于，该编码或解码该当前深度子区块的步骤包 含:删减包括该继承运动参数的该运动候选集合。8.如权利要求7所述的方法，其特征在于，当当前深度子区块尺寸小于阈值尺寸时，禁 能该删减该运动候选集合的步骤。9.如权利要求1所述的方法，其特征在于，该当前深度子区块的该中心采样对应该当前 深度子区块的右下象限并且紧邻该当前深度子区块的中心点。10.—种深度区块编码装置，位于三维视频编码系统中，所述深度区块编码装置包含配 置执行下列方法的一个或多个电路:接收与深度图的当前深度区块相关联的输入数据；将该当前深度区块划分为多个深度子区块；决定缺省运动参数；对于当前深度子区块:决定与第一同位纹理区块相关联的第一运动参数，其中该第一同位纹理区块覆盖该当前深度子区块的中心采样； 如果该第一运动参数可用，则分配该第一运动参数作为该当前深度子区块的继承运动参数； 如果该第一运动参数不可用，则分配该缺省运动参数作为该当前深度子区块的该继承运动参数；以及 使用该继承运动参数或运动候选，编码或解码该当前深度子区块，其中该运动候选从包含该继承运动参数的运动候选集合中选出。11.如权利要求10所述的装置，其特征在于，该当前深度区块对应深度预测单元，以及该当前深度子区块对应深度子预测单元。12.如权利要求10所述的装置，其特征在于，决定该缺省运动参数的步骤对应基于与同位纹理区块相关联的第二运动参数识别该缺省运动参数，其中该同位纹理区块覆盖该多个深度子区块的所选深度子区块。13.如权利要求12所述的装置，其特征在于，该多个深度子区块的该所选深度子区块对应该多个深度子区块的中心深度子区块，其中该中心深度子区块位于该当前深度区块的右下象限并且紧邻该当前深度区块的中心点。14.如权利要求12所述的装置，其特征在于，如果该缺省运动参数与该第一运动参数皆是不可用的，则将该当前深度子区块的该继承运动参数设定为不可用的。15.如权利要求12所述的装置，其特征在于，该多个深度子区块的该所选深度子区块对应该多个深度子区块的中心深度子区块，其中该中心深度子区块位于该当前深度区块的左下、右上或左上象限并且紧邻该当前深度区块的中心点。16.如权利要求10所述的装置，其特征在于，删减该运动候选集合。17.如权利要求16所述的装置，其特征在于，当当前深度子区块尺寸小于阈值尺寸时，禁能该删减该运动候选集合的步骤。18.如权利要求10所述的装置，其特征在于，该当前深度子区块的该中心采样对应该当前深度子区块的右下象限并且紧邻该当前深度子区块的中心点。
【文档编号】H04N19/513GK106031169SQ201580005852
【公开日】2016年10月12日
【申请日】2015年1月27日
【发明人】安基程, 张凯, 林建良
【申请人】寰发股份有限公司