使用缩放因数的再取样的制作方法
【技术领域】
[0001]本发明涉及视频译码及压缩的领域。具体来说，本发明涉及可缩放视频译码(SVC)，包含用于高级视频译码(AVC)的SVC以及用于高效率视频译码(HEVC)的SVC(其还被称作可缩放HEVC (SHVC))。本发明也涉及3D视频译码，例如HEVC的多视图扩展(被称作MV-HEVC)。各种实施例涉及用于确定再取样过程中使用的舍入偏移的系统及方法。
【背景技术】
[0002]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些视频译码技术。视频装置可通过实施此类视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
[0003]视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，所述视频块还可被称作树块(treeblock)、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
[0004]空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
【发明内容】
[0005]—般来说，本发明所描述技术涉及可缩放视频译码(SVC) ο下文所描述的各种技术提供用于确定再取样过程中使用的舍入偏移的方法及装置。
[0006]—种根据某些方面的用于译码视频信息的设备包含存储器及处理器。所述存储器单元经配置以存储与参考层图片及增强层图片相关联的视频信息。所述处理器经配置以:存储与参考层图片及增强层图片相关联的视频信息；接收指示在第一方向上的所述参考层图片与所述增强层图片之间的缩放比例的缩放因数；使用所述缩放因数确定舍入偏移值而无需执行除法运算；及使用所述缩放因数及所述舍入偏移值确定对应于位于所述增强层图片中的第二样本的位于所述参考层图片中的第一样本在所述第一方向上的坐标。
[0007]在附图及以下描述中阐述一或多个实例的细节，其并不希望限制本文中所描述的本发明性概念的完整范围。其它特征、目标及优势将从描述及附图且从权利要求书中显而易见。
【附图说明】
[0008]贯穿各图式，参考标号可再使用以指示所参考元件之间的对应关系。提供图式以说明本文中所描述的实例实施例，且并不希望限制本发明的范围。
[0009]图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。
[0010]图2A为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0011]图2B为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0012]图3A为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0013]图3B为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0014]图4为说明根据本发明的方面的确定再取样过程中使用的舍入偏移的实例的框图。
[0015]图5为说明根据本发明的方面的用于确定再取样过程中使用的舍入偏移的方法的一个实施例的流程图。
[0016]图6为说明根据本发明的方面的用于确定再取样过程中使用的舍入偏移的方法的另一实施例的流程图。
【具体实施方式】
[0017]本发明中描述的技术一般来说涉及可缩放视频译码(SHVC、SVC)及多视图/3D视频译码(例如，多视图译码加深度，MVC+D) ο举例来说，技术可与高效率视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)扩展相关，且与其一起或在其内使用。在SHVC、SVC扩展中，可存在多个视频信息层。在最底部层级处的层可充当基础层(BL)，且在最顶部处的层(或最高层)可充当增强层(EL)。“增强层(enhanced layer) ”有时被称作“增强层(enhancement layer) ”，且这些术语可互换地使用。基础层有时被称作“参考层”(RL)，且这些术语也可互换地使用。基础层与顶层之间的所有层可充当EL或参考层(RL)中的任一者或两者。举例来说，中部层可为在其下方的层(例如，基础层或任何介入增强层)的EL，且同时充当在其上方的增强层的RL。基础层与顶层(或最高层)之间的每一层可用作较高层进行层间预测的参考，且可使用较低层作为用于层间预测的参考。
[0018]为简单起见，根据仅两个层来呈现实例:BL及EL ;然而，应很好地理解，下文描述的构想及实施例还适用于具有多个层的情况。另外，为易于解释，常常使用术语“帧”或“块”。然而，这些术语不希望具有限制性。举例来说，下文所描述的技术可与多种视频单元中的任一者一起使用，包含(但不限于)像素、块(例如，CU、PU、TU、宏块等)、切片、帧、图片等。
[0019]视频译码
[0020]视频译码标准包含ITU-T H.261、IS0/IEC MPEG-1 视觉、ITU-T H.262 或 ISO/IEC MPEG-2 视觉、ITU-T H.263、IS0/IEC MPEG-4 视觉及 ITU-T H.264 (也被称作 IS0/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)及多视图译码加深度(MVC+D)扩展。最新HEVC草案规范(且在下文中被称作HEVC WDI O)可自http://phenix.1nt-evry.fr/jet/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003-v34.zip 获得。对HEVC的多视图扩展(即，MV-HEVC)也由JCT-3V开发。下文中的MV-HEVC WD3的最近工作草案(WD)可自 http://phenix.1t-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wgll/JCT3V-C1004-v4.zip 获得。对 HEVC 的可缩放扩展(称为 SHVC)也由 JCT-VC开发。SHVC的最近工作草案(WD)(且在下文中被称作SHVC WD2)可自http://phenix.1nt-evry.fr/jet/doc_end_user/documents/13_Incheon/wglI/JCTVC-M1008-vl.zip 获得。
[0021]在SVC、SHVC中，视频信息可提供为多个层。在最底部层级处的层可刚好充当基础层(BL)，且在最顶部层级处的层可充当增强层(EL)。顶部层与底部层之间的所有层可充当增强层及基础层两者。举例来说，中部层可为在其下方的层的EL，且同时作为在其上方的层的BL。为简单描述起见，我们可在说明下文所描述的技术时假定存在两个层，BL及EL。然而，本文中所描述的所有技术还适用于具有多个(两个以上)层的情况。
[0022]可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以在第一质量水平下显示视频的视频信息，且增强层包含相对于参考层的额外视频信息，使得参考层及增强层一起包含足以在高于第一水平的第二质量水平(例如，较少噪音、较大分辨率、较好帧速率等)下显示视频的视频信息。增强层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比在垂直及水平方向上可为1.0,1.5,2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，EL的空间分辨率大于BL的空间分辨率可为可能的(但并非限制)。
[0023]在SVC (其是指H.264的SVC扩展或H.265的SHVC扩展(如上文所论述))中，可使用针对SVC提供的不同层执行当前块预测。此预测可被称为层间预测。可在SVC中利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的共置块的重建构来预测增强层中的当前块。层间运动预测使用基础层的运动信息(包含运动向量)来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。
[0024]
[0025]在SHVC中，如果参考层图片大小不同于增强层图片大小，则可将再取样(或上取样)过程应用于参考层图片以匹配增强层图片的大小以用于层间预测。为对参考层图片再取样，可将N分接头再取样滤波器应用于每一颜色分量。在滤波过程中，可将参考层图片的样本(或像素)量值乘以滤波器系数并求和。由于参考层图片的大小及增强层图片的大小不同，因此可定义滤波过程中涉及的参考层样本的坐标。举例来说，可确定对应于当前增强层图片的样本位置的参考层图片的样本位置，使得由参考层图片的样本位置指示的样本可用于再取样过程。
[0026]在再取样过程期间，可应用额外舍入偏移。可在确定待再取样的参考层图片的样本位置时添加舍入偏移。举例来说，可在垂直方向上应用额外舍入偏移addY。类似地，可在水平方向上应用额外舍入偏移addX。参考层图片的样本位置可由水平样本位置及垂直样本位置定义。可在确定用于再取样的参考层图片的水平样本位置时添加水平舍入偏移，且可在确定用于再取样的参考层图片的垂直样本位置时添加垂直舍入偏移。
[0027]在SHVC的工作草案2中，addY被计算为如下:
[0028]# addY = (((RefLayerPicHeightInSamplesL*phaseY)<<14)+(ScaledRefLayerPicHeightInSamplesL>>l))/ScaledRefLayerPicHeightInSamplesL,
[0029]其中RefLayerPicHeightlnSamplesL 指不参考层图片的高度且 ScaledRefLayerPicHeightlnSamplesL指示经缩放或经再取样参考层图片的高度。然而，使用除法运算以计算addY可代价大。因此，以更有效方式计算addY将是有利的。
[0030]为了解决这些及其它挑战，本发明中描述的技术可在无需通过使用先前所计算缩放因数执行除法运算的情况下计算用于再取样参考层图片的舍入偏移。缩放因数可包含水平缩放因数ScaleFactorX及垂直缩放因数ScaleFactorY。水平缩放因数及垂直缩放因数也可分别被称作水平缩放因数及垂直缩放因数。水平缩放因数及垂直缩放因数可分别指示水平方向上的参考层图片与增强层图片之间的缩放比例及垂直方向上的参考层图片与增强层图片之间的缩放比例。ScaleFactorX及ScaleFactorY可被计算为如下:
[0031]# ScaleFactorX = ((RefLayerPicffidthInSamplesL<<16)+(ScaledRefLayerPicWidthInSamplesL>>l))/ScaledRefLayerPicffidthInSampIesL
[0032]# ScaleFactorY = ((RefLayerPicHeightInSamplesL<<16)+(ScaledRefLayerPicHeightInSamplesL>>l))/SealedRefLayerPicHeightInSampIesL,
[0033]其中RefLayerPicWidthlnSamplesL 及 RefLayerPicHeightlnSamplesL 分别指不参考层图片的宽度及高度，且 ScaledRefLayerPicWidthlnSamplesL 及 ScaledRefLayerPicHeightInSampIesL分别指示经缩放或经再取样参考层图片的宽度及高度。
[0034]由于缩放因数的计算类似于舍入偏移的计算，因此技术可在计算舍入偏移时利用缩放因数。如上文所解释，可存在用于水平方向的舍入偏移及用于垂直方向的舍入偏移。在一个实施例中，addY及addX可被计算为如下:
[0035]# addY = (SealeFactorY*phaseY+offset)>>2,
[0036]# addX = (SealeFactorX*phaseX+offset)>>2,
[0037]其中偏移可为一些数目(例如，0、1、2等)。
[0038]—般来说，当计算舍入偏移时缩放因数可用，且因此，可基于缩放因数计算舍入偏移而无需执行除法运算。由于除法运算代价大，因此可通过排除除法运算更有效地计算舍入偏移。结果，也可更有效地执行译码过程。
[0039]在下文中参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式体现，且不应将其理解为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面使得本发明将为透彻且完整的，且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各个方面之外或除了所述方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。
[0040]尽管本文中描述了特定方面，但这些方面的许多变化及排列属于本发明的范围。尽管提到优选方面的一些益处及优势，但本发明的范围并不希望限于特定益处、用途或目标。实际上，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的一些是作为实例而在图中及优选方面的以下描述中说明。详细描述及图式仅仅说明本发明，而不是限制由所附权利要求书及其等效物定义的本发明的范围。
[0041 ] 视频译码系统
[0042]图1为说明可利用根据本发明中描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般指视频编码及视频解码。
[0043]如图1中所展示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。目的地装置14可解码由源装置12产生的经编码视频数据。源装置12可经由通信信道16 (其可包含计算机可读存储媒体或其它通信信道)将视频数据提供到目的地装置14。源装置12及目的地装置14可包含广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话、所谓的“智能”板)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式传输装置或其类似者。源装置12及目的地装置14可经装备以用于无线通信。
[0044]目的地装置14可经由通信信道16接收待解码的经编码视频数据。通信信道16可包括能够将经编码