对编码单位的变换单位编码和解码的方法、设备和系统的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年9月28日提交的澳大利亚专利申请2012232992的优先权，其 如同在此进行了充分陈述而通过引用全部包括于此。
技术领域
[0003] 本发明通常涉及数字视频信号处理，尤其涉及用于对变换单位（TU)的残差系数 进行编码和解码的方法、设备和系统，其中该变换单位（TU)包括一个或多个变换单位（TU) 并且可以是针对包括4:2:2色度格式的多个色度格式所配置的。
【背景技术】
[0004] 当前存在包括用于传输和存储视频数据的应用程序的许多视频编码用的应用程 序。还开发了许多视频编码标准并且其它视频编码标准当前正在开发中。视频编码标准化 的最新进展已导致形成被称为"视频编码联合小组"（JCT_VC)的组。该视频编码联合小组 (JCT-VC)包括：已知为视频编码专家组（VCEG)的国际电信联盟（ITU)的电信标准化部门 (ITU-T)的研宄组16、问题6(SG16/Q6)的成员；以及还已知为运动图片专家组（MPEG)的 国际标准化组织/国际电工委员会联合技术委员会1/小组委员会29/工作组11 (ISO/IEC JTC1/SC29/WG11)的成员。
[0005] 视频编码联合小组（JCT-VC)的目标是产生新的视频编码标准以显著优于目前现 有的已知为"H. 264/MPEG-4AVC"的视频编码标准。该H. 264/MPEG-4AVC标准本身是针对诸 如MPEG-4和ITU-T H. 263等的以前的视频编码标准的大幅改进。已将开发中的新视频编 码标准命名为"高效率视频编码（HEVC)"。视频编码联合小组JCT-VC还考虑由于针对高效 率视频编码01EVC)所提出的技术而产生的、在对该标准的实现进行缩放从而以高分辨率 实时或以高帧频进行工作的情况下产生困难的实现挑战。一个实现挑战是用于支持使视频 数据在频域和空间域之间进行变换所用的多个"变换"大小的逻辑的复杂度和大小。
【发明内容】
[0006] 本发明的目的是大致克服或至少改进现有配置的一个或多个缺点。
[0007] 根据本发明的一个方面，提供一种用于从视频位流解码包含色度残差系数的变换 单位的方法，所述变换单位包含与一个色度通道相关联的至少一个色度残差系数阵列，所 述方法包括以下步骤：
[0008] 确定所述变换单位的大小，其中所述大小与所述变换单位在相应的编码单位中的 层级有关；
[0009] 根据所确定出的大小来识别对所述至少一个色度残差系数阵列进行变换所使用 的最大数量的逆变换；
[0010] 针对所述变换单位的色度通道，使用所识别出的最大数量的变换来从所述视频位 流解码所述至少一个色度残差系数阵列；
[0011] 针对解码后的色度残差系数阵列选择逆变换，其中所述逆变换是从逆变换的预定 集合中所选择的；以及
[0012] 将所选择的逆变换应用于各个色度残差系数阵列，以针对所述变换单位的色度通 道来解码色度残差样本。
[0013] 根据本发明的另一方面，提供一种用于将包含与一个色度通道相关联的色度残差 样本的变换单位编码在视频位流中的方法，所述变换单位包含至少一个色度残差样本阵 列，所述方法包括以下步骤：
[0014] 确定所述变换单位的大小，其中所述大小与所述变换单位在相应的编码单位中的 层级有关；
[0015] 根据所确定出的大小来识别对所述至少一个色度残差样本阵列进行变换所使用 的最大数量的预定正变换；
[0016] 针对所述色度残差样本阵列选择正变换，其中所述正变换是从正变换的预定集合 中所选择的；
[0017] 将所选择的正变换应用于各个所述色度残差样本阵列，以针对所述变换单位的色 度通道将所述色度残差样本阵列中的至少一个转换成相应的色度残差系数阵列；以及
[0018] 针对所述变换单位的色度通道来对所述色度残差系数阵列进行编码。
[0019] 优选地，变换的最大数量为1或2。期望地，所述数量为2,并且按4:2:2色度格式 应用于所述变换单位的大小为32X 16的色度区域。
[0020] 有利地，变换的数量是从1、2和4的集合中所选择的。在一个特定实现中，所述数 量为4,并且按4:4:4色度格式应用于所述变换单位的大小为32X32的色度区域。
[0021] 优选地，应用一次扫描来覆盖所识别出的数量的变换。期望地，所识别出的数量的 变换的系数交错。
[0022] 在一个实现中，使用4X4的子块扫描模式来扫描大小为4X8的变换单位。
[0023] 在另一实现中，所应用的变换的数量是至少使用编码块标志所确定的。期望地，所 应用的变换的数量是使用所识别出的变换的最大数量和针对各变换的编码块标志值所确 定的。
[0024] 根据本发明的另一方面，提供一种用于从视频位流解码包含色度残差样本的变换 单位的方法，所述变换单位包含4:2:2色度格式的与一个色度通道相关联的至少一个色度 残差系数阵列，所述方法包括以下步骤：
[0025] 根据存在于所述视频位流中的分割变换标志来确定所述变换单位在编码单位内 的层级，其中编码单位大小在最小编码单位~最大编码单位的范围内；
[0026] 针对所述一个色度通道确定所述变换单位的变换大小，其中所述变换大小与所确 定出的所述变换单位的层级和所述编码单位大小有关；
[0027] 针对所述变换单位的一个色度通道来从所述视频位流确定多个编码块标志值，其 中所述变换单位针对一个颜色通道具有多个色度残差系数阵列，并且所述多个编码块标志 值的各编码块标志值与所述多个色度残差系数阵列中的一个色度残差系数阵列相对应；
[0028] 根据所述多个编码块标志值中的相应编码块标志值来从所述视频位流解码所述 多个色度残差系数阵列中的各色度残差系数阵列；
[0029] 针对解码后的色度残差系数阵列选择正方形逆变换，其中所述正方形逆变换是根 据所确定出的变换大小而从正方形逆变换的预定集合中所选择的；以及
[0030] 将所选择的正方形逆变换应用于各个解码后的色度残差系数阵列，以针对所述变 换单位的色度通道产生所述色度残差样本。
[0031] 根据本发明的另一方面，提供一种用于将包含色度残差样本的变换单位编码到视 频位流的方法，所述变换单位包含4:2:2色度格式的与一个色度通道相关联的至少一个色 度残差系数阵列，所述方法包括以下步骤：
[0032] 基于所接收到的所述变换单位在编码单位内的层级来将分割变换标志编码到所 述视频位流，其中编码单位大小在最小编码单位~最大编码单位的范围内；
[0033] 针对所述一个色度通道接收所述变换单位的变换大小，其中所述变换大小与所述 变换单位的所述层级和所述编码单位大小有关；
[0034] 针对所述变换单位的一个色度通道将多个编码块标志值编码到所述视频位流，其 中所述变换单位针对一个颜色通道具有多个色度残差系数阵列，并且所述多个编码块标 志值中的各编码块标志值与所述多个色度残差系数阵列中的一个色度残差系数阵列相对 应；
[0035] 针对所述多个色度残差系数阵列选择正方形正变换，其中所述正方形正变换是根 据所接收到的变换大小而从正方形正变换的预定集合中所选择的；
[0036] 将所选择的正方形正变换应用于各个解码后的色度残差系数阵列，以针对所述变 换单位的色度通道产生所述色度残差样本；以及
[0037] 根据所述多个编码块标志值中的相应编码块标志值来将所述多个色度残差系数 阵列中的各色度残差系数阵列编码到所述视频位流。
[0038] 还公开了其它方面。
【附图说明】
[0039] 现在将参考以下附图来说明本发明的至少一个实施例，其中：
[0040] 图1是不出视频编码和解码系统的不意框图；
[0041] 图2A和2B构成可以实践图1的视频编码和解码系统的其中一个或这两者的通用 计算机系统的示意框图；
[0042] 图3是示出视频编码器的功能模块的示意框图；
[0043] 图4是示出视频解码器的功能模块的示意框图；
[0044] 图5A和5B示意性示出用于表示帧数据的色度格式；
[0045] 图6A是编码单位的示例性变换树的示意表示；
[0046] 图6B是配置在亮度样本网格上的示例性变换树的示意表示；
[0047] 图6C是配置在色度样本网格上的示例性变换树的示意表示；
[0048] 图7是表示示例性变换树的亮度通道的数据结构的示意例示；
[0049] 图8示出表示示例性变换树的色度通道的数据结构；
[0050] 图9A和9B示意性示出对示例性变换树进行编码的位流结构；
[0051] 图9C和9D示意性示出对示例性变换树进行编码的替代位流结构；
[0052] 图10是示出用于对示例性变换树进行编码的方法的示意流程图；
[0053] 图11是示出用于对示例性变换树进行解码的方法的示意流程图；以及
[0054] 图12A~12C示意性示出4X8变换单位的残差扫描模式。
【具体实施方式】
[0055] 在任一个或多个附图中参考具有相同附图标记的步骤和/或特征的情况下，除非 出现相反意图，否则这些步骤和/或特征为了本说明书的目的而具有相同的功能或操作。
[0056] 图1是示出可以利用用于对代表如下推断子分割的句法元素进行编码的技术的 视频编码和解码系统1〇〇的功能模块的示意框图，其中该推断子分割针对色度通道来将变 换单位子分割成多个变换。系统1〇〇包括源装置110和目的地装置130。通信信道120用 于从源装置110向目的地装置130通信编码视频信息。在一些情况下，源装置110和目的 地装置130分别可以包括移动电话手机，其中在这种情况下，通信信道120是无线信道。在 其它情况下，源装置110和目的地装置130可以包括视频会议设备，其中在这种情况下，通 信信道120通常是诸如因特网接线等的有线信道。此外，源装置110和目的地装置130可 以包括范围宽的任意装置，其中这些装置包括支持空中电视广播的装置、有线电视应用、因 特网视频应用并且包括在一些存储介质或文件服务器上捕获编码视频的应用。
[0057] 如图所示，源装置110包括视频源112、视频编码器114和发送器116。视频源112 通常包括诸如摄像传感器等的所拍摄视频帧数据的源、存储在非瞬态记录介质上的先前拍 摄到的视频序列、或者来自远程摄像传感器的视频提供。可以包括摄像传感器作为视频源 112的源装置110的示例包括智能电话、视频摄录机和网络视频照相机等。视频编码器114 将来自视频源112的所拍摄帧数据转换成编码视频数据并且以下将参考图3来进一步说 明。该编码视频数据通常由发送器116经由通信信道120作为编码视频信息进行发送。还 可以将该编码视频数据存储在诸如"闪速（Flash) "存储器或硬盘驱动器等的一些存储装置 中，直到随后经由通信信道120进行发送为止。
[0058] 目的地装置130包括接收器132、视频解码器134和显示装置136。接收器132从 通信信道120接收编码视频信息并将所接收到的视频数据传递至视频解码器134。然后视 频解码器134将解码后的帧数据输出至显示装置136。显示装置136的示例包括诸如智能 电话、平板计算机和计算机监视器或者单机型电视机等内的阴极射线管和液晶显示器。还 可以将源装置110和目的地装置130各自的功能嵌入单个装置中。
[0059] 尽管以上说明了示例性装置，但源装置110和目的地装置130各自通常经由硬件 组件和软件组件的组合可以配置在通用计算系统内。图2A示出如下的这种计算机系统 200,其中该计算机系统200包括：计算机模块201 ;诸如键盘202、鼠标指示器装置203、扫 描器226、可被配置为视频源112的照相机227、以及麦克风280等的输入装置；以及包括打 印机215、可被配置为显示装置136的显示装置214、以及扬声器217等的输出装置。计算 机模块201可以使用外部调制器-解调器（调制解调器）收发器装置216来经由接线221 与通信网络220进行通信。可以表示通信信道120的通信网络220可以是广域网（WAN)， 诸如因特网、蜂窝远程通信网络或私有WAN等。在接线221是电话线的情况下，调制解调器 216可以是传统的"拨号上网"调制解调器。可选地，在接线221是高容量（例如，线缆）接 线的情况下，调制解调器216可以是宽带调制解调器。还可以使用无线调制解调器来进行 向通信网络220的无线连接。收发器装置216可以提供发送器116和接收器132的功能， 并且通信信道120可以嵌入接线221中。
[0060] 计算机模块201通常包括至少一个处理器单元205和存储器单元206。例如，存储 器单元206可以具有半导体随机存取存储器（RAM)和半导体只读存储器（ROM)。计算机模块 201还包括多个输入/输出（I/O)接口，其中这多个输入/输出（I/O)接口包括：音频-视 频接口 207,其连接至视频显示器214、扬声器217和麦克风280 ; I/O接口 213,其连接至 键盘202、鼠标203、扫描器226、照相机227以及可选的操纵杆或其它人机接口装置（未示 出）；以及外部调制解调器216和打印机215所用的接口 208。在一些实现中，调制解调器 216可以内置于计算机模块201内，例如内置于接口 208内。计算机模块201还具有本地网 络接口 211，其中该本地网络接口 211允许计算机系统200经由接线223连接至已知为局域 网（LAN)的局域通信网络222。如图2A所示，局域通信网络222还可以经由接线224连接 至广域网220,其中该局域通信网络222通常包括所谓的"防火墙"装置或具有相似功能的 装置。本地网络接口 211可以包括以太网（Ethernet?)电路卡、蓝牙（Bluetooth?)无线配 置或IEEE 802. 11无线配置；然而，对于接口 211，可以实践多种其它类型的接口。本地网 络接口 211还可以提供发送器116和接收器132的功能，并且通信信道120也可以嵌入局 域通信网络222中。
[0061] I/O接口 208和213可以提供串行连接和并行连接中的任一个或这两者，其中前者 通常根据通用串行总线（USB)标准来实现并且具有相应的USB连接器（未示出）。设置有 存储装置209,并且存储装置209通常包括硬盘驱动器（HDD) 210。还可以使用诸如软盘驱动 器和磁带驱动器（未示出）等的其它存储装置。通常设置有光盘驱动器212以用作数据的 非易失性源。作为向计算机系统200的数据的适当源，可以使用例如光盘（例如，CD-ROM、 DVD、蓝光盘（Blu-ray Disc?))、USB-RAM、便携型外部硬盘驱动器和软盘等的便携型存储器 装置。通常，HDD 210、光盘驱动器212、网络220和222中的任意还可被配置为用作视频源 112、或者用作为了经由显示器214进行再现所要存储的解码视频数据的目的地。
[0062] 计算机模块201的组件205~2