针对大的hevc块假象的成块效应度量的制作方法_2

文档序号:9439586阅读:来源:国知局
多媒体应用中的任一者,例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输 (例如,经由因特网)、编码数字视频W用于存储于数据存储媒体上、解码存储于数据存储 媒体上的数字视频,或其它应用。在一些实例中,系统10可经配置W支持单向或双向视频 发射,W支持例如视频串流、视频回放、视频广播和/或视频电话等应用。
[0053] 在图1的实例中,源装置12包含视频源18、视频编码器20及输出接口 22。在一 些情况下,输出接口 22可包含调制器/解调器(调制解调器)及/或发射器。在源装置 12中,视频源18可包含例如视频俘获装置(例如摄像机)、包含先前俘获的视频的视频存 档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为 源视频的计算机图形系统,或此类源的组合等源。作为一个实例,如果视频源18是摄像机, 那么源装置12和目的地装置14可W形成所谓的摄像机电话或视频电话。然而,本发明中 所描述的技术可大体上适用于视频译码,且可应用于无线及/或有线应用。
[0054] 可由视频编码器20来编码所俘获视频、经预先俘获的视频或计算机产生的视频。 可经由源装置12的输出接口 22将经编码视频数据直接发射到目的地装置14。还可将经编 码视频数据存储到存储媒体或文件服务器上W供稍后由目的地装置14存取W用于解码及 /或播放。 阳化5]目的地装置14包含输入接口 28、视频解码器30及显示装置32。在一些情况下, 输入接口 28可包含接收器及/或调制解调器。目的地装置14的输入接口 28经由链路16 接收经编码视频数据。经由链路16传送或在数据存储媒体上提供的经编码视频数据可包 含由视频编码器20产生的多种语法元素W供例如视频解码器30等视频解码器用于解码视 频数据。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中 的经编码的视频数据包含在一起。
[0056] 显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中, 目的地装置14可包含集成显示装置,且还经配置W与外部显示装置介接。在其它实例中, 目的地装置14可为显示装置。一般来说,显示装置32将经解码视频数据显示给用户,且 可包括多种显示装置中的任一者,例如液晶显示器化CD)、等离子显示器、有机发光二极管 (OLED)显示器或另一类型的显示装置。
[0057] 视频编码器20和视频解码器30可根据视频译码标准(例如目前正在开发的高效 率视频译码(肥VC)标准)来操作,且可符合肥VC测试模型(HM)。或者,视频编码器20和 视频解码器30可W根据其它专有或业界标准操作,所述标准例如口U-TH. 264标准,或者 被称作MPEG-4第10部分高级视频译码(AVC),或此类标准的扩展。然而,本发明的技术不 限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和口U-TH. 263。
[0058] 尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音 频编码器及解码器集成,且可包含适当多路复用器-多路分用器单元或其它硬件及软件W 处置对共同数据流或单独数据流中的音频或视频两者的编码。在一些实例中,如果适用,那 么多路复用器一多路分用器单元可符合ITUH. 223多路复用器协议,或例如用户数据报协 议OJD巧的其它协议。
[0059] 视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一 者,例如一或多个微处理器、数字信号处理器值SP)、专用集成电路(ASIC)、现场可编程口 阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时, 装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一个或一 个W上处理器用硬件执行所述指令W执行本发明的技术。视频编码器20和视频解码器30 中的每一者可W包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可W 集成为相应装置中的组合编码器/解码器(编码解码器)的部分。
[0060] 视频译码联合合作小组(JCT-VC)致力于开发肥VC标准。肥VC标准化努力是基 于被称作肥VC测试模型(HM)的视频译码装置的进化模型。歷根据(例如HTU-TH. 264/ AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说,虽然H. 264提供了九种 帖内预测编码模式,但HM可提供多达=十=种帖内预测编码模式。
[0061] 一般来说,HM的工作模型描述视频帖或图片可W分成包含亮度及色度样本两者的 树块或最大译码单元化CU)的序列。树块具有与H. 264标准的宏块类似的目的。切片包含 译码次序的多个连续树块。视频帖或图片可W被分割成一或多个切片。每一树块可W根据 四叉树而分裂成译码单元(CU)。举例来说,作为四叉树的根节点的树块可分裂成四个子节 点,且每一子节点又可为父节点并分裂成另外四个子节点。最后的未经分裂的子节点(作 为四叉树的叶节点)包括译码节点,即,经译码视频块。与经译码位流相关联的语法数据可 定义树块可分裂的最大次数,且还可定义译码节点的最小大小。
[0062] CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU 的大小对应于译码节点的大小。CU的大小可W在从8x8像素直到具有最大64x64像素或 更大的树块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说,与CU 相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式 编码、经帖内预测模式编码或经帖间预测模式编码之间有所不同。PU可分割成正方形或非 正方形形状。举例来说,与CU相关联的语法数据还可描述CU根据四叉树划分成一或多个 TU。TU可分割成正方形或非正方形形状。
[0063] 一般来说,PU包含与预测过程有关的数据。举例来说,当PU经帖内模式编码时, PU可包括描述PU的帖内预测模式的数据。作为另一实例,当PU经帖间模式编码时,PU可 包含定义PU的运动向量的数据。举例来说,定义PU的运动向量的数据可描述运动向量的 水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一 像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如,列表0或列 表1)。
[0064] 一般来说,TU用于变换和量化过程。具有一或多个PU的CU还可包含一或多个TU。 在预测之后,视频编码器20可计算对应于PU的残余值。残余值包括像素差值,所述像素差 值可变换成变换系数、经量化且使用TU进行扫描W产生串行化变换系数W用于赌译码。本 发明通常使用术语"视频块"来指CU的译码节点。在一些特定情况下,本发明还可使用术 语"视频块"来指包含译码节点W及PU及TU的树块,即,LCU或CU。 W65] 视频序列通常包含一系列视频帖或图片。图片群组(GOP) -般包括一系列的视频 图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法 数据,其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据,其描述用于 相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块操作W便编码视频 数据。视频块可W对应于CU内的译码节点。视频块可具有固定或变化的大小,且可根据指 定译码标准而大小不同。
[0066] 作为实例,歷支持各种PU大小的预测。假设特定CU的大小是2化2N,那么歷支 持2化2N或化N的PU大小的帖内预测,及2化2N、2化N、化2N或化N的对称PU大小的帖间 预测。歷还支持用于2化nU、2化nD、nLx2N及nRx2N的PU大小的帖间预测的不对称分割。 在不对称分割中,不分割CU的一个方向,而另一方向分割成25%及75%。CU的对应于25% 分区的部分表示成"n",接着是用"上方"、"下方"、"左侧"或"右侧"指示。因而,举例来说, "2化nU"是指水平地分割的2化2NCU,其中顶部为2化0. 5NPU,而底部为2化1. 5NPU。
[0067] 在本发明中,"化N"与"N乘N"可互换使用来根据垂直及水平尺寸指代视频块的像 素尺寸,例如,16x16像素或16乘16像素。一般来说,16x16块将在垂直方向上具有16个 像素(y= 16),且在水平方向上具有16个像素(X= 16)。同样,化N块一般来说在垂直方 向上具有N个像素,且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可 布置成若干行和若干列。此外,块未必需要在水平方向与垂直方向上具有相同数目的像素。 举例来说,块可包括NxM个像素,其中M未必等于N。 W側在使用CU的PU进行帖内预测性或帖间预测性译码之后,视频编码器20可W计算 用于CU的TU的残余数据。PU可包括空间域(还称为像素域)中的像素数据,且TU在将变 换应用到残余视频数据之后可包括变换域中的系数,所述变换例如离散余弦变换值CT)、整 数变换、小波变换或概念上类似的变换。残余数据可对应于未经编码图片的像素与对应于 PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU,且接着变 换TUW产生用于CU的变换系数。
[0069] 在任何用于产生变换系数的变换之后,视频编码器20可W执行变换系数的量化。 量化一般是指将变换系数量化W可能减少用于表示系数的数据量从而提供进一步压缩的 过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。
[0070] 在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化的变换系数 W产生可经赌编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫 描经量化的变换系数W形成一维向量之后,视频编码器20可(例如)根据上下文自适应可 变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二 进制算术译码(SBAC)、概率区间分割赌译码(PIP巧或另一赌编码方法对所述一维向量进 行赌编码。视频编码器20还可对与经编码的视频数据相关联的语法元素进行赌编码W供 视频解码器30在对视频数据解码时使用。
[0071] 为了执行CABAC,视频编码器20可W向待发射的符号指派上下文模型内的一个上 下文。所述上下文可(例如)与符号的相邻值是否为非零有关。为了执行CAVLC,视频编码 器20可选择用于待发射的符号的可变长度码。可构造VLC中的码字W使得相对较短代码 对应于更有可能的符号,而较长代码对应于不太可能的符号。W此方式,使用VLC可例如实 现优于针对待发射的每一符号使用等长度码字的位节省。概率确定可基于指派给符号的上 下文。
[0072] 除在位流中将经编码视频数据用信号发出到目的地装置14中的视频解码器30之 夕F,视频编码器20还可解码经编码视频数据且重构视频帖或图片内的块W用于在用于随 后经译码块的帖内或帖间预测过程期间用作参考数据。然而在将视频帖或图片划分为块 (例如,LCU及其子CU)、对块进行编码且随后对块进行解码之后,块之间的边缘处的可察觉 假象可发生。为了移除运些"成块效应"假象,视频编码器20可在将经解码视频块作为参 考块存储之前将解块滤波器应用于经解码视频块。类似地,视频解码器30可经配置W解码 在位流中从源装置12的视频编码器20接收的视频数据,且将相同或类似解块滤波器应用 于经解码视频数据W用于显示视频数据W及用于使用所述视频数据作为用于随后经解码 视频数据的参考数据的目的。
[0073] 在存储所述数据W用作参考数据之前由视频译码装置(例如,视频编码器20或视 频解码器30)执行的解块滤波一般被称作"环路内"滤波,运是因为所述滤波是在译码环路 内执行。通过配置视频编码器20与视频解码器30两者W应用相同解块技术,可使视频译 码装置同步,W使得解块滤波不会对使用经解块视频数据作为参考数据的随后经译码视频 数据引入错误。解块滤波也可"环路后"执行,意味着未滤波的数据用于预测且解块仅应用 于自身不用于预测的经解码输出。
[0074] 视频编码器20和视频解码器30大体上经配置W针对包含PU和TU边缘的视频块 的每一边缘确定是否应用解块滤波器W对所述边缘进行解块。视频译码装置可经配置W基 于垂直于边缘的一或多个像素线(例如,8个像素的线)的分析而确定是否对所述边缘进行 解块。因此,举例来说,对于垂直边缘,视频译码装置可通过检查沿着共同线的边缘的左边 四个像素和右边四个像素而确定是否对所述边缘进行解块。选定的像素的数目大体上对应 于用于解块的最小块,例如8x8像素。W此方式,用于分析的像素行拉伸跨越视频块的PU和 TU边缘,其中像素在所述边缘的两侧上,例如边缘的左边和右边或边缘的上方及下方。用于 分析是否执行用于边缘的解块的像素行也被称作支持像素的集合,或简单地称为"支持"。 [00巧]视频译码装置可经配置W基于对特定边缘的支持而执行解块决策功能。一般来 说,解块决策功能经配置W检测支持像素内的高频改变。通常,当检测到高频改变时,解块 决策功能提供可察觉假象存在于边缘处且解块应发生的指示。解块决策功能还可经配置W 基于支持而确定将应用于边缘的解块滤波器的类型和强度。解块滤波器的类型和强度可由 阔值t。和0指示。
[0076] 本发明还描述用于用信号表示解块滤波器偏移参数(例如,tc_offset和beta_ offset)的技术。解块滤波器参数界定用W从当前切片的经解码视频块减少或移除成块效 应假象的解块滤波器。解块滤波器参数包含由编码器为特定大尺寸块产生的语法元素。
[0077] 解块滤波器参数可在图片层参数集和切片标头中的一或多者中经译码。图片层参 数集可包括图片参数集(PP巧或自适应参数集(AP巧。PPS为含有不大可能在参考PPS的 图片之间改变的数据的图片层参数集。AI^为希望供很可能从图片到图片改变的图片自适 应数据使用的图片层参数集。在一个实例中,AI^包含用于解块滤波器、自适应环路滤波器 (AL巧和样本自适应偏移(SAO)的参数。在AI^而不是PPS中包含运些参数可减少用于视 频序列所发射的位的数目,因为当解块滤波器、ALF或SAO参数改变时并不需要重复恒定的 PPS数据。图2和3展示解块滤波器,其可为执行本文所描述的技术的解块单元。举例来 说,解码器的解块单元可确定一或多个成块效应度量且在经译码位流中编码所述度量(例 如,偏移参数)。解码器的解块单元可随后在对经译码位流进行解码后即刻应用相同度量。 图2和3中为简单起见而未图示ALF和SAO滤波器,但也可W使用运些类型的滤波器。
[0078] 图2是说明可实施本发明中描述的技术W用减少的位流开销对解块滤波器参数 进行编码的视频编码器20的实例的框图。视频编码器20可对视频切片内的视频块执行帖 内及帖间译码。帖内译码依赖于空间预测来减少或去除给定视频帖或图片内的视频中的空 间冗余。帖间译码依赖于时间预测来减少或移除视频序列的邻接帖或图片内的视频中的时 间冗余。帖内模式(I模式)可指若干基于空间压缩模式中的任一者。例如单向预测(P模 式)或双向预测度模式)等帖间模式可指若干基于时间的压缩模式中的任一者。
[0079] 在图2的实例中,视频编码器20包含模式选择单元40、运动估计单元42、运动补 偿单元44、帖内预测处理单元46、参考图片存储器64、求和器50、变换处理单元52、量化单 元54和赌编码单元56。为了视频块重构,视频编码器20还包含逆量化单元58、逆变换处 理单元60,及求和器62。还包含解块滤波器63W对块边界进行滤波W将成块效应假象从 经重构视频块中移除。
[0080] 如图2中所示,视频编码器20接收待编码视频帖内的当前视频切片。可将切片划 分成多个视频块。模式选择单元40可W基于误差结果为当前视频块选择译码模式中的一 者,帖内或帖间。如果选择帖内或帖间模式,那么模式选择单元40将所得经帖内或帖间译 码块提供到求和器50W产生残余块数据且提供到求和器62W重构用于用作存储在参考图 片存储器64中的参考图片内的参考块的经编码块。帖内预测处理单元46相对于与待译码 的当前块相同的帖或切片中的一或多个相邻块执行当前视频块的帖内预测性译码W提供 空间压缩。运动估计单元42和运动补偿单元44相对于一或多个参考图片中的一或多个预 测性块执行当前视频块的帖间预测性译码W提供时间压缩。
[0081] 就帖间译码而论,运动估计单元42可经配置W根据用于视频序列的预定模式为 视频切片确定帖间预测模式。预定模式可将序列中的视频切片指明为P切片或B切片。运 动估计单元42与运动补偿单元44可高度集成,但出于概念目的而分别加W说明。由运动 估计单元42执行的运动估计是产生运动向量的过程,所述运动向量估计视频块的运动。举 例来说,运动向量可W指示当前视频帖或图片内的视频块的PU相对于参考图片内的预测 性块的移位。
[0082] 预测性块是被发现在像素差方面与待译码的视频块的PU密切匹配的块,像素差 可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中,视频编 码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来 说,视频编码器20可W计算四分之一像素位置、八分之一像素位置或参考图片的其它分数 像素位置的值。因此,运动估计单元42可W相对于全像素位置及分数像素位置执行运动捜 索并且输出具有分数像素精度的运动向量。
[008引运动估计单元42通过比较经帖间译码切片中的视频块的PU的位置与参考图片的 预测性块的位置来计算PU的运动向量。参考图片可W选自第一参考图片列表(列表0)或 第二参考图片列表(列表1),其中的每一个识别存储在参考图片存储器64中的一或多个参 考图片。运动估计单元42向赌编码单元56和运动补偿单元44发送计算出的运动向量。 [0084] 运动补偿单元44执行的运动补偿可W包括基于运动估计确定的运动向量来取出 或产生预测性块。在接收到当前视频块的PU的运动向量后,运动补偿单元44可即刻在参 考图片列表中的一者中定位所述运动向量指向的预测块。视频编码器20通过从正被译码 的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素 差值形成用于所述块的残余数据,并且可包含亮度及色度差分量两者。求和器50表示执行 此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语 法元素W供视频解码器30在解码视频切片的视频块时使用。
[00化]在运动补偿单元44产生用于当前视频块的预测性块之后,视频编码器20通过从 当前视频块中减去预测性块而形成残余视频块。残余块中的残余视频数据可包含在一或多 个TU中且应用到变换处理单元52。变换处理单元52使用例如离散余弦变换值CT)或概念 上类似的变换等变换将残余视频数据变换成残余变换系数。变换处理单元52可将残余视 频数据从像素值域转换到变换域,例如频域。 阳086] 变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述 变换系数W进一步减小位速率。量化过程可减少与变换系数中的一些或全部相关联的位深 度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可随后执行对包含 经量化的变换系数的矩阵的扫描。或者,赌编码单元56可执行所述扫描。
[0087] 在量化之后,赌编码单元56对经量化变换系数进行赌编码。举例来说,赌编码单 元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC) 或另一赌编码技术。在赌编码单元56进行的赌编码之后,可将经编码位流发射到视频解码 器30,或将经编码位流存档W供稍后发射或由视频解码器30检索。赌编码单元56还可对 正被编码的当前视频切片的运动向量和其它语法元素进行赌编码。
[0088] 逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换W在像素域中重构 残余块,例如W供稍后用作参考图片的参考块。运动补偿单元44可W通过将残余块加到参 考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44 还可将一或多个内插滤波器应用于所重构的残余块W计算子整数像素值用于运动估计。求 和器62将经重构残余块添加到由运动
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1