图序计数的对齐的制作方法
【专利说明】
[0001] 相关申请交叉引用
[0002] 无。
技术领域
[0003] 本发明设及视频编码和解码。
【背景技术】
[0004] 为了满足消费者的需要W及提高便携性和便利性，电子设备已变得更小且功能更 强大。消费者已经变得越来越依赖电子设备，并且希望更多的功能。电子设备的一些示例包 括台式计算机、膝上型计算机，蜂窝电话、电能电话、媒体播放器、集成电路等。
[0005] -些电子设备用于处理和/或显示数字媒体。例如，便携式电子设备现在允许在消 费者可能所在的几乎任何位置产生和/或消费数字媒体。此外，一些电子设备可W提供数字 媒体内容的下载或流传输W用于被消费者使用和享受。
[0006] 数字视频通常被表示为图像或帖的序列，其中，每个图像或帖均包括像素矩阵。每 个像素包括诸如强度和/或颜色信息之类的信息。在很多情况下，每个像素被表示为=个颜 色的集。一些视频编码技术W复杂度增加为代价提供更高的编码效率。针对视频编码技术 的提高图像质量的要求和提高图像分辨率的要求也会增加编码复杂度。
[0007] 数字媒体的逐渐普及已经呈现出了若干问题。例如，高效表示高质量数字媒体W 用于存储、传输和回放提出了若干挑战。更高效地表示数字媒体的技术是有益的。
[0008] 在结合附图考虑本发明的W下详细描述时，本发明的W上和其它目的、特征和优 点将更易于理解。
【发明内容】
[0009] 本发明的一个实施例公开了一种用于对视频比特流进行解码的方法，所述方法包 括W下步骤：（a)接收所述视频比特流；（b)对所述视频比特流的多个图像进行解码，其中， 所述多个图像中的每个图像基于图序计数的最高位比特值和所述图序计数的最低位比特 值与所述图序计数值相关联，并且与最大图序计数最低位比特值相关联；（C)在解码器图像 缓冲器中定位图像，所述图像具有的图序计数值与当前图像的图序计数和所述最大图序计 数最低位比特值按比特"与"得到的结果相同。
【附图说明】
[0010]图IA是示出了包括肥VC编码器的电子设备的一种配置的框图。
[0011]图IB是示出了包括具有增强层的肥VC编码器的电子设备的一种配置的框图。
[0012]图2A是示出了包括肥VC解码器的电子设备的一种配置的框图。
[0013] 图2B是示出了包括具有增强层的肥VC解码器的电子设备的一种配置的框图。
[0014] 图3A是示出了编码器和解码器的一个示例的框图。
[0015] 图3B是示出了具有增强层的编码器和解码器的一个示例的框图。
[0016] 图4示出了可W在电子设备中使用的各种组件。
[0017]图5示出了示例性条带结构。
[0018] 图6示出了具有一个条带和9个分片(tile)的帖。
[0019] 图7示出了具有S个条带和3个分片的帖。
[0020] 图8示出了 P0C、解码顺序和RPS。
[0021] 图9示出了示例性条带头。
[0022] 图10示出了示例性条带头。
[0023] 图11示出了示例性条带头。
[0024] 图12示出了示例性条带头。
[0025] 图13示出了示例性视频参数集。
[0026] 图14A是示出了当第二增强层化L2)具有比基础层(BL)和第一增强层化LI)更低的 图像速率时，针对编码图像的层的网络抽象层(NAL)单元和访问单元(AU)的结构和时序的 框图。
[0027] 图14B是示出了当基础层(BL)具有比第一增强层化LI)和第二增强层化L2)更低的 图像速率时，针对编码图像的层的网络抽象层(NAL)单元和访问单元(AU)的结构和时序的 框图。
[0028] 图15示出了对IDR/BLA图像的限制。
[0029] 图16示出了同步广播的IDR/BLA图像。
[0030] 图17示出了具有基础层和/或增强层的访问单元。
[0031 ] 图18示出了针对多个编码图像的1'6111口〇脚11(1、口'6乃1(10?；[。和？；[。0'(161'化1：化1。
【具体实施方式】
[0032] 国际电信联盟标准化部口（ITU-T)研究组16(SG16)工作小组3(WP3)的工作视频编 码联合协作组(JCT-VC) W及国际标准化组织/国际电工委员会（IS0/IEC)联合技术委员会 1/下属委员会29/工作组11(JTC1/SC29/WG11)发布了针对视频编码标准的标准化成就，其 被称为高效视频编码标准化EVC)。肥VC使用基于块的编码。
[0033] 图IA是示出了可W对视频编码的电子设备102的一种配置的框图。应注意，被示出 为包括在电子设备102中的一个或多个元件可W实施为硬件、软件或两者的组合。例如，电 子设备102包括编码器108,其可W实施为硬件、软件或两者的组合。例如，编码器108可W被 实施为电路、集成电路、专用集成电路(ASIC)、与具有可执行指令进行电子通信的处理器、 固件、现场可编程口阵列(FPGA)等或者它们的组合。在一些配置中，编码器108可W是高效 视频编码化EVC)编码器。
[0034] 电子设备102可W包括供应器104。供应器104可W将图像或图像数据(例如视频） 作为源106提供给编码器108。供应器104的示例包括图像传感器、存储器、通信接口、网络接 口、无线接收机、端口等。
[0035] 源106可W被提供给帖内预测模块和重构缓冲器110。源106还可W被提供给运动 估计和运动补偿模块136和减法模块116。
[0036] 帖内预测模块和重构缓冲器110可W基于源106和重构数据150产生帖内模式信息 128和帖内信号112。运动估计和运动补偿模块136可W基于源106和参考图像缓冲器166信 号168产生帖间模式信息138和帖间信号114。参考图像缓冲器166信号168可W包括来自于 存储在参考图像缓冲器166中的一个或多个参考图像的数据。
[0037] 编码器108可W根据模式选择帖内信号112和帖间信号114。帖内信号112可W用于 W帖内编码模式利用图像内的空间特性。帖间信号114可W用于W帖间编码模式利用图像 之间的时间特性。在帖内编码模式下，帖内信号112可W被提供给减法模块116,并且帖内模 式信息128可W被提供给赌编码模块130。在帖间编码模式下，帖间信号114可W被提供给减 法模块116,并且帖间模式信息138可W被提供给赌编码模块130。
[0038] 可W在减法模块116从源106减去帖内信号112或帖间信号114(取决于模式），W产 生预测残差118。预测残差118被提供给变换模块120。变换模块120可W压缩预测残差118W 产生被提供给量化模块124的变换信号122。量化模块124对变换信号122进行量化W产生变 换且量化的系数(TQC) 126。
[0039] TQC 126被提供给赌编码模块130和反量化模块140。反量化模块140对TQC 126执 行反量化，W产生被提供给逆变换模块144的反量化信号142。逆变换模块144对反量化信号 142进行解压缩，W产生被提供给重构模块148的解压缩信号146。
[0040] 重构模块148可W基于解压缩信号146产生重构数据150。例如，重构模块148可W 重构(修改的）图像。重构数据150可W被提供给去块滤波器152和帖内预测模块和重构缓冲 器110。去块滤波器152可W基于重构数据150产生滤波信号154。
[0041 ]滤波信号154可W被提供给采样自适应偏移(SAO)模块156。SAO模块156可W产生 被提供给赌编码模块130的SAO信息158W及被提供给自适应循环滤波器(ALFH62的SAO信 号ISOdALF 162产生被提供给参考图像缓冲器166的ALF信号164dALF信号164可W包括来自 于可W被用作参考图像的一个或多个图像的数据。在一些情况下，ALF 162可W省略。
[0042] 赌编码模块130可W对TQC 126进行编码W产生比特流134。如上所述，TQC 126可 W在赌编码之前被转换为ID阵列。赌编码模块130可W使用CAVLC或CABAC对TQC 126进行编 码。具体地，赌编码模块130可W基于一个或多个帖内模式信息128、帖间模式信息138和SAO 信息158,对TQC 126进行编码。比特流134可W包括编码图像数据。
[0043] 在诸如皿VC的视频压缩中设及的量化是一种通过将值的范围压缩为单个量化值 而实现的有损压缩技术。量化参数(QP)是用于基于重构视频的质量和压缩率两者来执行量 化的预定义缩放参数。在肥VC中定义块尺寸W基于块尺寸或其颜色信息来表示给定块的特 性。可W在赌编码之前确定QP、分辨率信息和块尺寸。例如，电子设备1〇2(例如编码器108) 可W确定可W被提供给赌编码模块130的QP、分辨率信息和块类型。
[0044] 赌编码模块130可W基于TQC 126的块来确定块尺寸。例如，块尺寸可W是沿着TQC 的块的一个维度的TQC 126的数目。换言之，TQC的块中的TQC 126的数目可W等于平方的块 尺寸。此外，块可W是TQC 126的数目为块的高乘W宽的非平方。例如，块尺寸可W被确定为 TQC块中的TQC 126的数目的平方根。分辨率可W被定义为像素宽度乘W像素高度。分辨率 信息可W包括图像宽度中的像素数目、图像高度中的像素数目或两者。块尺寸可W被定义 为沿着TQC的2D块的一个维度的TQC的数目。
[0045] 在一些配置中，比特流134可W被发送到另一电子设备。例如，比特流134可W被提 供给通信接口、网络接口、无线发射机、端口等。例如，可W经由局域网（LAN)、互联网、蜂窝 电话基站等向另一电子设备发送比特流134。比特流134可W附加地或备选地存储在电子设 备102上的存储器中。
[0046] 图2B是示出了包括可W是高效视频编码化EVC)解码器的解码器272在内的电子设 备270的一种配置的框图。解码器272W及被示出为包括在解码器272中的一个或多个元件 可W实施为硬件、软件或两者的组合。解码器272可W接收用于解码的比特流234(例如包括 在比特流234中的一个或多个编码图像）。在一些配置中，接收到的比特流234可W包括接收 到的开销信息，例如接收到的条带头、接收到的图像参数集(PPS)、接收到的缓冲器描述信 息、分类指示符等。
[0047] 从比特流234接收到的符号(例如，编码的TQC)可W被赌解码模块274赌解码。运样 可W产生运动信息信号298和解码后的变换且量化的系数(TQ0278。
[004引运动信息信号298可W在运动补偿模块294与来自于帖存储器290的解码图像292 的一部分组合，从而可W产生帖间预测信号296。解码后的变换且量化的系数(TQ0278可W 被反量化和逆变换模块280反量化和逆变换，从而产生解码后的残差信号282。解码后的残 差信号282可W被加法模块207添加到预测信号205, W产生组合信号284。预测信号205可W 是从由运动补偿模块294产生的帖间预测信号296或者由帖内预测模块201产生的帖内预测 信号203中选择的信号。在一些配置中，该信号选择可W基于(例如受控于)比特流234。
[0049] 帖内预测信号203可W根据来自于(例如当前帖中的）组合信号284的在先解码的 信息来预测。组合信号284还可W被去块滤波器286滤波。产生的滤波信号288可W被提供给 采样自适应偏移(SAO)模块231。基于滤波信号288和来自于赌解码模块274的信息239, SAO 模块231可W产生被提供给自适应循环滤波器(ALF)233的SAO信号235dALF 233产生被提供 给帖存储器290的ALF信号237dALF信号237可W包括来自于可W被用作参考图像的一个或 多个图像的数据。ALF信号237可W被写入帖存储器290。产生的ALF信号237可W包括解码图 像。在一些情况下，ALF 233可W省略。
[0050] 帖存储器290可W包括解码图像缓冲器(DPB)。帖存储器290还可W包括与解码图 像相对应的开销信息。例如，帖存储器290可W包括条带头、图像参数集(PPS)信息、循环参 数、缓冲器描述信息等。运些信息中的一个或多个可W被编码器(例如编码器108)信号通 知。
[0051] 帖存储器290可W向运动补偿模块294提供一个或多个解码图像292。此外，帖存储 器290可W提供可W从解码器272输出的一个或多个解码图像292。一个或多个解码图像292 可W例如呈现在显示器上、存储在存储器中、或者被发送到另一设备。
[0052] 图IB是示出了在电子设备702上的视频编码器782的一种配置的框图。图IB的视频 编码器782可W是图IA的视频编码器108的一种配置。视频编码器782可W包括增强层编码 器706、基础层编码器709、分辨率上调块770和输出接口 780。图IB的视频编码器例如适合于 本文所述的可扩展视频编码和多视图视频编码。
[0053] 增强层编码器706可W包括接收输入图像704的视频输入781。视频输入781的输出 可W被提供给接收预测选择750的输出的加法器/减法器783。加法器/减法器783的输出可 W被提供给变换和量化块752。变换和量化块752的输出可W被提供给赌编码748块和缩放 和逆变换块772。在执行了赌编码748之后，赌编码块748的输出可W被提供给输出接口 780。 输出接口 780可W输出编码的基础层视频比特流707和编码的增强层视频比特流710两者。
[0054] 缩放和逆变换块772的输出可W被提供给加法器779。加法器779还可W接收预测 选择750的输出。加法器779的输出可W被提供给去块模块751。去块模块751的输出可W被 提供给参考缓冲器794。参考缓冲器794的输出可W被提供给运动补偿模块754。运动补偿模 块754的输出可W被提供给预测选择750。参考缓冲器794的输出可W被提供给帖内预测器 756。帖内预测器756的输出可W被提供给预测选择750。预测选择750还可W接收分辨率上 调块770的输出。
[0055] 基础层编码器709可W包括视频输入762,视频输入762接收下采样的输入图像、或 者适合于与另一图像组合的其它图像内容、或者备选的视图输入图像或者相同输入图像 703(即，与由增强层编码器706接收到的输入图像704相同）。视频输入762的输出可W被提 供给编码预测循环764。赌编码766可W被提供给赌预测循环764的输出。编码预测循环764 的输出还可W被提供给参考缓冲器768。参考缓冲器768可W向编码预测循环764提供反馈。 参考缓冲器768的输出还可W被提供给分辨率上调块770。一旦执行了赌编码766,则输出可 W被提供给输出接口 780。
[0056] 图2B是示出了在电子设备802上的视频解码器812的一种配置的框图。图2B的视频 解码器812可W是图2A的视频解码器272的一种配置。视频解码器812可W包括增强层解码 器815和基础层解码器813。视频解码器812还可W包括接口 889和分辨率上调870。图2B的视 频解码器例如适合于本文所述的可扩展视频编码和编码的多视图视频。
[0057] 接口 889可W接收编码视频流885。编码视频流885可W包括基础层编码视频流和 增强层编码视频流。运两个流可W被单独发送或一起发送。接口 889可W向基础层解码器 813中的赌解码块886提供编码视频流885的一些或全部。赌解码块886的输出可W被提供给 解码预测循环887。解码预测循环887的输出可W被提供给参考缓冲器888。参考缓冲器可W 向解码预测循环887提供反馈。参考缓冲器888还可W输出解码后的基础层视频流884。
[005引接口 889还可W向增强层解码器815中的赌解码块890提供编码视频流885的一些 或全部。赌解码块890的输出可W被提供给逆量化块891。反量化块891的输出可W被提供给 加法器892。加法器892可W将反量化块891的输出和预测选择块895的输出相加。加法器892 的输出可W被提供给去块模块893。去块模块893的输出可W被提供给参考缓冲器894。参考 缓冲器894可W输出解码后的增强层视频流882。参考缓冲器894的输出可W被提供给帖内 预测器897。增强层解码器815可W包括运动补偿896。可W在分辨率上调870之后执行运动 补偿896。预测选择块895可W接收帖内预测器897的输出和运动补偿896的输出。
[0059] 图3A是示出了编码器308和解码器372的一个示例的框图。在该示例中，示出了电 子设备A 302和电子设备B 370。然而，应注意，在一些配置中，关于电子设备A 302和电子设 备B 370描述的特征和功能可W被组合到单个电子设备中。
[0060] 电子设备A 302包括编码器308。编码器308可W被实施为硬件、软件或两者的组 合。在一个配置中，编码器308可W是高效视频编码化EVC)编码器。可W类似地使用其它编 码器。电子设备A 302可W获得源306。在一些配置中，可W使用图像传感器在电子设备A 302上捕捉源306、从存储器获取源306或者从另一电子设备接收源306。
[0061] 编码器308可W对源306进行编码W产生比特流334。例如，编码器308可W对源306 中的图像(例如视频)的序列进行编码。编码器308可W与W上结合图IA所述的编码器108类 似。
[0062] 比特流334可W包括基于源306的编码图像数据。在一些配置中，比特流334还可W 包括开销数据，例如条带头信息、PPS信息等。当源306中的附加图像被编码时，比特流334可 W包括一个或多个编码图像。
[0063] 比特流334可W被提供给解码器372。在一个示例中，可W使用有线或无线链接向 电子设备B 370发送比特流334。在一些情况下，运可W通过网络（诸如互联网或局域网 (LAN))来完成。如图3A中所示，解码器372可W与电子设备A 302上的编码器308相分开地实 施在电子设备B 370上。然而，应注意，在一些配置中，编码器308和解码器372可W实施在相 同电子设备上。在编码器308和解码器372被实施在相同电子设备上的实施方式中，例如，比 特流334可W通过总线提供给解码器372或者存储在存储器中W被解码器372获取。解码器 372可W提供解码图像392输出。
[0064] 解码器372可W被实施为硬件、软件或两者的组合。在一个配置中，解码器37