参考图像管理方法及装置制造方法
【专利摘要】本发明提供一种参考图像管理方法及装置，其中，该参考图像管理方法适用于视频序列的视频编码，该参考图像管理方法包括下列步骤：接收与视频序列的当前图像单元有关的输入数据，其中当前图像单元对应于当前图像、当前图像的当前条带或当前图像的当前区域；确定当前图像单元的一或多个参考图像，其中一或多个参考图像使用与一或多个参考图像的编码顺序索引有关的信息表示；利用一或多个参考图像，将图像间编码或译码应用于该输入数据；确定未被当前图像或后续图像参考的一或多个无效图像；以及在输出一或多个无效图像之后，将一或多个无效图像从已译码图像缓存中移除。本发明提供的参考图像管理方法可对参考图像实现系统而有效的管理。
【专利说明】参考图像管理方法及装置
【技术领域】
[0001]本发明有关于一种参考图像管理方法。更具体地，本发明有关于一种参考图像管理方法及装置。
【背景技术】
[0002]运动估测是一种有效的帧间编码技术，用于在视频序列中使用时间冗余(temporal redundancy)。运动补偿巾贞间编码技术已广泛运用于各种国际视频编码标准。对包括帧间或图像间编码的视频编码系统而言，当前图像的处理可使用先前已编码图像(或条带(slice)或区域(region))的信息。这些先前已编码图像在用于进行预测之前被译码且将已译码图像称为”参考图像”。在较新的视频编码标准中，例如高阶视频编码(AdvancedVideo Coding，AVC)(也称为H.264)以及高效率视频编码(HEVC)等，通过使用非常详尽的参考图像可很好地利用图像间冗余。而参考图像必须存储在编码器端和译码器端的参考图像缓存中。由于使用的参考图像的数目可能相当大，因此编码系统如何有效地管理参考图像已成为关键问题。
[0003]在HEVC 标准中(Bross et al, “High Efficiency Video Coding (HEVC) textSpecification Draft 9，，，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-TSG 16 WP3 and IS0/IEC JTC1/SC29/WG11, JCTVC_K1003_vl0，Oct.2012)，揭露了灵活的参考图像管理。编码器可选择参考参数(reference parameter)来编码每个图像。参考参数可包括用于构建(construct)参考列表(reference list)的参考图像的数目、参考列表中参考图像的顺序以及参考图像使用率。参考图像信息传输在视频比特流中，以使译码器可在译码器端恢复对应的参考图像。为了实现这些功能，将根据HEVC标准的参考图像管理设计描述如下。
[0004]每个图像指定一个图像顺序计数(Picture Order Count, P0C),并且POC传输在条带标头中，从编码器端传输至译码器。POC表示图像的输出顺序(即显示顺序)。对于一个条带，使用参考图像集合(Reference Picture Set, RPS)来定义当前条带所使用的参考图像。在RPS中，参考图像可透过当前图像与参考图像的POC之间的差来进行定位(locate)。图1为根据HEVC的基于POC的短程(short-term) RPS语法的示意图。由于输出顺序可能会与编码顺序不同，参考图像的POC可小于或大于当前图像的P0C。存在两种方式(即直接模式与预测模式)来根据HEVC编码P0C,以标志inter_ref_pic_set_prediction_flag表示该两种方式。当前述标志等于O时，当前图像的参考图像集合是以直接模式表示。当前述标志等于I时，当前图像的参考图像集合是以预测模式表示。在直接模式中，参考图像的POC是分别编码为对应低于当前图像的POC的设置SO以及对应高于当前图像的POC的设置Si。这些参考图像可在标志used_by_curr_pic_sx_flag等于I时被当前图像使用，或者可在used_by_curr_pic_sx_flag等于O时被后续图像使用而不被当前图像使用。在预测模式中，参考图像的POC是可透过标志delta_idx_minusl所表示的一个先前已编码RPS来进行预测。[0005]图2为根据HEVC所定义的包括在序列参数集合(Sequecne Parameter Set, SPS)中的RPS语法表的示意图。如图2所示，多个参考图像集合可传输在SPS中，以num_short_term_ref_pic_sets表不。一个条带可选择传输在SPS中的RPS中，如short_term_ref_pic_set_idx所表示,或者条带可使用新的RPS传输在条带标头中。条带标头中的对应语法结构显示在图3中。图3为根据HEVC所定义的包括在条带标头中的RPS语法表的示意图。
[0006]对于已译码图像缓存(Decoded Picture Buffer,DPB)中的一个已译码图像,如果此图像未包括在当前图像的RPS中时，此图像将不再是参考图像且可在输出后从DPB中移除。
[0007]可在规定用于当前图像的参考图像之后构建参考列表。图4为HEVC所定义的默认列表构建规则的示意图。对于列表0，具有低于当前图像的POC的参考图像是以大到小的POC顺序从DPB缓存列表的顶端放置在DPB中。接着，具有高于当前图像的POC的参考图像是以小到大的POC顺序放置在DPB中。因此，图4的实例中的列表O为2、1、4以及5。对于列表1，具有高于当前图像的POC的参考图像是以小到大的POC顺序从DPB缓存列表的顶端放置在DPB中。接着，具有低于当前图像的POC的参考图像是以大到小的POC顺序放置在DPB中。因此，图4的实例中的列表I为4、5、2以及I。编码器也可透过在条带标头中传输ref_pic_lists_modification()语法表来以明确方式指定参考列表,如图5所示。图5为根据HEVC的参考图像列表修改语法示意图。
【发明内容】
[0008]有鉴于此，本发明提供一种参考图像管理方法及装置。
[0009]本发明提供一种参考图像管理方法，适用于视频序列的视频编码，该参考图像管理方法包括下列步骤:接收与该视频序列的当前图像单元有关的输入数据，其中该当前图像单元对应于当前图像、该当前图像的当前条带或该当前图像的当前区域；确定该当前图像单元的一或多个参考图像，其中该一或多个参考图像使用与该一或多个参考图像的编码顺序索引有关的信息表示；利用该一或多个参考图像，将图像间编码或译码应用于该输入数据；确定未被该当前图像或后续图像参考的一或多个无效图像，其中该一或多个无效图像使用与该一或多个无效图像的编码顺序索引有关的信息表示；以及在输出该一或多个无效图像之后，将该一或多个无效图像从已译码图像缓存中移除。
[0010]本发明还提供一种参考图像管理装置，适用于视频序列的视频编码，该参考图像管理装置包括一或多个电子电路，其中该多个电子电路用于:接收与该视频序列的当前图像单元有关的输入数据，其中该当前图像单元对应于当前图像、该当前图像的当前条带或该当前图像的当前区域；使用与该一或多个参考图像的编码顺序索引有关的信息表示；利用该一或多个参考图像，将图像间编码或译码应用于该输入数据；确定未被该当前图像或后续图像参考的一或多个无效图像，其中该一或多个无效图像使用与该一或多个无效图像的编码顺序索引有关的信息表示；以及在输出该一或多个无效图像之后，将该一或多个无效图像从已译码图像缓存中移除。
[0011]本发明提供的参考图像管理方法可对参考图像实现系统而有效的管理。
【专利附图】
【附图说明】[0012]图1为根据HEVC的基于POC的短程RPS语法的示意图。
[0013]图2为根据HEVC所定义的包括在序列参数集合中的RPS语法表的示意图。
[0014]图3为根据HEVC所定义的包括在条带标头中的RPS语法表的示意图。
[0015]图4为HEVC所定义的默认列表构建规则的示意图。
[0016]图5为根据HEVC的参考图像列表修改语法示意图。
[0017]图6为根据本发明一个实施例的图像或条带标头中的coi的实例示意图。
[0018]图7为根据本发明一个实施例的COI与POI推导的实例示意图。
[0019]图8为根据本发明一个实施例的用于传输参考图像列表的语法设计实例示意图。
[0020]图9为根据本发明一个实施例的用于指示可从DPB中移除的参考图像的一个语法设计实例示意图。
[0021]图10为根据本发明一个实施例的用于传输RCS的语法设计的实例示意图。
[0022]图11为根据本发明一个实施例的用于在序列标头中传输RCS的语法设计的实例示意图。
[0023]图12为根据本发明一个实施例适用于视频序列编码的参考图像管理方法的流程图。
【具体实施方式】
[0024]容易理解的是，本发明内文所描述的与所附图式中所描述的元件可被安排及设计为各式各样不同的配置。因此，下文特举出本发明的方法及系统的较佳实施例，然其并非用于限制本发明，本发明的保护范围当视后附的权利要求所界定为准。
[0025]本揭露书中提及“一个实施例”、“一实施例”或者类似语言是表示实施例中所描述的特定特性、结构和特征可包括在本发明的至少一个实施例中。因此，本揭露书不同地方所提及的用语“在一个实施例中”或“在一实施例中”并不需要全部参考至相同的实施例。
[0026]再者，所描述的特性、结构或特性可于一或多个实施例中以任何适合的方法加以组合。任何所述领域技术人员可理解本发明可以在不具有一或多个特定细节下加以实施或可以其他方法或元件等加以实施。在另一实例中，熟知的结构或操作细节在此省略，以避免模糊本发明的观点。
[0027]为让本发明的上述和其他目的、特征、和优点能更明显易懂，下文特举出较佳实施例，并配合所附图式作详细说明如下，其中相似的部分以相似的号码表示。然其并非用于限制本发明，本发明的保护范围当视后附的权利要求所界定者为准。
[0028]根据本发明，编码或译码一个图像单元，其中图像单元可对应于一个图像、该图像的条带或该图像的当前区域。一个区域对应于图像中的一组像素(pixel)。在本发明中，定义编码顺序索引(Coding Order Index, COI)以及播放顺序索引(Playing Order Index,POI)以用于进行参考图像管理。COI表示与图像有关的编码顺序。COI可传输在条带标头或图像标头中。以下描述如何在编码器端及在译码器端推导COI的实施例。
[0029]在编码器端:
[0030]1.初始化。对于序列中的第一个待编码图像或特殊图像，又称为刷新图像(Refreshing Picture, RP)，其对应 COI 设置为 O ；
[0031]2.累力口。待编码的当前图像的COI是根据公式C0I_cur = C0I_last+l来得到，其中COI_last为最近已编码图像的COI ;以及
[0032]3.传输。语法元素coi为编码在条带或图像标头中，如图6所示。图6为根据本发明一个实施例的图像或条带标头中的coi的实例示意图。其中，coi限制在[0,MAX_C01-1]的范围内且coi可计算为C0I% MAX_C0I。举例来说，MAX_C0I可为256。
[0033]在译码器端:
[0034]1.初始化。对于序列中的第一个待编码图像或特殊图像，又称为RP，其对应COI设置为O。将C0I_MSB设置为0，其中C0I_MSB对应于COI的最高位(most significant bits,MSB)部分，且其中，COI的最高位部分超过coi表示的COI的基数部分；
[0035]2.语法解析(parsing)。从比特流(bitstream)的条带或图像标头中对coi进行语法解析；以及
[0036]3.累加。如果当前图像的coi低于最近图像的coi时，设置C0I_MSB如下:[0037]C0I_MSB = C0I_MSB+MAX_C0I。举例来说，MAX_C0I 可为 256。
[0038]4.恢复。COI = coi+C0I_MSB。
[0039]POI表示图像的播放顺序，其类似于HEVC标准中所采用的P0C。由于编码顺序可能与播放顺序不同，因此COI与POI可能也会不同。本发明的一个实施例传输COI以及COI与POI之间的差值(又称为“ Λ ”(delta))。POI可从参考设置集合(referenceconfigurations set, RCS)中所传输的COI以及COI与POI之间的差值(即“ Λ ”)来计算。[0040]图7为根据本发明一个实施例的COI与POI推导的实例示意图。在图7的实例中，COI 的值和其有关的 Δ 值对应于(0,0), (1,-3), (2，O)、(3,2), (4，I)、(5,-3), (6，O)、(7，2)、(8,1) ο这些Δ值是在以下表示为delta_poi [i]。
[0041]在一个实施例中，可直接利用COI传输参考列表。由于当前图像的参考图像的COI总是小于当前图像的C0I，参考图像的ACOI不包括负数值且可被编码在条带标头中。图8为根据本发明一个实施例的用于传输参考图像列表的语法设计实例示意图，其中num_ref_10表示IistO中参考图像的个数以及num_ref_ll则表示Iistl中参考图像的个数。
[0042]根据本发明的一个实施例，滑动窗口(sliding window)架构用于管理DPB。DPB将最多使用N个图像。当参考图像的总数超过N时，较新的参考图像将会覆盖(overwrite)较旧的参考图像。在条带标头中，可被明确地对发出信息，以指示可从DPB中移除的图像。图9为根据本发明一个实施例的用于指示可从DPB中移除的参考图像的一个语法设计实例示意图。此外，在DPB中的参考图像可分类为不同类别。类别的细节编码在SPS中。在条带标头中，只需要一个类别索引。
[0043]图10为根据本发明一个实施例的用于传输RCS的语法设计的实例示意图。如图10所示，为了充分表示RCS，RCS[i]包括六个主要部份，其中i是表示特定RCS的索引。
[0044]1.delta_poi[i]表示当前图像的 COI 与 POI 的差值。其中，POI = C0I+delta_poi [i], delta_poi [i]为有正负号的整数；
[0045]2.refered_by_others_flag[i]表示当前图像是否可作为参考图像使用。如果refered_by_others_flag[i]等于O,当前图像将不会被用于当作后续图像的参考图像。否贝U，当前图像将会被用于当作后续图像的参考图像；
[0046]3.num_of_reference [i]表示当前图像的参考图像的个数，其中num_of_reference[i]为无符号整数(unsigned integer)；
[0047]4.delta_coi_of_ref[i] [j]表示当前图像与位于参考列表中位置j的一参考图像RU]之间的AC0I。其中R[j]的C0I，即C0I_R[j]计算如下:
[0048]C0I_R[j] = C01-delta_coi_of_ref [i] [j]，其中 delta_coi_of_ref [i] [j]为无符号的整数。在另一个实施例中，C0I_R[j]可由下列式子计算:C0I_R[j]=C01-delta_coi_of_ref [i] [j]-l ；
[0049]5.num_of_useless[i]表示未被使用的已译码图像的个数(即无效的已译码图像)，其中num_of_useless[i]为无符号的整数；以及
[0050]6.delta_coi_of_useless[i] [j]表示当前图像与无效的已译码图像U[j]之间的AC0L.U[j]的 C0I，即，C0I_U[j]计算如下:
[0051]COIJJ[j] = C01-delta_coi_of_useless[i] [j]，其中 delta_coi_of_useless[i][j]为无符号的整数。在另一个实施例中，C01_u[j]可由下列式子计算:C0I_U[j]=C01-delta_coi_of_useless[i][j]-1。
[0052]RCS可如图6所示的包括在条带标头或图像标头，或可如图11所示的包括在序列标头。图11为根据本发明一个实施例的用于在序列标头中传输RCS的语法设计的实例示意图。当RCS未包括在条带标头或图像标头时，即，use_rcs_flag = I,应传输RCS索引(rcs_index)来表示哪个RCS用于此图像,如图6所示。
[0053]根据其RCS，图像的参考图像列表可直接构建如下。将具有COI等于C0I_R[j]的已译码图像设置为参考图像列表中的第j个图像。
[0054]在当前图像之后，无效图像将不会被用作参考图像。因此，译码器可在输出无效图像之后，从DPB中移除无效图像。
[0055]在当前图像未被当作后续图像的参考图像时，译码器可在输出当前图像之后，从DPB中移除当前图像。
[0056]图12为根据本发明一个实施例适用于视频序列编码的参考图像管理方法的流程图。
[0057]如步骤1210所示，系统接收与视频序列的当前图像单元有关的输入数据，其中上述当前图像单元对应于当前图像、上述当前图像的当前条带、或上述当前图像的当前区域。以编码来说，与当前图像有关的输入数据对应于待编码的原始像素数据。以译码来说，与当前图像有关的输入数据对应于待译码的已编码当前图像。可从存储装置中撷取(retrieve)输入数据，其中，存储装置可例如计算机内存、缓存(随机接入内存(RAM)或动态随机接入内存(DRAM))或其他存储媒体。也可从处理器中接收输入数据，其中，处理器可例如控制器、中央处理单元、数字信号处理器或者可产生输入数据的各种电子电路。如步骤1220所示，确定当前图像单元的一或多个参考图像，其中所述一或多个参考图像使用与所述一或多个参考图像的COI有关的信息表示。接着，如步骤1230所示，利用上述参考图像，将图像间编码或译码应用于输入数据。如步骤1240所示，确定未被当前图像或后续图像参考的一或多个无效图像，其中上述一或多个无效图像使用与上述一或多个无效图像的COI有关的信息表示。如步骤1250所示，在一或多个无效图像输出之后，将一或多个无效图像从已译码图像缓存(DPB)中移除。
[0058]如上所示的流程图用于提供根据本发明的参考图像管理方法的数种实施例。任何所述领域技术人员，在不脱离本发明的精神和范围内，当可修改每一步骤、重新安排前述步骤、分解一个步骤或组合数个步骤来实作本发明。
[0059]以上描述内容用于使任何所述领域技术人员可在特定应用程序所提供的内容及其需求来实作本发明。任何所述领域技术人员，当可对所描述的实施例做不同的修改，并且本发明所定义的基本原则可应用至其他实施例中。因此，本发明并不限于所显示与描述的特定实施例，而是符合与如上所述原则与新颖特性一致的最广的范围。在上述详细说明中，各种特定细节用于提供本发明的整体理解。然而，任何所述领域技术人员可知本发明为可实施的。
[0060]上述本发明实施例可在不同硬件、软件、或二者的组合中实现。例如，本发明的一个实施例可为集成在视频压缩芯片中的电路或集成在视频压缩软件中的程序代码以执行实施例中所述的处理。本发明的一个实施例也可为数字信号处理器(DSP)上执行的程序代码以执行实施例中所述的处理。本发明也关于由计算机处理器、DSP、微处理机或FPGA执行的多个功能。根据本发明，通过执行定义本发明所包括的特定方法的机器可读软件代码或固件代码，可配置这些处理器以执行特定任务。可在不同程序语言和不同格式或风格中开发软件代码或固体代码。也可对不同目标平台编译软件代码。然而，根据本发明不同编码格式、风格和软件代码语言以及为执行任务的配置代码其他方式都不得脱离本发明的精神与范围。
[0061]本发明虽以较佳实施例揭露如上，然其并非用于限制本发明，任何所述领域技术人员，在不脱离本发明精神和范围内，当可作些许之修改与润饰。因此本发明的保护范围当视后附的权利要求所界定者为准。
【权利要求】
1.一种参考图像管理方法，适用于视频序列的视频编码，该参考图像管理方法包括下列步骤: 接收与该视频序列的当前图像单元有关的输入数据，其中该当前图像单元对应于当前图像、该当前图像的当前条带或该当前图像的当前区域； 确定该当前图像单元的一或多个参考图像，其中该一或多个参考图像使用与该一或多个参考图像的编码顺序索引有关的彳目息表不; 利用该一或多个参考图像，将图像间编码或译码应用于该输入数据； 确定未被该当前图像或后续图像参考的一或多个无效图像，其中该一或多个无效图像使用与该一或多个无效图像的编码顺序索引有关的信息表示；以及 在输出该一或多个无效图像之后，将该一或多个无效图像从已译码图像缓存中移除。
2.如权利要求1所述的参考图像管理方法，其特征在于，该与该编码顺序索引有关的信息包括在与该视频序列有关的比特流的条带标头或图像标头中。
3.如权利要求1所述的参考图像管理方法，其特征在于，该编码顺序索引由已编码的编码顺序索引利用固定的位数目表示，其中，该已编码的编码顺序索引限制在O至MAC_COI减一的范围且MAC_COI为正整数。
4.如权利要求3所述的参考图像管理方法，其特征在于，在译码器端，该编码顺序索引由该已编码的编码顺序索引以及COI_MSB确定，其中，COI_MSB对应于该编码顺序索引的最高位部分，且其中该编码顺序索引的最高位部分超过该已编码的编码顺序索引。
5.如权利要求4所述的参考图像管理方法，其特征在于，当在该译码器端接收到该视频序列中的第一图像或刷新图像时，在该译码器端将该COI_MSB初始化为O。`
6.如权利要求4所述的参考图像管理方法，其特征在于，当该译码器端所接收的当前已编码的编码顺序索引小于最近已译码图像的该已编码的编码顺序索引时，将该COI_MSB增加N，其中N为正整数。
7.如权利要求1所述的参考图像管理方法，其特征在于，参考设置集合用于定义与该一或多个参考图像有关的参考图像参数。
8.如权利要求7所述的参考图像管理方法，其特征在于，该参考图像参数包括Λ播放顺序索引，该Λ播放顺序索引对应于该编码顺序索引与该当前图像的播放顺序索引的差。
9.如权利要求8所述的参考图像管理方法，其特征在于，在译码器端根据该编码顺序索引与该Λ播放顺序索引恢复该当前图像的播放顺序索引。
10.如权利要求8所述的参考图像管理方法，其特征在于，该参考图像参数更包括第一数目的参考图像，第二数目的无效图像、关于该当前图像是否被后续图像所参考的第一指示、被该当前图像所参考的已译码图像的第二指示、属于无效图像的已编码图像的第三指示或该上述的任意组合。
11.如权利要求10所述的参考图像管理方法，其特征在于，在译码器端根据该参考设置集合中的该参考图像参数来构建对应于该当前图像的该一或多个参考图像的参考图像列表。
12.如权利要求10所述的参考图像管理方法，其特征在于，通过该当前图像的该编码顺序索引与该一或多个参考图像的该编码顺序索引之间的第一差值识别该一或多个参考图像。
13.如权利要求10所述的参考图像管理方法，其特征在于，通过该当前图像的该编码顺序索引与该无效图像的该编码顺序索引之间的第二差值识别该无效图像。
14.如权利要求13所述的参考图像管理方法，其特征在于，在该无效图像输出之后，从译码器端的该已译码图像缓存中移除该无效图像。
15.如权利要求10所述的参考图像管理方法，其特征在于，当后续图像不会使用该当前图像时，在该当前图像输出之后，从译码器端的该已译码图像缓存中移除该当前图像。
16.如权利要求7所述的参考图像管理方法，其中该参考设置集合包括在与该视频序列有关的比特流的序列标头、条带标头或图像标头。
17.如权利要求7所述的参考图像管理方法，其特征在于，使用多个参考设置集合且选择指示包括在条带标头或图像标头中，用于从该多个参考设置集合中选出对应于该当前图像的参考设置集合。
18.如权利要求11所述的参考图像管理方法，其特征在于，按照该当前图像所参考的已译码图像的第二指示的顺序，将该一或多个参考图像在该参考图像列表中按正序或逆序排列。
19.如权利要求12所述的参考图像管理方法，其特征在于，通过该第一差值减N识别该一或多个参考图像，其中N为整数。
20.如权利要求13所述的参考图像管理方法，其特征在于，通过该第二差值减N识别该无效图像，其中N为整数。
21.—种参考图像管理装置，适用于视频序列的视频编码，该参考图像管理装置包括一或多个电子电路，其中该多个电子电路用于:` 接收与该视频序列的当前图像单元有关的输入数据，其中该当前图像单元对应于当前图像、该当前图像的当前条带或该当前图像的当前区域； 使用与该一或多个参考图像的编码顺序索引有关的信息表示；利用该一或多个参考图像，将图像间编码或译码应用于该输入数据； 确定未被该当前图像或后续图像参考的一或多个无效图像，其中该一或多个无效图像使用与该一或多个无效图像的编码顺序索引有关的信息表示；以及 在输出该一或多个无`效图像之后，将该一或多个无效图像从已译码图像缓存中移除。
【文档编号】H04N19/51GK103873872SQ201310646235
【公开日】2014年6月18日 申请日期:2013年12月4日 优先权日:2012年12月13日
【发明者】张凯, 安基程, 余琴, 马思伟 申请人:联发科技（新加坡）私人有限公司