在基于调色板的视频译码中确定调色板的制作方法_4

文档序号:9439596阅读:来源:国知局
色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图1d。
[0133]调色板可为包含指示块的明度分量和色度分量的像素值的条目的单个调色板。在此情况下,调色板中的每一条目是指示明度分量和两个色度分量的像素值的三重条目。或者,调色板包括包含指示块的明度分量的像素值的条目的明度调色板,及包含指示用于块的相应色度分量的像素值的条目的色度调色板。
[0134]在一些实例中,基于调色板的解码单元165可通过基于先前经处理数据预测调色板中的条目而产生调色板。先前经处理数据可包含先前经解码相邻块的调色板或来自调色板的信息。基于调色板的解码单元165可接收指示是否将预测调色板中的条目的预测语法元素。预测语法元素可包含分别指示是否将预测调色板中用于明度和色度分量的条目的多个预测语法元素。
[0135]相对于(例如)预测性调色板,预测性调色板可含有来自一或多个相邻块的调色板条目,所述相邻块包含块的空间相邻块和/或特定扫描次序中的相邻块。在一实例中,相邻块可在空间上位于当前正译码的块的左边(左边相邻块)或上方(上部相邻块)。在另一实例中,基于调色板的解码单元165可使用当前块的因果相邻者中的最频繁样本值确定预测性调色板条目。在另一实例中,相邻块可根据用以对块进行译码的特定扫描次序与当前正译码的块相邻。即,相邻块可为在扫描次序中在当前块之前译码的一或多个块。基于调色板之解码单元165可解码一或多个语法元素以指示复制调色板所藉以的相邻区块之位置。
[0136]因此,在一实例中,基于调色板的解码单元165可在一些实例中基于切片或图片中的左边相邻块或顶部相邻块的调色板中的条目而预测调色板中的条目中的至少一些。在此情况下,调色板中的基于左边相邻块或顶部相邻块的调色板中的条目预测的条目可由基于调色板的解码单元165基于指示用于预测的左边相邻块或顶部相邻块的选择的语法元素而预测。所述语法元素可为具有指示用于预测的左边相邻块或顶部相邻块的选择的值的旗标。
[0137]在一些实例中,基于调色板的解码单元165可接收指示调色板中的至少一些选定条目是否将基于逐条目而预测的一或多个预测语法元素,且相应地产生条目。举例来说,基于调色板的解码单元165可对一或多个语法元素进行解码以针对预测性调色板的每一条目指示调色板条目是否包含在当前块的调色板中。如果条目并未预测,那么基于调色板的解码单元165可对一或多个额外语法元素进行解码以指定未预测条目以及此些条目的数目。因此,基于调色板的解码单元165可预测一些条目且接收直接指定调色板中包含所述数目的额外条目的其它条目的信息。
[0138]在一些实例中,用于预测整个调色板的技术可与用于预测调色板的一或多个条目的技术组合。举例来说,基于调色板的解码单元165可对位流中的一或多个语法元素进行解码以指示当前调色板是否是完全从预测性调色板复制。如果情况不是这样,那么基于调色板的解码单元165可对位流中的一或多个语法元素进行解码以指示预测性调色板中的每一条目是否被复制。
[0139]在另一实例中,基于调色板的解码单元165可在每一调色板值之后接收用以指示用信号表示的调色板值是否是调色板的最终调色板条目的旗标,而不是接收条目的数目和调色板值。如果调色板已经达到某一最大大小,那么基于调色板哦解码单元165可不接收此“调色板末端”旗标。
[0140]由基于调色板的解码单元165接收的使视频数据块的至少一些位置与调色板中的条目关联的信息可包括映射信息,其包含块中的位置中的至少一些的调色板索引值,其中所述调色板索引值中的每一者对应于调色板中的条目中的一者。映射信息可包含一或多个延行语法元素,其各自指示块中具有相同调色板索引值的连续位置的数目。
[0141]在一些实例中,基于调色板的解码单元165可接收指示线复制的信息,用于块中的位置线的像素或索引值是通过所述线复制从块中的位置的另一线的像素或索引值复制。基于调色板的解码单元165可使用此信息执行线复制以确定用于块的各种位置的调色板中的像素值或条目。位置的线可包括块的位置的行、行的一部分、列或列的一部分。
[0142]基于调色板的解码单元165可部分地通过接收块的一或多个位置的像素值且将所述像素值添加到调色板中的条目以在运行中动态地产生调色板的至少一部分而产生调色板。添加像素值可包括将像素值添加到包括初始条目集合的初始调色板或添加到并不包含初始条目集合的空的调色板。在一些实例中,添加包括添加像素值以将新条目添加到包括初始条目集合的初始调色板或填充初始调色板中的现有条目,或者更换或改变初始调色板中的条目的像素值。
[0143]在一些实例中,基于调色板的解码单元165确定调色板的固定最大大小。在到达最大大小后,基于调色板的解码单元165可即刻移除调色板的一或多个条目。在一个实施例中,基于调色板的解码单元165可例如使用FIFO队列移除调色板的最旧的条目。在另一实例中,基于调色板的解码单元165可移除最少使用的条目。在再一实例中,基于调色板的解码单元165可基于待移除候选条目曾何时添加到调色板以及所述条目的相对使用而做出关于移除哪一条目的经加权确定。
[0144]在一些实例中,调色板可为其中选自用于块中的位置中的一者的调色板的像素值不同于所述块中的位置的实际像素值的经量化调色板,使得解码过程是有损的。举例来说,同一像素值可选自用于具有不同实际像素值的两个不同位置的调色板。
[0145]图4是说明与本发明的技术一致的确定用于对视频数据进行译码的调色板的实例的概念图。图4的实例包含图片178,其具有与第一调色板184相关联的第一译码单元(CU) 180和与第二调色板192相关联的第二 CU 188。如下文更详细描述且根据本发明的技术,第二调色板192是基于第一调色板184。图片178还包含以帧内预测译码模式译码的块196和以帧间预测译码模式译码的块200。
[0146]出于解释的目的,在视频编码器20 (图1和图2)和视频解码器30 (图1和图3)的上下文中且相对于HEVC视频译码标准描述图4的技术。然而,应理解,本发明的技术不限于此方式,且可由其它视频译码处理器和/或装置在其它视频译码过程和/或标准中应用。
[0147]一般来说,在图4的实例中调色板指代对于当前正译码的⑶(⑶188)为主要的和/或代表性的若干像素值。第一调色板184和第二调色板192展示为包含多个调色板。在一些实例中,根据本发明的方面,视频译码器(例如视频编码器20或视频解码器30)可针对⑶的每一颜色分量单独地对调色板进行译码。举例来说,视频编码器20可对⑶的明度(Y)分量的调色板、⑶的色度(U)分量的另一调色板以及⑶的色度(V)分量的又一调色板进行编码。在此实例中,Y调色板的条目可表示CU的像素的Y值,U调色板的条目可表示⑶的像素的U值,且V调色板的条目可表示⑶的像素的V值。
[0148]在其它实例中,视频编码器20可针对⑶的所有颜色分量编码单个调色板。在此实例中,视频编码器20可对具有为包含Y1、Ui和Vi的三重值的第i条目的调色板进行编码。在此情况下,调色板包含像素的分量中的每一者的值。因此,作为具有多个个别调色板的调色板的集合的调色板184和192的表示仅是一个实例且并不希望为限制性的。
[0149]在图4的实例中,第一调色板184包含三个条目202-206,其分别具有条目索引值1、条目索引值2和条目索引值3。条目202-206使索引值相关到分别包含像素值A、像素值B和像素值C的像素值。如本文中所描述,并非对第一 CU 180的实际像素值进行译码,视频译码器(例如视频编码器20或视频解码器30)可使用基于调色板的译码以使用索引1-3对块的像素进行译码。即,对于第一 CU 180的每一像素位置,视频编码器20可编码像素的索引值,其中所述索引值与第一调色板184中的一或多者中的像素值相关联。视频解码器30可从位流获得索引值且使用所述索引值和第一调色板184中的一或多者重构像素值。因此,第一调色板184由视频编码器20在经编码视频数据位流中发射以供视频解码器30在基于调色板的解码中使用。一般来说,针对每一 CU可发射一或多个调色板,或可在不同CU之间共享一或多个调色板。
[0150]根据本发明的方面,视频编码器20和视频解码器30可基于第一调色板184确定第二调色板192。举例来说,视频编码器20可针对每一⑶(作为一实例,包含第二⑶188)编码pred_palette_f lag以指示所述⑶的调色板是否是从与一或多个其它⑶相关联的一或多个调色板预测,例如相邻cu(空间上或基于扫描次序)或因果相邻者的最频繁样本。举例来说,当此旗标的值等于一时,视频解码器30可确定第二⑶188的第二调色板192是从一或多个已经解码调色板预测,并且因此没有第二⑶188的新调色板包含在含有所述pred_palette_f lag的位流中。当此旗标等于零时,视频解码器30可确定第二⑶188的调色板192包含在位流中作为新调色板。在一些实例中,pred_palette_flag可针对⑶的每一不同颜色分量单独地译码(例如,用于YUV视频中的CU的三个旗标,一个用于Y,一个用于U,且一个用于V)。在其它实例中,可针对⑶的所有颜色分量译码单个pred_palette_f Iag0
[0151]在以上实例中,每⑶用信号表示pred_palette_flag以指示当前块的调色板的条目中的任一者是否经预测。在一些实例中,可基于每条目用信号表示一或多个语法元素。其为可针对调色板预测符的每一条目用信号表示以指示所述条目是否存在于当前调色板中的旗标。如上所述,如果调色板条目并未预测,那么可明确地用信号表示所述调色板条目。
[0152]当相对于第一调色板184确定第二调色板192 (例如,pred_palette_flag等于一)时,视频编码器20和/或视频解码器30可定位预测性调色板(在此实例中为第一调色板184)从其确定的一或多个块。预测性调色板可与当前正译码的CU( S卩,第二 CU 188)的一或多个相邻CU(例如,例如相邻CU(空间上或基于扫描次序)或因果相邻者的最频繁样本)相关联。一或多个相邻CU的调色板可与预测符调色板相关联。在例如图4中说明的实例等一些实例中,视频编码器20和/或视频解码器30可当确定第二⑶188的预测性调色板时定位左边相邻⑶,第一⑶180。在其它实例中,视频编码器20和/或视频解码器30可在相对于第二⑶188的其它位置中定位一或多个⑶,例如上部⑶,⑶196。
[0153]视频编码器20和/或视频解码器30可基于阶层确定用于调色板预测的⑶。举例来说,视频编码器20和/或视频解码器30可初始地识别用于调色板预测的左边相邻⑶,第一CU 180。如果左边相邻⑶不可用于预测(例如,左边相邻⑶是以除基于调色板的译码模式外的模式译码,例如帧内预测模式或帧内预测模式,或定位于图片或切片的最左边边缘处),那么视频编码器20和/或视频解码器30可识别上部相邻⑶,⑶196。视频编码器20和/或视频解码器30可根据位置的预定次序继续搜索可用CU直到定位到具有可用于调色板预测的调色板的⑶。在一些实例中,视频编码器20和/或视频解码器30可基于多个块和/或相邻块的经重构样本确定预测性调色板。
[0154]虽然图4的实例说明第一调色板184作为来自单个⑶(第一⑶180)的预测性调色板,但在其它实例中,视频编码器20和/或视频解码器30可从相邻CU的组合定位用于预测的调色板。举例来说,视频编码器20和/或视频解码器可应用一或多个公式、功能、规则或类似物以基于多个相邻⑶中的一者或组合的调色板产生调色板。
[0155]在又其它实例中,视频编码器20和/或视频解码器30可构造包含用于调色板预测的若干潜在候选者的候选者列表。在此些实例中,视频编码器20可编码到候选者列表的索引以指示从其选择用于调色板预测的当前CU(例如,复制调色板)的列表中的候选者CU。视频解码器30可以相同方式构造候选者列表,解码索引,且使用经解码索引选择用于与当前CU —起使用的对应CU的调色板。
[0156]在用于说明目的的实例中,视频编码器20和视频解码器30可构造包含定位于当前正译码⑶上方的一个⑶和定位于当前正译码⑶的左边的一个⑶的候选者列表。在此实例中,视频编码器20可编码一或多个语法元素以指示候选者选择。举例来说,视频编码器20可编码具有值零的旗标以指示当前CU的调色板是从定位于当前CU的左边的CU复制。视频编码器20可编码具有值一的旗标以指示当前CU的调色板是从定位于当前CU上方的⑶复制。视频解码器30解码所述旗标且选择用于调色板预测的适当⑶。
[0157]在又其它实例中,视频编码器20和/或视频解码器30基于包含在一或多个其它调色板中的样本值在一或多个相邻CU中发生的频率而确定当前正译码CU的调色板。举例来说,视频编码器20和/或视频解码器30可在预定数目的CU的译码期间跟踪与最频繁使用的索引值相关联的颜色。视频编码器20和/或视频解码器30可将最频繁使用的颜色包含在当前正译码CU的调色板中。
[0158]如上所述,在一些实例中,视频编码器20和/或视频解码器可从用于对当前⑶进行译码的相邻CU复制整个调色板。另外或替代地,视频编码器20和/或视频解码器30可执行基于逐条目的调色板预测。举例来说,视频编码器20可针对调色板的每一条目编码一或多个语法元素,其指示相应条目是否是基于预测性调色板(例如,另一 CU的调色板)而预测。在此实例中,视频编码器20可当条目是来自预测性调色板的预测值(例如,与相邻CU相关联的调色板的对应条目)时针对给定条目编码具有等于一的值的旗标。视频编码器20可针对特定条目编码具有等于零的值的旗标以指示所述特定条目并未从另一 CU的调色板预测。在此实例中,视频编码器20还可对指示未预测调色板条目的值的额外数据进行编码。
[0159]在图4的实例中,第二调色板192包含四个条目208-214,其分别具有条目索引值1、条目索引值2、条目索引值3和条目索引4。条目208-214使索引值相关到分别包含像素值A、像素值B、像素值C和像素值D的像素值。根据本发明的方面,视频编码器20和/或视频解码器30可使用以上描述的技术中的任一者定位第一 CU 180以用于调色板预测,且将第一调色板184的条目1-3复制到第二调色板192的条目1-3以用于对第二⑶188进行译码。以此方式,视频编码器20和/或视频解码器30可基于第一调色板184确定第二调色板192。另外,视频编码器20和/或视频解码器30可对将与第二调色板192 —起包含的条目4的数据进行译码。此信息可包含未从预测符调色板预测的调色板条目的数目和对应于那些调色板条目的像素值。
[0160]在一些实例中,根据本发明的方面,一或多个语法元素可指示例如第二调色板192的调色板是否是完全从预测性调色板(图4中展示为第一调色板184,但其可由来自一或多个块的条目组成)预测或第二调色板192的特定条目是否经预测。举例来说,初始语法元素可指示所有条目是否经预测。如果初始语法元素指示并非所有条目经预测(例如,具有值O的旗标),那么一或多个额外语法元素可指示第二调色板192的哪些条目是从预测性调色板预测。
[0161]根据本发明的一些方面,与调色板预测相关联的某些信息可从正译码数据的一或多个特性推断。即,并非视频编码器20编码语法元素(且视频解码器30解码此些语法元素),视频编码器20和视频解码器30可基于正译码数据的一或多个特性执行调色板预测。
[0162]在一实例中,出于说明的目的,上述pred_palette_flag的值可从以下各者(作为实例)中的一或多者推断:正译码CU的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id,或多视图译码中的视图1d。S卩,相对于作为一实例的CU的大小,视频编码器20和/或视频解码器30可确定对于超过预定大小的任何CU,上述pred_palette_flag等于一。在此实例中,并不需要在经编码位流中用信号表示pred_palette_f Iag0
[0163]虽然上文相对于pred_palette_flag而描述,但视频编码器20和/或视频解码器30还可以或替代地基于正译码数据的一或多个特性推断与调色板预测相关联的其它信息,例如调色板用于从其预测的候选者CU,或用于构造调色板预测候选者的规则。
[0164]根据本发明的其它方面,视频编码器20和/或视频解码器30可在运行中构造调色板。举例来说,当初始地对第二⑶188进行译码时,调色板192中不存在条目。在视频编码器20和视频解码器30对第二⑶188的像素的新值进行译码时,每一新值包含在调色板192中。S卩,举例来说,视频编码器20在针对CU 188中的位置产生且用信号表示像素值时将像素值添加到调色板192。在视频编码器20对CU中相对较晚的像素进行编码时,视频编码器20可使用索引值对具有与已经包含在调色板中的那些值相同的值的像素进行编码而不是用信号表示所述像素值。类似地,当视频解码器30接收到用于第二 CU 188中的位置的新像素值(例如,由视频编码器20用信号表示)时,视频解码器30在调色板192中包含所述像素值。当第二⑶188中相对较晚解码的像素位置具有已经添加到第二调色板192的像素值时,视频解码器30可接收识别第二调色板192中用于重构第二⑶188的像素值的对应像素值的信息,例如索引值。
[0165]在一些实例中,如下文更详细地描述,视频编码器20和/或视频解码器30可将调色板184和192维持在最大调色板大小或低于最大调色板大小。根据本发明的方面,如果达到最大调色板大小,例如在第二调色板192在运行中动态构造时,那么视频编码器20和/或视频解码器30执行同一过程以移除第二调色板192的条目。用于移除调色板条目的一个实例过程是先进先出(FIFO)技术,其中视频编码器20和视频解码器30移除调色板的最旧的条目。在另一个实例中,视频编码器20和视频解码器30可从调色板移除最不频繁使用的调色板条目。在再一实例中,视频编码器20和视频解码器30可对FIFO和使用频率过程进行加权以确定移除哪一条目。即,条目的移除可基于条目有多旧以及条目使用的频繁程度。
[0166]根据一些方面,如果条目(像素值)从调色板移除且像素值在正译码⑶中的较晚位置处再次发生,那么视频编码器20可对所述像素值进行编码而不是在调色板中包含条目且对索引进行编码。另外或替代地,视频编码器20可在已经移除之后,例如在视频编码器20和视频解码器30扫描⑶中的位置时,将调色板条目再输入到调色板中。
[0167]在一些实例中,用于在运行中导出调色板的技术可与用于确定调色板的一或多个其它技术组合。确切地说,作为一实例,视频编码器20和视频解码器30可初始地对第二调色板192进行译码(例如,使用调色板预测来从第一调色板184预测第二调色板192)且可当对第二 CU 188的像素进行译码时更新第二调色板192。举例来说,在发射初始调色板之后,视频编码器20可即刻将值添加到初始调色板或在扫描CU中的额外位置的像素值时改变初始调色板中的值。同样地,在接收初始调色板后,视频解码器30即刻将值添加到初始调色板或在扫描CU中的额外位置的像素值时改变初始调色板中的值。
[0168]视频编码器20可在一些实例中用信号表示当前⑶是否使用整个调色板的发射、或在运行中的调色板产生,或者初始调色板的发射与通过在运行中的导出的初始调色板的更新的组合。在一些实例中,初始调色板可为处于最大调色板大小的全调色板,在此情况下可改变初始调色板中的值。在其它实例中,初始调色板可小于最大调色板大小,在此情况下视频编码器20和视频解码器30可将值添加到初始调色板和/或改变初始调色板的值。
[0169]根据本发明的方面,例如第一调色板184和第二调色板192等调色板的大小(例如,在包含在调色板中的像素值的数目方面)可为固定的或可使用经编码位流中的一或多个语法元素用信号表示。举例来说,根据一些方面,视频编码器20和视频解码器30可使用一元码或截断一元码(例如,在调色板大小的最大限制处截断的码)对调色板大小进行译码。根据其它方面,视频编码器20和视频解码器30可使用指数-哥伦布或莱斯-哥伦布码对调色板大小进行译码。
[0170]根据再其它方面,视频编码器20和视频解码器30可在调色板的每一条目之后对指示调色板的大小的数据进行译码。相对于作为一实例的第二调色板192,视频编码器20可在条目208-214中的每一者之后编码停止旗标。在此实例中,等于一的停止旗标可指定当前正译码的条目是第二调色板192的最终条目,而等于零的停止旗标可指示第二调色板192中存在额外条目。因此,视频编码器20可在条目208-212中的每一者之后编码具有值零的停止旗标且在条目214之后编码具有值一的停止旗标。在一些实例中,在所构造调色板到达最大调色板大小限制之后即刻可不在位流中包含停止旗标。虽然以上实例揭示用于明确地用信号表示调色板的大小的技术,但在其它实例中,调色板的大小也可以基于所谓的辅助信息(例如,特性信息,例如正译码CU的大小、帧类型、颜色空间、颜色分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图1d,如上所述)有条件地发射或推断。
[0171]本发明的技术包含无损地或者以某些损失(有损译码)对数据进行译码。举例来说,相对于有损译码,视频编码器20可对CU的像素进行译码而无需确切地将调色板的像素值确切匹配于CU中的实际像素值。当本发明的技术应用
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1