调色板编码中句法冗余移除的方法和装置的制造方法

调色板编码中句法冗余移除的方法和装置的制造方法
【专利摘要】揭示一种使用具有句法冗余移除的候选预测模式列表的视频数据的块的调色板编码方法和装置。在一个实施例中，基于候选预测模式列表以及与以前的样本关联的以前的预测模式，为当前块的当前样本确定冗余预测模式是否存在于候选预测模式列表。如果冗余预测模式存在于候选预测模式列表中，冗余预测模式从候选预测模式列表移除，以生产减少的候选预测模式列表。在另一实施例中，基于关于一个或多个预测符的条件，为当前块的当前样本确定冗余预测符是否存在于候选预测符列表中。
【专利说明】调色板编码中句法冗余移除的方法和装置
[0001] 【相关申请的交叉参考】
[0002] 本发明要求2013年12月27日申请的序列号为61/921,156的美国临时专利申请、 2013年12月31日申请的序列号为61/922,131的美国临时专利申请、2014年1月7日申请的序 列号为61/924,333的美国临时专利申请、2014年1月8日申请的序列号为61/924,758的美国 临时专利申请、2014年1月29日申请的序列号为61/932,832的美国临时专利申请、2014年6 月23日申请的序列号为62/015，708的美国临时专利申请的优先权，上述美国临时专利申请 在此全部并入参考。 【技术领域】
[0003] 本发明设及视频数据的调色板(palette)编码。特别地，本发明设及通过移除可能 存在于现有系统中的句法冗余来改进调色板编码的性能的技术。 【【背景技术】】
[0004] 高效率视频编码化EVC)是近年来开发的一种新的编码标准。在高效率视频编码 化EVC)系统中，H.264/AVC的固定尺寸的宏块由灵活的块来替代，称为编码单元(CU)dCU中 的像素共享相同的编码参数W改进编码效率。CU可W最大ClKLCU)开始，其在HEVC中也称为 编码树单元boded tree unit,CTU)。除了编码单元的概念W外，预测单元(PU)的概念也在 皿VC中引入。一旦完成CU分层的树的拆分，每个叶CU还进一步根据预测类型和PU分区拆分 为一个或多个预测单元(PU)。
[0005] 随着高效率视频编码化EVC)标准发展，皿VC的扩展的发展也开始了。皿VC扩展包 含范围扩展(RExt )，其针对非4:2:0颜色格式，例如4:2:2和4:4:4，且更高比特深度视频，例 如，12、14和16比特每样本。利用RExt的一个可能的应用是通过有线或无线连接的屏幕共 享。由于屏幕内容的特定特性，编码工具被开发且在编码效率方面显示了其重要性。其中， 颜色索引编码(也叫作基于主颜色的编码)技术表示使用索引到调色板(paletteK主颜色） 的像素的块，并通过利用空间冗余编码调色板和索引。尽管可能的颜色组合的总数目很大， 图片的区域的颜色的数目对于典型的屏幕内容通常是有限的。因此，颜色索引编码对于屏 幕内容材料变得非常有效。
[0006] 在肥VC范围扩展(RExt)的早期发展过程中，掲示了若干提议W处理基于调色板的 编码。例如，调色板预测和共享技术掲示于JCTVC-N0247(Guo et al.，"RCE3:Results Of Test 3. Ion Palette Mode for Screen Content Coding",Joint Collaborative Team on Video Coding(JCT-VC)Of mJ-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11，14th Meeting: Vienna，AT，25化ly-2Aug. 2013DO州ment: JCTVC-N0247)。在JCTVC-N0247中，构建 并发送每个颜色组件的调色板。调色板可W从其左边相邻的CU被预测(或共享）W降低比特 率。给定块中的所有像素使用它们的调色板索引来编码。根据JCTVC-N0247的编码过程的示 例显示于W下。
[0007] 1.调色板的传送:颜色索引表尺寸先发送，后发送调色板元件。
[0008] 2.像素值的传送:cu中的像素 W光栅扫描顺序编码。对于一个或多个像素的每个 组，用于基于"run(游程r的模式的旗标首先发送W指示是否是游程模式或"copy above (复制上方r模式正在使用。
[0009] 2.1游程模式:在游程模式中，调色板索引紧接着表示run值的"palette_run"(例 如，M)首先标示（signal) Jim值指示总共M+1个样本均使用"run"模式编码。对于当前位置 和后续的M个位置没有其他信息需要发送，因为他们具有在比特流中标示的相同的调色板 索引。调色板索引（例如，i)还可W由所有=个颜色组件共享，其表示对于YUV颜色空间的情 况重建的像素值是(Y，U，V) = (调色板Y[i]、调色板u[i]、调色板v[i])。
[0010] 2.2"索引游程（index run)"模式：在索引游程模式中，调色板索引首先标示 (signal)，然后表示run值的"palette_;run"(例如，M)再标示。:run值指示所有使用索引游程 模式编码的M+1个样本。对于当前位置和后续的M个位置没有其他信息需要发送，因为他们 具有在比特流中标示的相同的调色板索引。调色板索引（例如，i)还可W由所有=个颜色成 分共享，其表示对于YUV颜色空间的情况重建的像素值是(Y，U，V) = (paletteY[i]、paletteu [i]、palettev[i])。
[0011] 2.3"复制上方游程（copy above run)"模式：在复制上方游程模式中，值"copy_ run"(例如，N)被发送W指示对于后续的N个位置(包含当前运个），调色板索引与W上行中 对应调色板索引相同。
[0012] 3.残值的传送:阶段帥发送的调色板索引被转换回像素值并用作预测。残值信息 使用肥VC残值编码被发送，并加入到预测用于重建。
[0013] 在W上方法中，除了索引游程模式和复制上方游程模式，当前像素还可由"像素 (pixel)"模式编码，其中像素值被发送。颜色索引编码技术的另一版本也由Guo等人在 JCTVC-00182中（Guo et al.,"Non-RCE3:Modified Palette Mode for Screen Content Coding"Joint Collaborative Team on Video Coding(JCT-VC)Of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July-2Aug.2013Document: JCTVC-N0249)掲示，其中调色板中的每个元件是表示S个颜色组件的特定组合的S元一 组。调色板索引由所有的颜色组件共享W降低开销。
[0014] 又一基于主颜色的编码(颜色索引编码)方法由Guo等人在JCTVC-00182中（Guo et 曰1.,"AHG8:M曰jor-color-b曰sed screen content coding"，Joint Collaborative Team on Video Coding(JCT-VC)Of mJ-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11，15th Meeting:Geneva,CH,230ct. -INov.2013,Document: JCTVC-OO182)掲示。根据JCTVC-OO182， 每个组件的调色板被构建和发送。然而，替代从左边CU预测整个调色板，调色板中的每个条 目可W从上方CU或左边CU中精确对应发调色板条目来预测。
[0015] 根据JCTVC-00182,预测编码方法应用于索引用于像素值的传送，其中像素线可W 由不同模式预测。具体地，=种线模式用于像素线，即水平模式、垂直模式和正常模式。在水 平模式中，相同线中的像素具有相同值。如果值与上方像素线的第一像素的值相同，仅仅线 模式标示比特被传送。否则，索引值也被传送。在垂直模式中，当前像素线与上方像素线相 同。因此，仅仅线模式标示比特被传送。在正常模式中，线中的像素分别被预测。对于每个像 素，左边或上方相邻像素用作预测符，W及预测符发送到解码器。此外，像素分类为主颜色 像素 W及例外（escape)像素。对于主颜色像素，解码器使用主颜色索引和调色板重建像素 值。对于例外像素，编码器将进一步发送像素值。
[0016] 期望开发一种方法用于进一步改进与调色板编码关联的编码效率。 【
【发明内容】
】
[0017] 掲示一种使用具有句法冗余移除的候选预测模式列表的视频数据的块的调色板 编码的方法和装置。在一个实施例中，基于一个或多个候选预测模式列表、与W前的样本关 联的W前的预测模式、当前样本的位置的组合，为当前块的当前样本确定冗余预测模式是 否存在于候选预测模式列表。如果冗余预测模式存在于候选预测模式列表，则冗余预测模 式从候选预测模式列表移除，W生成减少的候选预测模式列表，且使用减少的候选预测模 式列表将调色板编码或解码应用于当前块的当前样本。
[0018] 在一个实施例中，候选预测模式列表包含复制上方游程模式、索引游程模式。复制 上方游程模式使用上方行中的对应样本W预测当前块中的当前样本。索引游程模式使用相 同的第一样本值编码或解码当前块的当前样本。当W前的预测模式等于复制上方游程模 式，则复制上方游程模式是冗余。候选预测模式列表还可包含像素模式，W编码或解码当前 块的个别样本的个别像素样本值。当复制上方游程模式用于当前块的当前样本，对应于当 前样本的数目的游程值在比特流中标示(signal)或从比特流解析。当索引游程模式用于当 前块的当前样本，对应于当前块的多个当前样本的相同的样本值和游程值在比特流中标示 或从比特流解析。候选预测模式列表还包括复制上方N行模式W使用上方R行中的一个或多 个对应第一样本W预测当前块的一个或多个第一样本。
[0019] 在另一实施例中，基于关于当前块的当前样本的预测符有关的条件，系统为当前 块的当前样本确定冗余预测符是否存在于候选预测符列表。如果冗余预测符存在于候选预 测符列表，则冗余预测符移除或替代，W生成修改的候选预测符列表。使用修改的候选预测 符列表将调色板编码或解码应用于当前块的当前样本。
[0020] 候选预测符列表可包含复制上方预测符W使用上方行中的样本W预测当前样本， 复制左边预测符W使用左边的样本W预测当前样本，W及一个或多个其它模式。如果复制 上方预测符和复制左边预测符对于当前样本是相同的，则复制上方预测符或复制左边预测 符是冗余的。在此情况下，复制上方预测符或复制左边预测符从候选预测符列表移除。
[0021] 当冗余预测符存在，冗余预测符还可W由基于选择的候选预测符或最后编码的句 法确定的替代候选预测符替代。例如，如果选择的候选预测符的样本位置在当前块外，则选 择的候选预测符不放置进修改的候选预测符列表。在另一示例中，如果候选预测符列表包 含复制上方预测符W使用上方行中的样本W预测当前样本且最后编码的句法是复制上方 预测符，最后编码的句法不放置进修改的候选预测符列表。取决于当前块的一个或多个当 前样本的位置或当前预测模式的编码的句法，系统还可确定当前预测模式是否放进候选预 测模式列表。例如，如果当前预测模式的参考像素不可用，当前预测模式不放进候选预测模 式列表。在另一示例中，对应于编码的句法的最后预测模式不放进候选预测模式列表。在又 一示例中，对应于当前预测模式的预测模式索引在比特流中标示或从比特流解析。 【【附图说明】】
[0022] 图1图示根据本发明的实施例的使用具有冗余预测模式的候选预测模式列表的调 色板编码的系统的示范性流程图。
[0023] 图2图示根据本发明的实施例的使用具有冗余预测符移除或替代的候选预测符列 表的调色板编码的系统的示范性流程图。 【【具体实施方式】】
[0024] 在本发明中，掲示改进调色板编码性能的各种技术。特别地，掲示使用具有冗余移 除的候选预测模式列表或候选预测符的有效的调色板编码技术。
[0025] 预测模式标示位冗余的移除
[00%] 如上所述，在如JCTVC-N0247和N0249描述的基于游程的调色板中，颜色索引是使 用"索引游程"模式和"复制上方游程"模式来编码。在"索引游程"模式中，其检查后续的颜 色索引是否与当前颜色索引相同。如果是，其标示（signal)"索引游程"模式W及用于当前 样本的颜色索引值。其还确定"游程"的长度，即，包含当前运个的连续相同颜色索引的数 目。在"复制上方游程"模式中，其检查后续的颜色索引是否与W上行中的对应颜色索引相 同。如果是，其标示"复制上方游程"模式。然后，其还确定"游程"长度，即，与包含当前运个 的上方行中对应颜色索引相同的连续相同颜色索引的数目。如果W前的编码样式是游程值 等于M的"复制上方游程"模式，下一样式不应该是"复制上方游程'模式。如果下一样式也是 游程等于N的"复制上方游程"模式，两个样式应该合并为游程等于(M+N+1)的单个"复制上 方游程"模式。因此，如果W前的编码样式是"复制上方游程"模式，根据本发明的实施例移 除"复制上方游程"模式标示。尽管W上示例通过检查两个连续"复制上方游程"模式的情形 来消除句法冗余，本发明可分析W前的解码预测模式，并根据W前的编码预测模式改变标 示方法。
[0027] 对应于JCTVC-N0247的伪代码显示于W下。
[0028；
[0029] 在W上伪代码中，句法palette_run_mode对应于"复制上方游程"模式或"索引游 程"模式。如果是"索引游程"模式（即，palette_;run_mode = = index_;run_mode)，则当前颜 色索引的调色板索引（即，code palette_idx)发送后紧跟着相关的游程长度（即，code palette_run)。如果不是"索引游程"模式（即，"复制上方游程"模式正被使用），则仅仅游程 长度被编码（即，code palette_;run)，因为先导颜色索引可W从上方行来确定。"复制上方 游程"模式也称为"复制上面游程"模式、"复制上方"模式或"复制上面"模式。运些名称在本 公开可W互换使用。
[0030] 对应于本发明的实施例的伪代码显示于W下。
[0031]
[0032]
[0033] 如当前实施例的W上伪代码所示，对应于JCTVC-N0247的伪代码仅仅当W前的编 码样式是"索引游程模贵'时才被执行，即，如果（last_coded_palette_;run_mode== index_;run_mode) = =True。换句话说，仅当W前编码的样式不是"复制上方游程"模式时句 法palette_;run_mode将被编码W便不发生连续的"复制上方游程"模式。当句法palette_ runjnode没有出现时，palette_;run_mode推测为index_;run_mode(索引游程模式）。
[0034] 如上所述，由JCTVC-N0247、JCTVC-00182和JCTVC-B0249掲示的调色板编码支持 "索引游程"模式、"复制上面"模式、"水平"模式W及"垂直"模式。为了改进性能，根据本发 明掲示附加的调色板索引编码模式（即，预测模式）。此外，当用于预测当前调色板索引的相 邻调色板索引值不可用时，根据本发明的实施例使用默认索引值(例如，零）、基于相邻像素 派生的索引值、默认值(例如，零)或基于相邻重建的像素的像素值派生的值。
[0035] 在本发明的另一实施例中，检查预测符之间的关系。如果确定了任何句法冗余，句 法冗余被移除。例如，如果当前编码预测符等于W前编码的预测符的一个，其可W被跳过。 表1图示相较于JCTVC-00182的根据本发明的实施例另一示例。根据JCTVC-00182的各种预 测符的标示位显示于第二列。本发明的实施例检查对应于上面像素(A)和左边像素化)的颜 色索引的预测符之间的关系。依据左边的颜色索引（即，左边预测符)是否与上面的颜色索 引（即，上面的预测符)相同，不同的标示位显示于表1中的第S列和第四列。如第四列所示， 如果左边像素的颜色索引等于上面像素的颜色索引，且当前像素的颜色索引不等于上面像 素，则第二位的标示可W跳过，因为没有其它情况被区别。换句话说，当前像素由上面像素 (与左边像素相同）预测或不由任何上面W及左边像素预巧U。在表1的示例中，"复制左进'模 式的标示位被跳过。然而，标示位"r可W分配用于指示"复制左边"模式，W便跳过"复制上 面"的标示位。备选地，"复制上面"和"复制左边"模式可W分配相同的标示位，即，"r。
[0036] 表 1
[0037]
[0038] 实施表1的标示方法的示范性伪代码示于W下。
[0039]
[0040] 如W上伪代码所示，用于"复制上面"模式的第一位总是被编码（即，代码equal_ to_above)。如果当前像素与上面的像素相同，没有另外的位被标示，因为"equal_to_above =0"将总是假。否则，如果左边像素不与上面像素相同（即，"L! =A" = =true)，"复制左边" 模式的位（即，代码equal_to_left)将被标示。如果当前像素不与左边像素相同，则将使用 "正常"模式（即没有预测）。
[0041] 显示于表1中的示范性标示位设计可W扩展为包含显示于表2中的"复制左上"模 式W及"复制右上"模式。
[0045] 实施表2的标示方法的示范性伪代码示于W下。
[0042] 击
[0043]
[0044]
[0046
[0047] 尽管预测符之间的关系可用于编码的位的自适应标示，自适应标示还可依据W前 的解码的像素。运些W前的解码的像素可W被分析W确定特征或特性。自适应标示然后可 W根据分析的特征或特性应用。例如，如果W前的线或列中的像素显示明显的边缘，标示方 法可W根据边缘方向修改。如果边缘特征用于自适应标示，文献中可用的各种边缘检测方 法可使用。分析可W是基于像素值、颜色索引或预测样式。
[004引冗余检查可取决于样本位置。例如，冗余检查可用于为CU的第一行中的像素移除 "复制上面"、"复制从上到右"W及"复制从上到左"预测符，因为运些预测符在当前块外且 不可用。冗余检查还可用于为CU的第一列中的像素移除"复制左边"、"复制从上到左"W及 "复制从左到下"的预测符。此冗余检查可W应用于JCTVC-00182中的水平线模式/垂直线模 式/正常线模式。
[0049] 颜色索引图编码的新的预测方向和句法
[0050] 本发明的另一方面解决用于颜色索引编码的新的预测方向和句法W改进颜色索 引编码的性能。在一个实施例中，附加的调色板索引编码模式包含：
[0051] "复制从上到左"模式。在"复制从上到左"模式中，值"copy_run"(例如，N)被发送 或派生W指示调色板索引（本公开中也称为颜色索引）等于后续N个位置(包含当前一个)的 左上位置的调色板索引。
[0052] "复制从上到右"模式。在"复制从上到右"模式中，值"copy_run"(例如，N)被发送 或派生W指示调色板索引等于后续N个位置(包含当前一个)的右上位置的调色板索引。
[0053] "复制暂存"模式。在"复制暂存"模式中，值"copy_run"(例如，N)被发送或派生W 指示调色板索引等于后续N个位置(包含当前一个)的暂存参考图片的同等位置的调色板索 引。
[0054] "复制左边"模式。在"复制左边"模式中，值"copy_run"(例如，N)被发送或派生W 指示调色板索引与后续N个位置(包含当前一个）的左边列中的相同位置上的相同。在一个 示例中，N是1。在另一示例中，N可W是相同线中尚未编码的剩余调色板索引的数目。
[005引"复制预测"模式。在"复制预现r模式中，值"copy_run"(例如，N)被发送或派生W 指示后续N个位置(包含当前一个），调色板索引等于调色板预测符的调色板索引。调色板预 测符可W从编码的调色板索引派生。此外，编码的调色板索引可包含多个编码的行/列。例 如，上面N行可使用，其中N是整数。另一示例是如果上面的行用于形成预测符行，则梯度可 W被传播。
[0056] "复制上面2条级'模式。在"复制上面2条级'模式中，值"copy_run"(例如，N)被发 送或派生W指示对于后续N个位置(包含当前一个），调色板索引等于当前行上面的2条线 (例如，两个CU行)的位置的调色板索引。
[0057] 根据W上描述的新的复制模式，引入多个复制模式。例如，有复制上面、复制左边、 复制从上到左、复制从上到右W及复制上面2条线模式。对于运些复制模式，当冗余预测模 式移除时，复制模式可W适应性地放进候选预测模式列表。关于哪个复制模式可W放入列 表的决定可取决于样本位置和编码的句法。例如，如果上面、左边、从上到左、从上到右或上 面2条线样本不可用(例如，当前块外），对应复制模式将不被放进候选预测模式列表。此外， 最后编码的句法的复制模式将不被放进列表。例如，如果最后编码的句法是复制上方模式， 则复制上方模式将不被放入列表。在生成复制模式列表后，复制模式索引被标示W指示列 表中的哪个复制模式被使用。复制模式索引可W使用截断的一元代码来编码。复制模式索 引还可用上下文二进制或等概率二进制编码。
[0058] 如果游程具有最大值，可W放进列表的复制模式将不仅取决于样本位置和W前编 码的句法，也取决于最后编码的游程值。具有游程值小于最大游程值的最后编码的句法的 复制模式将不被放进列表。具有游程值等于最大游程值的最后编码的句法的复制模式将被 放进列表。
[0059] 为了进一步改进预测效率，掲示一种基于当前像素的位置使用自适应码字的方 法。例如，如果像素在第一行，"复制上方"、"复制从上到左"W及"复制从上到右"的码字排 除。如果像素在第一列，"复制左边"W及"复制从下到左"的码字排除。此自适应码字方法可 W应用于如在JCTVC-00182掲示的"正常线模式"。
[0060] 尽管"复制上面2条线"模式掲示如上，类似地，更通用的模式，称为"复制上面N行 模式"掲示如下。复制上面N行模式可替代复制上面模式和复制上面2条线模式。
[006。"复制上面N行"模式。在"复制上面N行"模式中，值"copy_run"(例如，N)和值"上方 行索引"（例如，R)被发送或派生W指示对于后续N个位置(包含当前一个），调色板索引等于 当前位置上方R+1线位置的调色板索引。
[0062]上方行索引的码字可取决于当前样本的行位置。例如，如果当前样本是在第=行 中，则上方行索引不可W大于1(对于上面I行是0,对于上面2行是1，对于上面3行是2等）。换 句话说，最大的上方行索引是1。上方行索引的二进制码字可W根据样本位置自适应改变。 在另一示例中，如果当前样本在第一行中，复制上面N行模式被禁能或不允许。第一行中的 所有模式推测为"索引游程"模式。在又一示例中，如果当前样本是在第二行中，上方行索引 推测为0。
[0063] 上方行索引的码字还可取决于最后编码的模式。如果最后编码的模式是"复制上 面N行"模式且上方行索引是化rev，W及当前预测模式也是"复制上面N行"模式，则当前预 测模式的上方行索引不可W是化rev。如果具有相同化rev的两个连续的"复制上面N行"模 式发生，则具有相同化rev的两个"复制上面N行"模式将合并为一个具有等于两个游程值的 总和的新的游程值。如果当前模式的上方行索引是R州r且R州r大于化rev,则Rcur的码字可 减小1，因为根据本实施R州r不等于化rev。例如，如果化rev是3且R州；T是5，则Rcur的码字减 1变成4。修改的Rcur的码字（即，4)发送(signal)到解码器。解码器可通过将所接收的码字 与化rev比较来恢复原始Rcur。如果对应于所接收的码字的解码的Rcur值等于或大于 化rev，则实际Rcur从解码的Rcur增加1。
[0064] 上方行索引的码字和二值化可取决于最后编码的模式、当前样本的行索引W及上 方行索引的可能最大数目。例如，二值化方法可使用截断的一元。最大位长度可取决于上方 行索引的可能最大数目。
[0065] 在另一实施例中，除了 "索引游程"模式、"复制上面"模式、"水平"模式W及"垂直" 模式，掲示如下附加的调色板索引编码模式W改进性能。
[0066] "复制上面像素'模式、"复制左边像裏'模式、"复制左上像裏'模式、"复制右上像 素"模式W及"复制左下像素"模式。在运些新的模式中，值"copy_run"(例如，N)被发送或派 生W指示对于后续N个位置(包含当前一个），像素值等于对应位置（即，分别为上面像素、左 边像素、左上像素、右上像素 W及左下像素）中重建的像素值。因为像素值是直接复制，在运 些新的模式中不要求例外(escape)代码。
[0067] 候选基本索引图编码
[0068] 本发明的另一方面解决基于候选的索引图编码。在一个实施例中，调色板索引候 选列表是从相邻或编码的调色板索引派生。例如，候选列表可包含来自上方、左边、左上和 右上（良P，above_palette_index、Ief t_palette_index、above_lef t_palette_index、 above_;right_palette_index)的调色板索引。冗余检查可W应用于候选列表W移除任何冗 余调色板索引。当移除调色板索引后，后续的调色板索引或索引可W向前移动。对于空出的 候选，在某些预定义的方法派生的预定义的调色板索引或调色板可用于填充空出的候选。 例女日，女日果 above_palette_index、left_palette_index?及above_;ri 邑 ht_palette_index 相同，则冗余调色板索引可W修剪（即，移除的）。修剪后，对应候选列表变成{above, palette_index、above_right_palette_index、above_palette_index、above_palette_ index}。Ief t_palette_index和above_right_palette_index被移除。above_right_ palette_index移到第二位置。剩余候选用above_palette_index填充。
[0069] 还可使用其它方法填充空出的调色板索引候选。例如，空出的调色板索引候选可 W由调色板索引加 N和/或减N填充，例如，above_palette_index+l和/或above_palette_ index-1。在修剪和用替代候选填充后的候选列表变成{above_palette_index、above_ right_palette_index、above_palette_index+l、above_palette_index-l}。候选索弓阿 W 编码W指示使用哪个调色板索引。对应于"没有预测"的"no_pred"符号可W插入候选列表 W形成最终候选列表。"no_pre(T的位置可W是固定的。例如，"no_pred"可W插入到第S位 置。然后W前的示例的最终候选列表将变成{above_palette_index、above_;right_ palette_index、no_pred、above_palette_index、above_palette_index}。候选索引 的石马字 可W是固定的，或列表中的候选的最大数目可W是固定的。例如，如果列表中的候选的最大 数目限于3，则W前的示例的最终候选列表在应用限制后变成{above_palette_index、 above_;right_palette_index、no_pred}。
[0070] 候选列表的码字可W显示于表3。表3中码字示例1对应于限制候选数目为3的候选 列表。表3中码字示例2对应刊良制候选数目为4的候选列表。
[0071] 表3
[0072]
[0073] 候选索引的内容建模可W与W前编码的候选索引相关。例如，第一二进制(bin)的 内容索引可W是(〇+previous_coded_index)，第二二进制的内容索引可W是(N+prevous_ coded_index)，W及第S二进制的内容索引可W是（2N+previous_coded_index)，其中N可 W是2或3。此外，码字的一些二进制或码字的所有二进制可W在内容自适应二进制算术编 码(CABAC)中W等概率模式编码。
[0074] 主要颜色(调色板)索引编码的可变长度编码
[0075] 当像素不是使用预测模式编码，具有固定长度编码的索引根据JCTVC-00182发送。 然而，根据本发明的实施例，主颜色表中的颜色可W合适地排序W改进编码效率。例如，颜 色表中的颜色可W根据出现次数排序，W便高出现率的颜色将位于接近颜色表的开始，而 低出现率的颜色位于接近颜色表的结尾。因此，更有效率的句法设计可W被构建W开发运 样的特性。例如，对于具有4种颜色的主颜色表且对应颜色索引是0、1、2和3,颜色索引是根 据出现次数安排，W便颜色索引0具有最高出现次数W及颜色索引3具有最低出现次数。此 颜色表的固定长度编码和可变长度编码的示例可W如表4设计。
[0076] 表 4
[0077] LUU/B」 新例外像奈但称不
[0079]在JCTVC-00182中，例外像素值在每个线的预测样式后标示。根据本发明的实施 例，例外像素值在发送索引图期间发送。如果像素是例外像素，其像素值可W在索引标示后 被发送。另一实施例，例外像素值在整个索引图编码后发送(在整个编码单元的预测样式标 不后）。
[0080]为了改进JCTVC-00182的解析通过量，本发明的另一实施例迫使例外索引不从相 邻索引预测。例外索引应该由正常线模式W及no-pred模式标示。备选地，例外像素由新的 旗标标不。
[0081 ]高级颜色表和索引图句法解析
[0082] 在JCTVC-00182中，例外像素值在每个线的预测样式后标示。为了改进系统性能， 本发明的实施例在预测样式后标示例外像素值，因为整个编码单元被标示(在整个索引图 编码标示后）。此可改进解析通过量，因为不需要在解析预测样式和例外像素值之间的频繁 切换。此外，颜色表标示可W在整条线的预测样式标示后移动到句法位置。如果颜色索引是 可变长度编码的，在解析编码单元中整条线的预测样式前，解码器可首先解析主颜色数目。 否则，正常像素（即，没有预测）的预测的颜色索引标示可W在主颜色数目标示后移动到句 法位置。
[0083] 在一个示例中，解码器首先解析整个编码单元的预测样式。然后，解码器解析N个 例外像素值，其中卿S生于W前的解析结果。
[0084] 在另一示例中，解码器首先解析整个编码单元的预测样式。然后，解码器解析颜色 表。最后，解码器解析N个例外像素值，其中卿S生于W前的解析结果。
[0085] 在又一示例中，解码器首先解析主颜色数目。然后，解码器解析整个编码单元的预 测样式。然后，解码器解析颜色表。最后，解码器解析N个例外像素值，其中N派生于W前的解 析结果。
[00化]在JCTVC-N0247、N0249W及00182中，索引图在颜色表标示后标示。本发明的实施 例通过解析索引图首先标示索引并使用信息W编码其它数据。
[0087] 通过解析索引图确定的信息可对应于出现率信息。出现率信息可用于预测调色板 和重建像素值。
[0088] 索引图编码的修改
[0089] 在JCTVC-N0247的索引图编码中，为例外像素编码例外旗标。如果例外旗标为真， 一个例外代码被编码。否则，标示旗标被标示W指示预测模式为"索引游程"模式或"复制上 方"模式。码字的示例显示于表5。
[0090] 尽管例外句法W短码字（即，1位)编码，然而，例外句法的概率不是那么高。因此， 本发明的实施例降低"例外"句法的优先级。具有降低的优先级的"例外"句法的码字的两个 示例显示于表5。在示例中，"例外"句法的码字增加为2位。在示例1中，"索引游程"模式具有 最短代码，且在示例中，"复制上方"模式具有最短代码。
[0091] 如果使用基于内容的编码，内容形成可使用等概率二进制。在另一示例中，指示当 前模式是否是"例外"模式(例如JCTVC-N0247的第一二进制、表5中示例1和示例2的第二二 进制)二进制的内容形成可取决于W前的预测模式或调色板大小。例如，内容形成可取决于 最后编码的预测模式是否是"例外"模式。如果最后编码的预测模式是"例外"模式，则内容 编码使用一个内容，且如果最后编码的预测模式不是"例外"模式，则内容编码使用另一内 容。在另一示例中，如果调色板大小等于最大调色板大小，则内容编码使用一个内容，且如
[0093] 果调色板大小不等于最大调色板大小，则内容编码使用另一内容。[0092] 亲 B
[0094]
[00%]图1图示根据本发明的实施例的使用具有冗余预测模式的候选预测模式列表的调 色板编码的系统的示范性流程图。系统接收与当前块关联的输入数据，如步骤110所示。输 入数据对应于在编码器侧即将编码的当前块的像素数据或颜色索引或对应于在解码器侧 即将解码的当前块的编码的数据或编码的颜色索引。输入数据可W从存储器(例如，计算机 存储器、缓冲器(RAM或DRAM)或其它媒体)或从处理器获取。确定与一个或多个W前的样本 关联的W前的预测模式，如步骤120所示。基于W前的预测模式和候选预测模式列表，为当 前块的一个或多个当前样本确定冗余预测模式是否存在于所述候选预测模式列表中，如步 骤130所示。关于冗余预测模式是否存在于候选预测模式列表的测试在步骤140执行。如果 结果是"是"，执行步骤150和160。如果结果是"否"，旁路步骤150和160。在步骤150,冗余预 测模式从候选预测模式列表移除W生产减少的候选预测模式列表。在步骤160,使用减少的 候选预测模式列表将调色板编码或解码应用于当前块的当前样本。
[0096] 图2图示根据本发明的实施例的使用具有冗余预测符移除或替代的候选预测符列 表的调色板编码的系统的示范性流程图。系统接收与当前块关联的输入数据，如步骤210所 示。在步骤220,基于关于当前块的当前样本的一个或多个预测符的条件，为当前块的当前 样本确定冗余预测符是否存在于候选预测符列表。关于冗余预测符是否存在于候选预测符 列表的测试在步骤230执行。如果结果是"是"，执行步骤240和250。如果结果是"否"，旁路步 骤240和250。在步骤240,移除或替代冗余预测符W生成修改的候选预测符列表。在步骤 250,使用修改的候选预测符列表将调色板编码或解码应用于当前块的当前样本。
[0097] 显示的流程图旨在图示根据本发明的调色板编码的示例。本领域的技术人员在不 背离本发明的精神的情况下，可修改每个步骤、重新安排步骤、拆分步骤、或合并步骤W实 践本发明。在本公开中，特定句法和方法已经用于图示示例W实现本发明的实施例。本领域 技术人员在不背离本发明的精神的情况下，可通过用等效句法和方法代替句法和方法来实 践本发明。
[0098] 呈现W上描述W使本领域的普通技术人员能如本文中特定申请和其要求提供的 来实践本发明。描述的实施例的各种修改对于本领域技术人员是清楚的，且在此定义的一 般原理可W应用于其他实施例。因此，本发明不旨在限于所示和描述的特定实施例，但是符 合与本文掲示的原理和新颖特征一致的最广范围。在W上详细描述中，图示各种具体细节 W便提供本发明的完整理解。然而，本领域技术人员应理解本发明可W实践。
[0099] 如上所述的本发明实施例可W W各种硬件、软件代码或其组合来实施。例如，本发 明的实施例可W是集成于视频压缩忍片的电路或集成于视频压缩软件的程序代码W执行 本文描述的处理。本发明的实施例还可执行于数字信号处理器(DSP)上的程序代码W执行 本文描述的处理。本发明还可设及由计算机处理器、数字信号处理器、微处理器或现场可编 程口阵列(FPGA)执行的多个功能机。运些处理器可W用于通过执行机器可读软件代码或定 义本发明实施的特定方法的固件代码执行根据本发明的特定任务。软件代码或固件代码可 W用不同的编程语言和不同的格式或风格来开发。软件代码还可为不同的目标平台编译。 然而，用于编码W执行根据本发明的任务的软件代码的不同的编码格式、风格和语言W及 其他装置将不背离本发明的精神和范围。
[0100] 本发明可W在不背离其精神和实质特性的情况下W其他形式实施。描述的示例在 各方面仅仅考虑为说明性的并非限制性的。本发明的范围因此由所附的权利要求而不是上 文的描述指示。落入权利要求的等效的意义和范围的所有改变在其范围内。
【主权项】
1. 一种视频编码系统中使用调色板编码来编码视频数据的块的方法，所述方法包含： 接收与当前块关联的输入数据； 确定与一个或多个以前的样本关联的以前的预测模式； 基于所述以前的预测模式以及所述候选预测模式列表，为所述当前块的一个或多个当 前样本确定冗余预测模式是否存在于候选预测模式列表;以及 如果所述冗余预测模式存在于所述候选预测模式列表中，从所述候选预测模式列表移 除所述冗余预测模式以生成减少的候选预测模式列表，并使用所述减少的候选预测模式列 表将调色板编码或解码应用于所述当前块的所述一个或多个当前样本。2. 如权利要求1所述的方法，其特征在于，所述候选预测模式列表包含复制上方游程模 式以使用在上方行中的一个或多个对应第一样本以预测所述当前块的一个或多个第一样 本，包含索引游程模式以使用相同的第一样本值编码或解码所述当前块的一个或多个第二 样本。3. 如权利要求2所述的方法，其特征在于，当所述以前的预测模式是复制上方游程模式 时，所述冗余预测模式确定为复制上方游程模式。4. 如权利要求2所述的方法，其特征在于，所述候选预测模式列表还包括像素模式以编 码或解码所述当前块的单独的第三样本的单独的像素样本值。5. 如权利要求2所述的方法，其特征在于，当所述复制上方游程模式用于所述当前块的 所述一个或多个当前样本时，对应于多个所述一个或多个当前样本的数量的游程值在比特 流中标示或从所述比特流中解析。6. 如权利要求2所述的方法，其特征在于，当所述索引游程模式用于所述当前块的所述 一个或多个当前样本时，对应于所述当前块的多个所述一个或多个当前样本的相同的第一 样本值和游程值在比特流中标示或从所述比特流解析。7. 如权利要求2所述的方法，其特征在于，当所述候选预测模式列表包含复制上方游程 模式和索引游程模式时，且当所述以前的预测模式是复制上方游程模式时，所述预测模式 推测为所述索引游程模式。8. 如权利要求1所述的方法，其特征在于，所述候选预测模式列表还包括复制上方N行 模式以使用上方R行中的一个或多个对应第一样本以预测所述当前块的一个或多个第一样 本。9. 如权利要求8所述的方法，其特征在于，第一数目的所述一个或多个第一样本以及对 应于R的第二数目在比特流中标示或从所述比特流中解析。10. 如权利要求9所述的方法，其特征在于，对应于R的所述第二数目的码字和二进制取 决于所述以前的预测模式以及最后编码的第二数目、所述一个或多个当前样本的行索引、 以及所述第二数目的最大可能数目。11. 如权利要求9所述的方法，其特征在于，所述以前的预测模式是复制上方N行模式且 当前预测模式也是复制上方N行模式，如果对应于R的所述第二数目的所接收的码字等于或 大于以前的复制上方N行模式的第二数目，则实际重建的第二数目增加1。12. 如权利要求1所述的方法，其特征在于，还包括如果所述冗余预测模式不存在于所 述候选预测模式列表中，使用所述候选预测模式列表将调色板编码或解码应用于所述当前 块的所述一个或多个当前样本。13. 如权利要求1所述的方法，其特征在于，当前预测模式是否放置于所述候选预测模 式列表取决于所述当前块的所述一个或多个当前样本的位置或所述当前预测模式的编码 的句法。14. 如权利要求13所述的方法，其特征在于，如果所述当前预测模式的参考像素不可 用，所述当前预测模式不放置于所述候选预测模式列表。15. 如权利要求13所述的方法，其特征在于，对应于最后编码的句法的最后预测模式不 放置于所述候选预测模式列表。16. 如权利要求13所述的方法，其特征在于，对应于所述当前预测模式的预测模式索引 在比特流中标示或从所述比特流中解析。17. 如权利要求1所述的方法，其特征在于，所述为所述当前块的一个或多个当前样本 确定冗余预测模式是否存在于所述候选预测模式列表的步骤还基于所述当前样本的位置。18. -种视频编码系统中使用调色板编码来编码视频数据的块的方法，包含： 接收与当前块关联的输入数据； 基于关于所述当前块的当前样本的一个或多个预测符的条件，为所述当前块的所述当 前样本确定冗余预测符是否存在于候选预测符列表;以及 如果所述冗余预测符存在于所述候选预测符列表， 移除或替换所述冗余预测符以生成修改的候选预测符列表；以及 使用所述修改的候选预测符列表，将调色板编码或解码应用于所述当前块的所述当前 样本。19. 如权利要求18所述的方法，其特征在于，所述候选预测符列表包含复制上方预测符 以使用上方行中的第一样本以预测所述当前块的第一样本、复制左边预测符以使用左边第 二样本以预测所述当前块的第二样本、以及一个或多个其它模式。20. 如权利要求19所述的方法，其特征在于，所述复制上方预测符和所述复制左边预测 符对于所述当前样本是相同的，所述复制上方预测符或所述复制左边预测符确定为所述冗 余预测符。21. 如权利要求20所述的方法，其特征在于，确定为所述冗余预测符的所述复制上方预 测符或所述复制左边预测符从所述候选预测符列表移除。22. 如权利要求18所述的方法，其特征在于，所述移除或替代所述冗余预测符由基于选 择的候选预测符的样本位置、最后编码的句法、预定义的样本预测符或来自预定义的颜色 索引的样本预测符确定的替代候选预测符来替代所述冗余预测符。23. 如权利要求22所述的方法，其特征在于，如果所述选择的候选预测符的所述样本位 置位于所述当前块外，则所述选择的候选预测符不放置入所述修改的候选预测符列表中。24. 如权利要求22所述的方法，其特征在于，如果所述候选预测符列表包含复制上方预 测符以使用上方行中的第一样本以预测所述当前块的第一样本以及所述最后编码的句法 是所述复制上方预测符，则所述最后编码的句法不放置入所述修改的候选预测符列表。25. -种视频编码系统中使用调色板编码来编码视频数据的块的装置，所述装置包含 一个或多个电子电路，用于： 接收与当前块关联的输入数据； 确定与一个或多个以前的样本关联的以前的预测模式； 基于所述以前的预测模式以及所述候选预测模式列表，为所述当前块的一个或多个当 前样本确定冗余预测模式是否存在于候选预测模式列表;以及 如果所述冗余预测模式存在于所述候选预测模式列表中，从所述候选预测模式列表移 除所述冗余预测模式以生成减少的候选预测模式列表，并使用所述减少的候选预测模式列 表将调色板编码或解码应用于所述当前块的所述一个或多个当前样本。26. 如权利要求25所述的装置，其特征在于，所述候选预测模式列表包含复制上方游程 模式以使用在上方行中的一个或多个对应第一样本以预测所述当前块的一个或多个第一 样本，以及索引游程模式以使用相同的第一样本值编码或解码所述当前块的一个或多个第 二样本。27. 如权利要求26所述的装置，其特征在于，当所述以前的预测模式是复制上方游程模 式时，所述冗余预测模式确定为复制上方游程模式。28. 如权利要求26所述的装置，其特征在于，当所述复制上方游程模式用于所述当前块 的所述一个或多个当前样本时，对应于多个所述一个或多个当前样本的游程值在比特流中 标示或从所述比特流中解析。
【文档编号】H04N19/50GK105981388SQ201480070525
【公开日】2016年9月28日
【申请日】2014年12月26日
【发明人】庄子德, 孙域晨, 陈渏纹, 黄毓文
【申请人】寰发股份有限公司