用于主颜色索引图编码的方法及装置的制造方法

用于主颜色索引图编码的方法及装置的制造方法
【专利摘要】本发明揭露了一种用于使用多个颜色索引扫描顺序的视频数据块的调色板编码的方法及装置。系统确定用于当前块的扫描方向，其中，扫描方向是从包括至少一个非水平扫描的扫描组中选择。如果非水平扫描被使用，当前块的颜色索引是根据非水平扫描使用调色板或三重调色板被编码或解码。在另一实施例中，系统使用转置的颜色索引图来编码颜色索引。
【专利说明】用于主颜色索引图编码的方法及装置
[0001] 【相关申请的交叉引用】
[0002] 本发明主张申请于2013年12月27日，序列号为61/921,156的美国临时专利申请， 申请于2013年12月27日，序列号为PCT/CN2013/090761的PCT专利申请，申请于2013年12月 31日，序列号为61/922,131的美国临时专利申请，申请于2014年3月14日，序列号为61/952， 917的美国临时专利申请，W及申请于2014年5月23日，序列号为62/002,221的美国临时专 利申请的优先权。将W上美国临时专利申请W及PCT专利申请W参考的方式并入本文中。 【技术领域】
[0003] 本发明设及用于视频数据的调色板编码(palette coding)。特别地，本发明设及 使用多个调色板索引扫描顺序（palette index scanning order) W及颜色索引图转动 (color index map rotation)来提高调色板预测性能的技术。 【【背景技术】】
[0004] 高效视频编码化igh Efficien巧Video Coding,皿VC)是近年来被开发出来的一 种新的编码标准。于皿VC系统中，被称为编码单元（coding unit, CU)的可变块代替了 H.264/AVC中固定尺寸的宏区块。CU中的像素共用编码参数W提高编码效率。CU可开始于最 大CUQargest CU，LCU)，于肥VC中，其也被称为编码树单元（coded化ee unit，CTU)。除编 码单元的概念外，于肥VC中，预测单元(prediction unit，PU)的概念也被引入。当对CU分层 树(CU hierarchical tree)的分割完成时，根据预测类型W及PU分区每个叶CU被进一步分 割为一个或多个预测单元。
[0005] 随着肥VC标准的发展，皿VC扩展的发展也开始了。皿VC扩展包括范围扩展(range extensions，RExt)，RExt的目标是非4:2:0颜色格式，例如:4:2:2?及4:4:4, W及更高比特 深度的视频，例如:每个样本12、14W及16比特。使用RExt的一个可能的应用是通过有线或 无线连接进行的屏幕共享。由于屏幕内容的特定特性，编码工具被开发出来，并展示了编码 效率上的显著提高。于运些编码工具中，调色板编码(又被称为基于主要颜色的编码)技术 表示使用索引到调色板（主要颜色）的像素块，且通过利用空间冗余来编码调色板W及索 引。虽然可能的颜色组合的总数量是巨大的，但是对于特定屏幕内容，图片区域中的颜色数 量是非常有限的。因此，对于屏幕内容素材，调色板编码变得非常有效。
[0006] 于肥VC RExt的发展初期，用于解决基于调色板的编码的多个建议已经被掲露。例 如，调色板预测W及共用技术被掲露于JCTVC-N0247(Guo et al.，"RCE3:Results of Test 3. Ion Palette Mode for Screen Content Coding', Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP Sand ISO/IEC JTC 1/SC 29/WG 11,14th Meeting: Vienna，AT，25化ly-2Aug.2013Document:JCTVC-N0247)中。于JCTVC-N0247中，每 个颜色分量的调色板被建构并传送。调色板可从其左侧相邻CU被预测(或被共用）W减少比 特率。接着，在给定块内的所有像素使用其调色板索引被编码。
[0007] JCTVC-N0249中调色板编码技术的第二个版本也已经被郭等(Guo et al)作者于 JCTVC-N0249(Guo et al.,^on-RCE3:Modified Palette Mode for Screen Content Coding" Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP Sand ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July-2Aug.2013Document: JCTVC-N0249)中掲露，其中，调色板中的每个元素是Ξ个一组（triplet),表示Ξ个颜色分 量的特定组合。调色板索引由所有颜色分量共用W减少开销。
[000引于JCTVC-N0249中掲露的调色板编码过程被描述如下。
[0009] 水平扫描顺序(或被称为光栅扫描顺序)扫描CU。如图1所示，扫描是W水平方 向运行于从顶部线到底部线的每条线。
[0010] -信号调色板索引使用W下两种模式中的一种：
[ΟΟ?]运行模式(run mode):传送由 "run"跟随的 "palette_index"
[001 ^ 于"运行模式'中，调色板索引首先被传送，其后跟随着"palette_run"(例如，Μ)。 不需要传送进一步的信息W用于当前位置W及接下来的Μ位置，因为它们具有与所传送的 调色板索引相同的调色板索引。
[0013]复制顶部模式（Copy top mode):传送"copy run"
[0014] 于"复制上方模式(copy above mode)"中，值"copy_;run"(例如，N)被传送W指示 对于接下来N位置(包括当前的一个），该调色板索引等于行上方相同位置的调色板索引。
[0015] JCTVC-00182中的另一种基于主颜色的编码（调色板编码）方法被郭等（Guo et al)作者于JCTVC-00182(Guo et al.,''AHG8:Majo;r-colo;r-based screen content coding",Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP Sand ISO/IEC JTC 1/SC 29/WG 11,15th Meeting:Geneva,CH,230ct.-INov.2013.Document: JCTVC-00182)中掲露。根据JCTVC-0018 2，每个分量的调色板被建构并传送。然而，调色板索 引的编码不同于JCTVC-N0247中调色板索引的编码。W下将描述根据JCTVC-00182的编码调 色板索引的过程。
[0016] 水平扫描顺序(或被称为光栅扫描顺序)扫描CU。如图1所示，扫描是从顶部线 到底部线W水平方向运行于每条线。
[0017] -使用W下Ξ种模式中的一种来传送调色板索引的一条线：
[001引水平模式
[0019] 于水平模式，相同线中的所有像素具有相同的值。如果该值与上方像素线的第一 像素相同，只有线模式信令比特被传送。否则，索引值也被传送。
[0020] 垂直模式
[0021 ]于垂直模式，当前像素线与上方像素线相同。因此，只有线模式信令比特被传送。
[0022] 正常模式
[0023] 于正常模式，线中的像素被独立地预测。对于每个像素，左侧或上方相邻 (neiglibors)被用作为预测子(predictor )，且预测符号被传送至解码器。
[0024] 希望能开发出一种方法W进一步提高编码效率和/或减少与调色板编码相关联的 复杂性。 【
【发明内容】
】
[0025] 本发明掲露了 一种用于使用多个颜色索引扫描顺序或颜色索引图转置 (transpose)的视频数据块的调色板编码的方法及装置。在一个实施例中，确定用于当前块 的扫描方向，其中，扫描方向是从包括至少一个非水平扫描的扫描组中选择。如果非水平扫 描被使用，当前块的颜色索引是根据非水平扫描使用调色板或Ξ重调色板（triplet palette)被编码或解码。在一个示例中，所述至少一个非水平扫描对应于垂直扫描。于另一 示例中，所述至少一个非水平扫描对应于垂直扫描、之字形扫描、希尔伯特扫描、对角线扫 描、反对角线扫描、或其任何组合。
[0026] 于编码器侧，用于当前块的扫描方向可使用自适应扫描旗标来传送，并解析自适 应扫描旗标W确定扫描方向，其中，当前块对应于编码单元(coding unit,CU)。此外，自适 应扫描旗标可使用背景自适应编码（context adaptive coding)来编码。背景自适应编码 可取决于当前块的左侧或上方的调色板编码相邻块(palette-coded nei曲boring block) 的编码信息。背景自适应编码还可取决于当前块的深度。如果当前块的深度大于阔值，则背 景自适应编码可使用第一背景，且如果当前块的深度不大于阔值，则背景自适应编码可使 用第二背景。自适应扫描旗标可被并入转换单元（transform unit,TU)等级、预测单元 (prediction unit,PU)等级、CU等级、最大编码单元（largest CU，LCU)等级、条带等级、图 片等级、图片参数集（picture parameter set,PPS)、序列参数集（sequence parameter set，SPS)或视频参数集(video parameter set,VPS)。
[0027] 于编码器侧W及解码器侧，通过使用用于扫描方向的相同导出过程，扫描方向还 可被隐式地确定。根据水平扫描或非水平扫描编码或解码当前块的颜色索引可包含使用从 包括"复制左侧"、"复制左侧列"、"列填充"、"复制不规则形状"、"填充不规则形状"、"填充L 形状及"填充L形状"的模式组中选择的颜色索引预测模式。
[0028] 在另一实施例中，调色板编码确定是否转置颜色索引图。如果颜色索引图的转置 被选择，当前块的颜色索引根据转置的调色板或转置的Ξ重调色板来编码或解码。如果颜 色索引图的转置不被选择，当前块的颜色索引是根据原始调色板或原始Ξ重调色板来编码 或解码。调色板或Ξ重调色板转置可通过交换(swapping)当前块的颜色索引的X索引及y索 引并使用原始调色板或Ξ重调色板来实现。于编码器侧，是否使用颜色索引图转动是通过 传送转动旗标来指示，于解码器侧，是否使用颜色索引图转动是通过解析来自比特流的转 动旗标来导出。转动旗标可被并入TU等级、PU等级、CU等级、LCU等级、条带等级、图片等级、 PPS'SPS或VPS。 【【附图说明】】
[0029] 图1所示为用于颜色索引图编码的水平扫描顺序的示例。
[0030] 图2所示为用于颜色索引图编码的"复制L形状及"填充L形状"模式的L形状的 示例。
[0031] 图3所示为根据本发明实施例的用于颜色索引图编码的垂直扫描顺序的示例。
[0032] 图4所示为根据本发明实施例的用于颜色索引图编码的对角线扫描顺序的示例。
[0033] 图5所示为根据本发明实施例的用于颜色索引图编码的反对角线扫描的示例。
[0034] 图6AW及图6B所示为颜色索引图的转置的示例，其中，图6B中的颜色索引图对应 于图6A中转置的颜色索引图。
[0035] 图7A所示为用于导出调色板W及Ξ重调色板中颜色的空间相邻像素的示例。
[0036] 图7B所示为用于导出调色板W及Ξ重调色板中颜色的时间相邻像素的示例。
[0037] 图7C所示为用于导出调色板W及Ξ重调色板中视图间相邻像素的示例。
[0038] 图8所示为被标记为权重颜色(wei曲ted color)像素的像素的示例。
[0039] 图9A所示为基于WC像素的左侧W及右侧的两个相邻像素来导出用于WC像素的颜 色的示例。
[0040] 图9B所示为基于WC像素的顶部W及底部的两个相邻像素来导出用于WC像素的颜 色的示例。
[0041] 图9C所示为基于WC像素的四个相邻像素来导出用于WC像素的颜色的示例。
[0042] 图10A所示为被标记为WC像素的两个像素的示例。
[0043] 图10B所示为基于WC像素的左侧W及右侧的两个相邻像素来导出用于WC像素的颜 色的示例。
[0044] 图11所示为根据本发明实施例的用于使用调色板或Ξ重调色板的颜色索引编码 的使用多个扫描顺序的调色板编码的系统的示范性流程图。
[0045] 图12所示为根据本发明实施例的使用转置的调色板或转置的Ξ重调色板的调色 板编码的系统的示范性流程图。 【【具体实施方式】】
[0046] 在本发明中，掲露了各种提高调色板编码性能的技术。特别地，本发明掲露了关于 调色板索引图编码的预测方向的有效的调色板编码、转置的颜色索引图W及分层的调色 板/Ξ重调色板编码的技术。
[0047] 如上所述，于JCTVC-N0247、JCTVC-00182、W及JCTVC-B0249中掲露的调色板编码 支持"运行"模式，"复制顶部"模式，"水平"模式W及"垂直"模式。根据本发明，为了提高性 能，额外掲露了调色板索引编码模式(即，预测模式）。此外，根据本发明，当用于预测当前调 色板索引的相邻调色板索引值不可用时，默认值(例如零)或基于相邻重建像素的像素值的 导出值被使用。
[0048] 在一个实施例中，附加的调色板索引编码模式包括：
[0049] "复制顶部左侧"模式。于"复制顶部左侧"模式中，值"copy_run"(例如，N)被传送 或导出W指示用于接下来的N位置(包括当前的一个)的调色板索引（于本公开中也被称为 颜色索引）等于顶部左侧位置的调色板索引。
[0050] "复制顶部右侧"模式。于"复制顶部右侧"模式中，值"copy_run"(例如，N)被传送 或导出W指示用于接下来的N位置(包括当前的一个)的调色板索引等于顶部右侧位置的调 色板索引。
[0051] "复制时阿'模式。于"复制时阿'模式中，值"copy_run"(例如，N)被传送或导出W 指示用于接下来的N位置(包括当前的一个)的调色板索引等于时间参考图片中的对应位置 (collocated location)的调色板索引。
[00对"复制预测"模式。于"复制预现Γ模式中，值"copy_prediction"(例如，N)被传送或 导出W指示对于接下来的N位置(包括当前的一个），调色板索引等于调色板预测子的调色 板索引。调色板预测子可由已编码的调色板索引导出，其可包括多个已编码的行/列。例如， 调色板预测子可从上方两个行导出，且多行（Itiple)编码的行/列的梯度（例如，边缘或结 构）可传播(propagate巧Ij当前行。
[0053] 在另一实施例中，附加的调色板索引编码模式可包含W上附加的模式W及接下来 的附加的模式：
[0054] "复制左侧下方"模式。于"复制左侧下方'模式，值"copy_run"(例如，N)被传送或 导出W指示对于接下来的N位置(包括当前的一个），调色板索引等于左侧下方位置的调色 板索引。
[0055] 在又一实施例中，附加的调色板索引编码模式包括：
[0056] "复制左侧"模式。于"复制左侧'模式中，值"copy_run"(例如，N)被传送或导出W 指示用于接下来的N位置(包括当前的一个）的调色板索引与左侧列中相同位置的调色板索 引相同。在一个示例中，N为1。于另一示例中，N可W是在相同线内还没被编码的剩余调色板 索引的数量。
[0057] "复制左侧列"模式。于"复制左侧列"模式，相同列中的所有像素具有相同的值。如 果值与左侧像素列的第一像素的值相同，则只有线模式信令比特被传送。否则，索引值也被 传送。
[0058] "列填充"模式。于"列填充"模式中，于相同列(垂直线）的所有像素具有相同值。如 果值与左侧像素列的第一像素、上方像素行的第一像素、或任何其它导出的位置的值相同， 则只有线模式信令比特被传送。否则，索引值也被传送。
[0059] "复制不规则形状"模式。于"复制不规则形状"模式中，形状描述被传送或导出W 指示形状中的接下来的N位置（包括当前的一个）使用于已传送或已导出位置的调色板索 引。
[0060] "填充不规则形状"模式。于"填充不规则形状"模式中，形状描述被传送或导出W 指示形状中接下来的N位置(包括当前的一个)使用相同的值。如果值与左侧像素列的第一 像素、上方像素行的第一像素、或任何其它导出的位置的值相同，则只有预测形状描述比特 (W及预测描述比特)被传送。否则，索引值也被传送。
[0061] "复制L形状"模式。于"复制L形状'模式中，L形状中的接下来的N位置(包括当前的 一个)使用已传送或已导出位置的调色板索引。L形状的示例如图2所示。
[0062] "填充L形状"模式。于"填充L形状'模式中，L形状中接下来的N位置饱括当前的一 个)具有相同的值。如果值与左侧像素列的第一像素、上方像素行的第一像素、或任何其它 导出的位置的值相同，则只有预测形状描述比特及预测描述比特)被传送。否则，索引值 也被传送。
[0063] 为了正确地操作解码器，与编码器侧已选择的预测模式相关的信息必须被传达到 解码器侧。编码器可传送预测模式。预测模式可被适应性地确定。编码器可W使用自适应信 令方法来选择不同的化C代码，W根据当前像素的位置传送该模式。另一自适应信令方法可 根据当前像素的位置关闭某些模式。
[0064] 用于编码调色板索引的不同扫描顺序
[0065] 于JCTVC-N0247中，只有水平扫描顺序被用于编码调色板索引。块中的颜色索引是 根据水平扫描顺序被处理。接着，水平扫描顺序中的颜色索引使用各种预测模式被编码，例 如"运行"模式，"复制顶部"模式，"水平"模式W及"垂直"模式。根据本发明，附加的扫描顺 序也已经被掲露。
[0066] 垂直扫描顺序。垂直扫描顺序的示例如图3所示，其中，每个像素的调色板索引是 逐列并从每个列中的顶部像素到底部像素垂直地被扫描。此外，扫描是从左至右开始。
[0067] 使用垂直扫描顺序的调色板编码可W与其它调色板编码方法相组合。例如，垂直 扫描可与JCTVC0N0247中掲露的"运行"模式一同使用。还可与"复制顶部"模式相组合。然 而，在此情况下，"复制顶部"模式被修改为"复制左侧"模式。JCTVC-00182中掲露的"正常" 模式仍然是相同的，且"水平"W及"垂直"模式分别被修改为"复制左侧列"W及"列填充"模 式。
[0068] 其它扫描顺序。其它扫描模式，例如:之字型扫描、希尔伯特扫描、对角线扫描、W 及反对角线扫描也可被使用。图4所示为对角线扫描的示例，图5所示为反对角线扫描的示 例。
[0069] 扫描顺序的信令。当不同扫描模式(本公开中也被称为扫描顺序)被使用，用于块 (例如，CU)的扫描模式可能需要被传送，W使解码器能够使用与编码器相同的扫描模式。在 此情况下，附加的语法可被传送W指示于不同的扫描顺序(例如，水平扫描、垂直扫描、之字 形扫描、希尔伯特扫描、等）中的哪一个被用于编码调色板索引。此外，相关的编码方法需要 被传送。扫描顺序W及相关编码方法的选择也可W在编码器W及解码器侧通过相同的导出 过程被导出，而不需要显式地传送任何附加的语法。通过显式地传送或基于先前使用的扫 描顺序隐式地导出的扫描顺序编码，可W于PU等级、CU等级、条带等级、图片等级、或序列等 级进行。
[0070] 颜色索引图转置的概念可被应用于调色板索引或Ξ重调色板索引。对于调色板编 码CU(palette coded CU)，调色板/Ξ重调色板索引转动旗标(rotation flag)可W被传 送。如果旗标等于1，样本位置的坐标轴将被切换。换句话说，colo;r_index[x0][y0]最初指 示X的位置为xOW及y的位置为yO。如果旗标等于1，其指示y的位置为xO且X的位置为yO。颜 色索引被等效的转置。
[0071] 用于调色板模式旗标的背景构造 (Context formation)。于调色板模式编码中，已 经使用了多个旗标。例如，palette_mode_flag指示CU是否使用调色板模式，palette_scan_ flag指示索引扫描是使用垂直扫描还是水平扫描，且palette_share_flag指示上一个已编 码调色板是否被重用于当前CU。用于运些旗标的背景构造可W仅使用没有任何相邻信息的 一个背景，或使用具有相邻信息的多个背景。例如，palette_mode_flag可使用两个背景，且 背景索引取决于左侧CU或上方CU是否于调色板模式中被编码。运些旗标的背景构造还可取 决于当前CU信息，例如:CU深度。于另一示例中，背景索引可W是max(2，CU_d邱th)或max(2, max_CU_depth"CU_depth)。
[0072] 编码器可W传送一个旗标W指示工具是否被启用。该旗标可背景编码。背景 模型可基于CU、PU或TU的尺寸。例如，不同CU、PU或TU的尺寸可W使用不同的背景模型。于另 一示例中，阔值Ts可被设置，且如果尺寸大于Ts，则使用一个背景模型。另一方面，如果尺寸 小于Ts，则使用另一个模型。
[0073] 背景模型可由与左侧或上方CU相关联的旗标导出。如果旗标是开，则使用一个背 景模型。如果旗标是关，则使用另一个背景模型。背景模型还可由上一个调色板编码CU的旗 标导出。如果旗标是开，则使用一个背景模型。如果旗标是关，则使用另一个背景模型。
[0074] 颜色索引图转置。本发明的实施例通过允许索引图翻转(flip)或转动(rotate)来 对颜色表索引图提供可变性。例如，图6A所示为原始索引图的示例。索引图可从左下角到右 上角被翻转（即，行-列翻转）。图6B所示为翻转后的索引图。于翻转后，图6A的第一行变成了 图6B中的第一列。类似地，图6A中的第二行变成了图6B中的第二列等。列-行翻转对应于矩 阵转置操作。索引图可W先被翻转再被编码。
[0075] W上掲露的颜色索引图转置可W于不同编码等级被启用或禁用W提供不同等级 的可变性，其中，不同的等级包括1'11、？1]、〇]、编码树块、条带、图片、^及序列水平。例如，如 果一个CU是主颜色（即，调色板)编码，一个旗标可被传送给主颜色编码CUW指示颜色索引 图转置是被启用还是禁用。
[0076] 层颜色表示（Layer Color Representation)
[0077] 在调色板编码模式中，每个CU的像素被分类为主颜色W及例外像素 （escape pixel)。主颜色是CU中最具代表性的像素值，其覆盖CU的多数像素。另一方面，例外像素是 不属于主颜色的像素。
[0078] 本发明的实施例掲露了分层的颜色（layered color,LC)表示W描述主颜色。基于 LC表示，每个像素由Ξ重颜色索引来表示。且Ξ重颜色索引被预测编码W及传送W指示像 素是否为主颜色像素。如果其为主颜色像素，其进一步指示其属于哪一主颜色像素。
[0079] 为了描述CU中主颜色，本发明掲露了两个层描述。第一层描述每个分量中最具代 表性的颜色值，被称为主颜色。基于主颜色，第二层描述最具代表性的组合，被称为主(颜 色)组合。
[0080] 分层的颜色表示（Layered color representation)
[0081] 对于每个CU，编码器首先计算用于每个颜色分量的颜色值的直方图，且选择具有 代表性的一组主颜色值。运些主颜色被储存W作为用于每个颜色分量的调色板。接着，基于 用于每个颜色分量的该组主颜色值，编码器进一步选择一组具有代表性的颜色组合。组合 被记录为Ξ重调色板。
[0082] 本发明可被应用于任何颜色格式，例如:YUV444、YUV420、YUV422、YUV400或RGB。第 二层的组合可被应用于所有的分量或分量的子集。例如，对于YUV444W及RGB,第二层的组 合可被应用于如表1(a)到表1(d)所示的所有分量。表1(a)到表1(c)对应于第一层颜色表表 示，即，用于相应颜色分量的Ξ个独立的颜色表。表1(d)为对应于Ξ重索引的第二层颜色表 示的示例。
[0083] 表1(a)
[0084]
[0092] 来自相邻像素的用于调色板/Ξ重调色板的颜色导出
[0093] 调色板W及Ξ重调色板中的颜色可从相邻像素中被导出或预测。运些颜色的列表 被称为颜色候选列表。颜色候选列表的可W是固定的或自适应的。颜色候选列表的尺寸可 被传送或导出。
[0094] 调色板可W使用颜色候选列表中的Q个颜色，其中，Q可W是固定的或被适应性地 确定。Q可被传送或导出。调色板可使用颜色候选列表中的颜色来作为主颜色或使用颜色候 选列表作为用于预测调色板中主颜色的预测子。
[00Μ] 颜色候选列表可通过W预定义的顺序将颜色候选插入颜色候选列表来构建。颜色 候选可从当前编码块的相邻像素中选择。根据相邻像素相关联的图片类型，对应的一组颜 色候选可如图7Α至图7C所示使用。
[0096] 空间颜色候选。图7Α所示为用于导出当前调色板的颜色的空间相邻像素的示例。 空间相邻像素(被标记为Αο到Am、B〇到Bn、D、CW及Ε)对应于围绕当前图片中当前块的那些重 建像素。重建像素可W是环路滤波(例如样本自适应偏置W及解块滤波)之前或之后重建的 像。虽然特定组的空间相邻像素被用于导出用于当前调色板的颜色，其它空间相邻像素也 可被用于实践本发明。此外，空间颜色候选还可包括围绕当前编码单元的多个行W及列。
[0097] 时间颜色候选。时间相邻像素是那些同位于当前块的时间参考图片的像素。例如， 图7B所示为同位时间块的中屯、位置（即，Tctr似及同位时间块的右下角位置（即，Tbr)的示 例。时间颜色候选可W是当前块的时间参考图片中的多个像素。
[0098] 视图间颜色候选。类似地，视图间相邻像素也可被用作为导出当前调色板的颜色 的候选。图7C所示为参考视图中视图间相邻像素 let山及IbR的示例，其中，Ictr对应于同位视 图间块的中屯、位置，且Tbr对应于同位视图间块的右下角位置。
[0099] 附加的颜色候选。附加的颜色候选还可被插入到颜色候选列表中。附加的颜色候 选可W是具有默认值的颜色，例如:零、最大允许值的中间值、最大允许值、相邻像素的最大 值、相邻像素的众数(majority)、或相邻像素的中值(median)。另外，基于从相邻像素导出 的值，附加的颜色候选可W是修改的像素值。例如，附加的颜色候选可W通过将常数值增加 到相邻颜色候选中的一个被导出。为了扩展从相邻重建像素导出附加的颜色候选的精神， 附加的候选还可从存储前N个众数像素值的查找表中导出。查找表可W基于不同等级（例 如：序列等级、图片等级、条带等级、编码块(例如:HEVC中的编码单元)等级、或预测块(例 如:肥VC中的预测单元)等级）的统计来设计。
[0100] 权重颜色(Weighted Color，WC)
[0101] 本发明掲露了一种被称为权重颜色的新的颜色类型。如果像素是由权重颜色来表 示，其是基于相邻像素被构造。权重颜色可被当做主颜色，并使用相同的传送方法被传送， 良P:通过颜色索引或Ξ重索引。
[0102] 图8所示为由圆圈所指示的权重颜色的示例。像素被传送W作为WC像素，且其将基 于相邻像素被重建。图9A到图9C所示为可被用作相邻像素 W重建用于WC像素的颜色的Ξ个 示例。图9A所示为基于WC像素的左侧W及右侧的两个相邻像素来重建用于WC像素的颜色的 示例。图9B所示为基于WC像素的上方W及底部的两个相邻像素来重建用于WC像素的颜色的 示例。图9C所示为基于围绕WC像素的四个边的四个相邻像素来重建用于WC像素的颜色的示 例。
[010引图10AW及图10B所示为由两个圆圈指示的两个连续的WC像素的示例。围绕两个WC 像素的所有像素可被用于导出用于WC像素的颜色。换句话说，前Ξ行中除了两个WC像素的 所有像素可被用于导出用于WC像素的颜色。图10B所示为基于两个相邻像素导出用于两个 WC像素的颜色的示例。
[0104] 用于WC像素的颜色的导出可W是相邻像素的加权和。此外，加权和可W是平均、双 线性内插(bilinear interpolation)、或双 Ξ 次内插(bi-cubic interpolation)。
[0105] 于图9A至9CW及图lOA至lOB中，只有相邻的一个行/列被用作为示例。然而，相邻 像素可W是多个行/列。
[0106] 结合本发明实施例的编码系统的性能与错定系统(anchor system)相比较。本发 明的实施例对应于使用自适应水平W及垂直扫描的调色板编码系统。新的旗标被用于调色 板编码CUW指示水平或垂直扫描是否被使用。另一方面，错定系统仅允许水平扫描。比较结 果被总结于表2。对于1080P的包括运动的文本W及图形的YUV测试素材，本发明的实施例对 于有损耗调色板编码具有较低的抓率。对于所有内部(All In化a，AI)、随机存取(Random Access，RA)、W及低延迟B帖化ow-delay B frame)对应的抓率减小分别为0.4%、0.2%、W 及0.1 % dBD率是视频编码领域公知的性能度量。
[0107] 表2.
[010 引
[0109]于另一比较中，相同的实施例W及错定系统基于转动的测试素材被比较，其中，测 试素材被转动90度W使原始测试素材中的行变成转动后素材的列。对于1080P的包括运动 的文本W及图形的转动后的YUV测试素材，本发明的实施例在AI编码配置下对于有损耗调 色板编码具有3.5 %的较低抓率。
[0110] 图11所示为根据本发明实施例的对使用调色板或Ξ重调色板的颜色索引编码使 用多个扫描顺序的调色板编码的系统的示范性流程图。如步骤1110所示，系统接收与包含 多个块的当前图像区域相关联的输入数据。输入数据对应于编码器侧的当前图像区域的待 编码的像素数据或对应于解码器侧的当前图像区域的待解码的已编码数据。输入数据可W 从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。于步骤 1120中，确定当前块的扫描方向。扫描方向是从包括至少一个非水平扫描的扫描组中选择。 于步骤1130中，确定非水平扫描是否被使用。如果非水平扫描被使用（即，"是"路径），于步 骤1140中，根据非水平扫描使用调色板或Ξ重调色板来编码或解码当前块的颜色索引。否 贝1J(即，"否"路径），步骤1140被省略。
[0111] 图12所示为根据本发明实施例的使用转置的调色板或转置的Ξ重调色板的调色 板编码的系统的示范性流程图。如步骤1210所示，系统接收与包含多个块的当前图像区域 相关联的输入数据。于步骤1220中，确定是否转置用于调色板编码的颜色索引图。如果转置 颜色索引图被选择（即，"是"路径），于步骤1230中，根据转置的调色板或转置的Ξ重调色板 来编码或解码当前块的颜色索引。否则（即，"否"路径），于步骤1240中，根据原始调色板或 原始Ξ重调色板来编码或解码当前块的颜色索引。
[0112] 根据本发明，W上所示的流程图旨在说明调色板编码的示例。本领域技术人员可 W在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合 并步骤来实施本发明。于本公开中，特定语法W及语义已经被用于说明实现本发明实施例 的示例。本领域技术人员可W在不脱离本发明的精神实质的情况下将语法W及语义替换为 等效的语法W及语义W实施本发明。
[0113] W上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实 践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定 义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于W上所示及所描述的 特定实施例，而是要符合与此公开掲露的原理和新颖特征相一致的最宽范围。在W上详细 描述中，各种具体细节被示出W便提供本发明的彻底理解。然而，本领域技术人员应知晓本 发明是可被实践的。
[0114] 如上所述，本发明的实施例可W由各种硬件，软件代码，或两者的组合来实现。例 如，本发明的实施例可W是被集成到视频压缩忍片电路，或被集成于视频压缩软件的程序 代码W执行本文所描述的处理过程。本发明的实施例还可W是执行于数字信号处理器上的 程序代码，W执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理 器，微处理器，或现场可编程口阵列执行的多个功能。根据本发明，通过执行定义本发明所 体现的特定方法的机器可读软件代码或固件代码，运些处理器可被配置为执行特定任务。 软件代码或固件代码可被开发为不同的编程语言W及不同的格式或风格。软件代码还可被 编译W用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语 言，W及用于配置代码W执行任务的其他方式，均不会背离本发明的精神W及范围。
[0115] 在不脱离其精神或本质特征的情况下，本发明可W其它特定形式来体现。所描述 的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由 其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含 义内的所有改变均包含于本发明范围之内。
【主权项】
1. 一种于视频编码系统中使用调色板编码来编码视频数据块的方法，其特征在于，所 述方法包括： 接收与当前块相关联的输入数据； 确定转置用于调色板编码的颜色索引图是否被选择； 如果转置所述颜色索引图被选择，根据转置的调色板或转置的三重调色板来编码或解 码所述当前块的颜色索引；以及 如果转置所述颜色索引图没有被选择，根据原始调色板或原始三重调色板来编码或解 码所述当前块的所述颜色索引。2. 如权利要求1所述的方法，其特征在于，所述根据所述转置的调色板或所述转置的三 重调色板编码或解码所述当前块的所述颜色索引的步骤包括： 通过交换所述当前块的所述颜色索引的X索引以及y索引来转置所述当前块以产生转 置的当前块；以及 根据所述原始调色板或所述原始三重调色板编码或解码所述转置的当前块的所述颜 色索引。3. 如权利要求1所述的方法，其特征在于，于编码器侧，是否转置所述颜色索引图是通 过传送转动旗标来指示，于解码器侧，是否转置所述颜色索引图是通过解析来自比特流的 所述转动旗标来导出。4. 如权利要求3所述的方法，其特征在于，所述转动旗标被并入转换单元等级、预测单 元等级、编码单元等级、最大编码单元等级、条带等级、图片等级、图片参数集、序列参数集、 或视频参数集。5. -种于视频编码系统中使用调色板编码来编码视频数据块的装置，其特征在于，所 述装置包括一个或多个被配置如下的电子电路： 接收与当前块相关联的输入数据； 确定转置用于调色板编码的颜色索引图是否被选择； 如果转置所述颜色索引图被选择，根据转置的调色板或转置的三重调色板来编码或解 码所述当前块的颜色索引；以及 如果转置所述颜色索引图没有被选择，根据原始调色板或原始三重调色板来编码或解 码所述当前块的所述颜色索引。6. 如权利要求5所述的装置，其特征在于，所述根据所述转置的调色板或所述转置的三 重调色板编码或解码所述当前块的所述颜色索引的步骤包括： 通过交换所述当前块的所述颜色索引的X索引以及y索引来转置所述当前块以产生转 置的当前块；以及 根据所述原始调色板或所述原始三重调色板编码或解码所述转置的当前块的所述颜 色索引。7. 如权利要求5所述的装置，其特征在于，于编码器侧，是否转置所述颜色索引图是通 过传送转动旗标来指示，于解码器侧，是否转置所述颜色索引图是通过解析来自比特流的 所述转动旗标来导出。8. -种于视频编码系统中使用调色板编码来编码视频数据块的方法，其特征在于，所 述方法包括： 接收与当前块相关联的输入数据； 确定用于所述当前块的扫描方向，其中，所述扫描方向是从包括至少一个非水平扫描 的扫描组中选择；以及 如果所述非水平扫描被使用，则根据所述非水平扫描使用调色板或三重调色板来编码 或解码所述当前块的颜色索引。9. 如权利要求8所述的方法，其特征在于，所述扫描组还包括水平扫描。10. 如权利要求8所述的方法，其特征在于，所述至少一个非水平扫描对应于垂直扫描、 之字形扫描、希尔伯特扫描、对角线扫描、反对角线扫描、或其任何组合。11. 如权利要求8所述的方法，其特征在于，还包括:于所述编码所述当前块的所述颜色 索引之前或于所述解码所述当前块的所述颜色索引之后，将列行转动应用到所述当前块。12. 如权利要求8所述的方法，其特征在于，还包括:根据转置的调色板或转置的三重调 色板应用颜色索引的转置以及编码或解码所述当前块的所述颜色索引。13. 如权利要求8所述的方法，其特征在于，还包括:于编码器侧，使用自适应扫描旗标 来传送所述当前块的所述扫描方向，于解码器侧，解析所述自适应扫描旗标以确定所述扫 描方向，其中，所述当前块对应于编码单元。14. 如权利要求13所述的方法，其特征在于，所述自适应扫描旗标是使用背景自适应编 码来编码。15. 如权利要求14所述的方法，其特征在于，所述背景自适应编码是取决于所述当前块 的左侧或上方的调色板编码相邻块的编码信息。16. 如权利要求14所述的方法，其特征在于，所述背景自适应编码是取决于所述当前块 的深度。17. 如权利要求16所述的方法，其特征在于，如果所述当前块的所述深度大于阈值，则 所述背景自适应编码使用第一背景，且如果所述当前块的所述深度不大于所述阈值，则所 述背景自适应编码使用第二背景。18. 如权利要求13所述的方法，其特征在于，所述自适应扫描旗标被并入转换单元等 级、预测单元等级、编码单元等级、最大编码单元等级、条带等级、图片等级、图片参数集、序 列参数集、或视频参数集。19. 如权利要求8所述的方法，其特征在于，于编码器侧以及解码器侧，通过使用用于所 述扫描方向的相同导出过程，所述扫描方向被隐式地确定。20. 如权利要求8所述的方法，其特征在于，所述根据所述水平扫描或所述非水平扫描 编码或解码所述当前块的颜色索引包括使用从包括"复制左侧"、"复制左侧列"、"列填充"、 "复制不规则形状"、"填充不规则形状"、"填充L形状"以及"填充L形状"的模式组中选择的 颜色索引预测模式。
【文档编号】H04N19/50GK106063270SQ201480070568
【公开日】2016年10月26日
【申请日】2014年12月17日
【发明人】孙域晨, 庄子德, 陈渏纹, 黄毓文, 张贤国
【申请人】寰发股份有限公司