在视频编码中用于调色板预测和共享的方法和装置的制造方法
【专利摘要】本发明提供一种用于调色板预测和共享的方法和装置。该方法包括决定用于当前区块的一个或多个调色板共享标志。根据该一个或多个调色板共享标志，相对应的该组颜色组分的一组当前调色板被产生。若第一调色板共享标志被断言，通过该第一调色板共享标志指示的一个或多个当前调色板完全复制来自一组参考调色板之中的一个或多个参考调色板。若第一调色板共享标志不被断言，通过该第一调色板共享标志指示的该一个或多个当前调色板自与视频数据相关的比特流而得到。然后，根据该组当前调色板，将编码或解码应用于该当前区块。
【专利说明】
在视频编码中用于调色板预测和共享的方法和装置
[0001] 交叉引用
[0002] 本发明主张在2013年12月18日提出的申请号为61/917,474、名称为"Methods and Apparatus for Palette Prediction and Sharing in Major Color Based Coding in Video Compression"的美国临时专利申请的优先权;主张在2014年1月3日提出的申请号为 61/923,378、名称为"Methods and Apparatus of Syntax and Processes for Palette Prediction and Sharing in Video Compression"的美国临时专利申请的优先权。因此在 全文中合并参考该些专利申请案。
技术领域
[0003] 本发明是有关于用于视频数据的调色板编码，其可包括在某些区域中具有有限颜 色的颜色内容，特别是有关于通过开发更有效的调色板共享来改善性能的技术。
【背景技术】
[0004] 高效视频编码(High Efficiency Video Coding,以下简称为HEVC)是近年来开发 的新的编码标准。在HEVC系统中，H. 264/AVC中固定尺寸的宏块由灵活的区块来代替，并将 其命名为编码单元(coding unit，CU)。在编码单元中像素共享相同的编码参数，以改善编 码效率。编码单元可开始于最大编码单元（largest⑶，IXU)，其在HEVC中也被称为编码树 单元。除编码单元的概念之外，预测单元的概念也被引入HEVC中。一旦编码单元分层树的分 割完成，根据预测类型和预测单元分割，每一个叶编码单元被进一步分割为一个或多个预 测单元。
[0005] 在HEVC标准的发展过程中，也开发了HEVC的扩展版本。HEVC的扩展包括范围扩展 (range extensions，以下简称为RExt)，其目标在于非4:2:0颜色格式(例如4:2: 2和4:4:4) 以及更高比特深度视频(例如，每次采样12、14以及16比特）。利用RExt的一个可能的应用是 通过有线或无线连接的屏幕共享。由于屏幕内容的具体特点，已开发一些编码工具以及这 些编码工具证明编码效率收益显著。在这些编码工具中，调色板编码(也称为基于主要颜色 的编码)技术利用至调色板(主要颜色）的索引（indices)而表示区块的像素，并利用空间冗 余来编码调色板和索引。尽管可能的颜色组合的总数很大，但是用于典型的屏幕内容的图 片区域中的颜色数通常有限。因此，调色板编码十分有效地用于屏幕内容素材（screen content materials)〇
[0006] 在HEVC RExt的早期开发中，若干提议已被揭示，以处理基于调色板的编码。举例 来说，调色板预测和共享技术揭示于JCTVC-N0247中（Guo et al.，"RCE3:Results of Test 3. Ion Palette Mode for Screen Content Coding" Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/ffG 11,14th Meeting: Vienna，AT，25July-2Aug· 2013Document: JCTVC-N0247)。在JCTVC-N0247中，调色 板的每一个颜色组分被构建和传送。调色板可自其左相邻的编码单元而被预测(或共享）以 降低比特率。在JCTVC-N0247中揭示的方法的伪代码如下所示。
[0008] 如以上伪代码所示，当如palette_pred[color_index]所示调色板预测模式被使 用，具有color_index的当前编码单元的调色板（即，Current QJ palette[color_index])， 共享来自当前编码单元左侧的具有相同color_index的编码单元的调色板（即，left CU palette [color_index])。否则，新的调色板自在解码器侧的比特流而被解析，或自在编码 器侧的比特流中而被发送。根据JCTVC-N0247的方法不利用来自上方编码单元的调色板预 测(共享）。此外，若左侧编码单元不利用调色板模式而被编码，则用于当前编码单元的调色 板不会自左侧编码单元而被预测。
[0009] 另一种调色板编码方法在JCTVC-N0249中揭示（Guo et al.，"non-RCE3:Modified Palette Mode for Screen Content Coding" Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/ffG 11,14th Meeting: Vienna，AT，25July-2Aug · 2013Document: JCTVC-N0249)。在JCTVC-N0249中，在调色板中的 每一个元素是三重的（triplet)，代表三个颜色组分的特定组合。
[0010] 又一种调色板编码在JCTVC-00182中揭示（Guo et al.，"AHGSzMajor-color-based screen content coding"，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/ffG 11,15th Meeting:Geneva,CH, 230ct · - INov · 2013，Document: JCTVC-00182)。在JCTVC-00182中，每一个组分被构造并被传 送。然而，在调色板中的单独的条目可自在上方编码单元或左侧编码单元中提取对应的调 色板条目而被预测，而不是自左侧编码单元预测整个调色板。用于在JCTVC-00182中揭示的 方法的伪代码如下所示：
[ΟΟ?ζ」如上所示的伪代码中，当如取值为1的palette_pred[color_index] [η]所示调色 板预测被选择时，用于当前编码单元的调色板的单独的条目（即，对于顺序位置η处的 Current CU palette[color_index][n])，可共享来自上方编码单元（即，Above CU palette[color_index] [η])或左侧编码单元（即，Left CU palette[color_index] [η])对 应的调色板条目。若如取值为〇的palette_pred[color_index] [η]所示调色板预测不被选 择时，用于当前编码单元的调色板自在解码器侧的比特流而被解析（即，Parse syntax for current OJ palette[color_index][n])，或自在编码器侧的比特流而被发送。
[0013] 如上所示，根据JCTVC-00182的调色板编码利用逐元素(逐条目）预测编码。因此， 解析复杂度(多层)变得较高。此外，由于在相邻编码单元中的调色板元素（调色板条目）不 在相同的顺序位置η，即使他们具有相同的值，仍可能不是十分有效。
[0014] 因此，有必要开发一种方法，以进一步改善编码效率及/或降低与调色板编码相关 的复杂度。
【发明内容】
[0015] 根据本发明的实施方式，提供一种用于调色板预测和共享的方法和装置。包括本 发明实施方式的方法决定用于当前区块的一个或多个调色板共享标志。根据该一个或多个 调色板共享标志，对应于该组颜色组分的一组当前调色板被产生。若第一调色板共享标志 被断言，通过该第一调色板共享标志指示的一个或多个当前调色板完全复制来自于一组参 考调色板中的一个或多个参考调色板。若第一调色板共享标志不被断言，通过该第一调色 板共享标志指示的该一个或多个当前调色板自与视频数据相关的比特流而得到。然后，根 据该组当前调色板，将编码或解码应用于该当前区块。当前区块对应于编码单元、预测单 元、最大编码单元、或编码树区块。
[0016] 本发明的一方面描述调色板共享标志设计。调色板共享标志可对应于单一的共享 标志，以及若该单一的共享标志被断言，该组当前调色板的所有当前调色板完全自该组参 考调色板的所有参考调色板而被复制。该一个或多个调色板共享标志中的每一个标志也可 对应于该组颜色组分的每一个颜色组分，以及若一个对应的共享标志被断言，完全自具有 一个对应的颜色组分的一个对应的参考调色板，复制具有一个对应的颜色组分的一个对应 的当前调色板。调色板共享标志也可对应于颜色组分(YUV，RGB，等）的一组共享标志。举例 来说，调色板共享标志可对应于亮度调色板共享标志和色度调色板共享标志，以及若该亮 度调色板共享标志或该色度调色板共享标志被断言，完全自一个对应的亮度参考调色板或 至少一个对应的色度参考调色板，复制当前亮度调色板或至少一个当前色度调色板。
[0017] 本发明的另一方面描述参考调色板设计。该组参考调色板对应于与一个或多个先 前区块相关的新的一组或多组调色板之间的最新的一组调色板。在本申请中，与一个或多 个先前区块相关的新一组或多组调色板被称为"调色板书"。该新的一组或多组调色板对应 于新的N组调色板，其中N为大于0的整数。当一组新的调色板被存储时，通过移除最先的调 色板，而更新调色板书。在一个实施方式中，在调色板书中仅存在新的一组调色板，即N=l。
[0018] 该组参考调色板也可自上方编码单元及/或左侧编码单元而被共享。当调色板共 享标志被断言以及上方编码单元和左侧编码单元均被允许时，附加的标志被使用以指示该 组调色板是否自上方编码单元或左侧编码单元而被共享。在一个实施方式中，上方编码单 元的该组调色板与左侧编码单元的该组调色板进行比较。若它们是完全相同的，则附加的 标志被跳过。可选地，一组代替的调色板可用于代替完全相同的该组调色板。该组代替的调 色板可对应于左上方编码单元或右上方编码单元的该组调色板。该组代替的调色板也可自 一组先前编码的调色板而被确定。
【附图说明】
[0019] 图1描述了包括本发明实施方式的基于一个或多个调色板共享标志而自先前处理 的调色板来共享调色板的示范性系统的流程图。
【具体实施方式】
[0020] 为改善性能并降低调色板编码的复杂度，本发明揭示了各种改善和简化的调色板 编码。在本发明的第一类实施方式中，利用左侧编码单元及/或上方编码单元，在逐组分或 逐编码单元的基础上，调色板被预测或被共享。当调色板预测以光栅扫描的方式（即，逐行 以及从顶行至底行）而被应用于编码单元，上方的编码单元和左侧的编码单元代表先前处 理的编码单元。如JCTVC-N-0249中所揭示，基于逐编码单元的调色板共享可被应用于三重 调色板格式。在本发明的第二类实施方式中，通过利用"调色板书(palette book)"以便建 立先前编码的调色板的历史，而完成预测和共享。在此示例中，将被共享的调色板可能与除 上方编码单元和左侧编码单元之外的编码单元相关。举例来说，最近被编码的调色板可被 保存于给定的最大编码单元(或成为编码树单元，CTU)中，或于多个最大编码单元(或多个 CTU)的给定区域中（例如，编码树单元线），或于当前条带中。在当前最大编码单元中的编码 单元(或在多个最大编码单元(多个编码树单元）的给定区域(例如编码树单元线）中，或在 当前条带中）可共享此调色板或使用其自身的调色板(新的调色板）。
[0021] 第一实施方式：自左侧/上方编码单元的组分式调色板共享控制。
[0022] 在此实施方式中，用于当前编码单元的一个或多个调色板可共享来自上方编码单 元或左侧编码单元的一个或多个调色板，以及调色板共享被执行以用于每一个颜色组分。 用于每一个颜色组分的指示(例如，palette_pred[color_index])可用于指示调色板预测 是否被使用。若调色板预测被使用，则另一指示用于指示预测是否来自于上方编码单元或 左侧编码单元。举例来说，指示pred_from_above可被使用。若pred_from_above的值等于1， 则自上方的编码单元的调色板预测被选择。否则，调色板预测来自左侧的编码单元。根据本 发明实施方式的示范性伪代码如下所示：
[0023]
[0024] 在上述示范性伪代码中，当palette_pred[color_index]指示调色板预测被用于 特定的颜色组分（由color_index指示），包括具有color_index的特定颜色组分的调色板尺 寸的整个调色板可自上方区块或左侧区块的调色板而被复制。在上述示范性伪代码中，当 palette_pred[color_index]指示调色板预测不被使用时，用于当前编码单元的新的调色 板自比特流而得到（即，Parse syntax num_major_colo;r[colo;r_index]) 〇
[0025] 第二实施方式：自左侧/上方编码单元的编码单元式调色板共享控制。
[0026]与第一实施方式相比，对于所有color_index来说，是否共享当前编码单元的调色 板的控制是相同的。换句话说，用于所有color_index的控制标志，palette_pred和pred_ from_above是相同的。根据此实施方式的示范性伪代码如下所示：
[0028] 此外，在上述伪代码中，当palette_pred指示调色板预测被使用时，包括用于所有 C〇l〇r_indeX的调色板尺寸的整个调色板可自上方区块或左侧区块的对应的调色板而被复
制。
[0029] 第三实施方式：自左侧/上方编码单元的亮度/色度式调色板共享控制。此实施方 式可被视为组分式调色板共享的示例，其中，颜色组分对应于亮度组分和至少一个色度组 分。在一个示例中，自上方/左侧的调色板共享具有两个预测控制标志，其中一个标志用于 亮度组分，另一个标志用于色度组分。此可被特定用于在亮度和色度组分中具有不同变化 程度的内容。根据此实施方式的用于YUV颜色组分的示范性伪代码如下所示：
[0032] 在上述伪代码中，单独的共享控制标志口代(1_；1^0111_&130￥6_￥和。代(1_；1^0111_&130￥6_ UV被使用。此外，各自的调色板表（即，palette[Y_index]，palette[U_index]和palette[V_ index])被用于各个颜色组分。尽管U和V颜色组分共享相同的标志（即，palett e_pred_UV)， 单独的标志可被用于U和V颜色组分。此外，在上述伪代码中，当palette_pred_YSpalette_ pred_UV指示调色板预测被使用时，包括用于Y或U/V的调色板尺寸的整个调色板自上方区 块或左侧区块的对应的调色板而被复制。
[0033] 请注意，上述伪代码对应于解码过程。相似的伪代码可被开发以用于编码器侧。举 例来说，在编码器侧对应于"解析语法num_major_colo;r[colo;r_index]"的动作会是"发送 语法num_major_color[color_index]"。为减少与自上方编码单元的共享的调色板相关的 线缓冲器，仅当上方编码单元在当前最大编码单元或编码树中时，根据本发明的变化的实 施方式可允许以上共享。符合实施方式变化的编码器，将检查是否上方编码单元和当前编 码单元在同一最大编码单元或编码树单元中。尽管上述的示例通常允许当前编码单元的上 方的编码单元和左侧的编码单元共享调色板，然而，也会限制仅自一个相邻编码单元（即， 仅上方编码单元或仅左侧编码单元)来共享调色板。此外，尽管示例显示调色板编码和共享 的间隔尺寸是以编码单元为基础，调色板编码和共享的其他间隔尺寸也可被使用。举例来 说，调色板编码和共享可以预测单元、最大编码单元、编码树单元、或多个最大编码单元为 基础而被执行。
[0034] 发送上述实施方式的语法的示例如表1所示。发送比特可以是上下文编码 (context-coded)的。对于在第一实施方式中的组分式调色板共享，在表1中的用于每一个 颜色组分的语法比特可使用不同上下文以用于CABAC编码，或使用相同上下文。在第三实施 方式中，相似的不同上下文可被用于亮度/色度控制方案。
[0035] 表 1
[0037]对于第二类实施方式，调色板书(palette book)被使用。各种方式可被用于产生 调色板书。举例来说，最近编码的调色板设置(palette sets)的历史可被存储于"调色板 书"中。如b〇〇k_indeX所示，当前编码单元可选择共享存储于调色板书中的一个调色板组。 当前编码单元也可使用其自身的调色板以及当前调色板将代替调色板书中的一个设置。新 的调色板被编码并被传送至编码器侧，以使得相同的调色板书更新过程可在编码器和解码 器端以相同的方式被执行。存在有各种方式来更新和排序先前已编码的调色板设置。
[0038]第四实施方式:利用"调色板书"的编码单元式调色板共享控制。在一个特定的示 例中，调色板设置基于其编码顺序被简单地排序，即，最近编码的调色板被存储于"调色板 书"中起始位置(即，具有最小的索引），而先前编码的被存储于随后的位置（即，具有较大的 索引）。举例来说，具有尺寸为KK的调色板书被使用以存储KK组先前已编码的调色板。为了 使得第一条目对于新的已编码的调色板可用，当新的调色板设置被编码时，在"调色板书" 中的条目1至条目（KK-1)将被移至条目2至KK。这是简单的先进先出的更新和排序过程。如 下所示的伪代码描述了当共享以编码单元为基础进行控制（即，共享用于所有颜色组分） 时，利用调色板书的调色板共享的示例。实施方式也可用于在JCTVC-N-0249中揭示的三重 调色板格式。
[0040]在上述伪代码中，当如值为1的palette_pred所示调色板预测被使用时，调色板书 索引（即，book_index)可自比特流而被确定。用于当前编码单元的调色板（即，Current CU palette[color_index])自具有book_index的调色板书（BP，palette_book[book_index] [colorjndex])而得到。若当前编码单元不利用调色板预测，为使得第一条目对于新的已 编码的调色板可用，在"palette book"中的条目1至条目（KK-1)将被移至条目2至条目KK (艮P，palette_book[k] [color_index] = palette_book[k_l ] [color_index]for(k〈 = KK，k> 1 ,k-))。新的解析的当前编码单元调色板（即，Parse syntax for current CU palette [color_index] [n])将被放置在引导调色板书（leading palette book)中（即，palette_ book[0][color_index][n]=current CU palette[color_index][n])〇 [0041 ]第五实施方式:利用"调色板书"的组分式调色板共享控制。除共享控制为组分式 之外，第五实施方式相似于第四实施方式。根据本发明实施方式的用于每一个颜色组分的 示范性伪代码如下所示。
[0043]第六实施方式:利用"调色板书"的亮度/色度式(Component-wise)调色板共享控 制。尽管在第四和第五实施方式中分别描述了利用"调色板书"的编码单元式和组分式调色 板共享控制，调色板书的共享控制也为亮度/色度式。亮度组分和色度组分可具有各自的共 享控制（例如，一个用于亮度的控制标志和一个用于色度的控制标志）。亮度和色度组分中 的每一个具有自己的调色板。这对于在亮度和色度组分中具有不同变化程度的内容特别有 用。根据本实施方式的用于YUV颜色格式的示范性伪代码如下所示，其中相同的共享控制标 志用于U组分和V组分（即，palette_pred_UV)，也可使用各自的控制标志。
[0046] 尽管如上所示的示例通常允许上方编码单元和左侧编码单元以用于当前编码单 元共享其调色板。然而，也可限制允许仅一个相邻编码单元(仅上方编码单元或仅左侧编码 单元)来分享调色板。此外，尽管示例描述调色板编码和共享的间隔尺寸是以编码单元为基 础，调色板编码和共享的其他间隔尺寸也可被使用。举例来说，调色板编码和共享可以预测 单元、最大编码单元、编码树单元、或多个最大编码单元为基础而被执行。
[0047] 尽管先进先出的方案用于"调色板书"更新和排序的第四实施方式至第六实施方 式的伪代码中，只要编码器和解码器可执行相同的处理，其他方式也可被利用。举例来说， 计数器可被使用以追踪被选择以共享的每一个调色板设置的频率。然后，根据频率，调色板 书可被更新，例如从选择高频到选择低频来排序。
[0048] 自"调色板书"的条目的选择可在比特流中被发送。最直接的方式是发送具有固定 长度编码的书条目。然而，利用"调色板书"的适当顺序，例如先进先出或基于频率，最可能 被使用的调色板条目为在"调色板书"前端的调色板条目。另一方面，在"调色板书"末端的 条目被使用的可能性较低。因此，更有效的语法设计可被构造以利用这些性能。举例来说， 用于具有尺寸等于4的"调色板书"的条目0、1、2、3的选择可利用如表2所示的可变长度的代 码而被发送。
[0049]表 2
[0051]发送可变长度的代码的比特可为上下文编码。对于在第五实施方式中的组分式调 色板共享，在表2中用于每一个颜色组分的语法比特可使用不同的上下文以用于上下文自 适应二进制算术编码（context adaptive binary arithmetic coding，CABAC)，或可使用 相同的上下文。相似地，不同的上下文可被用于在第六实施方式中的亮度/色度控制方案。 [0052]由于"调色板书"跟踪并更新最近编码的调色板组，不存在线缓冲器问题。调色板 书尺寸的选择成为在提供更好调色板匹配（即，使用较大的调色板书尺寸）和发送边信息 (即，使用较小的调色板书尺寸)之间的权衡问题。
[0053]另一个设计的考虑是，在被重置之前，调色板持续保持有效。较长的有效期间，例 如整个条带/图片，使能调色板较长的存储将可用于区块。然而，差错恢复性能会变差，其是 因为损失这样的调色板书将影响在条带/图片中的所有区块的解码。
[0054]第七实施方式:利用具有调色板书尺寸kk=l的"调色板书"的编码单元式调色板 共享控制。此实施方式对应于调色板书共享的特定示例，其中仅一个最近编码的调色板在 调色板书（即，调色板尺寸kk= 1)中。由于在调色板书中仅存在一个条目，不需要发送如实 施方式4-6中提到的b〇〇k_index。此外，调色板书的更新过程将变为用当前调色板表来简单 代替调色板书。利用调色板书尺寸kk=l以及各种有效期间的"调色板书"的编码单元式调 色板共享控制的伪代码如下所示，其中有效期间定义多长时间调色板书将被重置。
[0056] 如上所示，不需要移动先前的调色板书以为新的调色板书制造空间。如伪代码中 所示，调色板书在最大编码单元、最大编码单元行、或条带中每一个的起始处被重置（即， uIf(begin new LCU,or begin new LCU row,or begin new slice),Clear palette_ book"）。
[0057] 第八实施方式:利用具有调色板书尺寸kk=l的"调色板书"的组分式调色板共享 控制。利用具有调色板尺寸kk=l和各种有效期间的"调色板书"的组分式调色板共享控制 的对应的伪代码如下所示：
[0060]第九实施方式:利用具有调色板书尺寸kk=l的"调色板书"的亮度/色度式调色板 共享控制。利用具有调色板尺寸kk=l和各种有效期间的"调色板书"的亮度/色度式调色板 共享控制的对应的伪代码如下所示：
[0062]本发明的另一方面与调色板预测的语法相关。用于解析与表1中发送调色板共享 相关的语法的伪代码如下所示：
[0065]本发明的另一方面描述当调色板共享来自上方编码单元和左侧编码单元时，自上 方编码单元和左侧编码单元的调色板相同的情况。如上所示的伪代码描述语法palette_ pred先被解析。若palette_pred的值为1，然后语法pred_from_above被解析。根据pred_ from_above的值，用于当前编码单元的调色板自上方编码单元或自左侧编码单元而被复
制。
[0066] 第十实施方式：当上方调色板和左侧调色板相同时省略语法pred_from_above。在 此实施方式中，如果上述调色板与左侧调色板相同，则当palette_pred的值为1时，不需要 区分复制是自上方编码单元还是左侧编码单元。相应地，在此情况下，语法pred_from_ above变得冗余。为移除冗余，此实施方式检查上方调色板是否与左侧调色板相同。若是，则 pred_fr〇m_ab〇ve不被发送。包括关于上方调色板是否与左侧调色板相同的比较和指示的 伪代码如下所示：
[0068] 如上述伪代码所示，上方调色板与左侧调色板进行比较（即，AbLfEq= (above palette= = left palette))。若上方调色板和左侧调色板不相同（即，！AbLfEq的值为1))， 自上方调色板或左侧调色板的常规调色板共享被执行。否则（即，！AbLfEq的值为0)，语法 pred_f rom_above不被解析，以及当前调色板总是自上方调色板而被复制。可选地，由于上 方调色板和左侧调色板相同，当前调色板总是自左侧调色板而被复制。
[0069]第十一实施方式：当上方调色板和左侧调色板相同时利用代替的相邻调色板。当 左侧调色板等于上方调色板时，尽管第十实施方式省略了语法pred_from_above，本实施方 式中可使用自相邻区块的其他具有因果关系的调色板(causal palette)来代替上方调色 板或左侧调色板。可能的具有因果关系的相邻调色板为，例如，左上方区块或右上方区块。 例如，自左上方区块的调色板可用于代替左侧调色板。当上方调色板等于左侧调色板时，使 用自另一相邻区块的代替调色板的伪代码如下所示：
[0071]第十二实施方式：当上方调色板与左侧调色板相同时利用先前已编码的调色板。 此实施方式维持先前已编码的调色板。举例来说，先前已编码的调色板可对应于最近编码 的调色板，该最近编码的调色板不是当前区块的上方调色板，也不是左侧的调色板。当当前 区块的上方调色板和左侧调色板相同时，先前已编码的调色板可被利用以用于调色板共 享。此种方式要求在编码器和解码器侧的更新过程均维持先前已编码的调色板。当上方调 色板等于左侧调色板时，利用先前已编码的调色板的伪代码如下所示：
[0073] 在上述示范性伪代码中，最近编码的调色板被表示为"recent palette"。最近的 调色板被用作代替上方或左侧区块的调色板的示例。其他的调色板维持过程也可被使用。 [0074] 第七实施方式的性能与在JCTVC-P0108中揭示的参照系统(anchor system)进行 比较（Guo et al，RCE4: Test 1 .Major -color-based screen content coding,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/WG ll，16th Meeting:San Jos6，US，9-17Jan.2014，Document:JCTVC-P0108)。执 行如第一列所示的各种测试数据和各种系统配置(AI-MT，AI-HT和AI-SHT)的比较。AI称为 "all Intra"，MT 称为 "Main Tier"，HT 称为 "High Tier" 以及 SHT 称为 "Super High Tier"。 基于BD率的性能测量是视频编码领域中熟知的性能测量方式。比较结果如表3所示，其中在 表3中的负值表示相对于参照系统的性能改善。如表3所示，本发明的第七实施方式显示了 对于屏幕内容数据(例如，屏幕内容数据为SC RGB 444，SC YUV 444，SC(444)GBR Opt.和SC (444)YUV Opt.)的显著性能改善。
[0075]表 3
[0078] 图1描述了包括本发明实施方式的基于一个或多个调色板标志而自先前处理的调 色板来共享调色板的示范性系统的流程图。如步骤110所示，系统接收与当前区块相关的输 入数据，该当前区块包括一组颜色组分。其中，该组颜色组分由一种或多种颜色组成。对于 编码侧来说，输入数据对应于利用调色板编码而将被编码的像素数据。对于解码侧来说，输 入数据对应于利用调色板编码而将被解码的已编码像素。输入数据可自存储器(例如，计算 机存储器、缓冲器(RAM或DRAM)或其他媒体)或自处理器而接收。如步骤120所示，当前区块 的一个或多个调色板共享标志被确定。第一调色板共享标志被检测以确定是否被断言。在 步骤130中，若结果为"是"，则流程转至步骤140。若结果为"否"，则流程转至步骤150。在步 骤140或步骤150的流程之后，流程转至步骤160。在步骤140中，一组当前调色板由该第一调 色板共享标志指示的一个或多个当前调色板完全复制来自一组参考调色板组中的一个或 多个参考调色板而产生。在步骤150中，该组当前调色板通过自与视频数据相关的比特流得 到由该第一调色板共享标志指示的该一个或多个当前调色板而产生。在步骤160中，根据该 组当前调色板，编码或解码被应用于该当前区块。
[0079] 上述的流程图用于描述根据本发明的调色板编码的示例。本领域技术人员可在不 脱离本发明精神的前提下，修改、重排列、拆分、或组合各个步骤，以实现本发明。在本申请 中，特定的语法和语义用于解释本发明的示范性实施方式。本领域技术人员可在不脱离本 发明的精神的前提下，利用等同的语法和语义来取代上述的语法和语义，来实现本发明。
[0080] 在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发 明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他 实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特 征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细 节。然而，本领域技术人员能够理解本发明可以实现。
[0081] 以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。 例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上 述过程的程序代码。本发明的实施方式也可为在数据信号处理器（Digital Signal Pr〇CeSS〇r，DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处 理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种 功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定 方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序 语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行 任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与 范围。
[0082]在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述 示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书 指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范 围。
【主权项】
1. 一种在视频编码系统中的视频数据区块的编码方法，其特征在于，该方法利用调色 板编码，该方法包括： 接收与当前区块相关的输入数据，该当前区块包括一组颜色组分，其中该组颜色组分 由一个或多个颜色组成； 决定用于该当前区块的一个或多个调色板共享标志； 根据该一个或多个调色板共享标志，产生对应于该组颜色组分的一组当前调色板，其 中若第一调色板共享标志被断言，产生的该组当前调色板的步骤包括由该第一调色板共享 标志来指示的一个或多个当前调色板完全复制来自一组参考调色板之中的一个或多个参 考调色板，以及若该第一调色板共享标志不被断言，产生的该组当前调色板的步骤包括，自 与该视频数据相关的比特流，得到由该第一调色板共享标志指示的该一个或多个当前调色 板；以及 根据该组当前调色板，编码或解码该当前区块。2. 根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 该当前区块对应于编码单元、预测单元、最大编码单元、或编码树区块。3. 根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 该一个或多个调色板共孚标志对应于单一的共孚标志，以及若该单一的共孚标志被断目， 产生该组当前调色板的步骤包括完全自该组参考调色板的所有参考调色板而复制该组当 前调色板的所有当前调色板。4. 根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 该一个或多个调色板共享标志中的每一个共享标志对应于该组颜色组分的每一个颜色组 分，以及若一个对应的共享标志被断言，产生该组当前调色板的步骤包括完全自具有该一 个对应的颜色组分的一个对应的参考调色板，复制具有一个对应的颜色组分的一个对应的 当前调色板。5. 根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 该一个或多个调色板共享标识对应于亮度调色板共享标志和色度调色板共享标志，以及若 该亮度调色板共享标志或该色度调色板共享标志被断言，产生该组当前调色板的步骤包括 完全自一个对应的亮度参考调色板或至少一个对应的色度参考调色板，复制当前亮度调色 板或至少一个当前色度调色板。6. 根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 该组参考调色板对应于与一个或多个先前区块相关的新的一组或多组调色板之间的最新 的一组调色板。7. 根据权利要求6所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 该新的一组或多组调色板对应于新的N组调色板，其中N为大于0的整数。8. 根据权利要求7所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 当一组新的调色板被存储于该新的N组调色板中时，自该新的N组调色板移除最先的调色 板。9. 根据权利要求7所述的在视频编码系统中的视频数据区块的编码方法，其特征在于， 该新的N组调色板被重置，以用于每一个最大编码单元、每一个由最大编码单元组成的区 域，或每一个条带、以及N等于1。10. 根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法，其特征在 于，该组参考调色板对应于一组相邻调色板，该组相邻调色板与该当前区块的上方的相邻 区块或左侧的相邻区块相关。11. 根据权利要求10所述的在视频编码系统中的视频数据区块的编码方法，其特征在 于，若该第一调色板共享标志被断言，第二调色板共享标志被发送，以自该当前区块的该上 方的相邻区块或该左侧的相邻区块选择该组参考调色板。12. 根据权利要求11所述的在视频编码系统中的视频数据区块的编码方法，其特征在 于，若该当前区块的该上方的相邻区块和该左侧的相邻区块具有一组相同的调色板，则省 略该第二调色板共享标志。13. 根据权利要求11所述的在视频编码系统中的视频数据区块的编码方法，其特征在 于，若该当前区块的该上方的相邻区块和该左侧的相邻区块具有一组相同的调色板，该组 参考调色板自一组相同的调色板和与代替的相邻区块相关的一组代替的调色板中选择，其 中该代替的相邻区块对应于左上方相邻区块或右上方相邻区块。14. 根据权利要求11所述的在视频编码系统中的视频数据区块的编码方法，其特征在 于，若该当前区块的该上方的相邻区块和该左侧的相邻区块具有一组相同的调色板，该组 参考调色板自一组相同的调色板和一组先前编码的调色板中选择。15. 根据权利要求1所述的在视频编码系统中的视频数据区块的编码方法，其特征在 于，该第一调色板共享标志是上下文编码的。16. -种在视频编码系统中的视频数据区块的编码装置，其特征在于，该装置利用调色 板编码，该装置包括一个或多个电子电路，被配置为： 接收与当前区块相关的输入数据，该当前区块包括一组颜色组分，其中该组颜色组分 由一个或多个颜色组成； 决定用于该当前区块的一个或多个调色板共享标志； 根据该一个或多个调色板共享标志，产生对应于该组颜色组分的一组当前调色板，其 中若第一调色板共享标志被断言，该组当前调色板的一个或多个当前调色板由该第一调色 板共享标志来指示，该一个或多个当前调色板完全自一组参考调色板之中的一个或多个参 考调色板而被复制，以及若该第一调色板共享标志不被断言，该组当前调色板的该一个或 多个当前调色板由该第一调色板共享标志来指示，该一个或多个当前调色板自与该视频数 据相关的比特流而得到；以及 根据该组当前调色板，编码或解码该当前区块。17. 根据权利要求16所述的在视频编码系统中的视频数据区块的编码装置，其特征在 于，该一个或多个调色板共享标志对应于单一的共享标志，以及若该单一的共享标志被断 言，该组当前调色板的所有当前调色板完全自该组参考调色板的所有参考调色板而被复 制。18. 根据权利要求16所述的在视频编码系统中的视频数据区块的编码装置，其特征在 于，该一个或多个调色板共享标志对应于该组颜色组分的每一个颜色组分，以及若一个对 应的共享标志被断言，具有一个对应的颜色组分的一个对应的当前调色板完全自具有该一 个对应的颜色组分的一个对应的参考调色板而被复制。19. 根据权利要求16所述的在视频编码系统中的视频数据区块的编码装置，其特征在 于，该组参考调色板对应于与一个或多个先前区块相关的新的一组或多组调色板之间的最 新的一组调色板。20.根据权利要求16所述的在视频编码系统中的视频数据区块的编码装置，其特征在 于，该组参考调色板对应于一组相邻调色板，该组相邻调色板与该当前区块的上方的相邻 区块或左侧的相邻区块相关。
【文档编号】H04N1/64GK106031142SQ201480069231
【公开日】2016年10月12日
【申请日】2014年12月5日
【发明人】赖柏霖, 刘杉, 庄子德, 许晓中, 夜静
【申请人】寰发股份有限公司