调色板初始化和管理的方法和装置的制造方法【专利摘要】本发明提供一种通过初始化调色板或三重调色板、或利用自先前图像区域的选择的调色板或三重调色板以用于当前图像区域的起始区块的、视频数据的区块的调色板编码的方法和装置。该方法接收与当前图像区域相关的输入数据，该当前图像区域由多个区块组成。对于起始区块，基于初始的调色板或三重调色板、或基于与选择的区块相关的选择的调色板或三重调色板，确定其调色板预测子，其中该选择的区块位于先前图像区域的末端之前的位置处。对于当前图像区域的区块，调色板编码被应用多个区块，其中至少一区块使用起始区块的调色板预测子作为调色板预测子。【专利说明】调色板初始化和管理的方法和装置[0001]交叉引用[0002]本发明主张在2013年12月18日提出的申请号为61/917，474的美国临时专利申请的优先权;主张在2013年12月27日提出的申请号为61/921，152的美国临时专利申请的优先权;主张在2014年3月14日提出的申请号为61/952，917的美国临时专利申请的优先权;主张在2014年3月14日提出的申请号为61/952,932的美国临时专利申请的优先权；W及主张在2014年9月26日提出的申请号为62/055,692的美国临时专利申请的优先权。因此在全文中合并参考该些专利申请案。
技术领域：
[0003]本发明是有关于视频数据的调色板编码(palettecoding),特别是有关于利用更有效的调色板初始化和管理来改进调色板预测的性能的技术。【
背景技术：
】[0004]高效视频编码化ighEfficien巧VideoCoding,W下简称为肥VC)是近年来开发的新的编码标准。在皿VC系统中，H.264/AVC中固定尺寸的宏块由灵活的区块来代替，并将其命名为编码单元(codingunit，CU)。在编码单元中像素共享相同的编码参数，W改善编码效率。编码单元可开始于最大编码单元（largestCU,LCU)，其在皿VC中也被称为编码树单元。除编码单元的概念之外，预测单元的概念也被引入肥VC中。一旦编码单元分层树的分割完成，根据预测类型和预测分割，每一个叶编码单元被进一步分割为一个或多个预测单JLO[0005]在皿VC标准的发展过程中，也开发了皿VC的扩展版本。皿VC的扩展包括范围扩展(rangeextensions,W下简称为RExt)，其目标在于非4:2:0颜色格式（例如4:2:2和4:4:4)W及更高比特深度视频(例如，每次采样12、14W及16比特）。利用RExt的一个可能的应用是通过有线或无线连接的屏幕共享。由于屏幕内容的具体特点，已开发一些编码工具W及运些编码工具证明编码效率收益显著。在运些编码工具中，调色板编码(也称为基于主要颜色的编码)技术利用至调色板(主要颜色）的索引（indices)而表示区块的像素，并利用空间冗余来编码调色板和索引。尽管可能的颜色组合的总数很大，但是用于典型的屏幕内容的图片区域中的颜色数通常有限。因此，调色板编码十分有效地用于屏幕内容素材（screencontentmaterials)。[0006]在皿VCRExt的早期开发中，若干提议已被掲示，W处理基于调色板的编码。举例来说，调色板预测和共享技术掲示于JCTVC-N0247中（Guoetal.，"RCE3:ResultsOfTest3.IonPaletteModeforScreenContentCoding''，JointCollaborativeTeamonVideoCoding(JCT-VC)OfITU-TSG16WP3andISO/IECJTC1/SC29/WG11,14thMeeting:Vienna，AT，25化ly-2Aug.2013DO州ment:JCTVC-N0247)。在JCTVC-N0247中，调色板的每一个颜色组分被构建和传送。调色板可自其左相邻的编码单元而被预测(或共享）W降低比特率。[0007]-种改进的调色板预测和共享技术被掲示于JCTVC-00218中（Guoetal.，('EvaluationofPaletteModeCodingonHM-12.0+RExt-4.1''，JointCollaborativeTeamonVideoCoding(JCT-VC)OfmJ-TSG16WP3andISO/IECJTC1/SC29/WG11，15thMeeting:Geneva,CH,230ct.-INov.2013,Document:JCTVC-00218)。在JCTVC-00218中，编码过程如下所示：[000引1.调色板的传送:首先传送调色板尺寸（调色板中颜色的数目），之后传送调色板元素(颜色值）。[0009]2.像素调色板索引值的传送(在调色板中指向颜色的索引）：在编码单元中像素的索引值W光栅扫描的顺序而被编码。对于每一个位置，首先传送一个标志来指示是否开始使用"运行模式(runmode)"或"复制上方模式（copyabovemode)"。[0010]2.r运行模式"：在"运行模式"中，首先发送调色板索引，随后发送"palette_run"(例如，M)。一旦发送当前位置和随后M个位置具有相同的调色板索引，当前位置和随后M个位置不需要发送进一步的信息。调色板索引（例如，i)可由所有的=个颜色组分来共享，运意味着已重建的像素值(Y，U，V)=(paletteY[i]，paletteu[i]，palettev[i])(假设颜色空间为YUV)。[00川2.2"复制上方模式"：在"复制上方模式"中，"copy_run"的值被传送W指示对于随后N个位置(包括当前位置），调色板索引等于在上方行中相同位置处像素的调色板索引。[0012]3.残差的传送:在阶段2中传送的调色板索引被转换为颜色值并用作预测子。残差信息利用肥VC残差编码而被传送，并被添加至用于重建的预测中。[0013]另一个调色板编码技术被掲示于JCTVC-0-0182中（Guoetal.，"AHG8:Major-color-basedscreencontentcoding"，JointCollaborativeTeamonVideoCoding(JCT-VOofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,15thMeeting:Geneva,CH，230ct.-lNov.2013,Document:JCTVC-00182)。然而，在调色板中的各个调色板颜色条目可自上方的编码单元或左侧的编码单元中精确对应的调色板颜色条目而被预测，而不是自左侧编码单元预测整个调色板。换句话说，JCTVC-0-0182掲示了逐元素调色板预测。线模式的=种类型可被用于预测每一个索引线，即水平模式、垂直模式、W及正常模式。在水平模式中，在相同线中的所有索引具有相同的值。若值与上方像素线的第一像素相同，仅线模式发送比特被传送。否则，索引值也被传送。在垂直模式中，当前索引线与上方索引线相同。因此，仅线模式发送比特被传送。在正常模式中，在线中的索引分别被预测。对于每一个索引的位置，左侧或上方相邻被用作预测子，W及预测符号被传送至解码器。[0014]因此，JCTVC-0-0182掲示了将像素分类为主要颜色像素(majorcolorpixels)(具有指向调色板颜色的调色板索引）和逃逸像素(escapepixel)的技术。对于主要颜色像素，解码器根据主要颜色索引（也称为调色板索引）和调色板来重建像素值。对于逃逸像素，编码器会进一步发送像素值。[0015]因此，需要开发一种进一步改善编码效率及/或降低调色板编码相关复杂性的方法。【
发明内容】[0016]根据本发明的实施方式，提出一种通过初始化调色板或=重调色板、或利用自先前图像区域的选择的调色板或=重调色板W用于当前图像区域的起始区块的、视频数据的区块的调色板编码的方法和装置。该方法接收与当前图像区域相关的输入数据，该当前图像区域由多个区块组成。对于起始区块，基于初始的调色板或=重调色板、或基于与选择的区块相关的选择的调色板或=重调色板，确定调色板预测子，其中该选择的区块位于先前图像区域的末端之前的位置处。对于当前图像区域的区块，调色板编码被应用多个区块，其中至少一区块使用起始区块的调色板预测子作为调色板预测子。图像区域可对应于编码树单元行、图块、或条带。多个区块可被配置为区块组。区块对应于编码单元;区块组对应于编码树单元;W及图像区域对应于编码树单元行。[0017]当初始调色板或=重调色本被用作调色板预测子时，初始调色板或=重调色板可对应于预定义的值或得到的值，例如，0。当选择的调色板或=重调色板被用作调色板预测子时，选择的区块可对应于在先前编码树单元行中选择的编码树单元中的最后的编码单元，该先前编码树单元行的该选择的编码树单元位于当前编码树单元行中的起始编码树单元的右上角的位置处，其中起始编码树单元包括起始区块W及选择的调色板或=重调色板对应于选择的编码树单元的最后编码单元的最后编码的调色板或=重调色板。[0018]若该波前并行处理被开启W用于该视频数据，则对当前图像区域的起始区块执行调色板编码，W及若波前并行处理被关闭W用于该视频数据，贝峭b过对当前图像区域的起始区块执行调色板编码，其中该调色板编码是利用初始调色板或=重调色板、或利用选择的调色板或=重调色板。若波前并行处理被关闭W用于该视频数据，当前图像区域的该起始区块使用在先前图像区域中最后编码区块的最后编码的调色板或=重调色板作为调色板预测子，而应用调色板编码。换句话说，当前图像区域的多个区块的调色板编码W及先前图像区域的多个区块的调色板编码在当前图像区域的起始区块的调色板编码之后，W相同的速度进行，并且根据先前图像区域中选择的区块的调色板编码的完成而开始[0019]当前图像的每一个区块的一个或多个语法元素利用算术编码而被编码，W及用于当前图像区域的起始区块的算术编码（例如，上下文自适应二进制算术编码（contextadaptivebinaiyarithmeticcoding,CABAC))的状态继承先前图像区域的选择的区块的状态。当选择的调色板或=重调色板被用作调色板预测子，选择的区块对应于在先前图像区域中的选择的编码树单元中的选择的编码单元，先前图像区域中的选择的编码树单元在该当前图像区域中的起始编码树单元之上的位置处，其中起始编码树单元包括该起始区块。在选择的编码树单元中的选择的编码单元是预定义的，例如，对应于起始区块的最近的编码单元。【附图说明】[0020]图1描述了当波前并行处理(wavefrontparallelprocessing,WPP)开启时，用于上下文自适应二进制算术编码山〇1116別adaptivebinaryarithmeticcoding,CABAC)的初始化的示例。[0021]图2描述了根据本发明的实施方式当波前并行处理开启时，用于每一个编码树单元行的起始区块的调色板/S重调色板(tripletpalette)的初始化的示例。[0022]图3描述了利用当前编码树单元的上方编码树单元的底部编码单元行中最近的编码单元的最后编码的调色板初始化用于当前编码树单元行的起始编码单元的调色板推导的示例。[0023]图4描述了根据本发明实施方式的当波前并行处理开启时，利用初始调色板/=重调色板或选择的调色板/=重调色板用于每一个编码树单元行的起始区块的调色板编码的流程图。【具体实施方式】[0024]在本发明中，掲示了改善调色板编码的性能的各种技术。具体地，掲示了利用波前并行处理(wavefrontparallelprocessing,WPP)的、关于系统的调色板初始化和管理的有效的调色板编码技术。在本发明的一个实施方式中，一个或多个派生的颜色表被存储于调色板书(palettebook)中，W及颜色表可自调色板书中选择W用于调色板预测。各种手段可用于产生调色板书。举例来说，最近的已编码的调色板的历史可被存储于"调色板书"中。当前编码单元可选择由book_index指示的、存储于调色板书中的一个调色板，W作为颜色表预测子。颜色表预测可基于逐条目预测而被应用。在此情况下，当前颜色表的每一个对应元素可由存储于颜色表中的调色板预测子的对应的元素来预测。颜色表预测也可复制条目颜色表。在此情况下，整个当前颜色表可自存储于颜色表中的调色板预测子而被编码。若当前编码单元在调色板模式中被编码，当前调色板可替代调色板书中的一个颜色表。新的调色板被编码并被传送至解码器，W使得相同调色板更新过程可在编码器侧或解码器侧W相同的方式来执行。[0025]存在各种方式更新和排序先前已编码的调色板组。在一个特定的示例中，调色板，也称为调色板组(palettesets)，基于调色板的编码顺序而简单排序，即最近编码的调色板存储于"调色板书"的起始处（即，具有最小的索引），而较先编码的调色板存储于底部(即，具有较大的索引）。举例来说，尺寸为KK的调色板书可用于存储KK组先前已编码调色板。当新的调色板被编码时，为使得第一条目对于最新编码的调色板可用，在"调色板书"中的条目1~化K-1)可被移至条目2~KK。运是简单的先进先出的更新和顺序处理。基于调色板编码的"调色板书"的各种示例描述如下。[0026]利用"调色板书"的编码单元式(CU-Wise)调色板共享控制。下面的伪代码描述了当共享在编码单元式的基础上被控制时（即，共享所有的颜色组分），利用调色板书的调色板共享的示例。实施方式也可用于在JCTVC-N0249中掲示的S重调色板格式。[002[0028]在上述伪代码中，当由值为I的palette_pred所示调色板预测被使用时，调色板书索引（即，book_index)自比特流而被确定。用于当前编码单元的调色板（即，CurrentCUpalettek〇lo;r_index])自具有book_index的调色板书而得到（即，palette_book[book_index]k〇lor_index])。若当前编码单元不使用调色板预测，为使得第一条目对于新的已编码的调色板可用，在"调色板书"中的条目1~化K-1)将被移至条目2~KK(即，for(k<=KK,k〉l,k--)，palette_book[k][color_index]=palette_book[k-l][color_index])。新解析的当前编码单元的调色板（即，F*arsesyntaxforcurrentCUpalettek〇lo;r_index][n])将在引导调色板书（leadingpalettebook)中被替代（即，palette_book[0][color_index][n]=CUrrentCUpalette[color_index][n])。[0029]利用"调色板书"的组分式(Component-wise)调色板共享控制。除共享控制为组分式之外，此实施方式相似于W上实施方式。根据本发明实施方式的用于每一个颜色组分的示范性伪代码如下所示。[0030][0031][0032]利用"调色板书"的亮度/色度式(Component-wise)调色板共享控制。尽管在上述实施方式中分别描述了利用"调色板书"的编码单元式和组分式调色板共享控制，调色板书的共享控制也为亮度/色度式。亮度组分和色度组分可具有各自的共享控制（例如，一个用于亮度的控制标志和一个用于色度的控制标志）。亮度和色度组分中的每一个具有自己的调色板。运对于在亮度和色度组分中具有不同变化程度的内容特别有用。根据本实施方式的用于YUV颜色格式的示范性伪代码如下所示，其中相同的共享控制标志用于U组分和V组分（即，palette_pred_UV)，也可使用各自的控制标志。[0033；[0034[0035]由于"调色板书"跟踪并更新最近编码的调色板组，不存在线缓冲器问题。调色板书尺寸的选择成为在提供更好调色板匹配（即，使用较大的调色板书尺寸）和发送边信息(即，使用较小的调色板书尺寸)之间的权衡问题。[0036]另一个设计的考虑是，在被复位之前，调色板持续保持有效。较长的有效期间，例如整个条带/图片，使能调色板较长的存储将可用于区块。然而，差错恢复性能会变差，其是因为损失运样的调色板书将影响在条带/图片中的所有区块的解码。[0037]利用具有调色板书尺寸化=巧日有效期间（validduration)=ILCU的"调色板书"的编码单元式调色板共享控制。此实施方式对应于调色板共享的特定示例，其中仅一个最近编码的调色板在调色板书（即，调色板尺寸kk=l)中W及调色板书在每一个最大编码单元的起始处被复位（即，validduration=lLCU)。由于在调色板书中仅存在一个条目，不需要发送如实施方式4~6中提到的book_index。此外，调色板书的更新过程将变为用当前调色板来简单代替调色板书。利用调色板书尺寸kk=1W及有效期间=ILCU的"调色板书"的编码单元式调色板共享控制的伪代码如下所示。[003[0039]如上所示，不需要移动先前的调色板书W为新的调色板书制造空间。如伪代码中所示，调色板书在每一个最大编码单元的起始处被复位（即，"If(beginnewLCU),Clearpalette_book''）。[0040]利用具有调色板书尺寸kk=I和有效期间=ILCU的"调色板书"的组分式调色板共享控制。利用具有调色板尺寸kk=l和有效期间=ILCU的"调色板书"的组分式调色板共享控制的对应的化代码化下所示：[0041][0042][0043]利用具有调色板书尺寸kk=1和有效期间=ILCU的"调色板书"的亮度/色度式调色板共享控制。利用具有调色板尺寸化=巧日有效期间=ILCU的"调色板书"的亮度/色度式调色板共享控制的对应的伪代码如下所示：[0044[0045]在相关的现有技术中，当区块(即，编码单元)在调色板模式中不被编码时，颜色表将被复位为0或被设置为不可用。因此，后续区块不会使用调色板信息用于调色板预测。为了改善性能，本发明的一个实施方式节约或存储一个或多个颜色表W用于非调色板编码的编码单元。用于此非调色板已编码的区块的颜色表可自已编码的颜色表来推导，并认为是此非调色板已编码的区块的颜色表。因此，用于非调色板已编码的区块的颜色表被推导，并用于另一区块的调色板预测。举例来说，最后已编码的颜色表或自左侧区块或上方区块的颜色表可被用作非调色板已编码区块的颜色表。在本申请中，推导的用于非调色板已编码区块的颜色表可被称为推导的颜色表(derivedcolortable)。当在调色板编码模式中一个区块被编码时，已存储的颜色表可通过当前处理的颜色表而被更新。运些节约的或存储的颜色表可由相邻的区块参考W用于调色板编码或可为参考颜色表W用于非调色板已编码的相邻区块。[0046]本发明的另一方面描述了用于预测调色板编码的调色板初始化。当预测编码被使用W跨越不同区块编码调色板时，先前的已编码/已解码的调色板（调色板书)被用作预测子。然而，某些区块可不具有存储任意先前的已编码/已解码的调色板，例如，在条带/图片中的第一已编码调色板的区块。若使用复位机制，则第一已编码调色板的区块可使用复位的调色板书作为预测子。在下文中，各种初始化方式被掲示W用于调色板书的初始化。[0047]初始化为全0。在此实施方式中，在每一个条带/图片中起始处，在调色板书中的调色板被全复位为0,W用于所有的颜色表。至于复位机制，即在波前(wavefront)分割或图块(tile)分割的起始处复位调色板、或在每一个最大编码单元行的起始处，调色板书被复位为全0。[0048]初始化为特定颜色值。在此实施方式中，当需要初始化时(例如，每一个条带/图片的起始处，每一个波前/图块分割的起始处，或每一个最大编码单元行的起始处），特定值被分配至调色板颜色。对于YUV视频格式来说，U组分和V组分包含较少的变化并趋向于集中在中间等级(mid-level)周围（即，8比特格式的128和10比特格式的512)。因此，在运种情况下，用于U组分和V组分的颜色表可被初始化等于或十分接近中间等级的值。对于Y组分来说，0或中间等级可用于初始化。因此，用于初始化的特定值可被发送或自较高等级语法而推导，例如条带头（SliceHeader,甜）、图片参数集（Pic1:ureParameterSet,PPS)或序列参数集（SequenceParameterSet,SPS)。[0049]在较高等级语法化igh-levelsyntax,化S)发送特定颜色值。较高等级语法的各种示例如下所示。[00加]序列参数集（SequenceParameterSet,SPS)。如先前提及，中间等级初始化将会对于YUV格式特别有用。因此，高等级语法指示序列的颜色格式，例如在序列参数集中的语法元素，可被利用W指定用于调色板书的中间等级初始化的使用。在序列参数集级中用于较高等级语法的伪代码如下所示。[0化1][0052]中间等级可W是用于化k特格式的128和用于10比特格式的512。[0化3]图片参数集（Pic化re化rameterSet,PPS)。另一实施方式是利用图片参数集W指定调色板书的初始化值。此方法对于在序列中的不同场景(differentscene)的设置特别有用。举例来说，对于在暗场景中的图片，图片参数集可指示初始化调色板书具有较低值(即，0用于全黑）。另一方面，对于在亮场景中的图片，较高的颜色值可用于初始化。用于初始化的精确值可在图片参数集中明确地被发送。[0054]分配初始化值的另一种方法是分析图片的色度W及发送对应于图片的主颜色(dominantcolors)的初始化值。在一个示例中，当调色板的初始化需要图片的一部分(例如，条带、波前、图块的起始部分)时，在对应的图片参数集中推导或发送的特定的初始化值将被使用。[0055]条带头(SliceHeader,甜）。在此示例中，用于每一个条带的初始化值在条带头中被发送。在一个特定的示例中，每一个图片仅包括一个条带，运将与使用图片参数集等效。当在图片中有多个条带时，调色板初始化值的选择的细粒度(finergranularity)可利用基于条带头的规格而获得。语法元素被添加至条带头，W指示将被用于调色板书的初始化的特定值。与图片参数集的情况相似，可确定精确值，例如，通过分析条带的亮度及/或条带的色度。[0化6]层颜色表示法（LayerColorRepresentation)[0057]在调色板编码模式中，在每一个编码单元中的像素被分类为主要颜色和逃逸像素。主要颜色为在编码单元中最具代表性的像素，其覆盖编码单元的多数像素。另一方面，逃逸像素为不属于主要颜色的像素。[005引本发明的另一个实施方式掲示了层颜色表示法来描述主颜色。基于层颜色表示法，每一个像素由=重颜色索引来表示。W及=重颜色索引为预测编码的并被传送W指示像素是否为主要颜色像素。若为主要颜色像素，则进一步指示该像素属于的主要颜色。[0059]为在编码单元中描述主要颜色，在本发明中掲示两层表示法。第一层描述在每一个组分中最具代表性的颜色值，称为主要颜色。基于主要颜色，第二层描述最具代表性的组合，称为主要(颜色)组合。[0060]分层的颜色表示法(Layeredcolorrepresentation)[0061]对于每一个编码单元，编码器首先计算每一个颜色组分的颜色值的柱状图，并选择一组代表主要颜色值。运些主要颜色被存储作为调色板W用于每一个颜色组分。然后，基于一组用于每一个颜色组分的主要颜色值，编码器进一步选择一组代表颜色组合。该代表颜色组合被记录为=重调色板。[0062]本发明可应用于任意颜色格式，例如，YUV444，YUV420，YUV422，YUV400或RGB。第二层的组合可被应用于所有组分或组分的子集。举例来说，对于YUV444W及RGB,第二层的组合可被应用于如表1(a)~1(d)所示的所有组分。表1(a)~I(C)对应于第一层颜色表表示法，即用于表示颜色组分的=个各自的颜色表。表1(d)为对应于=重索引的第二层颜色表示法的示例。[0063]表1(a)「nnA/il[0072]利用调色板和=重调色板，一个像素可通过=重索引来表示。解码器首先利用=重索引来自=重找出对应于=个颜色组分的=个主要颜色索引。然后解码器利用主颜色索引来自调色板找出颜色值并重建像素。对于YUV420和YUV422，第二层的组合可被应用于UV组分。因此，需要一个调色板索引（用于Y组分)和一个S重索引（用于UV组分)来表示一个像素。[0073]调色板和=重调色板编码[0074]在一个示例中，在解码期间，解码器保持M组调色板和=重调色板预测子。M可被传送或得到。在一个实施方式中，M可W为1。若M大于1，则编码器可进一步发送预测子被使用或解码器可得到M的信号。[0075]在另一示例中，解码器可根据编码单元尺寸来得到哪一个预测子被使用。换句话说，具有不同尺寸的编码单元可利用不同的预测子。相似地，解码器可根据预测单元尺寸或其他相关单元的尺寸来得到哪一个预测子被使用。[0076]在一个示例中，调色板预测子包含最后的调色板尺寸和具有NMax个条目的调色板。NMax等于当前调色板和=重的尺寸。对于已编码调色板的编码单元，将被使用的调色板或=重调色板可自预测子而得到。[0077]调色板和=重调色板共享模式的示例如下所示。调色板共享模式可直接使用调色板预测子，而不需要修改。在当前编码单元中将被使用的调色板可根据存储的最后的调色板尺寸而得到，如表2(a)和表2(b)中的示例所示。若已存储的最后的调色板尺寸为10,则在调色板预测子中的首先10个条目将直接被提取而形成用于当前编码单元的调色板。表2(a)描述了最后的调色板的示例W及表2(b)描述了自表2(b)中的最后调色板得到当前编码单元的调色板的示例。调色板共享模式也可发送新尺寸的值。然后，仅具有尺寸修改，调色板直接自调色板预测子而得到。[0078]表2(a)[0079][0080][0081][0082]调色板和=重调色板正常模式的示例如下所示。在正常模式中，调色板修改的信息将被发送W指示怎样自预测子而得到调色板。表3(a)~3(c)描述了调色板推导的示例。首先，"新尺寸"被发送W指示新的调色板尺寸，例如，在表3(a)中的3。然后，每一个条目将发送一比特W指示主要颜色值是否需要被修改。若主要颜色值需要被修改，则对应的新值将被进一步发送。举例来说，如表3(a)所示，若用于颜色索引0和颜色索引2的修改比特指示的主要颜色值修改（即，比特为"r),基于表3(b)中的调色板预测子，新的化Iueo和化lue2将更新如表3(c)所示。[0083]表3(a)[0084][0085]表3(b)[0086][0087][008引[0089]调色板和=重调色板预测子更新。根据一个实施方式，在解码期间，解码器保持M组调色板和=重调色板预测子。在每一个条带的起始处，解码器可利用已传送的或得到的值来初始化调色板预测子。在解码调色板编码的编码单元之后，若修改被发送，则预测子将被更新。表4(a)~表4(c)描述了预测子更新的示例。在解码(N-I)个调色板编码的编码单元期间，修改被发送，包括新尺寸=3和第一/第=条目的新值。在解码(N-I)个调色板编码的编码单元之后，预测子将相应地更新。更新的条目如表4(C)中的斜体所示。[0090]表4(a)[0091][0092][0093][0094]表4(c)[0095][0096][0097]在皿VC中，支持波前并行处理(WavefrontParallelProcessing,WPP),其中，编码树单元的每一行可通过多个编码或解码线程而被当作子比特流并行地处理。为了限制编码效率的降低，处理顺序的波前模式(wavefrontpattern)保证空间相邻的依赖关系不会改变。另一方面，在每一个编码树单元行的起始处，上下文自适应二进制算术编码(contextadaptivebinaryarithmeticcoding,W下简称为CABAC)的状态基于在上方的编码树单元行的同步点的CABAC的状态而被初始化。用于CABAC的波前并行处理（wavefrontparallelprocessing,WPP)的示例如图I所示，其中并行处理被应用于编码树单元行。因此，在此示例中假设每一个当前编码树单元(在图1中标记为"r)的调色板编码依赖其左侦U、左上方、上方、左上方的编码树单元。对于顶部编码树单元行来说，调色板处理仅依赖于左侧编码树单元。同步点为自上方编码树单元行的第二编码树单元的最后编码单元。此外，CABAC引擎在每一个编码树单元行的末端被清除(flush),W及在每一个子比特流的末端强制字节对齐。在包含波前的条带的条带头中，波前并行处理的子比特流的条目点（entrypoints)被作为字节偏移而发送。[0098]在图1中，每一个区块代表一个编码树单元，W及在图片中存在四个编码树单元行。每一个编码树单元行形成一个波前子比特流，该波前子比特流可通过编码或解码线程而独立地处理。符号"X"代表当前编码树单元在多线程下的处理。由于当前编码树单元依赖于右上方的编码树单元，当前编码树单元的处理需要等待右上方编码树单元的处理完成。因此，在相邻编码树单元行的两个处理线程之间，存在两个编码树单元延迟，W使得数据依赖(例如，空间像素和运动向量)可被保持。此外，每一个编码树单元行的第一编码树单元的CABAC状态利用在上方编码树单元行的第二编码树单元被处理之后获得的状态而被初始化。举例来说，在第二编码树单元行中的第一编码树单元的第一编码单元(表示为"pl")在上方编码树单元行的第二编码树单元中的最后编码单元(表示为"p2")被处理之后而被初始化。依赖关系通过自"pl"指向"p2"的曲线箭头线来指示。对于每一个编码树单元行的第一编码树单元的相似依赖关系可通过曲线箭头来指示。比起利用每一个编码树单元行的条带初始状态来说，运允许沿编码树单元的第一列的更快的学习概率。由于上方编码树单元行的第二编码树单元通常对于当前编码树单元行可用，并行处理可利用此波前结构而获得。对于每一个当前编码树单元，处理依赖于左侧编码树单元。因此，需要等待直到左侧编码树单元的最后编码单元被处理。如图1所示，在当前编码树单元中的第一编码单元(表示为"p3")需要等待左侧编码树单元的最后编码单元(表示为"p4")完成。此外，依赖关系由自"p3"指向"p4"的曲线箭头线来指示。左侧编码树单元的相似依赖关系由用于当前编码树单元处理的曲线箭头指示(表示为"X")。[0099]在解码调色板编码的编码单元之后，若修改被发送，则预测子可被更新。调色板及/或=重调色板预测子可在条带级、图块级、编码树单元行级、或编码树单元级而被复位。条带、图块、编码树单元行、或编码树单元可被称为在本申请中的图像区域。图像可被分割为并行处理(例如，波前并行处理)的多个图像区域。根据本发明的实施方式，当应用波前并行处理时，可开启复位。对于复位处理，调色板或=重调色板预测子可被设置为预定或推导的值，例如，0。可选地，调色板和=重调色板预测子可继承先前已处理区块的调色板和=重调色板。举例来说，调色板和=重调色板预测子可继承在上方编码树单元行中的右上方区块、上方区块、或任意区块的调色板或=重调色板。[0100]本发明的一个方面提出语法设计W改善调色板编码相关的效率。在调色板编码中，palette_share_flag可先被发送。若palette_share_flag为1，则在最后编码的调色板中所有的调色板颜色被重使用W用于当前编码单元。当前调色板尺寸也等于最后编码的调色板的编码单元的调色板尺寸。否则(palette_share_flag为0)，通过选择在最后已编码的调色板中哪一个调色板颜色可被重使用，或通过传送新的调色板颜色，当前调色板被发送。当前调色板的尺寸被设置为已预测的调色板尺寸(numPredPreviousPalette)加上已传送的调色板的尺寸(1111111_31旨]1曰116(1_9曰161：16_6]1化163)。已预测的调色板为自先前已重建的调色板编码的编码单元而得到的调色板。当编码当前编码单元为调色板模式时，没有利用已预测的调色板预测的运些调色板颜色可直接传送于比特流中。举例来说，若当前编码单元被编码为调色板尺寸等于6的调色板模式。假设6个主要颜色中的3个自调色板预测子而被预测，W及=个主要颜色直接通过比特流而被传送。已传送的=个主颜色将利用如下所示的采样语法而被发送。[0101][0102]在上述示例中，要被发送的主要颜色的数目通过num_signalled_palette_entries来指不。语法，palette_entriesレIdx][numPredPreviousPalette+i]，对应于每一个颜色组分（即，cldx)的要传送的颜色。由于在此示例中调色板尺寸为6,自0~5的调色板索引用于指示每一个调色板已编码的像素将被重建为在调色板颜色表中的主要颜色。[0103]在波前并行处理中的调色板初始化(复位）。对于W上提到的条带、图块、编码树单元行、或编码树单元的调色板复位也可被应用于利用波前并行处理的系统。举例来说，若波前并行处理没有被应用，则在每一个条带的起始处、或在每一个图块的起始处，最后编码的调色板被初始化（即，复位）。若应用波前并行处理，则在每一个条带的起始处、或每一个条带的起始处，最后已编码的调色板不仅被初始化(复位），而且在每一个编码树单元行的起始处被初始化(复位）。在调色板初始化(复位）中，在最后编码的调色板中的所有调色板颜色被设置为0。然而，当应用波前并行处理时，在每一个编码树单元行的起始处设置所有的调色板颜色为0可降低编码效率。因此，进一步改善在波前并行处理系统中的调色板编码效率的技术被掲示。[0104]调色板初始化的第一实施方式：自在上方编码树单元行中的先前已编码的编码单元继承最后编码的调色板。在调色板初始化的第一实施方式中，在上方编码树单元行中的先前编码的编码单元的最后编码的调色板可被用作初始化调色板。在每一个编码单元行的起始处，自在上方编码树单元行中的一个编码单元的最后更新的已编码的调色板被继承W用于调色板初始化。在当前编码树单元行中的最后已编码的调色板中的初始调色板颜色不被设置为0。当前编码树单元行的最后已编码的调色板的初始调色板颜色自上方编码树单元行中的一个编码单元的更新的最后已编码的调色板而被复制。已继承的调色板可被用作调色板预测子。在上方编码树单元行中的要被继承的编码单元的位置可被预定义。举例来说，在上方编码树单元行中的上方编码单元的更新的最后编码的调色板(即图2中的位置A)可被用作在当前编码树单元行的起始处的初始最后已编码的调色板（即，图2中的位置C)。在另一示例中，在右上方编码树单元中的最后编码单元的更新的最后编码的调色板(即，图2中的位置B)被用作在当前编码树单元行的起始处的初始最后已编码的调色板（即，图2中的位置C)。在上方编码树单元行中的要被继承的编码单元的位置可在高级语法(例如，SPS,PPS,VPS，条带头)中被定义。[0105]当波前并行处理被开启时，调色板编码可被并行应用于编码树单元行。如图2所示的示例中，用于每一个当前编码树单元行的调色板编码可相对于上方编码树单元行延迟2个编码树单元。在当前编码树单元行的起始编码单元的2个编码树单元延迟之后，上方编码树单元行和当前编码树单元行的调色板编码可W相同的处理速度维持2个编码树单元延迟而进行处理。相似地，在当前编码树单元行之后的下方编码树单元行可具有相对于当前编码树单元行的2个编码树单元延迟，开始处理下方编码树单元的起始编码单元。当前编码树单元行和下方编码树单元行的调色板编码可W相同的处理速度维持2个编码树单元延迟而进行处理。因此，图片的编码树单元行的调色板编码可在对于每一个下一编码树单元行具有2个编码树单元延迟而W交错的方式（S化ggered化shion)处理。相应地，在编码树单元行之间被处理的编码单元或编码树单元形成波前，W使得在初始化延迟之后并行处理编码树单元行。[0106]调色板初始化的第二实施方式:根据在波前并行处理中的CABAC同步点自编码单元继承最后编码的调色板。在肥VC中，在每一个编码树单元行的起始处，基于在上方编码树单元行中的同步点的CABAC状态而初始化CABAC状态。在上方编码树单元行中的同步点的位置可在图片参数集中被定义。根据此实施方式，CABAC初始化的同步位置和最后编码的调色板初始化的继承位置是统一的。在每一个编码树单元行的起始处，自在上方编码树单元行的CABAC同步点处的编码单元的更新最后编码的调色板，用于当前编码树单元行中的起始编码单元的最后编码的调色板的初始调色板颜色可被复制。举例来说，在图1中，自上方编码树单元行的第二编码树单元的最后编码单元为CABAC同步点（标记为"p2")。在图2中，自上方编码树单元的第二编码树单元(即，当前编码树单元的右上方的编码树单元)的最后编码单元(标记为"B")的更新最后编码的调色板作为初始化的最后编码的调色板。用于CABAC同步点的状态的编码单元和用于继承调色板/=重调色板预测子的起始编码单元的编码单元是统一的。[0107]调色板初始化的第=实施方式:继承在上方编码树单元行中的空间距离中最近的编码单元的最后编码的调色板。根据此实施方式，在上方编码树单元行中最近的编码单元的更新最后编码的调色板被用作初始化最后编码的调色板。举例来说，在图3中，在第二编码树单元行的起始处，最近的编码单元为在上方编码树单元行上方的编码树单元中的编码单元CU-a。若编码单元CU-a为调色板编码的编码单元，其更新的调色板被用作用于第二编码树单元行的初始化最后编码的调色板。若编码单元CU-a不是调色板编码的编码单元，随后的编码单元（即，编码单元CU-b，编码单元CU-C，编码单元CU-d)将W先后顺序而被检查，W确定是否有任意编码单元为调色板编码的编码单元。在上方编码树单元的下方编码单元行中的第一调色板编码的编码单元的更新的调色板将被用作用于当前(或随后)编码树单元行的初始的最后编码的调色板。因此，在上方编码树单元的下方编码单元行中的第一调色板编码的编码单元的调色板（即，若编码单元CU-a可用，则编码单元CU-a，否则若编码单元CU-b可用，则编码单元CU-b)被存储，直到当编码在当前或随后的编码树单元行中的第一调色板编码的编码单元时，其被存取和使用。若上方编码树单元的下方编码单元行中没有编码单元为调色板编码，则在上方编码树单元的第二下方的编码单元行中的编码单元可被检查，第一调色板编码的编码单元的调色板，自左至右，可被使用W用于当前编码树单元行初始化。若在上方编码树单元的第二下方编码单元行中没有编码单元为调色板编码，则上方编码树单元的第=下方编码单元行中的编码单元被检测，诸如此类，直到找到有效的调色板。在另一示例中，若在上方编码树单元的下方行中没有编码单元为调色板编码，则在右上方的编码树单元的下方编码单元行中的编码单元将被检测，自左自右，第一调色板编码的编码单元的调色板被使用W用于当前编码树单元行初始化。若在右上方编码树单元的下方编码单元行中没有编码单元是调色板编码，则在右上方编码树单元的右侧处的编码树单元的下方编码单元中的编码单元将被检测，自左至右。若调色板编码的编码单元被发现，第一调色板编码的编码单元的调色板被使用W用于当前编码树单元行的初始化。[0108]在另一示例中，在上方编码树单元行中的第一非全0的最后编码的调色板将被用作初始化最后编码调色板W用于第二编码树单元行。若在CABAC同步点处，不存在可用的调色板用于上方编码树单元行中，则最后编码的调色板将被初始化为全0。[0109]调色板初始化的第四实施方式：W编码顺序继承最近的最后编码的调色板。在此实施方式中，在上方编码树单元行中的第N个调色板编码的编码单元的更新的最后编码的调色板可被用作初始化最后编码的调色板。N可W为1。在另一示例中，在图3中W编码顺序最接近编码单元CU-a的编码单元的更新的最后编码的调色板被用作初始的最后编码的调色板。[0110]图4描述了根据本发明实施方式的当波前并行处理被开启时，利用用于每一个编码树单元行的起始区块的初始化调色板/=重调色板或选择的调色板/=重调色板的调色板编码的流程图。如步骤410所示，系统接收与由多个区块组成的当前图像区域相关的输入数据。输入数据在编码器侧对应于要被编码的当前图像区域的像素数据;或输入数据在解码器侧对应于要被解码的当前图像区域的已编码数据。自存储器(例如，计算机存储器、缓冲器(RAM或DRAM)、或其他媒体)或自处理器提取输入数据。如步骤420所示，基于初始化调色板或=重调色板、或基于在先前图像区域的末端之前的位置处的选择的区块相关的选择的调色板或=重调色板，用于当前图像区域的起始区块的调色板预测子被确定。如步骤30所示，调色板编码被应用于当前图像区域的区块，其中当前图像区域的至少一个区块使用当前图像区域的起始区块的调色板预测子作为调色板预测子。[0111]上述的流程图用于描述根据本发明实施方式的调色板编码的示例。本领域技术人员可在不脱离本发明精神的前提下，修改、重排列、拆分、或组合各个步骤，W实现本发明。在本申请中，具体的语法和语义已被用来说明实施方式。本领域技术人员可W用等效的语法和语义在不脱离本发明的精神的前提下而代替本申请中提到的语法和语义来实现本发明。[0112]在提供特定应用和其需求的情况下，W上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，W及在此定义的基本原理可W应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可W实现。[0113]W上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩忍片的电路或集成入视频压缩软件W执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器（DigitalSignalProcessor,DSP)中执行上述程序的程序代码。本发明也可设及计算机处理器、数字信号处理器、微处理器或现场可编程口阵列（FieldProgrammableGateArray,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明掲示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。[0114]在不脱离本发明精神或本质特征的情况下，可W其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。【主权项】1.一种在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，图片被分割为多个图像区域，该方法包括：接收与当前图像区域相关的输入数据，该当前图像区域由多个区块组成；基于初始的调色板或三重调色板、或基于与选择的区块相关的选择的调色板或三重调色板，确定该当前图像区域的起始区块的调色板预测子，其中该选择的区块位于先前图像区域的末端之前的位置处；以及对该当前图像区域的多个区块应用调色板编码，其中该当前图像区域的至少一个区块使用该当前图像区域的起始区块的调色板预测子作为该调色板预测子。2.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该图像区域对应于编码树单元行、图块、或条带。3.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，若波前并行处理被开启以用于该视频数据，则利用该初始调色板或三重调色板、或利用该选择的调色板或三重调色板为该当前图像区域的该起始区块执行调色板编码，以及若该波前并行处理被关闭以用于该视频数据，则不对该当前图像区域的该起始区块执行调色板编码。4.根据权利要求3所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，若该波前并行处理被关闭以用于该视频数据，该当前图像区域的该起始区块使用在该先前图像区域中最后编码区块的最后编码的调色板或三重调色板作为调色板预测子而被调色板编码。5.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该多个区块被配置为区块组，以及该区块对应于编码单元;该区块组对应于编码树单元;以及该图像区域对应于编码树单元行。6.根据权利要求5所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，当该选择的调色板或三重调色板被用作该调色板预测子时，该选择的区块对应于在先前编码树单兀行中的选择的编码树单兀的最后的编码单兀，该先前编码树单元行的该选择的编码树单元位于当前编码树单元行中的起始编码树单元的右上角的位置处，其中该起始编码树单元包括该起始区块以及该选择的调色板或三重调色板对应于该选择的编码树单元的最后编码单元的最后编码的调色板或三重调色板。7.根据权利要求6所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，若该波前并行处理被开启以用于该视频数据，则利用该初始调色板或三重调色板、或利用该选择的调色板或三重调色板为该当前图像区域的该起始区块执行调色板编码，以及若该波前并行处理被关闭以用于该视频数据，则跳过对该当前图像区域的该起始区块执行调色板编码。8.根据权利要求5所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，当该选择的调色板或三重调色板被用作该调色板预测子时，该选择的区块对应于在该先前图像区域中的选择的编码树单元中的选择的编码单元，该先前图像区域中的选择的编码树单元在该当前图像区域中的起始编码树单元之上的位置处，其中该起始编码树单元包括该起始区块以及该选择的调色板或三重调色板对应于该选择的编码树单元的该选择的编码单元的最后已编码的调色板或三重调色板。9.根据权利要求8所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，在该选择的编码树单元中的该选择的编码单元是预定义的。10.根据权利要求8所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该选择的编码单元对应于该起始区块的最近的编码单元。11.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，当该初始调色板或三重调色板被用作该调色板预测子时，该初始调色板或三重调色板对应于预定值或得到的值。12.根据权利要求11所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该预定值对应于0。13.根据权利要求1所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该当前图像区域的多个区块的调色板编码以及该先前图像区域的多个区块的调色板编码在该当前图像区域的起始区块的调色板编码之后，以相同的速度进行，并且根据该先前图像区域中该选择的区块的调色板编码的完成而开始。14.根据权利要求13所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该当前图像的每一个区块的一个或多个语法元素利用算术编码而被编码，以及用于该当前图像区域的该起始区块的算术编码的状态继承该先前图像区域的该选择的区块的状态。15.根据权利要求14所述的在视频编码系统中利用调色板编码的编码视频数据的区块的方法，其特征在于，该算术编码对应于上下文自适应二进制算术编码。16.-种在视频编码系统中利用调色板编码的编码视频数据的区块的装置，其特征在于，图片被分割为多个图像区域，该装置包括一个或多个电子电路，被配置为：接收与当前图像区域相关的输入数据，该当前图像区域由多个区块组成；基于初始的调色板或三重调色板、或基于与选择的区块相关的选择的调色板或三重调色板，确定该当前图像区域的起始区块的调色板预测子，其中该选择的区块位于先前图像区域的末端之前的位置处；以及对该当前图像区域的区块应用调色板编码，其中该当前图像区域的至少一个区块使用该当前图像区域的起始区块的调色板预测子作为该调色板预测子。17.根据权利要求16所述的在视频编码系统中利用调色板编码的编码视频数据的区块的装置，其特征在于，该图像区域对应于编码树单元行、图块、或条带。18.根据权利要求16所述的在视频编码系统中利用调色板编码的编码视频数据的区块的装置，其特征在于，该多个区块被配置为区块组，以及该区块对应于编码单元;该区块组对应于编码树单元;以及该图像区域对应于编码树单元行。19.根据权利要求18所述的在视频编码系统中利用调色板编码的编码视频数据的区块的装置，其特征在于，当该选择的调色板或三重调色板被用作该调色板预测子时，该选择的区块对应于在先前编码树单元行中的选择的编码树单元的最后的编码单元，该先前编码树单元行的该选择的编码树单元位于当前编码树单元行中的起始编码树单元的右上角的位置处，其中该起始编码树单元包括该起始区块以及该选择的调色板或三重调色板对应于该选择的编码树单元的最后编码单元的最后编码的调色板或三重调色板。20.根据权利要求18所述的在视频编码系统中利用调色板编码的编码视频数据的区块的装置，其特征在于，该当前图像区域的多个区块的调色板编码以及该先前图像区域的多个区块的调色板编码在该当前图像区域的起始区块的调色板编码之后，以相同的速度进行，并且根据该先前图像区域中该选择的区块的调色板编码的完成而开始。【文档编号】H04N19/00GK105981380SQ201480069501【公开日】2016年9月28日【申请日】2014年12月18日【发明人】庄子德,赖柏霖,孙域晨,刘杉,许晓中,黄毓文,陈鼎匀【申请人】寰发股份有限公司