在基于调色板的视频译码中确定调色板的制作方法
【专利说明】在基于调色板的视频译码中确定调色板
[0001]本申请案主张2013年4月5日申请的第61/809，236号美国临时申请案和2013年4月10日申请的第61/810，649号美国临时申请案的权益，以上申请案的整个内容各自以引用的方式并入本文中。
技术领域
[0002]本发明涉及视频编码和解码。
【背景技术】
[0003]可将数字视频能力并入到多种多样的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分、高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。图片的经帧内编码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。
[0005]空间或时间预测导致用于待译码的块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据来编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余系数，接着可以对残余系数进行量化。可扫描最初布置为二维阵列的经量化的系数，以便产生系数的一维向量，且可应用熵译码以实现更多压缩。
[0006]可例如从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可传输左眼及右眼视图以支持3D视频。或者，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。
【发明内容】
[0007]本发明的技术涉及基于调色板的视频译码。举例来说，在基于调色板的译码中，视频译码器(视频编码器或视频解码器)可形成所谓的“调色板”作为用于表示特定区域(例如，给定块)的视频数据的颜色的表。基于调色板的译码可尤其有用于对具有相对少量的颜色的视频数据区域进行译码。并非对实际像素值(或其残余)进行译码，视频译码器可对所述像素中的一或多者的索引值进行译码，所述索引值使所述像素与调色板中表示所述像素的颜色的条目相关。调色板可显式地经编码且发送到解码器，从先前调色板条目预测，或其组合。本发明中描述的技术可包含用于以下各项中的一或多者的各种组合的技术:用信号表示基于调色板的译码模式，对调色板进行译码，预测调色板，导出调色板，以及译码基于调色板的译码映射和其它语法元素。
[0008]在一个实例中，一种对视频数据进行译码的方法包含:确定具有指示第一像素值的第一条目的第一调色板；基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及使用所述第二调色板对视频数据块的像素进行译码。
[0009]在另一个实例中，一种用于对视频数据进行译码的设备包含:存储器，其存储视频数据；以及一或多个处理器，其经配置以:确定具有指示第一像素值的第一条目的第一调色板；基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及使用所述第二调色板对所述视频数据的块的像素进行译码。
[0010]在另一个实例中，一种用于对视频数据进行译码的设备包含:用于确定具有指示第一像素值的第一条目的第一调色板的装置；用于基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目的装置；以及用于使用所述第二调色板对视频数据块的像素进行译码的装置。
[0011]在另一个实例中，一种非暂时性计算机可读媒体其上存储有指令，所述指令在执行时致使一或多个处理器:确定具有指示第一像素值的第一条目的第一调色板；基于所述第一调色板的所述第一条目确定指示第二调色板的第二像素值的一或多个第二条目；以及使用所述第二调色板对所述视频数据的块的像素进行译码。
[0012]在另一个实例中，一种对视频数据进行译码的方法包含:确定与视频数据块中的第一像素相关联的第一索引值，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码。
[0013]在另一个实例中，一种用于对视频数据进行译码的设备包含:存储器，其存储视频数据；以及一或多个处理器，其经配置以:确定与所述视频数据的块中的第一像素相关联的第一索引值，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码。
[0014]在另一个实例中，一种用于对视频数据进行译码的设备包含:用于确定与视频数据块中的第一像素相关联的第一索引值的装置，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；用于基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值的装置，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及用于对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码的装置。
[0015]在另一个实例中，一种非暂时性计算机可读媒体其上存储指令，所述指令当执行时致使一或多个处理器:确定与所述视频数据的块中的第一像素相关联的第一索引值，其中所述第一索引值使所述第一像素的位置相关到像素值的调色板的条目；基于所述第一索引值确定与所述视频数据块中的一或多个第二像素相关联的一或多个第二索引值，其中所述第二索引值使所述一或多个第二像素的位置相关到像素值的所述调色板的一或多个条目；以及对所述视频数据块的所述第一像素和所述一或多个第二像素进行译码。
[0016]在附图和下文描述中阐述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书显而易见。
【附图说明】
[0017]图1是说明可以利用本发明中描述的技术的实例视频编码系统的框图。
[0018]图2是说明可实施本发明中描述的技术的实例视频编码器的框图。
[0019]图3是图解说明可实施本发明中描述的技术的实例视频解码器的框图。
[0020]图4是说明与本发明的技术一致的确定用于对视频数据进行译码的调色板的实例的概念图。
[0021]图5是说明与本发明的技术一致的确定到像素块的调色板的索引的实例的概念图。
[0022]图6是说明与本发明的技术一致的用于使用调色板译码模式对视频数据进行译码的实例过程的流程图。
[0023]图7是说明与本发明的技术一致的用于在基于调色板的译码中确定调色板的实例过程的流程图。
[0024]图8是说明与本发明的技术一致的用于在基于调色板的视频译码中确定视频数据块的索引的实例过程的流程图。
【具体实施方式】
[0025]本发明包含用于视频译码和压缩的技术。确切地说，本发明描述用于视频数据的基于调色板的译码的技术。在传统的视频译码中，假定图像为连续色调且空间上平滑。基于这些假设，已经开发各种工具，例如基于块的变换、滤波等，且此些工具已展示用于自然内容视频的良好性能。
[0026]然而，在例如远程桌面、合作工作和无线显示器等应用中，计算机产生的屏幕内容(例如，例如文字或计算机图形)可为待压缩的主要内容。此类型的内容倾向于具有离散色调及特征清晰线，及高对比度对象边界。连续色调及平滑度的假定可不再适用于屏幕内容，且因此，传统视频译码技术可能不是压缩包含屏幕内容的视频数据的高效方式。
[0027]本发明描述基于调色板的译码，其可特别适合于屏幕产生的内容译码。举例来说，假定视频数据的特定区域具有相对少量的颜色。视频译码器(视频编码器或视频解码器)可将所谓的“调色板”形成为用于表示特定区域(例如，给定块)的视频数据的颜色的表。每一像素可与调色板中表示像素的颜色的条目相关联。举例来说，视频译码器可对使像素值与调色板中的适当值相关的索引进行译码。
[0028]在以上实例中，视频编码器可通过以下方式对视频数据块进行编码:确定块的调色板(例如，明确地对调色板进行译码、预测调色板)、在调色板中定位表示每一像素的值的条目以及以使像素值与调色板相关的用于像素的索引值对所述块进行编码。视频解码器可从经编码位流获得块的调色板以及所述块的像素的索引值。视频解码器可使像素的索引值与调色板的条目相关以重构块的像素值。
[0029]以上实例既定提供基于调色板的译码的一般描述。在各种实例中，本发明中描述的技术可包含用于以下各者中的一或多者的各种组合的技术:用信号表示基于调色板的译码模式，发射调色板，预测调色板，导出调色板，以及发射基于调色板的译码映射和其它语法元素。此些技术可改善视频译码效率，例如需要较少位来表示屏幕产生的内容。
[0030]用于视频数据的基于调色板的译码的技术可与一或多个其它译码技术一起使用，例如用于帧间或帧内预测性译码的技术。举例来说，如下文更详细地描述，编码器或解码器或组合编码器-解码器(编解码器)可经配置以执行帧间和帧内预测性译码以及基于调色板的译码。
[0031]在一些实例中，基于调色板的译码技术可经配置以与一或多个视频译码标准一起使用。举例来说，高效率视频译码(HEVC)是由ITU-T视频译码专家组(VCEG)及IS0/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准。新近HEVC文本规范草案描述于布洛斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案10 (用于FDIS及同意)(High Efficiency Video Coding(HEVC) Text Specificat1n Draft10 (for FDIS&Consent))，，(JCVC-L1003_vl3，ITU-T SG16 WP 3 及 IS0/IEC JCT 1/SC 29/ffG11的JCT-VC第12次会议，2013年I月14日至23日)(“ HEVC草案10”)中，其可从以下地址得到:
[0032]http://phenix.1nt-evry.fr/jet/doc_end_user/documents/12_Geneva/wglI/JCTVC-L1003-vl3.zipD
[0033]相对于HEVC框架，作为一实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的HJ模式。因此，在CU模式的上下文中描述的所有以下所揭示的过程可另外或替代地应用于PU。然而，这些基于HEVC的实例不应被视为对本文所描述的基于调色板的译码技术的限定或限制，因为此些技术可应用以独立地工作或作为其它现有或尚待开发的系统/标准的部分而应用。在这些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状的区。
[0034]图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器” 一般是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。视频译码系统10的视频编码器20和视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20和视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC草案10指定的各种译码模式。
[0035]如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可以被称为视频编码装置或视频编码设备。目的地装置14可以对由源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以被称为视频解码装置或视频解码设备。源装置12以及目的地装置14可以是视频译码装置或视频译码设备的实例。
[0036]源装置12及目的地装置14可包括广泛范围的装置，包含桌上型计算机、行动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-carcomputer)或其类似者。
[0037]目的地装置14可以经由信道16从源装置12接收经编码的视频数据。信道16可以包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可以包括使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可以根据例如无线通信协议等通信标准调制经编码的视频数据，并且可以将经调制的视频数据发射到目的地装置14。一或多个通信媒体可以包含无线通信媒体和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可以形成基于包的网络的一部分，基于包的网络例如局域网、广域网或全球网络(例如，因特网)。一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
[0038]在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的存储媒体。在此实例中，目的地装置14可以经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。
[0039]在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可以经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可以是能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。
[0040]目的地装置14可以通过标准数据连接(例如因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
[0041]本发明的技术不限于无线应用或设定。所述技术可以应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0042]图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、在网络上流式传输，等。视频编码装置可以对数据进行编码并且将数据存储到存储器，和/或视频解码装置可以从存储器检索数据并且对数据进行解码。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。
[0043]在图1的实例中，源装置12包含视频源18、视频编码器20以及输出接口 22。在一些情况下，输出接口 22可以包含调制器/解调器(调制解调器)和/或发射器。视频源18可以包含视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口、和/或用于产生视频数据的计算机图形系统，或视频数据的此些源的组合。
[0044]视频编码器20可以对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口 22将经编码的视频数据直接发射到目的地装置14。在其它实例中，经编码的视频数据还可以存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或回放。
[0045]在图1的实例中，目的地装置14包含输入接口 28、视频解码器30以及显示装置32。在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可以在信道16上接收经编码的视频数据。显示装置32可以与目的地装置14集成在一起或可以在目的地装置14的外部。一般来说，显示装置32显示经解码的视频数据。显示装置32可以包括多种显示装置，例如液晶显示器(IXD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0046]本发明可大体上将视频编码器20称为将某些信息“用信号表示”或“发射”到例如视频解码器30的另一装置。术语“用信号表示”或“发射”可大体上指代用以对经压缩视频数据进行解码的语法元素和/或其它数据的传送。此通信可实时或接近实时地发生。替代性地，可历时时间跨度而发生此通信，例如当在编码时，以经编码位流将语法元素存储到计算机可读存储媒体时，可发生此通信，接着，在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。因此，虽然视频解码器30可被称为“接收”某些信息，但信息的接收不一定实时或近实时发生且可在存储之后的某个时间从媒体检索。
[0047]视频编码器20及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者:一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可以将软件的指令存储于合适的非暂时性计算机可读存储媒体中以及可以使用一或多个处理器以硬件执行指令从而执行本发明的技术。可以将前述内容中的任一者(包含硬件、软件、硬件与软件的组合等)视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
[0048]在一些实例中，视频编码器20和视频解码器30根据视频压缩标准操作，例如上文所提及且在HEVC草案10中描述的HEVC标准。除基础HEVC标准以外，存在持续努力产生用于HEVC的可缩放视频译码、多视图视频译码和3D译码扩展。另外，可提供(例如)如本发明中所描述的基于调色板的译码模式以用于HEVC标准的扩展。在一些实例中，本发明中针对基于调色板的译码而描述的技术可应用于经配置以根据其它视频译码标准(例如ITU-T-H.264/AVC标准或将来标准)操作的编码器及解码器。因此，用于HEVC编解码器中的译码单元(CU)或预测单元(PU)的译码的基于调色板的译码模式的应用是为了实例的目的而描述。
[0049]在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可以包含三个样本阵列，表示为SpSeb以及s&。4是明度样本的二维阵列(即，块)。Sa是Cb色度样本的二维阵列。S &是Cr色度样本的二维阵列。色度样本在本文中还可以被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
[0050]为了产生图片的经编码的表示，视频编码器20可以产生译码树单元(CTU)的集合。CTU中的每一者可以是明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。译码树块可以是样本的NxN块。CTU也可以被称为“树块”或“最大译码单元”(IXU)。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目的CTU。
[0051