多层次子块匹配图像压缩方法
【专利说明】多层次子块匹配图像压缩方法
[0001]
技术领域
[0002]本发明涉及一种数字视频压缩编码及解码系统，特别是计算机屏幕图像和视频的编码及解码的方法。
[0003]
【背景技术】
[0004]图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域，而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。
[0005]最新国际视频压缩标准HEVC (High Efficiency Video Coding)中，对一帧图像进行编码时，把一帧图像划分成若干块MxM像素的子图像，称为“编码单元(Coding Unit简称⑶)”，以⑶为基本编码单位，对子图像一块一块进行编码。常用的M的大小是8，16，32，64。因此，对一个视频图像序列进行编码就是对各帧图像的各个编码单元即CU依次进行编码。在任一时刻，正在编码中的CU称为当前编码CU。同样，解码时也是对各个编码单元即CU依次进行解码，最终重构出整个视频图像序列。在任一时刻，正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU都统称为当前CU。
[0006]为适应一帧图像内各部分图像内容与性质的不同，有针对性地进行最有效的编码，一帧图像内各CU的大小可以是不同的，有的是8x8，有的是64x64，等等。为了使不同大小的CU能够无缝拼接起来，一帧图像总是先划分成大小完全相同具有NxN像素的“最大编码单元(Largest Coding Unit简称LCU)”，然后每个LCU再进一步划分成树状结构的多个大小不一定相同的⑶。因此，IXU也称为“编码树单元(Coding Tree Unit简称CTU)”。例如，一帧图像先划分成大小完全相同的64x64像素的IXU (N = 64)。其中某个IXU由3个32x32像素的⑶和4个16x16像素的⑶构成，这样7个成树状结构的⑶构成一个CTU。而另一个IXU由2个32x32像素的⑶、3个16x16像素的⑶和20个8x8像素的⑶构成。这样25个成树状结构的CU构成另一个CTU。对一帧图像进行编码，就是依次对一个一个CTU中的一个一个⑶进行编码。
[0007]一个彩色像素通常有3个分量(component)组成。最常用的两种像素色彩格式(pixel color format)是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度(luma)分量及两个色度(chroma)分量组成的YUV色彩格式，通称为YUV的色彩格式实际包括多种色彩格式，如YCbCr色彩格式。因此，对一个⑶进行编码时，可以把一个⑶分成3个分量平面(G平面、B平面、R平面或Y平面、U平面、V平面)，对3个分量平面分别进行编码；也可以把一个像素的3个分量捆绑组合成一个3元组，对由这些3元组组成的⑶整体进行编码。前一种像素及其分量的排列方式称为图像(及其CU)的平面格式(planar format)，而后一种像素及其分量的排列方式称为图像(及其⑶)的叠包格式(packed format)。像素的GBR色彩格式和YUV色彩格式都是像素的3分量表现格式。
[0008]除了像素的3分量表现格式，像素的另一种常用的现有技术的表现格式是调色板索引表现格式。在调色板索引表现格式中，一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的3个分量的数值或近似数值，调色板的地址被称为这个地址中存储的像素的索引。一个索引可以表现像素的一个分量，一个索引也可以表现像素的3个分量。调色板可以是一个，也可以是多个。在多个调色板的情形，一个完整的索引实际上由调色板编号和该编号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。像素的索引表现格式在现有技术中也被称为像素的索引颜色(indexed color)或仿颜色(pseudo color)表现格式，或者常常被直接称为索引像素(indexed pixel)或仿像素(pseudo pixel)或像素索引或索引。索引有时也被称为指数。把像素用其索弓I表现格式来表现也称为索弓I化或指数化。
[0009]其他的常用的现有技术的像素表现格式包括CMYK表现格式和灰度表现格式。
[0010]YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式:1个像素由I个Y分量、I个U分量、I个V分量组成的YUV4:4:4像素色彩格式；左右相邻的2个像素由2个Y分量、I个U分量、I个V分量组成的YUV4:2:2像素色彩格式；左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、I个U分量、I个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用I个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值(pixel sample)或简单地称为一个样值(sample)。
[0011]编码或解码时的最基本元素可以是一个像素，也可以是一个像素分量，也可以是一个像素索引(即索引像素)。作为编码或解码的最基本元素的一个像素或一个像素分量或一个索引像素统称为一个像素样值(sample)，有时也通称为一个像素值，或简单地称为一个样值。
[0012]在本发明和本发明专利申请中，“像素样值”、“像素值”、“样值”、“索引像素”、“像素索引”是同义词，根据上下文，可以明确是表示“像素”还是表示“一个像素分量”还是表示“索引像素”或者同时表示三者之任一。如果从上下文不能明确，那么就是同时表示三者之任一°
[0013]在现有的预测编解码方式，块匹配编解码方式，变换编解码方式中，为了提高编码效率，可以把一个⑶划分成上下2个或左右2个或上下左右4个相等的预测单元(Predict1n Unit简称PU)，也可以把一个⑶划分成四分之一或十六分之一大小的正方形的变换单元(Transform Unit简称TU)。
[0014]编码块或解码块是指一帧图像中对其施行编码或解码的一个区域，包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU0
[0015]随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及，多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端(云)到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量巨大，对计算机屏幕图像必须进行高效高质量的数据压缩。
[0016]充分利用计算机屏幕图像的特点，对计算机屏幕图像进行超高效率的压缩，也是正在制定中的最新国际视频压缩标准HEVC和其他若干国际标准、国内标准、行业标准的一个主要目标。
[0017]计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样(pixel pattern)。例如，计算机屏幕图像中常出现的中文或外文文字，都是由少数几种基本笔划所构成，同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等，也具有很多相似或相同的图样。现有的图像和视频压缩技术中采用的帧内预测(intra predict1n)方式，仅参考相邻的像素样值，无法利用一帧图像中的相似性或相同性来提高压缩效率。现有技术中的帧内运动补偿(intra mot1ncompensat1n)方式也称为帧内块复制(intra block copy)方式，用几种固定大小(8x8，16x16，32x32，64x64像素)的块来进行帧内块匹配(intra block matching)编码，不能达到具有各种不同大小和形状的比较精细的匹配。而另一种现有技术中的串匹配(stringmatching)方式，虽然能有效找到各种不同大小和形状的精细匹配，但却存在复杂度、计算量、存储器读写带宽都较大等问题。
[0018]因此，必须寻求新的编码工具，既能充分发掘和利用计算机屏幕图像中存在的相似或相同图样，以大幅度提高压缩效果，又把复杂度、计算量、存储器读写带宽等都控制在较低的范围内。
[0019]
【发明内容】
[0020]本发明的主要技术特征是在对一个当前编码块进行匹配编码时，把所述编码块分割成若干不同层次的划分，每个层次有一个或多个划分(通常有I至8个划分，通常最多不超过16个划分)，每个划分由若干子块构成，同一层次内的划分通常有相同子块数。特别是，第O层次通常只有一个划分，这个划分只有当前编码块本身这I个子块；第I层次的划分都有至少2个子块；……；第J层次的划分的子块数通常大于第J-1层次的划分的子块数。对每个层次的每个划分，以所述划分的各子块，称为被匹配子块或当前子块为单位，在已经完成编码和重构(包括完全重构和不同程度的部分重构)的历史像素样值区域(也称已重构参考像素样值区)中分别搜索对应的匹配子块即参考子块也称为预测子块。所述已重构参考像素样值区由与所述当前编码块(从解码器的角度也称为解码块)位于同一帧图像内(即具有同样的图像次序计数picture order count简称poc)或位于同一条带(slice)内的其他编码块的已重构(包括完全重构和/或不同程度的部分重构)像素样值和所述当前编码块内的已重构子块的已重构像素样值构成。所述已重构参考像素样值区包括所述其他编码块的已重构像素样值和所述已重构子块的已重构像素样值的部分或全部。
[0021]图1 (a)是4个层次的划分的一个例:第O层次有一个I子块划分和对应的I个位移矢量(Displacement Vector简称DV)，第I层次有两个2子块划分，每个划分有对应的2个位移矢量，第2层次有一个4子块划分和对应的4个位移矢量，第3层次有一个16子块划分和对应的16个位移矢量.。
[0022]图1 (b)是4个层次的划分的一个例:第O层次有一个I子块划分和对应的I个位移矢量，第I层次有两个2子块划分，每个划分有对应的2个位移矢量，第2层次有一个4子块划分和对应的4个位移矢量，第3层次有两个8子块划分，每个划分有对应的8个位移矢量。
[0023]图1 (c)是4个层次的划分的一个例:第O层次有一个I子块划分和对应的I个位移矢量，第I层次有六个2子块划分，每个划分有对应的2个位移矢量，第2层次有一个4子块划分和对应的4个位移矢量，第3层次有六个8或9或16子块划分，每个划分有对应的8或9或16个位移矢量。
[0024]图1 (d)是2个层次的划分的一个例:第O层次有一个I子块划分和对应的I个位移矢量，第I层次有两个8子块划分，每个划分有对应的8个位移矢量。
[0025]在本发明和本发明