单编码模式参考不同程度重构像素的图像压缩方法和装置
1.本技术是下列原申请的的分案申请：原申请的申请日：2015-06-08原申请的申请号：2015103081378原申请的发明创造名称：参考像素取自不同程度重构像素的图像压缩方法和装置。
技术领域
2.本发明涉及一种数字视频压缩编码及解码系统，特别是含计算机屏幕图像的复合图像和视频的编码及解码的方法和装置。
3.
背景技术：
4.随着电视机和显示器进入超高清（4k）和特超高清（8k）的分辨率，以及以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及，对视频图像数据压缩的需求也走向更高分辨率和包含摄像机摄取图像和计算机屏幕图像的复合图像。对视频图像进行超高压缩比和极高质量的数据压缩成为必不可少的技术。
5.充分利用4k/8k图像和计算机屏幕图像的特点，对视频图像进行超高效率的压缩，也是正在制定中的最新国际视频压缩标准hevc（high efficiency video coding）和其他若干国际标准、国内标准、行业标准的一个主要目标。
6.图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域，而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。在任一时刻，正在编码中的那一帧图像称为当前编码图像。同样，对数字视频信号的压缩后的视频码流（简称码流也称为比特流）进行解码就是对一帧一帧压缩图像的码流进行解码。在任一时刻，正在解码中的那一帧图像称为当前解码图像。当前编码图像或当前解码图像都统称为当前图像。
7.在几乎所有视频图像编码的国际标准如mpeg-1/2/4，h.264/avc以及hevc中，对一帧图像进行编码（以及相应的解码）时，把一帧图像划分成若干块mxm像素的子图像，称为编码块（从解码的角度也就是解码块，统称为编解码块）或“编码单元（coding unit简称cu）”，以cu为基本编码单位，对子图像一块一块进行编码。常用的m的大小是4，8，16，32，64。因此，对一个视频图像序列进行编码就是对各帧图像的各个编码单元即cu依次一个一个cu进行编码。在任一时刻，正在编码中的cu称为当前编码cu。同样，对一个视频图像序列的码流进行解码也是对各帧图像的各个cu依次一个一个cu进行解码，最终重构出整个视频图像序列。在任一时刻，正在解码中的cu称为当前解码cu。当前编码cu或当前解码cu统称为当前cu。
8.为适应一帧图像内各部分图像内容与性质的不同，有针对性地进行最有效的编
码，一帧图像内各cu的大小可以是不同的，有的是8x8，有的是64x64，等等。为了使不同大小的cu能够无缝拼接起来，一帧图像通常先划分成大小完全相同具有nxn像素的“最大编码单元（largest coding unit简称lcu）”，然后每个lcu再进一步划分成树状结构的多个大小不一定相同的cu。因此，lcu也称为“编码树单元（coding tree unit简称ctu）”。例如，一帧图像先划分成大小完全相同的64x64像素的lcu（n＝64）。其中某个lcu由3个32x32像素的cu和4个16x16像素的cu构成，这样7个成树状结构的cu构成一个ctu。而另一个lcu由2个32x32像素的cu、3个16x16像素的cu和20个8x8像素的cu构成。这样25个成树状结构的cu构成另一个ctu。对一帧图像进行编码，就是依次对一个一个ctu中的一个一个cu进行编码。在hevc国际标准中，lcu与ctu是同义词。大小等于ctu的cu称为深度为0的cu。深度为0的cu上下左右四等分得到的cu称为深度为1的cu。深度为1的cu上下左右四等分得到的cu称为深度为2的cu。深度为2的cu上下左右四等分得到的cu称为深度为3的cu。在任一时刻，正在编码中的ctu称为当前编码ctu。在任一时刻，正在解码中的ctu称为当前解码ctu。当前编码ctu或当前解码ctu统称为当前ctu。
9.cu也可以再进一步被划分成若干子区域。子区域包括但不限于预测单元（pu），变换单元（tu），不对称划分（amp）的区域。
10.一个彩色像素通常有3个分量（component）组成。最常用的两种像素色彩格式（pixel color format）是由绿色分量、蓝色分量、红色分量组成的gbr色彩格式和由一个亮度（luma）分量及两个色度（chroma）分量组成的yuv色彩格式。通称为yuv的色彩格式实际包括多种色彩格式，如ycbcr色彩格式。因此，对一个cu进行编码时，可以把一个cu分成3个分量平面（g平面、b平面、r平面或y平面、u平面、v平面），对3个分量平面分别进行编码；也可以把一个像素的3个分量捆绑组合成一个3元组，对由这些3元组组成的cu整体进行编码。前一种像素及其分量的排列方式称为图像（及其cu）的平面格式（planar format），而后一种像素及其分量的排列方式称为图像（及其cu）的叠包格式（packed format）。像素的gbr色彩格式和yuv色彩格式都是像素的3分量表现格式。
11.除了像素的3分量表现格式，像素的另一种常用的现有技术的表现格式是调色板索引表现格式。在调色板索引表现格式中，一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的颜色的3个分量的数值或近似数值，调色板的地址被称为这个地址中存储的像素的颜色的索引。一个索引可以表现像素的颜色的一个分量，一个索引也可以表现像素的颜色的3个分量。调色板可以是一个，也可以是多个。在多个调色板的情形，一个完整的索引实际上由调色板序号（表示多个调色板中的哪一个）和该序号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。如果一个图像区域（如编码块或解码块）中的像素不能全部都用调色板颜色来表现（即对该图像区域中至少一个像素，没有3个分量的数值与该像素相等或近似相等的调色板颜色及其索引），则调色板中通常有一个特殊的称为逃逸颜色的索引，用来表现不能用正常的调色板颜色来表现的像素。因此，如果一个像素的索引是逃逸颜色的索引，则该像素需要用另外的专用的3个分量来表现其颜色。调色板中的正常颜色和逃逸颜色都称为调色板颜色，但逃逸颜色是一个虚拟颜色，在调色板中并没有一个物理空间来存放这个颜色，只有一个特殊的专门的虚拟的索引。逃逸颜色的索引通常是调色板的最后一个索引。像素的索引表现格式在现有技术中也被称为像素的索引颜色（indexed color）或仿颜色（pseudo color）表现格
式，或者常常被直接称为索引像素（indexed pixel）或仿像素（pseudo pixel）或像素索引或索引。索引有时也被称为指数。把像素用其索引表现格式来表现也称为索引化或指数化。
12.其他的常用的现有技术的像素表现格式包括cmyk表现格式和灰度表现格式。
13.yuv色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式：1个像素由1个y分量、1个u分量、1个v分量组成的yuv4:4:4像素色彩格式；左右相邻的2个像素由2个y分量、1个u分量、1个v分量组成的yuv4:2:2像素色彩格式；左右上下相邻按2x2空间位置排列的4个像素由4个y分量、1个u分量、1个v分量组成的yuv4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。yuv4:2:2像素色彩格式和yuv4:2:0像素色彩格式都是对yuv4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值（pixel sample）或简单地称为一个样值（sample）。
14.编码或解码时的最基本元素可以是一个像素，也可以是一个像素分量，也可以是一个像素索引（即索引像素）。作为编码或解码的最基本元素的一个像素或一个像素分量或一个索引像素统称为一个像素样值，有时也通称为一个像素值，或简单地称为一个样值。
15.在本发明和本发明专利申请中，“像素样值”、“像素值”、“样值”、“索引像素”、“像素索引”是同义词，根据上下文，可以明确是表示“像素”还是表示“一个像素分量”还是表示“索引像素”或者同时表示三者之任一。如果从上下文不能明确，那么就是同时表示三者之任一。
16.在本发明和本发明专利申请中，编码块或解码块（统称为编解码块）是由若干像素值组成的一个区域。编解码块的形状可以是矩形、正方形、平行四边形、梯形、多边形、圆形、椭圆形及其他各种形状。矩形也包括宽度或高度为一个像素值的退化为线（即线段或线形）的矩形。一帧图像中，各个编解码块可以具有各不相同的形状和大小。一帧图像中，某些或全部编解码块可以有互相重叠部分，也可以所有编解码块都互不重叠。一个编解码块，可以由“像素”组成，也可以由“像素的分量”组成，也可以由“索引像素”组成，也可以由这3者混合组成，也可以由这3者中之任意2种混合组成。从视频图像编码或解码的角度，编解码块是指一帧图像中对其施行编码或解码的一个区域，包括但不限于以下至少一种：最大编码单元lcu、编码树单元ctu、编码单元cu、cu的子区域、预测单元pu、变换单元tu。
17.计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样（pixel pattern）。例如，计算机屏幕图像中常出现的中文或外文文字，都是由少数几种基本笔划所构成，同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等，也具有很多相似或相同的图样。因此，现有的图像和视频压缩技术中通常采用各种复制方式，至少包括下列复制方式：1)帧内块复制即帧内块匹配或称帧内运动补偿或称块匹配或称块复制。块复制编码或解码的基本运算是对一个当前编码块或当前解码块（简称为当前块），从重构参考像素样值集内复制一个与当前块同样大小（同样像素样值的数目）的参考块，并将所述参考块的数值赋值予当前块。块复制方式的复制参数包括当前块的位移矢量，表示参考块与当前块之间的相对位置。一个当前块有一个位移矢量。
18.2)帧内微块复制即帧内微块匹配或称微块匹配或称微块复制。在微块复制中，把一个当前块（如8x8像素样值）分成几个微块（如4x2像素样值的微块或8x2像素样值的微块或2x4像素样值的微块或2x8像素样值的微块），微块复制编码或解码的基本运算是对当前
块中的每一个编码微块或解码微块（简称为当前微块），从重构参考像素样值集内复制一个参考微块，并将所述参考微块的数值赋值予当前微块。微块复制方式的复制参数包括当前微块的位移矢量，表示参考微块与当前微块之间的相对位置。一个当前微块有一个位移矢量。一个当前块分成多少个微块就有多少个位移矢量。
19.3)帧内线条（简称条）复制即帧内条匹配或称条匹配或称条复制。条是高度为1或宽度为1的微块，如4x1或8x1或1x4或1x8像素样值的微块。条复制编码或解码的基本运算是对当前块中的每一个编码条或解码条（简称为当前条），从重构参考像素样值集内复制一个参考条，并将所述参考条的数值赋值予当前条。显然，条复制是微块复制的一种特殊情况。条复制方式的复制参数包括当前条的位移矢量，表示参考条与当前条之间的相对位置。一个当前条有一个位移矢量。一个当前块分成多少个条就有多少个位移矢量。
20.4)帧内串复制即帧内串匹配或称串匹配或称串复制或称像素串复制。在像素串复制中，把一个当前编码块或一个当前解码块（简称为当前块）分成几个长度可变的像素样值串。这里的串是指把一个任意形状的二维区域内的像素样值排列成一个长度远大于宽度的串（如宽度为1个像素样值而长度为37个像素样值的串或宽度为2个像素样值而长度为111个像素样值的串，通常但不限于长度是一个独立编码或解码参数而宽度是一个预定的或由其他编码或解码参数导出的参数）。串复制编码或解码的基本运算是对当前块中的每一个编码串或解码串（简称为当前串），从重构参考像素样值集内复制一个参考串，并将所述参考串的数值赋值予当前串。串复制方式的复制参数包括当前串的位移矢量和复制长度即复制大小，分别表示参考串与当前串之间的相对位置和当前串的长度即像素样值的数目。当前串的长度也是参考串的长度。一个当前串有一个位移矢量和一个复制长度。一个当前块分成多少个串就有多少个位移矢量和多少个复制长度。
21.5)调色板索引串复制即调色板或称索引串复制。在调色板编码和对应的解码方式中，首先构造或获取一个调色板，然后将当前编码块或当前解码块（简称为当前块）的部分或全部像素用调色板的索引来表现，再对索引进行编码和解码，包括但不限于：把一个当前块的索引分成几个长度可变的索引串，即进行索引串复制编码和解码。索引串复制编码或解码的基本运算是对当前块中的每一个索引编码串或索引解码串（简称为当前索引串），从索引化的重构参考像素样值集内复制一个参考索引串，并将所述参考索引串的索引数值赋值予当前索引串。索引串复制方式的复制参数包括当前索引串的位移矢量和复制长度即复制大小，分别表示参考索引串与当前索引串之间的相对位置和当前索引串的长度即对应的像素样值的数目。当前索引串的长度也是参考索引串的长度。一个当前索引串有一个位移矢量和一个复制长度。一个当前块分成多少个索引串就有多少个位移矢量和多少个复制长度。
22.6)索引串复制与像素串复制混合的融合复制方式，简称索引-像素串融合复制方式。对一个当前编码块或当前解码块（简称为当前块）进行编码或解码时，部分或全部像素采用像素串复制方式，部分或全部像素采用索引串复制方式。
23.其他的复制方式还包括矩形复制方式、以及若干种复制方式混合的复制方式等。
24.块复制方式中的块，微块复制方式中的微块，条复制方式中的条，串复制方式中的串，矩形复制方式中的矩形，调色板索引方式中的像素索引串，统称为像素样值段，简称样值段。样值段的基本组成元素是像素或像素分量或像素索引。一个样值段有一个复制参数，
用来表示当前像素样值段与参考像素样值段之间的关系。因此，一个样值段是具有同样复制关系的一次复制操作的最小单位。一个复制参数包括若干复制参数分量，复制参数分量至少包括：位移矢量水平分量、位移矢量垂直分量、1维位移矢量、线性地址、相对线性地址、索引、调色板线性地址、相对索引、调色板相对线性地址、复制长度、复制宽度、复制高度、矩形宽度、矩形长度、未匹配像素（又称无参考像素，即不是从其他地方复制过来的非复制像素）。
25.在各种复制方式中，像素样值或索引需要按照一定顺序排列。排列方式也称为扫描方式。扫描方式根据其路径形状，可分为下列几种：a）水平z形扫描方式又称水平光栅扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一行一行排列，在所有的行内都按照同一方向（全部从左向右或者全部从右向左）排列。行与行之间可以从上向下排列，也可以从下向上排列。
26.b）垂直z形扫描方式又称垂直光栅扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一列一列排列，在所有的列内都按照同一方向（全部从上向下或者全部从下向上）排列。列与列之间可以从左向右排列，也可以从右向左排列。
27.c）水平弓形扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一行一行排列，在奇数行内按照一个方向（如：从左向右）排列而在偶数行内按照另一个（相反）方向（如：从右向左）排列。行与行之间可以从上向下排列，也可以从下向上排列。
28.d）垂直弓形扫描方式。一个编码块或解码块（统称为编解码块）的像素样值或索引，一列一列排列，在奇数列内按照一个方向（如：从上向下）排列而在偶数列内按照另一个（相反）方向（如：从下向上）排列。列与列之间可以从左向右排列，也可以从右向左排列。
29.需要说明的是，“复制”是重构和解码的操作，对应的编码操作是“匹配”。因此，各种复制方式如块匹配方式、微块复制方式、线条复制方式、像素串复制方式、索引串复制方式等也称为块匹配方式、微块匹配方式、线条匹配方式、像素串匹配方式、索引串匹配方式等。
30.现有的各种复制方式中，参考像素都是既未经过去块效应滤波（deblocking filter简称df）步骤也未经过样值自适应补偿（sample adaptive offset简称sao）步骤处理的不完善重构像素。不完善重构像素与最终的完善重构像素之间可能有较大误差，导致参考像素与原始像素之间有较大误差，降低了对图像的压缩效率。
技术实现要素：
31.为了解决图像视频编码与解码的现有技术中的这一问题，本发明提供了一种参考像素取自至少两种不同完善程度的重构像素的图像编码与解码的方法或装置。也就是说，第一部分参考像素是完善程度i的重构像素，第二部分参考像素是完善程度ii的重构像素，第三部分参考像素是完善程度iii的重构像素，等等。优选地，不同完善程度的重构像素取自图像的不同位置即不同区域。优选地，一个参考像素样值段的参考像素由至少两种不同完善程度的重构像素组成。优选地，一个参考像素样值段的参考像素取自图像中至少两处不同的区域，所述不同的区域具有不同完善程度的重构像素。按照本发明，复制方式的参考像素范围被划分成至少两部分具有不同完善程度重构像素的不同区域。按照本发明，在复制方式中，一个当前编码块或解码块（统称为编解码块）的一个当前像素样值段所对应的参
考像素样值段的参考像素取自至少两部分具有不同完善程度重构像素的不同区域。
32.本发明的首要技术特征是参考像素取自k（k≥2，通常k≤4）种不同完善程度的重构像素。例如，取自下列3种不同完善程度的重构像素：1）既未经df又未经sao处理的重构像素；2）经垂直边缘df处理的重构像素；3）经全部df以及sao处理的重构像素。
33.本发明中，优选地，当前cu中的一个当前像素样值段（一个当前像素样值串或一个当前像素样值块）所对应的一个参考像素样值段（一个参考像素样值串或一个参考像素样值块）由k（k≥2，通常k≤4）种不同完善程度重构像素组成。也就是说，所述参考像素样值段的一部分参考像素是完善程度i的重构像素，其余部分参考像素是与所述完善程度i不同的其他k－1种完善程度的重构像素。
34.本发明中，优选地，当前cu中的一个当前像素样值段的合法的可取的参考像素范围由k（k≥2，通常k≤4）种不同完善程度重构像素的区域组成。例如，由3种区域组成。
35.本发明中，优选地，当前cu中的一个当前像素样值段所对应的一个参考像素样值段的参考像素取自合法的可取的参考像素范围中的k（k≥2，通常k≤4）种不同完善程度重构像素的区域。例如，一个参考像素样值串的参考像素取自3种不同完善程度重构像素的区域，而另一个参考像素样值块的参考像素取自2种不同完善程度重构像素的区域。
36.本发明的编码方法或装置的最基本的特有技术特征是在对当前编码块采用一种复制方式进行编码时，复制操作的参考像素取自k（k≥2，通常k≤4）种不同完善程度的重构像素。图1是本发明的编码方法或装置的一个示意图。优选地，所述复制方式是下列方式之一或其融合：预测方式（包括帧内预测或帧间预测）、帧内块复制方式、微块复制方式、条复制方式、串复制方式、索引串复制方式；所述复制操作是下列操作之一或其融合：预测操作、帧内块复制操作、微块复制操作、条复制操作、串复制操作、索引串复制操作；相应地，所述参考像素分别是预测值（块）、参考块、参考微块、参考条、参考串、调色板中的参考像素。
37.本发明的解码方法或装置的最基本的特有技术特征是在对当前解码块的视频码流采用一种复制方式进行解码时，复制操作的参考像素取自k（k≥2，通常k≤4）种不同完善程度的重构像素。图2是本发明的解码方法或装置的一个示意图。优选地，所述复制方式是下列方式之一或其融合：预测方式（包括帧内预测或帧间预测）、帧内块复制方式、微块复制方式、条复制方式、串复制方式、索引串复制方式；所述复制操作是下列操作之一或其融合：预测操作、帧内块复制操作、微块复制操作、条复制操作、串复制操作、索引串复制操作；相应地，所述参考像素分别是预测值（块）、参考块、参考微块、参考条、参考串、调色板中的参考像素。
38.根据本发明的一个方面，提供了一种图像编码方法或装置，至少包括完成下列功能和操作的步骤或模块：采用至少2种不同完善程度的重构像素作为参考像素对当前编码块进行复制编码，产生含复制参数的信息的视频码流。
39.根据本发明的另一个方面，还提供了一种图像解码方法或装置，至少包括完成下列功能和操作的步骤或模块：解析视频码流获取复制参数的信息，采用至少2种不同完善程度的重构像素作为
参考像素对当前解码块进行复制解码。
40.本发明适用于叠包格式图像的编码和解码。本发明也同样适用于分量平面格式图像的编码和解码。
41.以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。
附图说明
42.图1是本发明的编码方法或装置的一个示意图。
43.图2是本发明的解码方法或装置的一个示意图。
44.具体实施方式
45.以下是本发明的更多的实施细节或变体。
46.实施或变体例1所述编码方法或装置或解码方法或装置中，所述复制编码或解码是下列编码或解码方式之一或其融合：预测编码或解码、帧内块复制编码或解码、微块复制编码或解码、条复制编码或解码、串复制编码或解码、索引串复制编码或解码；所述复制操作是下列操作之一或其融合：预测操作、帧内块复制操作、微块复制操作、条复制操作、串复制操作、索引串复制操作；相应地，所述参考像素分别是预测值（块）、参考块、参考微块、参考条、参考串、调色板中的参考像素。
47.实施或变体例2所述编码方法或装置或解码方法或装置中，合法的可取的参考像素范围由k（k≥2，通常k≤4）种不同完善程度重构像素的区域组成。
48.实施或变体例3所述编码方法或装置或解码方法或装置中，所述当前编码块或解码块中的一个当前像素样值段的合法的可取的参考像素范围由k（k≥2，通常k≤4）种不同完善程度重构像素的区域组成。
49.实施或变体例4所述编码方法或装置或解码方法或装置中，所述当前编码块或解码块中的一个当前像素样值段所对应的一个参考像素样值段的参考像素取自合法的可取的参考像素范围中的k（k≥2，通常k≤4）种不同完善程度重构像素的区域。
50.实施或变体例5所述编码方法或装置或解码方法或装置中，所述至少2种不同完善程度的重构像素至少包括下列3种重构像素的至少2种：1）完善程度i的重构像素；2）完善程度ii的重构像素；3）完善程度iii的重构像素。
51.实施或变体例6实施或变体例5所述编码方法或装置或解码方法或装置中，所述完善程度i、ii、iii的重构像素分别是：1）既未经df又未经sao处理的重构像素；2）经垂直边缘df处理的重构像素；3）经全部df以及sao处理的重构像素。
52.实施或变体例7实施或变体例5或6所述编码方法或装置或解码方法或装置中，所述完善程度i、ii、iii的重构像素分别来自当前图像中的下列区域：1）当前ctu和当前ctu左边的ctu和更左边ctu的最右四列；2）尚未重构的区域或所述1）的区域的上方的四行；3）合法的可取的参考像素范围内既不属于所述1）也不属于所述2）的区域。