图像编码、解码方法及装置的制造方法
【技术领域】
[0001]本发明涉及一种数字视频压缩编码及解码系统，具体而言，涉及一种图像编码、解码方法及装置。
【背景技术】
[0002]随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及，多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端(云)到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量很大，以平板电脑2048x1536像素分辨率且60帧/秒刷新率的24位真彩色屏幕图像为例，需要传输的数据达每秒2048x1536x60x24 = 4320兆比特，如此多的数据要想在现实的网络条件下实现实时传输是不可能的，因此对于计算机屏幕图像的有效的数据压缩必不可少。
[0003]充分利用计算机屏幕图像的特点，对计算机屏幕图像进行超高效率的压缩，也是正在制定中的最新国际视频压缩标准HEVC(High Efficiency Video Coding)和其他若干国际标准、国内标准、行业标准的一个主要目标O
[0004]屏幕图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域，如果一个数字视频信号每秒有50帧图像，那么一段30分钟的数字视频信号就是一个由30x60x50 = 90000帧图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。在任一时刻，正在编码中的那一帧图像称为当前编码图像。同样，对数字视频信号的码流(码流也称为比特流)进行解码就是对一帧一帧图像的码流进行解码。在任一时刻，正在解码中的那一帧图像称为当前解码图像。当前编码图像或当前解码图像都统称为当前图像。
[0005]在几乎所有视频图像编码的国际标准如MPEG-1/2/4，H.264/AVC以及HEVC中，对一帧图像进行编码时，把一帧图像划分成若干块MxM像素的子图像，称为“编码单元(Coding Unit简称CU)”，以CU为基本编码单位，对子图像一块一块进行编码。常用的M的大小是4，8，16，32，64。因此，对一个视频图像序列进行编码就是对各帧图像的各个编码单元即CU依次一个一个CU进行编码。在任一时刻，正在编码中的CU称为当前编码CU。同样，对一个视频图像序列的码流进行解码也是对各帧图像的各个CU依次一个一个CU进行解码，最终重构出整个视频图像序列。在任一时刻，正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU统称为当前CU。
[0006]为适应一帧图像内各部分图像内容与性质的不同，有针对性地进行最有效的编码，一帧图像内各CU的大小可以是不同的，有的是8x8，有的是64x64，等等。为了使不同大小的CU能够无缝拼接起来，一帧图像通常先划分成大小完全相同具有NxN像素的“最大编码单元(Largest Coding Unit简称IXU) ”，然后每个IXU再进一步划分成多个大小不一定相同的CU。例如，一帧图像先划分成大小完全相同的64x64像素的LCU(N = 64)。其中某个IXU由3个32x32像素的⑶和4个16x16像素的⑶构成。而另一个IXU由2个32x32像素的⑶、3个16x16像素的⑶和20个8x8像素的⑶构成。由于一个IXU内的各个⑶呈树状结构，LCU的另一个名称是编码树单元(Coding Tree Unit简称CTU) ”。在HEVC国际标准中，IXU与CTU是同义词。
[0007]⑶也可以再进一步被划分成若干子区域。子区域包括但不限于预测单元(HJ)，变换单元(TU)，不对称划分(AMP)。
[0008]在本发明和本发明专利申请中，CU(即编码单元)有两种含义，一种含义是HEVC定义的含义，另一种含义是一帧图像中的一个区域。根据上下文，可以明确“CU”是哪种含义，如果从上下文不能明确，那么就是同时表示两者之任一。
[0009]在本发明和本发明专利申请中，编码块或解码块是指一帧图像中对其施行编码或解码的一个区域。
[0010]因此，在本发明和本发明专利申请中，对于编码来说，“CU”的另一种含义与“编码块”是同义词，对于解码来说，“CU”的另一种含义与“解码块”是同义词，根据上下文，可以明确“CU”是表示“编码块”还是表示“解码块”，如果从上下文不能明确，那么就是同时表示两者之任一。
[0011]—个彩色像素通常有3个分量(component)组成。最常用的两种像素色彩格式(pixel color format)是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度(Iuma)分量及两个色度(chroma)分量组成的YUV色彩格式。通称为YUV的色彩格式实际包括多种色彩格式，如YCbCr色彩格式。因此，对一个⑶进行编码时，可以把一个CU分成3个分量平面(G平面、B平面、R平面或Y平面、U平面、V平面)，对3个分量平面分别进行编码；也可以把一个像素的3个分量捆绑组合成一个3元组，对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像(及其CU)的平面格式(planar format)，而后一种像素及其分量的排列方式称为图像(及其CU)的叠包格式(packed format)。像素的GBR色彩格式和YUV色彩格式都是像素的3分量表现格式。
[0012]除了像素的3分量表现格式，像素的另一种常用的现有技术的表现格式是调色板索引表现格式。在调色板索引表现格式中，一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的3个分量的数值或近似数值，调色板的地址被称为这个地址中存储的像素的索引。一个索引可以表现像素的一个分量，一个索引也可以表现像素的3个分量。调色板可以是一个，也可以是多个。在多个调色板的情形，一个完整的索引实际上由调色板编号和该编号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。像素的索引表现格式在现有技术中也被称为像素的索引颜色(indexed color)或仿颜色(pseudo color)表现格式，或者常常被直接称为索引像素(indexed pixel)或仿像素(pseudo pixel)或像素索引或索引。索引有时也被称为指数。把像素用其索弓I表现格式来表现也称为索弓I化或指数化。
[0013]其他的常用的现有技术的像素表现格式包括CMYK表现格式和灰度表现格式。
[0014]YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式:1个像素由I个Y分量、I个U分量、I个V分量组成的YUV4:4:4像素色彩格式；左右相邻的2个像素由2个Y分量、I个U分量、I个V分量组成的YUV4:2:2像素色彩格式；左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、I个U分量、I个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用I个8?16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值或简单地称为一个样值。
[0015]编码或解码时的最基本元素可以是一个像素，也可以是一个像素分量，也可以是一个像素索引(即索引像素)。作为编码或解码的最基本元素的一个像素或一个像素分量或一个索引像素统称为一个像素样值，有时也通称为一个像素值，或简单地称为一个样值。
[0016]在本发明和本发明专利申请中，“像素样值”、“像素值”、“样值”、“索引像素”、“像素索引”是同义词，根据上下文，可以明确是表示“像素”还是表示“一个像素分量”还是表示“索引像素”或者同时表示三者之任一。如果从上下文不能明确，那么就是同时表示三者之任一。
[0017]在本发明和本发明专利申请中，CU是由若干像素值组成的一个区域。CU的形状可以是矩形、正方形、平行四边形、梯形、多边形、圆形、椭圆形及其他各种形状。矩形也包括宽度或高度为一个像素值的退化为线(即线段或线形)的矩形。一帧图像中，各个CU可以具有各不相同的形状和大小。一帧图像中，某些或全部CU可以有互相重叠部分，也可以所有⑶都互不重叠。一个⑶，可以由“像素”组成，也可以由“像素的分量”组成，也可以由“索引像素”组成，也可以由这3者混合组成，也可以由这3者中之任意2种混合组成。
[0018]计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样(Pixel pattern) 0例如，计算机屏幕图像中常出现的中文或外文文字，都是由少数几种基本笔划所构成，同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等，也具有很多相似或相同的图样。因此，现有的图像和视频压缩技术中通常采用的编码方式包括:
[0019]1、帧内块复制即帧内块匹配或称帧内运动补偿或称块复制或称块匹配；
[0020]2、帧内微块复制即帧内微块匹配或称微块复制或称微块匹配；
[0021]3、帧内线条(简称条)复制即帧内条匹配或称条复制或称条匹配；
[0022]4、帧内串复制即帧内串匹配或称串复制或称串匹配。这里的串是指把一个任意形状的2维区域内的像素样值排列成一个长度远大于宽度的串(如宽度为I个像素样值而长度为37个像素样值的串或宽度为2个像素样值而长度为111个像素样值的串，通常但不限于长度是一个独立编码或解码参数而宽度是一个由其他编码或解码参数导出的参数)；
[0023]5、调色板索引复制(简称索引复制)，首先把一个CU内的像素用调色板及其索引来表示，然后对索引进行复制编码。
[0024]由于屏幕图像通常有各种不同性质的区域，有的具有比较大的或形状较规则的互相相似或相同的图样，而有的则具有很小的或形状不规则的互相相似或相同的图样，上述编码方式的每一种，都仅适用于某一性质的图像区域，不适用于各种性质的图像区域混合的屏幕图像，也不可能找到各种不同大小和形状的匹配。因此，必须寻求新的编码工具来充分发掘和利用计算机屏幕图像中存在着各种不同性质的相似或相同图样的特性，以大幅度提尚压缩效果。
[0025]针对相关技术中，图像区域混合的屏幕图像压缩效率效果不好的问题，目前还没有有效的解决方案。
【发明内容】
[0026]本发明提供了一种图像编码、解码方法及装置，以至少解决相关技术中图像区域混合的屏幕图像压缩效率效果不好的问题。
[0027]根据本发明的一个方面，提供了一种图像编码方法，包括:
[0028]对一个编码块进行编码时，对所述编码块内的一部分像素采用第一种类型的复制编码方式进行编码，产生所述第一种类型的编码结果和码流数据，对所述编码块内的另一部分像素则采用第二种类型和/或第三种类型的复制编码方式进行编码，产生所述第二种类型和/或所述第三种类型的编码结果和码流数据；所述第一种类型的码流数据以及所述第二种类型和/或所述第三种类型的码流数据混合组成所述编码块的码流数据的部分或全部。
[0029]进一步地，所述第一种类型的复制编码方式是串复制编码方式，所述第二种类型的复制编码方式是矩形复制编码方式，所述第三种类型的复制编码方式是点复制编码方式。
[0030]进一步地，采用所述第一种类型的复制编码方式时，总是采用第一参考缓存的像素作为参考像素；采用所述第二种类型的复制编码方式时，总是采用所述第一参考缓存的像素作为参考像素；采用所述第三种类型的复制编码方式时，总是采用第二参考缓存的像素作为参考像素，其中，所述第一参考缓存由部分或全部已重构参考像素样值构造而成；所述第二参考缓存则由部分或全部无参考像素样值构造而成。
[0031]进一步地，编码单元⑶，预测单元，最大编码单元IXU，以及编码树单元CTU。
[0032]根据本发明的另一个方面，还提供了一种图像编码方法，包括:
[0033]对一个编码块进行编码时，所述编码块内的一部分像素采用第一参考缓存的像素作为参考像素，所述编码块内的另一部分像素则采用第二参考缓存的像素作为参考像素；所述第一参考缓存由部分或全部已重构参考像素样值构造而成；所述第二参考缓存则由部分或全部无参考像素样值构造而成。
[0034]进一步地，所述编码块包括以下至少之一:
[0035]编码单元⑶，预测单元，最大编码单元IXU，以及编码树单元CTU。
[0036]根据本发明的另一个方面，还提供了一种图像解码方法，包括:
[0037]解析一个解码块的码流数据，获取与解码有关的参数；根据所述参数，对所述解码块的一部分码流数据采用第一种类型的复制解码方式进行解码，对所述解码块的另一部分码流数据则采用第二种类型和/或第三种类型的复制解码方式进行解码。
[0038]进一步地，所述第一种类型的复制解码方式是串复制解码方式，所述第二种类型的复制解码方式是矩形复制解码方式，所述第三种类型的复制解码方式是点复制解码方式。
[0039]进一步地，采用所述第一种类型的复制解码方式时，总是采用第一参考缓存的像素作为参考像素；采用所述第二种类型的复制解码方式时，总是采用所述第一参考缓存的像素作为参考像素；采用所述第三种类型的复制解码方式时，总是采用第二参考缓存的像素作为参考像素，所述第一参考缓存由部分或全部已重构参考像素样值构造而成；所述第二参考缓存则由部分或全部无参考像素样值构造而成。
[0040]进一步地，所述解码块包括以下至少之一:
[0041]编码单元⑶，预测单元，最大编码单元IXU，以及编码树单元CTU。
[0042]根据本发明的另一个方面，还提供了一种图像解码方法，包括:
[0043]解析一个解码块的码流数据，获取与解码有关的参数；根据所述参数，对所述解码块的一部分码流数据采用第一参考缓存的像素作为参考像素进行解码，对所述解码块的另一部分码流数据则采用第二参考缓存的像素作为参考像素进行解码；所述第一参考缓存由部分或全部已重构参考像素样值构造而成；所述第二参考缓存则由部分或全部无参考像素样值构造而成。
[0044]进一步地，所述解码块包括以下至少之一:
[0045]编码单元⑶，预测单元，最大编码单元IXU，以及编码树单元CTU。
[0046]根据本发明的另一个方面，还提供了一种图像编码装置，包括:
[0047]搜索和复制编码模块，重构参考像素样值集模块，第二参考缓存模块，以及编码、重构及产生视频码流数据的模块；其中，搜索和复制编码模块的混合包括以下至少之一:串复制，矩形复制以及点复制；
[0048]所述重构参考像素样值集模块的部分或全部构造出第一参考缓存单元；
[0049]所述第一参考缓存单元在第一参考缓存中搜索最优参考串和/或最优参考矩形；
[0050]所述第二参考缓存模块在第二参考缓存中搜索最优参考点，并产生出参考串的复制参数，参考矩形的复制参数，参考点的复制参数和/或无参考像素样值。
[0051]根据本发明的另一个方面，还提供了一种图像编码装置，包括:
[0052]解析码流，获取复制参数、以及无参考像素样值的模块，串复制、矩形复制、以及点复制混合的复制解码模块，重构参考像素样值集模块，以及第二参考缓存模块；
[0053]所述重构参考像素样值集模块的部分或全部构造出第一参考缓存单元；所述串复制的复制解码模块解码米用第一参考缓存的像素作为参考像素，所述矩形复制的复制解码模块解码采用第一