帧内像素预测方法、编码方法、解码方法及其装置的制造方法
【技术领域】
[0001]本发明总体地涉及视频编码和解码技术，尤其涉及一种帧内预测方法、视频编码方法和视频解码方法和装置。
【背景技术】
[0002]视频压缩技术广泛用于各种产品中，例如数字机顶盒(STB)、高清电视解码器、DVD播放器、数字摄像机、网络多媒体视频应用等等。存在压缩数字视频内容的各种视频编码方法。已经存在许多视频压缩标准来使得各种视频编码方法标准化。这些标准的例子包括MPEG-U MPEG-2 (ITU-T H.262)、MPEG-4、ITU-T H.261, ITU-T H.263, ITU-T H.264。
[0003]诸如MPEG标准之类的视频编码标准通常通过利用诸如时间和空间预测、变换和量化、熵编码之类的各种编码技术来实现数据压缩。视频编码器中的压缩通常包括帧间预测和帧内预测，以提高编码效率。帧间预测利用视频的图像之间的时间相关性，而帧内预测利用视频的图像内的像素的空间相关性。
[0004]帧间预测和帧内预测通常都是对像素块执行的。
[0005]对于帧内预测，通常是利用已经重建像素来外插待预测块，例如，对当前图像中任意一个待编码块，利用其周围已经重构的像素沿着某个方向进行插值，并将插值后的结果作为待编码块的预测块。待编码块与预测块之间的差作为预测残差，预测残差经过变换量化后进行编码。
【发明内容】
[0006]根据本发明的一个方面，提供一种预测图像中的像素的帧内像素预测方法，可以包括:目标模板定义步骤，定义当前待预测像素的目标模板；匹配模板确定步骤，将所述目标模板与该帧的搜索区域的候选模板相比较，以及确定所述候选模板中至少一个与所述目标模板匹配的匹配模板；以及预测值确定步骤，基于所述至少一个匹配模板来确定当前待预测像素的预测值。
[0007]在一个示例中，所述当前待预测像素的目标模板由该位于当前待预测像素的左侧和上侧的像素组成。
[0008]在一个示例中，该帧内像素预测方法还可以包括，将所述目标模板中尚未重构的像素设置为无效像素，以及所述匹配模板确定步骤包括:基于目标模板中的已重构像素和候选模板中的已重构像素，确定目标模板与候选模板之间的匹配度；以及选择匹配度最高的一个或多个作为所述至少一个匹配模板。
[0009]在一个示例中，所述基于所述至少一个匹配模板来确定当前待预测像素的预测值可以包括:根据当前待预测像素与其目标模板之间的相对位置关系，获得与匹配模板具有所述相对位置关系的参考像素；以及基于匹配模板和参考像素或者基于参考像素，确定当前待预测像素的预测值。
[0010]在一个示例中，该帧内像素预测方法还可以包括:将当前待预测像素的值与当前待预测像素的预测值之间的差作为预测残差；对预测残差进行编码，以供将该编码后的预测残差发送到解码器侧；以及在编码器侧对编码后的预测残差进行解码，并将解码后的残差与待预测像素的预测值相加，获得对应位置像素的重构值。
[0011 ] 在一个示例中，该帧内像素预测方法还可以包括:将像素重新排列并分块，得到各个作为编码目标的块，使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构；对于当前待编码块:对于块中的每个像素，在重新排列前的帧中执行上述目标模板定义步骤、匹配模板确定步骤和预测值确定步骤，由此得到每个像素的预测值，从而得到当前待编码块的预测块；使用当前待编码块的预测块对当前待编码块进行编码。
[0012]根据本发明的另一方面，提供了一种对图像进行帧内编码的编码方法，可以包括:目标模板定义步骤，定义当前待预测像素的目标模板；匹配模板确定步骤，将所述目标模板与该帧的搜索区域的候选模板相比较，以及确定所述候选模板中至少一个与所述目标模板匹配的匹配模板；以及预测值确定步骤，基于所述至少一个匹配模板来确定当前待预测像素的预测值；以及基于预测编码步骤，基于所述当前待预测像素的预测值对所述当前待预测像素或者该当前待预测像素所属于的块进行编码。
[0013]在一个示例中，该编码方法还可以包括:像素重组织分块步骤，将像素重新排列并分块，得到各个作为编码目标的块，使得分块后的块中的多个像素尽可能不同时出现在重新排列前的帧中的原始块中，且使得块中的像素在被预测时，其在重新排列前的帧中的目标模板中的像素尽可能地已重构；对于当前待编码块:对于块中的每个像素，在重新排列前的帧中执行上述目标模板定义步骤、匹配模板确定步骤和预测值确定步骤，由此得到每个像素的预测值，从而得到当前待编码块的预测块；使用当前待编码块的预测块对当前待编码块进行编码。
[0014]在一个示例中，所述使用当前待编码块的预测块对当前待编码块进行编码可以包括获得残差块、量化残差块、对量化后的残差块进行熵编码。
[0015]在一个示例中，其中所述分块后得到的块中存在大小不同的块。
[0016]在一个示例中，像素重组织分块步骤可以使得尽可能多的分块后块的大小为具体编码标准中的块的大小。
[0017]在一个示例中，关于该编码方法，图像的大小为MxN，编码的块的大小为TxT，M和N是T的整数倍，其中M表示图像的行数，N表示图像的列数，以图像最上方的像素行称为第O行，图像最左侧的像素列称为第O列，P1, ,表示图像中位置在第i行，第j列的像素点，O彡i彡M-1，0彡i彡N_1，M、N和T均为大于I的正整数，重组后的第P行，第q列的像素点Rp,q对应于重组前的像素点P1, j;0彡P彡M-1，0彡q彡N-1，
[0018]其中i，j的计算公式分别如公式(I)、(2)所示:
[0019]i = (P mod T) x (M/T) +rounddown (p/T)(I)
[0020]j = (q mod T) x (N/T) +rounddown (q/T)(2)
[0021 ] 其中mod表示取模运算，X表示乘法运算，rounddown O表示向下取整运算。
[0022]在一个示例中，关于该编码方法，图像的大小为MxN，编码的块的大小为TxT，M和N的值不是T的整数倍，其中M表示图像的行数，N表示图像的列数，以图像最上方的像素行称为第O行，图像最左侧的像素列称为第O列，P1,,表示图像中位置在第i行，第j列的像素点，O ( i ^M-1,O ( i ( N-1, M、N和T均为大于I的正整数，重组后的第P行，第q列的像素点Rp,q对应于重组前的像素点Pli j,重组后的图像大小为((rounddown(M/T) +1) xT) X ((rounddown (N/T) +1) xT)， (rounddown (M/T) +1) xT 表不重组后的图像的行数，(rounddown (N/T) +1)表示重组后的图像的列数,O < p < (rounddown (M/T) +1) xT-Ι,O彡q彡(rounddown (N/T)+l)xT-l，重组后的图像中像素点Rp, q对应于重组前的图像中的像素点P^，其中i，j的计算公式为:
[0023]i = (P mod T) x (rounddown (M/T) +1) +rounddown (p/T)当(p mod T) < (M mod T)时，(3)
[0024]i = (M mod T) x (rounddown (M/T) +1) + ( (p mod T) - (M mod T))X rounddown (M/T) +rounddown (p/T)当(p mod T) > = (M mod T)且 p〈M 时，(4)
[0025]i无有效值,此时RPiq = O当p> = M时,(5)
[0026]其中j的计算公式为:
[0027]j = (q mod T) x (rounddown (N/T) +1) +rounddown (q/T)当(q mod T) < (N mod T)时，(6)
[0028]j = (N mod T) x (rounddown (N/T) +1) + ( (q mod T) - (N mod T))X rounddown (N/T) +rounddown (q/T)当(q mod T) > = (N mod T)且 q〈N 时，(7)
[0029]j无有效值,此时Rp,q = 0当q> = N时⑶。
[0030]在一个示例中，关于该编码方法，图像的大小为MxN，编码的块的大小为TxT，M和N的值不是T的整数倍，其中M表示图像的行数，N表示图像的列数，以图像最上方的像素行称为第O行，图像最左侧的像素列称为第O列，P1, ,表示图像中位置在第i行，第j列的像素点，O ( i ^M-1,O ( i ( N-1, M、N和T均为大于I的正整数，重组后的第P行，第q列的像素点Rp,q对应于重组前的像素点Pli j,重组后的图像大小为((rounddown(M/T) +1) xT) X ((rounddown (N/T) +1) xT)， (rounddown (M/T) +1) xT 表不重组后的图像的行数，(rounddown(N/T) +1)xT 表示重组后的图像的列数,O ^ p ^ (rounddown(M/T)+1)xT,0彡q彡(rounddown (Ν/Τ)+1)χΤ，重组后的图像中像素点Rp,q对应于重组前的图像中的像素点P^，其中i，j的计算公式为:
[0031]i = (P mod T) x (rounddown (M/T) +1) +rounddown (p/T)当(p mod T) < (M mod T)时，(9)
[0032]i = (M mod T) x (rounddown (M/T) +1) + ( (p mod T) - (M mod T))X rounddown (M/T) +rounddown (p/T)当(p mod T) > = (M mod T)且 p〈M 时，
(10)
[0033]i无有效值，此时Rp,q = O当p> = M时，(11)
[0034]其中j的