专利名称：一种基于预测块组的采用帧内预测的帧内编码帧编码方法
技术领域：
本发明属于信号处理中的视频编解码领域，特别涉及帧内编码帧的编码预测技术。
背景技术：
传统的视频编码标准如ITU制定的H.261，H.263，H.263+，H.264标准以及ISO的MPEG组织制定的MPEG-1，MPEG-2，MPEG-4等都是建立在混合编码，即Hybrid Coding框架之上的。所谓混合编码框架是一种混合时间空间视频图象编码方法，该方法包括先进行帧内、帧间的预测，以消除时间域的相关性；然后对原始图象与预测结果的残差进行二维变换(采用离散余弦变换或其它线性变换)，消除空间相关性；然后进行熵编码，去除统计上的冗余度。
混合编码框架中包括了帧内编码帧编码和帧间编码帧编码两种不同的编码方法。传统的帧内编码帧编码过程如下对原始图象数据进行二维变换(采用离散余弦变换或整型变换)；然后在变换域中对变换系数进行量化；最后进行熵编码，即Hunffman编码或者算术编码等。帧间编码帧的编码过程如下采用运动估计得到运动矢量，然后采用基于运动补偿的帧间预测，接着对帧间预测得到的残差块进行二维变换，再对变换域系数进行量化，最后进行熵编码。
为了提高压缩效率，预测是最常用的技术。在最近的H.264视频编码标准中，帧内编码帧的编码也充分的使用帧内预测方法。采用帧内预测的帧内编码帧编码方法为对原始图象块与帧内预测方法得到的预测块的差值进行二维变换(采用离散余弦变换或整型变换)；然后在变换域中对变换系数进行量化；最后进行熵编码，即Huffman编码或者算术编码等。
现有采用帧内预测的帧内编码帧编码方法包括编码过程和解码过程，其中的编码过程的具体步骤为1)从原始图像中提取一个预测块；2)分别以各种预测模式对预测块内各个象素进行帧内预测，得到各个预测模式下的预测块的预测值；3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式；4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行二维变换(采用离散余弦变换或整型变换)；然后在变换域中对变换系数进行量化；最后对量化后的系数和最佳的预测模式进行熵编码，即Hunffman编码或者算术编码等，并将编码后的数据写入码流。
解码过程的具体步骤为1)首先对编码码流中的数据进行熵编码的解码，对解码后的数据进行反量化和反变换后，得到本预测块的残差数据，并判断出编码过程中选定的最佳预测模式；2)采用选定的最佳预测模式，根据预测块的参考象素，对预测块进行预测并得到预测值；3)用2)步得到的预测块的预测值加上1)步得到的预测块的残差数据，便得到了本预测块的重建数据。
上述方法中的预测块(Intra Predictive Block)有两种大小的预测块宏块(16×16像素)和4×4像素的矩形块，以这种预测块作为基本预测编解码单位，预测块内每个象素的帧内预测值是通过预测块周围已经编码和重建的块的参考象素得到的。上述的帧内预测方法中所述的参考象素必须是先于本预测块已经编码和重建的象素。
在现有标准中，帧内预测的顺序是水平由左到右，垂直由上到下，因此在对每个预测块进行帧内预测时，只有左边和上边的已经编码和重建的象素可能拿来作为参考象素。上述的帧内预测方法中的每种预测模式分别对应于不同的线性预测器。线形预测器的参数由预测块上部和左部的参考象素的可得性决定。每种线性预测器以参考象素作为输入，输出的是对应被预测象素的预测值。所说的预测模式在H.264中采用了水平、垂直、斜上、和斜下等多个不同方向的线性预测器对当前预测块进行预测，其中以4×4像素的矩形块为预测块时，采用了9种不同方向的线性预测器，即9种预测模式。以宏块为预测块时，采用了4种预测模式。
如上所述，在现有的帧内编码帧编码方法预测步骤中，帧内预测的顺序是水平由左到右，垂直由上到下，图1标出了在H264中一个4×4象素大小的预测块内象素(小写字母表示)及其参考象素(大写字母表示)的位置关系。
可以看出，由于在H.264中对帧内各个预测块采用了单纯的由左及右，由上及下的编码顺序，因此参考象素只可能出现在预测块的左侧和上侧。在对每个预测块进行帧内预测时，只有左边和上边的已经编码和重建的象素可能作为参考象素，由于参考象素的缺少会影响预测效率的提高，不能满足各种不同运动图像的需要，阻碍了视频信号压缩效率的进一步提高。
发明内容
本发明的目的是为了克服已有帧内编解码技术的不足之处，提出了一种基于帧内预测块组(Intra Predictive Block Group)的采用帧内预测的帧内编码帧编码方法，本发明不但能提高帧内预测效率，从而提高整个视频信号的压缩效率，而且能够应用于混合编码。
本发明提出的一种基于预测块组的采用帧内预测的帧内编码帧编码方法，其特征在于，设定预测块作为进行帧内预测时的预测单位，该预测块为x，y∈{4，8，16}，其中，x表示预测块水平象素的个数，y表示预测块垂直象素的个数；将所说的连续的四个相同大小预测块拼在一起为预测块组；所述帧内编码帧编码方法包括编码过程和解码过程，其中编码过程包括以下步骤1)从原始图像中提取一个由4个预测块组成的预测块组，并构成24种预测块组的编码顺序；2)从所说的24种编码顺序中选取2种或2种以上的编码顺序，对其中的一种编码顺序的预测块组中分别以各种预测模式对预测块内各个象素进行预测，得到各个预测模式下的预测块的预测值；3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式；4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行编码，并计算采用本编码顺序时的编码代价；5)对所选取的其它编码顺序，重复上述第2)-4)步，使每种编码顺序得到相应的编码代价6)比较各个编码顺序下的编码代价，选取编码代价最小为最佳的编码顺序；将对应于最佳编码顺序的编码结果写入码流，并对最佳编码顺序进行编码，然后写入码流；
该解码过程包括以下步骤1)首先对编码码流中的数据进行解码和判断，得到编码过程中选定的最佳编码顺序以及最佳编码顺序下的最佳预测模式；2)采用选定的最佳编码顺序和最佳编码顺序下的最佳预测模式，根据预测块的参考象素，对预测块进行预测并得到预测值；3)用第2)步得到的预测块的预测值加上第1)步得到的预测块的残差数据，便得到了本预测块的重建数据。
所说的每种预测模式分别对应于不同的预测器；每种预测器以参考象素作为输入，输出的是对应被预测象素的预测值。
本发明的原理本发明所述的基于预测块组的采用帧内预测的帧内编码帧编码方法，是基于预测组内预测组编码顺序的改变使得右侧和下侧参考象素的可得性成为可能，图2表示出采用本发明方法的一个4×4象素大小的预测块内象素(小写字母表示)及其参考象素(非小写字母表示)的位置关系。在本发明中，当对预测块组内各个预测块采用不同编码顺序时，参考元素可能还会出现在预测块的右侧和下侧，当按照不同的编码顺序对预测块组内各个预测块进行帧内预测时，每个预测块周围可参考的象素会不同。这样所得出的预测效果也会不同。如图3所示，图中每个大方块表示一个预测块组，大方块中4个小方块表示4个不同的预测块。小方块中的阿拉伯数字1-4表示本预测块在预测块组中的编码顺序。图3中共列出24种不同的编码顺序。例如当采用图3中下标为12的编码顺序时，那么当编到第4个预测块时，由于1，2，3块都已经编码并重建，这个预测块上下左右都会有参考像素。对于每个预测块组，从不同的编码顺序中选取最佳的一种，其实也就是选取预测效果最好的编码顺序，便有可能达到提高编码效率的目的。
本发明的特点本发明提出预测块组这样一种新的高度自适应的帧内编码结构，构造了一种灵活有效的帧内编码方案，能够有效地克服现有帧内编码方案中参考象素单一，不能满足各种不同运动图像需要的缺点，可提高帧内预测效率，从而提高整个视频信号的压缩效率，而且能够应用于混合编码。
图1为在H264中一个4×4象素大小的预测块内象素(小写字母表示)及其参考象素(大写字母表示)的位置关系示意图。
图2为采用本发明方法的一个4×4象素大小的预测块内象素(小写字母表示)及其参考象素(非小写字母表示)的位置关系示意图。
图3为本发明的24种不同的编码顺序示意图。
图4为本发明的预测块示意图。
图5为本发明的预测块组示意图。
具体实施例方式
本发明提出的一种基于预测块组的采用帧内预测的帧内编码帧编码方法结合附图及实施例详细说明如下本发明所述的预测块是指进行帧内预测时的预测单位，可以是大小从16×16到4×4的矩形方块，如图4所示，x，y∈{4，8，16}，x表示预测块水平象素的个数，y表示预测块垂直象素的个数。
连续的四个相同大小预测块拼在一起为预测块组，如图5所示。
本发明可以根据视频编码结构，决定从图3所示的24种编码顺序中选取不同的编码顺序及不同的编码顺序的数量，具体原则最大可能地利用预测块周围参考象素的可得信息，获得最好的预测结果；选取的编码顺序的数量尽可能小以减小对编码顺序进行编码所需的比特。例如如果视频编码结构决定预测块上部和左部的参考象素可得，则可以选择图3中标号为(1)，(2)，(3)，(4)的4种编码顺序(本实施例就采用这4种编码顺序)；如果视频编码结构决定预测块右部的参考象素可得，则可以选择图3中标号为(8)，(13)的2种编码顺序；上述仅为选取编码顺序数量的两个例子，本发明还可以采用其他的编码顺序的选取。
本发明的帧内编码帧编码方法的实施例包括编码过程和解码过程，其中编码过程包括以下步骤1)从原始图像中提取一个由4个预测块组成的预测块组，并构成24种预测块组的编码顺序；如图3所示，图中标号(1)-(24)为不同的编码顺序。
2)取图3中所示的标号为(1)，(2)，(3)，(4)的4种编码顺序中的一种编码顺序(例如(1))的预测块组，分别以各种预测模式对该预测组内各预测块内的各个象素进行预测，得到各个预测模式下的预测块的预测值；3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式；4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行编码(本实施例采用对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行二维变换(采用离散余弦变换或整型变换)；然后在变换域中对变换系数进行量化；最后对量化后的系数和最佳的预测模式进行熵编码，即Hunffman编码或者算术编码等，所述编码的具体内容属于已有技术，不在本发明的保护范围之内)，并计算采用本编码顺序时的编码代价；5)对标号为(2)，(3)，(4)的3种编码顺序重复上述2)-4)步，这样得到每种编码顺序相应的编码代价6)比较各个编码顺序下的编码代价，选取编码代价最小为最佳的编码顺序；将对应于最佳编码顺序的编码(本实施例对最佳编码顺序进行熵编码，即Humffman编码或者算术编码等，所述熵编码属于已有技术，不在本发明的保护范围之内)结果写入码流，并对最佳编码顺序进行编码，然后写入码流。
解码过程包括以下步骤1)首先对编码码流中的数据进行解码和判断，得到编码过程中选定的最佳编码顺序以及最佳编码顺序下的最佳预测模式；2)采用选定的最佳编码顺序和最佳编码顺序下的最佳预测模式，根据预测块的参考象素，对预测块进行预测并得到预测值；3)用2)得到的预测块的预测值加上1)得到的预测块的残差数据，便得到了本预测块的重建数据。
本发明中所述的参考象素是先于本预测块已经编码和重建的象素。本发明中的每种预测模式分别对应于某种预测器。每种预测器以参考象素作为输入，输出的是对应被预测象素的预测值。
权利要求
1.一种基于预测块组的采用帧内预测的帧内编码帧编码方法，其特征在于，设定预测块作为进行帧内预测时的预测单位，该预测块为x，y∈{4，8，16}，其中，x表示预测块水平象素的个数，y表示预测块垂直象素的个数；将所说的连续的四个相同大小预测块拼在一起为预测块组；所述帧内编码帧编码方法包括编码过程和解码过程，其中编码过程包括以下步骤1)从原始图像中提取一个由4个预测块组成的预测块组，并构成24种预测块组的编码顺序；2)从所说的24种编码顺序中选取2种或2种以上的编码顺序，对其中的一种编码顺序的预测块组中分别以各种预测模式对预测块内各个象素进行预测，得到各个预测模式下的预测块的预测值；3)选取预测块内原始图像数据和预测值的残差最小为最佳的预测模式；4)对预测块内原始图象数据和图像在最佳的预测模式下的预测值的残差进行编码，并计算采用本编码顺序时的编码代价；5)对所选取的其它编码顺序，重复上述第2)-4)步，使每种编码顺序得到相应的编码代价6)比较各个编码顺序下的编码代价，选取编码代价最小为最佳的编码顺序；将对应于最佳编码顺序的编码结果写入码流，并对最佳编码顺序进行编码，然后写入码流；该解码过程包括以下步骤1)首先对编码码流中的数据进行解码和判断，得到编码过程中选定的最佳编码顺序以及最佳编码顺序下的最佳预测模式；2)采用选定的最佳编码顺序和最佳编码顺序下的最佳预测模式，根据预测块的参考象素，对预测块进行预测并得到预测值；3)用第2)步得到的预测块的预测值加上第1)步得到的预测块的残差数据，便得到了本预测块的重建数据。所说的每种预测模式分别对应于不同的预测器；每种预测器以参考象素作为输入，输出的是对应被预测象素的预测值。
全文摘要
本发明属于信号处理中的视频编解码领域，涉及一种基于预测块组的采用帧内预测的帧内编码帧编码方法。其特点为设定预测块作为进行帧内预测时的预测单位，该预测块为x，y∈{4，8，16}，本方法包括由4个预测块组成的预测块组构成24种预测块组的编码顺序；对每一种编码顺序的预测块组中分别以各种预测模式对预测块内各个象素进行预测，并计算采用本编码顺序时的编码代价；比较各个编码顺序下的编码代价，选取编码代价最小为最佳的编码顺序；将对应于最佳编码顺序的编码结果写入码流，并对最佳编码顺序进行编码，然后写入码流；再进行相应解码。本发明不但能提高帧内预测效率，从而提高整个视频信号的压缩效率，而且能够应用于混合编码。
文档编号H04N7/32GK1476253SQ03148160
公开日2004年2月18日 申请日期2003年7月4日 优先权日2003年7月4日
发明者何芸, 朱刚, 李国平, 何 芸 申请人:清华大学