专利名称：一种视频压缩的帧内预测方法和系统的制作方法
技术领域：
本发明涉及图像处理技术，尤其涉及一种视频压缩的帧内预测方法和系统。
背景技术：
目前，视频编码所采用的压缩技术基本上都是基于预测变换和熵编码的， 预测效果的好坏将会直接影响到后续过程以及最后码流量的大小。目前主流的 视频压缩标准有由活动图像专家组制定MPEG-4和由国际电联制定的H264 等，在这些压缩技术中，编码图像一般分为三种类型帧内预测帧(I帧)、前 向预测帧(P帧)和双向预测帧(B帧)，其中，P帧和B帧统称为帧间预测帧。 I帧利用了空间相关性，采用与由联合图像专家组制定的JPEG类似的方式对 静止的图像进行编码。P帧利用了时间相关性，使用前面的帧作为参考帧进行 预测。B帧则同时利用前面的帧和后面的帧作为参考帧进行预测。预测之后将 产生残差数据，对这些残差数据进行离散余弦(DCT)变换和量化，输出编码 码流即完成视频压缩过程。
在进行压缩时，每一帧被分成若干个宏块，每一个宏块又包含多个亮度块 和多个色度块，在对一个宏块进行预测编码时，可以采用时域或空域的预测。 时域预测即在参考帧中搜索与之最匹配的宏块，空域预测即利用本帧内先前已 预测、变换、编码并重建的图像象素作为参考点来进行预测。预测的目标是使 得产生的残差数据的绝对误差和(SAD)值最小。SAD值描述预测的相关程度， SAD值越小表示被预测部分和预测后部分越相似。当进行的是帧间预测时，上 述在参考帧中搜索与之最匹配的宏块的过程就被称为运动估计。
对于帧内预测而言，常用的预测方案有垂直预测、水平预测、平均值预测
以及各种方向的角度预测等。如图1 (a)至图1 (d)所示，A至M表示已经 预测、变换、编码并重建的象素，中间灰色的4x4矩阵部分表示当前等待预测 的象素。图1 (a)至图1 (d)分别表示垂直预测，即以上方象素点作为参考 来预测；水平预测，以左侧象素点为参考来预测；平均值预测，将所有可得到
的象素的均值(或其他方式给出的均值)作为参考来预测；角度预测，根据角 度值计算参考点和被预测点来进行预测，当然不局限于图中所示的这一种角度
情况。多数情况下对图像的压缩都是按照从上到下，从左到右的顺序进行，因 此，在阴影块的右上侧有已重建的象素点而右侧没有。通过分别使用上述多种 预测方法，找到一种使SAD值最小的预测方法，并用该方法对控制数据和残 差数据进行变换、编码，获得当前宏块的码流。
现有的帧内预测方法选取的参考点大多是选择图像左侧和上方的重建象 素点，即多数使用垂直预测或水平预测。对于处于中间位置的宏块，直接选取 周围已经重建好的宏块作为参考，通过多种不同的预测方法，找到一种使SAD 值最小的预测方法；但是，对于位于边界的宏块，若相应位置的参考点缺少， 则不能进行相关方向的预测。例如，若是位于顶端的宏块，则不能进行水平预 测，只能选用其他方法来进行预测找到SAD值最小的方法。
这种对需要进行帧内预测的边界宏块缺少参考点的位置不作相应的补偿， 而是和普通宏块一样进行帧内预测，会使得所述边界宏块的帧内预测方法的多 样性受到限制，得到的帧内预测方法也不一定是最佳的，进而可能会使得压缩 效果受到影响。
发明内容
本发明提供一种^L频压缩的帧内预测方法和系统，以解决现有技术中存在 的由于没有对需要进行帧内预测的边界宏块缺少参考点的位置进行补偿，而造 成的预测方法的多样性受到限制，使压缩效果可能较差的问题。
本发明提供一种视频压缩的帧内预测方法，该方法包括以下步骤
A. 确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少参考点的位
置进行补偿；
B. 根据补偿后的边界宏块的参考点信息进行帧内预测。
步骤A中所述的进行补偿是将已重建的图像象素点映射到所述边界宏块 的缺少参考点的位置。
当所述帧的类型为帧间预测帧时，步骤A中所述需要进行帧内预测的帧是 根据如下步骤确定
Al、对所述帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和 的值大于预先设定值时，则确定需要对该边界宏块进行帧内预测。
当所述需要进行帧内预测的帧的类型为帧间预测帧，且确定需要对该帧的 边界宏块进行帧内预测时，步骤B之后进一步包括
Bl、对所述边界宏块进行帧间预测，选择步骤B中所述帧内预测后获得 的残差数据的绝对误差和的值与步骤Al中所述帧间预测后获得的残差数据的 绝对误差和的值中的最小值对应的预测方法进行预测。
本发明还提供一种^f见频压缩的帧内预测系统，所述系统包括
补偿单元，用于确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少 参考点的位置进行补偿；
帧内预测单元，用于根据补偿后的边界宏块的参考点信息进行帧内预测。
所述补偿单元，还用于当所述需要进行帧内预测的帧的类型为帧间预测帧 时，对该帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和的值大 于预先设定值时，则确定需要对该边界宏块进行帧内预测。
当所述需要进行帧内预测的帧的类型为帧间预测帧时，所述系统还包括 帧间预测单元，用于将所述边界宏块进行帧间预测，选择通过帧内预测单 元后获得的残差数据的绝对误差和的值和所述帧间预测后的获得的残差数据 的绝对误差和的值中的最小值对应的预测方法进行预测。
本发明方法通过对需要进行帧内预测的边界宏块缺少参考点的位置进行 补偿，使该边界宏块能够进行更多种预测方法，由于增加了预测方法，使得
找到的使SAD值最小的预测方法可能更佳，进而使压缩效果也得到提高。
图1 (a)至图1 (d)为现有技术视频压缩的帧内预测示意图2为本发明视频压缩的帧内预测系统结构示意图3为本发明实施例预测过程流程示意图4 (a)和图4 (b)为本发明实施例帧内左侧补偿示意图5 (a)和图5 (b)为本发明实施例帧内上侧补偿示意图6 (a)和图6 (b)为本发明实施例帧内右侧补偿示意图。
具体实施例方式
在现有方法中，由于没有对需要进行帧内预测的对边界宏块周围缺少参考 点的位置进行补偿，使得该宏块在某些方向的帧内预测不能进行，限制了帧内 预测方式，最后得到的帧内预测方法不一定是最好的，进而影响压缩效果。本 发明对需要进行帧内预测的帧的边界宏块缺少参考点的位置进行补偿，并根据 补偿后的参考点信息进行帧内预测，使所述边界宏块能够进行更多种帧内预测 方法，找到一种使SAD值最小的方法，使压缩效果达到最佳。
下面结合说明书附图对本发明做进一步详细的描述。
如图2所示，本发明中视频压缩的帧内预测系统包括补偿单元11和帧内 预测单元12。其中，补偿单元11用于确定需要进行帧内预测的帧，并对该帧 中的边界宏块缺少参考点的位置进行补偿；帧内预测单元12用于根据补偿后 的边界宏块的参考点信息进行帧内预测。 内预测方法可以包括垂直预测、水平预测、平均值预测多种方向的角度预测等。 所述补偿单元，还用于当所述需要进行帧内预测的帧的类型为帧间预测帧 时，对该帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和的值大 于预先设定值时，则确定需要对该边界宏块进行帧内预测。
当所述需要进行帧内预测的帧的类型为帧间预测帧时，所述系统还包括
帧间预测单元13用于将所述边界宏块进行帧间预测，选择通过帧内预测单元
后获得的残差数据的绝对误差和的值和所述帧间预测后的获得的残差数据的 绝对误差和的值中的最小值对应的预测方法进行预测。
下面结合具体实施例详细说明本发明方法。如图3所示，为本发明实施例 步骤流程示意图，本实施例利用图像的相关性，对需要进行帧内预测的边界宏 块缺少参考点的位置选取已重建的图像象素点进行补偿，从而保证更多种有效 的帧内预测方法的选取。在本实施例中，设定希望进行的有效的帧内预测方法 包括垂直预测、水平预测、平均值预测和45度角度预测。
步骤301:判断当前宏块所属帧的类型，确定是否需要进行帧内预测。 在本发明中所述的帧的类型可以包括帧内预测帧、前向预测帧和双向预测 帧，其中，前向预测帧和双向预测帧可以统称为帧间预测帧。若当前宏块所属 帧的类型为帧内预测帧时，该宏块可以进行的预测方式只能为帧内预测；若当 前宏块所属帧的类型为帧间预测帧时，该宏块可以进行的预测方式可以为帧间 预测或帧内预测与帧间预测同时使用。当对帧间预测帧进行帧间预测后获得的 SAD值大于预先设定值时，则说明该帧间预测帧需要进行帧内预测。另外在不 考虑压缩速度，只希望压缩效果尽可能好的情况下，可以同时进行帧内预测和 帧间预测，获得两种方式的SAD值，选择最小的SAD值对应的预测方式进行 预测。
步骤302:判断当前宏块是否为边界宏块。
由于编码图像长宽是已知的，且该编码图像划分的宏块个数也是已知的， 每一个宏块在该编码图像中有一个唯一的编号，通过该编号就可以判断当前宏
块是否为边界宏块。
若当前宏块不为边界宏块，且所属帧的类型为帧内预测帧时，则直接根据
该宏块的参考点进行垂直预测、水平预测、平均值预测和45度角度预测，比 较这四种预测后的SAD值，确定Y吏SAD值最小的帧内预测方法，并使用该方 法进行帧内预测后再进行变换、编码，完成视频压缩过程。
若当前宏块不为边界宏块，且所属帧的类型为帧间预测帧时，则使用帧间 预测或帧内预测与帧间预测同时使用方法，预测后再进行变换、编码，完成视 频压缩过程。
若当前宏块为边界宏块时，则根据该宏块所属的帧的类型和可能进行的预 测方法来进行预测。
步骤303:对当前边界宏块缺少参考点的位置进行补偿并进行帧内预测。
若所述当前边界宏块所属帧的类型为帧内预测帧时，可以选取编码图像中 任意已重建的图像象素点映射到所述宏块缺少参考点的位置进行补偿。但是在 实际操作中，考虑到图像特征， 一般是选取距离该缺少参考点位置较近的已重 建的图像象素点进行补偿，如图4(a)。若该编码图像为背景图像时，对于缺 少左侧参考点情况，也可以选取最后一个图像块的最后一列象素点作为补偿的 参考点，如图4 (b)。
例如，对于当前边界宏块位于图像顶端的情况，可以采用以下方法来补偿。 如图5(a)所示，利用宏块左侧的一列已重建的象素点映射到当前边界宏块上 方作为补偿的参考点。当进行垂直预测时，A，参考点用A点补偿，B，参考点用 B点补偿，以此类推完成补偿后就可以进行垂直预测。当进行平均值预测时， 图中I，参考点可以用A点补偿，需要用到D，右侧的点时，则统一由补偿后的D， 代替。通过补偿后，可以进行本实施例中设定的四种帧内预测方法，确定出使 SAD值最小的 一种帧内预测方法，并使用该方法进行帧内预测后再进行变换、 编码，完成视频压缩过程。
同样，也可以使用宏块左侧的一行已重建的象素点映射到当前边界宏块上 方作为补偿的参考点。如图5 (b)所示。
若所述当前边界宏块所属帧的类型为帧间预测帧，且希望压缩过程的速度 较快时，采用以下方法。首先判断该边界宏块能否成功进行运动估计。所谓能
否成功进行运动估计就是判断该边界宏块进行帧间预测后得到的SAD值是否 低于预先设定的值。若低于，则为成功进行运动估计，再进行变换、编码，完 成视频压缩过程；若不低于，则为运动估计失败，说明该宏块需要进行帧内预 观'J。在对该属于帧间预测帧的边界宏块进行帧内预测时，可以按上述图5(a) 或图5 (b)所示的方法对该边界宏块进行补偿，补偿完成后再使用本实施例中 设定的四种帧内预测方法，找到使SAD值最小的一种帧内预测方法，并使用 该方法进行帧内预测后再进行变换、编码，完成视频压缩过程。
若所述当前边界宏块所属帧的类型为帧间预测帧，且在不考虑压缩速度， 只希望压缩效果尽可能好时，采用以下方法。首先将该边界宏块进行帧内预测， 可以按上述图5 (a)或图5 (b)所示的方法对该边界宏块进行补偿，补偿完 成后再使用本实施例中设定的四种帧内预测方法，得到四个SAD值。再将该 宏块进行帧间预测，得到一个SAD值。将通过帧间预测得到的SAD值与所述 四个SAD值进行比较，确定出使SAD值最小的一种预测方法，并使用该方法 进行预测后再进行变换、编码，完成视频压缩过程。
再例如对于当前边界宏块位于图像右侧的情况，可以采用以下方法来补 偿。若所述当前边界宏块所属帧的类型为帧内预测帧时，可以使用宏块上侧的 一列已重建的象素点映射到当前边界宏块右上方作为补偿的参考点，如图6(a) 所示。当进行45度角度预测时，A，、 B，、 C，和D，参考点分别用A、 B、 C和 D来表示。同样的，该宏块右侧缺少参考点的位置也可以用A、 B、 C和D来 补偿。通过补偿后，可以进行本实施例中设定的四种帧内预测方法，找到使SAD 值最小的一种帧内预测方法，并使用该方法进行帧内预测后再进行变换、编码， 完成视频压缩过程。
同样，也可以使用宏块上侧的 一行已重建的象素点映射到当前边界宏块右
上方作为补偿的参考点，如图6 (b)所示。
若所述当前边界宏块所属帧的类型为帧间预测帧，且希望压缩过程的速度 较快时，采用以下方法。首先判断所述边界宏块能否成功进行运动估计，即该
边界宏块进行帧间预测后得到的SAD值是否低于预先设定的值。若低于，则 为成功进行运动估计，再进行变换、编码，完成视频压缩过程；若不低于，则 为运动估计失败，则说明所述边界宏块需要进行帧内预测。在进行帧内预测时， 可以按上述图6 (a)或图6 (b)所示的方法对所述边界宏块进行补偿，补偿 完成后再使用本实施例中设定的四种帧内预测方法，找到使SAD值最小的一 种帧内预测方法，并使用该方法进行帧内预测后再进行变换、编码，完成视频 压缩过程。
若所述当前边界宏块所属帧的类型为帧间预测帧，且在不考虑压缩速度， 只希望压缩效果尽可能的好时，采用以下方法。首先将该边界宏块进行进行帧 内预测，按上述图6 (a)或图6 (b)中的补偿方法对该边界宏块进行补偿， 补偿完成后再使用本实施例中设定的四种帧内预测方法，得到四个SAD值。 然后再将该边界宏块进行帧间预测，得到一个SAD值。将通过帧间预测得到 的SAD值与所述得到的四个SAD值进行比较，确定出使SAD值最小的一种 预测方法，并使用该方法进行预测后再进行变换、编码，完成视频压缩过程。
通过本发明方法，针对需要进行帧内预测的边界宏块参考点较少，甚至缺 少参考点的情况，对所述边界宏块缺少参考点的位置进行补偿，从而使得该边 界宏块能够进行多种方式的帧内预测，有利于选取最佳的预测方法，提高压缩 效果。
明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种视频压缩的帧内预测方法，其特征在于，该方法包括以下步骤A.确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少参考点的位置进行补偿；B.根据补偿后的边界宏块的参考点信息进行帧内预测。
2、 如权利要求1所述的方法，其特征在于，所述需要进行帧内预测的帧 的类型包括帧内预测帧或帧间预测帧。
3、 如权利要求l所述的方法，其特征在于，步骤A中所述的进行补偿是: 将已重建的图像象素点映射到所述边界宏块的缺少参考点的位置。
4、 如权利要求1所述的方法，其特征在于，当所述帧的类型为帧间预测 帧时，步骤A中所述需要进行帧内预测的帧是根据如下步骤确定Al、对所述帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和 的值大于预先设定值时，则确定需要对该边界宏块进行帧内预测。
5、 如权利要求4所述的方法，其特征在于，当所述需要进行帧内预测的 帧的类型为帧间预测帧，且确定需要对该帧的边界宏块进行帧内预测时，步骤 B之后进一步包括Bl、对所述边界宏块进行帧间预测，选择步骤B中所述帧内预测后获得 的残差数据的绝对误差和的值与步骤Al中所述帧间预测后获得的残差数据的 绝对误差和的值中的最小值对应的预测方法进行预测。
6、 一种视频压缩的帧内预测系统，其特征在于，所述系统包括 补偿单元，用于确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少参考点的位置进行补偿；帧内预测单元，用于根据补偿后的边界宏块的参考点信息进行帧内预测。
7、 如权利要求6所述系统，其特征在于，所述需要进行帧内预测的帧的 类型包括帧内预测帧或帧间预测帧。
8、 如权利要求6所述系统，其特征在于，所述补偿单元，还用于当所述需要进行帧内预测的帧的类型为帧间预测帧时，对该帧的边界宏块进行帧间预 测，当获得的残差数据的绝对误差和的值大于预先设定值时，则确定需要对该 边界宏块进行帧内预测。
9、如权利要求6所述系统，其特征在于，当所述需要进行帧内预测的帧的类型为帧间预测帧时，所述系统还包括帧间预测单元，用于将所述边界宏块进行帧间预测，选择通过帧内预测单 元后获得的残差数据的绝对误差和的值和所述帧间预测后的获得的残差数据 的绝对误差和的值中的最小值对应的预测方法进行预测。
全文摘要
本发明公开了一种视频压缩的帧内预测方法，该方法包括以下步骤A.确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少参考点的位置进行补偿；B.根据补偿后的边界宏块的参考点信息进行帧内预测。通过本发明方法，使该边界宏块能够进行更多种预测方法，由于增加了预测方法，使得获得的使残差数据的绝对误差和的值最小的预测方法可能更佳，进而使压缩效果也得到提高。本发明还公开了一种视频压缩的帧内预测系统。
文档编号H04N7/32GK101179734SQ200610144888
公开日2008年5月14日 申请日期2006年11月28日 优先权日2006年11月28日
发明者静 吕 申请人:腾讯科技(深圳)有限公司