专利名称：一种基于图像插值的帧内预测编码方法
技术领域：
本发明涉及一种帧内预测编码方法，尤其涉及一种避免穷举式搜索时的计算开销、 提高帧内预测准确性的方法，属于计算机视觉技术领域。
背景技术：
帧内预测作为视频处理领域中一项关键的技术，已广泛应用于视频中I帧的压縮 与处理。帧内预测用于获得当前图像内部的相关性。目前常用的帧内预测中多模式帧 内预测方法是依据图像的空域相关特性，认为图像上各点与其空间相邻点具有相似性， 通过沿多方向进行搜索得到待编码点的预测点，该方法虽然具有适用范围广、预测精 度高等优点但是近乎穷举的预测点搜索方法在图像质量有所提高的同时，运算复杂度 也急剧上升。
视频帧一般分为I (Intra-frame) 、 P (Predictive-frame) 、 B (Bidirectionally predicted-frame)三种类型I帧通过变换、量化等过程完成编码；P帧以前向已编码 帧的重建图像为参考，进行运动补偿后编码残差；B帧则以前后双向已编码帧的重建 图像为参考，进行运动补偿后编码残差。在三种类型的视频帧中，虽然I帧的个数比 较少，但其每帧编码位数却远高于P、 B帧，在最终生成的码流中也占有相当比例。 对于输出码率恒定的视频流，I帧的码率突然增大，将直接导致后续P/B帧的编码位 数的下降，进而影响到恢复图像和预测图像的质量。MPEG-4及其后的标准中，引入 了 "跳帧"策略，I帧码率的突然增大常导致其后出现连续跳帧，致使视频图像帧率 下降，画面不流畅。以上现象在低带宽条件下尤为显著，因此在恒定低带宽下，提高
I帧压縮比，对视频质量影响较大。预测是视频中提高I帧压縮比常用的方法，根据图 像特点，利用视频帧之间及其内部的相关性，以己编码对象为参考，保留较少的差分 信息，减少最终编码位数。如何在已编码的图像中找到当前待预测对象的最佳匹配源， 最大限度地去除对象间冗余使差分信息量达到最小值，这是预测的关键所在。I帧编 码相对独立，不能象B、 P帧那样在前后已编码图像帧中搜索最佳匹配源，因此I帧只 能采用帧内预测，即在当前图像内部寻找相似对象。因此帧内预测是视频压縮领域中 的研究热点。
传统的多模式帧内预测方法以16x16的宏块及4x4的块为基本预测单元，对块内 各点沿含DC预测在内的九个方向，取周围点，用适当的预测公式计算预测值，与原 始采样值做差分，差值最小的模式为最终预测模式。这种近乎穷举的预测点搜索方法 在图像质量有所提高的同时，运算复杂度也急剧上升。同时，若图像相邻点间相关性 很差，这种预测不仅不会使图像数据量减少还会因记录模式信息等因素引入更多的冗 余信息。
实际应用中，尤其针对存储和计算资源有限的应用环境， 一种好的帧内预测方法 必须同时考虑预测的准确性和运行效率。
发明内容
本发明的目的是提供一种基于图像插值的帧内预测编码方法。该方法通过抽取采 样点将输入图像分割为若干子图，对其中的一幅子图直接采用变换、量化、熵编码等 方法进行压縮，然后利用所述子图编码压縮后的重构图像，通过插值运算构造其他各 子图的预测参考帧，以其他各子图作为基本预测单元直接与所述各预测参考帧进行差 分编码；利用本发明所述方法进行帧内预测避免了传统方法逐像素点的多模式预测过 程不仅大幅度减小了计算负担，而且预测精度较高，此外，该方法还可与其他许多编
码方法相结合，以取得更好的压縮效果。实验结果表明该方法能够在显著降低计算开 销的同时，取得较好的预测效果。
为实现上述目的，本发明采用下述的技术方案。其特征在于包括以下步骤
步骤一对输入的图像，按栅格扫描顺序等间隔抽取采样点，将所述输入图像分 割为若干个大小相等的子图，选取其中任意一个子图作为基本预测单元，对该基本预 测单元直接进行压縮；
步骤二对所述压縮后的基本预测单元进行重构，获得重构图像，采用某种插值 方法对所述重构图像做插值运算，得到其余各子图的预测参考图，将其余各子图与相 对应的各预测参考图分别做差分，得到各子图的残差系数，对每个残差系数，进行编 码压縮。
较优的，所述步骤一进一步包括
11. 为减少误差，所述子图大小应不小于所述输入图像的1/8;
12. 由于摄像机多多数视频序列垂直插值图像失真度大于水平插值图像，因此，在 所述按栅格扫描顺序等间隔抽取采样点的过程中，水平方向间隔应大于垂直方 向间隔；
13. 所述选取任一子图作为基本预测单元的过程中，所述基本预测单元的选取不受 扫描顺序的限制；
较优的，所述步骤二进一步包括
21.所述对重构图像做插值运算得到其余各子图的预测参考图是通过插值运算将所 述重构图像放大到与输入图像大小一致；
本发明所提供的一种基于图像插值的帧内预测编码方法可以有效减小传统多模式 搜索帧内预测时的计算开销，避免了盲目搜索，并且不受图像内相关性特点的影响。 有关的测试结果表明，本方法对于各类场景图像的帧内预测都能获得较好的效果。
图1是本发明基于图像插值的帧内预测编码流程图。 图2是按扫描顺序进行图像分割的示意图。 图3是物体运动对采样数据的影响示意图。
具体实施例方式
前已述及，本发明为解决由图像特点决定预测效的问题，从"构造相似点"出发，由 预测点构造相似点，直接确定相似点的位置，避免了盲目搜索，实现了快速准确的帧 内预测。
下面结合
本发明的实现方式，图1中明确表示了本发明的过程。首先， 按扫描顺序，以等间隔进行下采样，将图像分割为多个大小相等的子图，以这些子图 作为基本预测单元；将其中一个子图进行编码，得到该子图的重建图像；对重建图像 进行插值，获得与输入图像大小相等的预测参考图像，将其余子图与其位置对应的参 考图像进行差分，进行预测，进而完成整个图像的编码。
步骤一获取基本预测单元及其重建图像
预测编码是通过已编码图像预测待编码图像的过程，因此图像中各部分编码的先 后顺序决定预测点的范围，并影响预测效果。在传统基于块的预测过程中，先将图像 分为大小相等的块，已编码块作为基本预测单元，根据不同的块扫描顺序进行预测编 码，扫描顺序不同，预测效果也略有不同。此外，图像中是否存在足够相似的点，将 直接决定预测的效果；如何找到相似点的位置，将决定整个预测过程中的运算复杂度。 若仅从输入图像本身考虑，相似点的存在性由图像特点决定而与具体预测算法无关， 因此同一预测算法应用于不同的图像，其预测效果可能存在很大差别。避免由图像特 点影响预测效果的情况，提高预测的精度，是实现准确帧内预测的关键。与现有的帧 内预测编码不同的是，本发明中，基本预测单元不是一个宏块或子宏块，为避免穷举 式搜索和由图像特点影响预测效果的问题，提出了一种由构造相似点进行预测的方案。 下面就对该方案展开详细的说明。在本发明中获取基本预测单元及其重建图像分为二 个步骤首先，划分原始输入图像；然后，选取预测单元并进行编码。 步骤一的具体实施步骤如下
(1) 划分原始输入图像
对输入的图像按栅格扫描顺序等间隔抽取采样点，分割成大小相等的子图。设原始 图像S大小为wx"，分别以水平间距h，垂直间距v，按栅格扫描顺序抽取采样点，得到大
小为^x^的子图S,、 S2、 S3……(如图2)。为减少后续在进行预测时的估值误差，必 h v
须保证子图不能太小。由于摄像机多做水平运动且物体的水平运动多于垂直运动，因 此对多数视频序列垂直插值图像失真度大于水平插值图像。因此，水平分割可大一些， 垂直分割要小一些。如图3(a)中，空间上a、 b、 c三点相邻，以a、 c插值b结果较为 精确；而如图3 (b)中，若物体存在速度V，由于摄像机CCD元件上各点存在一定的 感光时差，得到的a、 b、 c三点位置略有偏差，b的空间相邻点已经不是a、 c，这种 采样误差将造成后续插值误差的增大。通过比较水平、垂直插值图像，通常情况下， 垂直插值失真更为严重，这与物体相对摄像机的运动方向存在一定关系。在本发明进 行的实验中，采用如式(1)进行插值时，h值取为2， v值取为l。 /(x,力=(/(x _ 1,力+ /(x +1,力)/ 2 = (/(x _ 1，力+ /(x +1,力)》1(1)
(2) 对选取的预测单元进行编码
选取子图中的一帧，如子图s,作为预测单元，不经任何预测，直接进行变换编码， 采用常规的编码过程，即以宏块或子宏块为编码单位，进行DCT变换、量化、熵编码 等处理过程。在编码完成后经过反量化、IDCT变换生成其重建图像。当然也可选取其 他的子图作为预测单元，预测单元的选取不受扫描顺序的影响。 步骤二得到预测图像并进行预测编码
传统的多模式帧内预测方法对预测单元在多个方向采用穷举式进行搜索，并应用 率失真理论选取最佳预测模式。该方法在预测单元的选取部分很简单，但预测过程很 复杂，对每个待预测的单元都要进行多方向的预测及模式选择过程。而在本发明中， 为了实现对其他子图的预测编码，需要对预测单元的重建图像进行插值处理，以生成 一个预测图像，这样其余子图就可以与预测图像中的对应位置的像素点作残差，实现 预测处理，编码时，只需对残差系数进行处理即可。该方法通过对预测单元的重建图 像进行插值处理，直接构造出其余子图的相似点，避免了因多模式预测而引起的计算 负担，以及因图像特点而不能很好预测的问题。该步骤可分为两个步骤首先，通过 插值处理生成预测图像；其次，通过预测图像进行预测编码。
步骤二的具体实施步骤如下
(1)生成预测图像
生成预测图像的过程，实际是由;x^大小的子图S,的重建图像恢复mx"大小的原
h v
图s的过程，可以看作是图像放大的过程。
在进行图像放大时，通常的做法是根据已知采样点预测逼近未采样点。插值是函 数逼近的一种重要方法，在图像处理中常用来放大图像。根据采样定理，当采样间隔
足够小，艮P: r^+":采样间隔，s。采样函数的截止频率)时，采样函数可以完全无失真地
从采样数据中恢复。但实际采样频率通常达不到以上标准，因此通过插值不可能完全 无损地得到未采样点。插值函数与实际采样函数之差称为估值误差。估值误差是反映
恢复图像失真度的一个重要参数，估值误差越小，恢复图像失真度越小。估值误差大 小由采样图像分辨率和插值函数核决定。通常情况下，采用同一插值函数，图像采样 分辨率越高，采样间距越小，插值效果越精确，估值误差越小。在采样分辨率确定的 条件下，可通过改进插值函数，使其进一步逼近采样函数从而减小估值误差。
设(x, y)为S中的点；r(x, y)为(X，y)点的象素值；n1为Si中点的集合；n2为S,
中点的集合；/(nj为插值函数；v(x,y)en2，通过插值函数计算其近似值
r,(x,y)=f(n1)。
A(x,y)=(x,y)-r(x,y)为估值误差，当插值函数足够精确时有 A(x,y)—0，也即以,"力作为的预测点将取得很好的预测效果。
图像处理中常用的插值算法有邻近象素复制、线性插值、立方巻积等， 一些精 度更高的，自适应的插值算法在医学、遥感等领域应用也非常普遍。这些算法中，双
线性插值因计算复杂度低，插值精度相对较高而被广泛采用。在本发明进行的实验中， 对预测单元的重建图像应用双线性插值处理生成预测图像。
(2)预测编码
在生成预测图像之后，即可实现对其余子图S, (^P,/zxv])的预测编码。该过程 是得到其余子图在预测图像中的对应位置，对应位置的点即为原始像素点的预测点，
无需搜索，两者做差，实现预测。对子图s,逐帧进行预测差分编码，s,之间的编码顺
序可随机选取且不影响预测效果。
以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员 能思及的变化，都应落入本发明的保护范围内。
权利要求
1. 一种基于图像插值的帧内预测编码方法，其特征在于步骤一对输入的图像，按栅格扫描顺序等间隔抽取采样点，将所述输入图像分割为若干个大小相等的子图，选取其中任意一个子图作为基本预测单元，对该基本预测单元直接进行压缩；步骤二对所述压缩后的基本预测单元进行重构，获得重构图像，采用插值方法对所述重构图像做插值运算，并将得到的插值后图像作为其余各子图的预测参考图，然后将其余各子图与所述预测参考图分别做差分，得到所述其余各子图的残差系数，对每个残差系数进行编码压缩。
2. 如权利要求1所述的基于图像插值的帧内预测编码方法，其特征在于为减少误差， 所述子图大小应不小于所述输入图像大小的1/8。
3. 如权利要求l所述的基于图像插值的帧内预测编码方法，其特征在于所述基本预 测单元的选取不受扫描顺序的影响。
4. 如权利要求l所述的基于图像插值的帧内预测编码方法，其特征在于在所述按栅 格扫描顺序等间隔抽取采样点的过程中，水平方向间隔应大于垂直方向间隔。
5. 如权利要求l所述的基于图像插值的帧内预测编码方法，其特征在于所述对重构 图像做插值运算得到其余各子图的预测参考图是通过插值运算将所述重构图像放 大到与所述输入图像大小一致。
全文摘要
本发明提供一种基于图像插值的帧内预测编码方法，将输入图像分割为若干子图，通过插值运算构造各子图的预测参考帧，以子图作为基本预测单元直接与参考帧进行差分编码，避免了传统方法逐像素点多模式预测过程。利用本发明进行帧内预测不仅大幅度减小了计算负担，而且预测精度较高，此外，该方法还可与其他编码方法相结合，以取得更好的压缩效果。实验结果表明该方法能够在显著降低计算开销的同时，取得了较好的预测效果。
文档编号H04N7/32GK101389032SQ20081017169
公开日2009年3月18日 申请日期2008年10月24日 优先权日2008年10月24日
发明者姚春莲, 谊 陈, 高丽华 申请人:北京工商大学