专利名称：基于零检测和矢量滤波的帧频提升算法的制作方法
技术领域：
本发明涉及一种帧频提升算法。特别是涉及一种提高了运动估计精度并且算法简 洁，易于硬件实现的基于零检测和矢量滤波的帧频提升算法。
背景技术：
帧频提升处理的目的是解决画面闪烁的问题。其基本原理是根据像素在时间和空 间上的相关性，通过数字处理的方法基于原有的帧生成新的帧，并以更高的帧频显示新的 视频流。帧频提升处理的关键问题就是如何基于原始帧来重构新帧。所谓帧频提升算法， 就是通过原有的帧重构新帧的方法。目前常用的帧频提升的算法有静态插值、运动自适应和运动补偿三种。其中静态 算法结构参数确定两场信息以固定的方式联系，与视频内容无关，如帧复制、时空中值、时 空线性滤波等等，其主要缺点是对时域运动的恢复性能较弱，如帧复制会形成运动轨迹的 颤抖甚至倒退，线性滤波会在运动物体边缘形成多轮廓产生运动模糊；运动自适应算法根 据处理区域运动与否运动幅度如何而动态调整算法结构和参数，在不同的场合选择较优的 信息组合方式，如系数自适应线性滤波、模板自适应切换中值滤波等，需要在多套系数或滤 波结构间切换，采用硬切换方式会在图像中引入切换虚像，而软切换又使其性能接近于静 态线性滤波，削弱了自适应的优点，同时运动检测的可靠性也会影响该算法结果；运动补偿 根据运动矢量值将两场中的对应区域精确联系，合成相应的时域内插值。这三类算法之中 运动补偿的效果最佳。运动补偿算法考虑了像素点的运动情况，在单纯线性插帧的基础上做出了相应的 运动补偿，所以它在处理运动图像的时候也可得到良好的效果。该类算法首先需要对待插 入帧的相邻原始帧内相关像素点的运动情况做出估计(即计算相关像素点的运动矢量)， 然后再根据运动矢量做线性插补。运动补偿帧频提升分为运动估计和运动补偿两个阶段， 首先根据运动估计算法得到当前块的运动矢量V，再根据运动矢量从参考帧和当前帧中找 到相应的块插值得到运动补偿数据。运动补偿式帧频提升的算法关键在于运动估计。此处的运动估计与MPEG等压缩 标准中编码运动估计有所不同MPEG中的运动估计旨在利用连续帧间的高相关区域来减 少显示帧的差别，因而生成的运动矢量不用与真实的运动矢量完全一致；而在帧频变换中 运动信息是进行恰当线性内插的关键，因此需要最为精确的运动估计。运动估计技术可以分为以下几种方法参数模型运动估计，非参数模型运动估计 以及贝叶斯(Bayesian)运动估计。上述方法中，块匹配运动估计的方法从提出至今已有近 20年的历史。块匹配运动估计的方法用规则的像素块划分图像节省了额外的比特开销；编 码器实现并行处理，提高了运算速度；算法的复杂度相对其它方法较低，简单高效、额外开 销小同时便于硬件实现，这些优点使得块匹配运动估计的方法成为当前应用最广泛的视频 压缩、图像格式转换运动估计技术，被包括H. 26X、MPEG. 1，MPEG. 2和MPEG. 4在内的绝大多 数视频编码标准所采用。
块匹配算法的基本原理是将图像序列的每一帧化分成NXN固定大小的基本块 (block)，并认为宏块内所有像素的位移量都相同，然后以每个基本块为匹配单元。将当前 图像中的基本块在前一幅图像中的一个特定搜索区域中搜索，依据某一匹配准则得到最 佳匹配块，以这个最佳匹配块作为当前图像基本块的预测块，匹配块与当前块的相对位移 矢量即为运动矢量。动偏移量的估值算法就是块匹配算法(block matching algorithm, BMA)。在目前的块匹配算法中，全搜索法(FS)具有最高的搜索精度。全搜索法(Full Search Method,FS)也称为穷尽搜索法。此算法最简单、可靠，找到的必为全局最优点。FS 通过对搜索窗内的所有点进行搜索，可以达到最佳匹配，但是算法的计算量巨大，不利于实 时实现，尤其是在视频电话、会议电视、无线通信等实时视频通信应用中。因此研究者们又 提出了多种快速搜索算法，比较有代表性的算法是三步搜索法(TSS)和菱形搜索算法(DS)等。三步搜索法(TSS)是T. KOGA等人提出的，由于简单、性能良好等特点，为人们所 重视。TSS算法采用了一种循环迭代的搜索策略来搜索MBD (Minimum Block Difference) 点，即最小误差点。该算法以搜索窗宽度的一半作为初始搜索步长，每次循环确定新的MBD 点并将搜索步长减半直至等于1，得到最终的MBD点。若最大搜索长度为7，搜索精度取1 个像素，则步长为4，2，1，仅需三步即可满足需要，因此得名三步法。TSS算法是基于一种串 行处理的思想，为了保证算法的效率和收敛性.搜索模板和搜索步长只能由大到小依次变 化。即先进行粗定位。再逐步聚焦到精确的位置。TSS第1步搜索步长过大，影响中心点附 近小运动估计效果，容易陷入局部最优。而且第一步较大时会误导搜索方向，而超分辨率运 动集中在中心点的周围。因此三步搜索法的这个不足使其运动估计精度明显下降。菱形搜索算法效果较好，它首先使用大菱形LDSP进行搜索，当最优点位于菱形中 心时，再使用小菱形SDSP完成最后的搜索过程。但DSA算法不适合对小运动块的搜索。对 于实际运动矢量较大(全局最小值偏离搜索区中心)，而块匹配误差平面在近中心区域存 在局部最小值的块，该算法不能求出正确的运动矢量，且偏离正确运动矢量的位移较大。
发明内容
本发明所要解决的技术问题是，提供一种能够通过数字格式转换的方法把众多格 式的输入信号转换成特定格式的输出信号，从而在数字域上实现多种输入信号到显示终端 之间的无缝连接的基于零检测和矢量滤波的帧频提升算法。本发明所采用的技术方案是一种基于零检测和矢量滤波的帧频提升算法，包括 有如下步骤第1步骤将图像数据分别进行帧存、帧延时以及送入运动估计单元；第2步骤将帧存后的数据分别送入后向运动补偿单元和自适应运动补偿单元；第3步骤将帧延时后的数据经帧存后分别送入前向运动补偿单元和自适应运动 补偿单元，同时将帧延时后的数据送入运动估计单元；第4步骤将运动估计后的数据依次进行零检测、运动矢量缓存以及矢量滤波后分 别送入前向运动补偿单元和后向运动补偿单元；第5步骤将前向运动补偿单元和后向运动补偿单元的数据均送入自适应运动补偿单元；第6步骤在自适应运动补偿单元中通过公式fn(x, y) = Qfmc (x,y) + (l-a)favg(x,y)计算出匹配参数，然后以运动补偿和时域均值的加权值作为滤波器输出，式中， favg(x, y)是指帧平均值，匹配参数α是由运动块的匹配程度决定的。所述的运动估计单元中采用三步搜索算法，包括如下步骤第1步搜索参考帧中大小为7X7的窗口的中心点和周围的8个顶点，得出与当前 块最为匹配的块；第2步以第1步搜索得到的最小MBD误差点为中心，搜索窗缩小为5X5的LDSP 大菱形模板窗口，搜索其周围的8个顶点，得出与当前块最为匹配的块；第3步以第2步搜索得到的最小误差点为中心，搜索窗缩小为3X3的SDSP小菱 形模板，搜索其周围的4个顶点，得出与当前块最为匹配的块。所述的零检测是在计算得到一个块的运动矢量&，,)=(、， )后，用Sad(vx，vy)
与Sad(0，0)做比较，如果两者之差小于一个阈值参数μ，直接中止搜索提前结束运动估 计；若宏块之间的差别大于判定阈值，要做进一步搜索，所述的阈值参数P选择为时空相 邻块最小绝对差值和值。所述的矢量滤波是以一个块的运动矢量P0cj0 二 (、，、)为中心，加上邻近块的8 个运动矢量，可以组成一个3X3的滤波器。根据这个滤波器，可以得到修正后的运动矢量 其中，W表示的是3X3的滤波器窗口。本发明的基于零检测和矢量滤波的帧频提升算法，不仅提高了运动估计精度并且 算法简洁，易于硬件实现。通过引入零检测和矢量滤波器对运动矢量进行修正，可以进一步 提高运动估计的搜索速度和搜索精度。运动补偿过程采用了自适应的加权滤波算法，可以 有效地消除噪声的影响，减小运动补偿的插值误差，提高了图像的质量。
图1是本发明的方法流程图； 图2是本发明的三步搜索算法示意图。
具体实施例方式下面结合实施例和附图对本发明的基于零检测和矢量滤波的帧频提升算法做出 详细说明。如图1所示，本发明的基于零检测和矢量滤波的帧频提升算法，包括有如下步骤第一步骤将图像数据分别进行帧存、帧延时以及送入运动估计单元；在确定初始搜索点后，就需要对运动矢量进行精确定位了。因为初始搜索点的确 定就已经保证了对最优点的粗定位，所以在这里只需进行进一步的细定位就行了。本发明采用三步搜索算法，算法原理如图2所示。将三步搜索中三步步长调整为3，2和1，这样搜 索范围为士6。经过调整的三步搜索算法具体如下第1步搜索参考帧中大小为7X7的窗口的中心点和周围的8个顶点，得出与当前 块最为匹配的块；第2步以第1步搜索得到的最小MBD误差点为中心，搜索窗缩小为5X5的LDSP 大菱形模板窗口，搜索其周围的8个顶点，得出与当前块最为匹配的块；第3步以第2步搜索得到的最小误差点为中心，搜索窗缩小为3X3的SDSP小菱 形模板，搜索其周围的4个顶点，得出与当前块最为匹配的块。比较三种算法的搜索点数，FS算法需要搜索255个点，TSS算法需要搜索9+8+8 = 25个点，而本发明提出的ITSS算法(三步搜索算法)最坏的情况只是9+8+4 = 21个点。 可见搜索相同位置的点，ITSS算法比TSS算法搜索步数减少了，相应的硬件实现代价大大 降低。而且，改进的三步搜索算法ITSS能够改进传统的三步搜索TSS的中心点附近运动估 计效果，因此提高了运动估计精度。第二步骤将帧存后的数据分别送入后向运动补偿单元和自适应运动补偿单元；第二步骤将帧延时后的数据经帧存后分别送入前向运动补偿单元和自适应运动 补偿单元，同时将帧延时后的数据送入运动估计单元；第四步骤将运动估计后的数据依次进行零检测、运动矢量缓存以及矢量滤波后分 别送入前向运动补偿单元和后向运动补偿单元；所述的零检测是可以通过预先计算当前块与前一帧相同位置块的匹配误差，并
与预设的阈值比较来实现零运动块预判断。在计算得到一个块的运动矢量？(y) =0^,、)
后，用Sad(Vx，Vy)与Sad(0，0)做比较，如果两者之差小于一个阈值参数μ，则意味着这两个 宏块间相似度非常高，此时判定当前宏块没有任何运动，属于静止块，从而直接中止搜索提 前结束运动估计，减少了搜索次数，从而达到较高的搜索性能；若宏块之间的差别大于判定 阈值，说明当前宏块与(0，0)矢量处的宏块差别较大，这是由宏块中的运动信息所造成的， 此时必然存在宏块的相对运动，因此需要做进一步搜索，所述的阈值参数μ选择为时空相 邻块最小绝对差值和(SAD)值。所述的矢量滤波是以一个块的运动矢量？(,，,)二 (、,、)为中心，加上邻近块的8 个运动矢量，可以组成一个3X3的滤波器。根据这个滤波器，可以得到修正后的运动矢量 厂(”). 其中，W表示的是3X3的滤波器窗口。因为8X8的块在估算运动矢量时不是很可靠，所以，需要使用邻近块的运动矢量 来对计算出的运动矢量进行一定的修正，以提高运动矢量的准确性。通过上述计算，可以提 高运动估计的搜索速度和搜索精度，有效降低出现局部最优点的可能。第五步骤将前向运动补偿单元和后向运动补偿单元的数据均送入自适应运动补 偿单元；第六步骤本发明将帧平均引入到运动补偿之中，通过线性加权来提高算法的广泛适应性，如公式所示fn(x, y) = Qfmc (x,y) + (l-a)favg(x,y)式中，favg(x, y)是指帧平均值，匹配参数α是由运动块的匹配程度决定的。本算法中匹配参数α是由用于运动补偿的两个像素点的差值Dif计算得出的。首 先我们须引入一个阈值ε，当差值Dif大于阈值ε时，取α =0;当小于阈值ε时，根据 公式α = (ε-Dif)/ε计算出匹配参数，然后以运动补偿和时域均值的加权值作为滤波器 输出。这种方法是由运动补偿原理得到的，理想情况下，如果运动矢量完全正确，那么用于 运动补偿的两个像素点值是相同的。在一定程度上来说，当两者存在差值，差值越大，说明 运动矢量估计越不准确。
权利要求
一种基于零检测和矢量滤波的帧频提升算法，其特征在于，包括有如下步骤第1步骤将图像数据分别进行帧存、帧延时以及送入运动估计单元；第2步骤将帧存后的数据分别送入后向运动补偿单元和自适应运动补偿单元；第3步骤将帧延时后的数据经帧存后分别送入前向运动补偿单元和自适应运动补偿单元，同时将帧延时后的数据送入运动估计单元；第4步骤将运动估计后的数据依次进行零检测、运动矢量缓存以及矢量滤波后分别送入前向运动补偿单元和后向运动补偿单元；第5步骤将前向运动补偿单元和后向运动补偿单元的数据均送入自适应运动补偿单元；第6步骤在自适应运动补偿单元中通过公式fn(x，y)＝αfmc(x，y)+(1 α)favg(x，y)计算出匹配参数，然后以运动补偿和时域均值的加权值作为滤波器输出，式中，favg(x，y)是指帧平均值，匹配参数α是由运动块的匹配程度决定的。
2.根据权利要求1所述的基于零检测和矢量滤波的帧频提升算法，其特征在于，所述 的运动估计单元中采用三步搜索算法，包括如下步骤第1步搜索参考帧中大小为7X7的窗口的中心点和周围的8个顶点，得出与当前块最 为匹配的块；第2步以第1步搜索得到的最小MBD误差点为中心，搜索窗缩小为5X5的LDSP大菱 形模板窗口，搜索其周围的8个顶点，得出与当前块最为匹配的块；第3步以第2步搜索得到的最小误差点为中心，搜索窗缩小为3X3的SDSP小菱形模 板，搜索其周围的4个顶点，得出与当前块最为匹配的块。
3.根据权利要求1所述的基于零检测和矢量滤波的帧频提升算法，其特征在于，所述的零检测是在计算得到一个块的运动矢量^0cj0 =0^,、)后，用Sad(vx,vy)与Sad(0，0)做比较，如果两者之差小于一个阈值参数μ，直接中止搜索提前结束运动估计；若宏块之间 的差别大于判定阈值，要做进一步搜索，所述的阈值参数μ选择为时空相邻块最小绝对差 值和值。
4.根据权利要求1所述的基于零检测和矢量滤波的帧频提升算法，其特征在于，所述 的矢量滤波是以一个块的运动矢量P0^ =(、，、)为中心，加上邻近块的8个运动矢量，可以组成一个3X3的滤波器。根据这个滤波器，可以得到修正后的运动矢量1^，,) 其中，W表示的是3 X 3的滤波器窗口。
全文摘要
一种基于零检测和矢量滤波的帧频提升算法，包括有如下步骤将图像数据分别进行帧存、帧延时以及送入运动估计单元；将帧存后的数据分别送入后向运动补偿单元和自适应运动补偿单元；将帧延时后的数据经帧存后分别送入前向运动补偿单元和自适应运动补偿单元，同时将帧延时后的数据送入运动估计单元；将运动估计后的数据依次进行零检测、运动矢量缓存以及矢量滤波后分别送入前向运动补偿单元和后向运动补偿单元；将前向运动补偿单元和后向运动补偿单元的数据均送入自适应运动补偿单元；6.在自适应运动补偿单元中计算出匹配参数，然后以运动补偿和时域均值的加权值作为滤波器输出。本发明不仅提高了运动估计精度并且算法简洁，易于硬件实现，提高了图像的质量。
文档编号H04N7/26GK101895762SQ201010241758
公开日2010年11月24日 申请日期2010年7月30日 优先权日2010年7月30日
发明者史再峰, 罗韬 申请人:天津大学