多级双向运动估计方法及设备的制作方法
【专利摘要】本发明实施例提供一种多级双向运动估计方法及设备。该方法包括以待插帧的M1×M1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述搜索算法包括三维递推搜索算法或六边形搜索算法；确定第一待定匹配块对，所述第一待定匹配块对为在所述当前帧和前一帧中的所述搜索的各对匹配块中双边绝对误差和SBAD值最小的一对匹配块；如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则将所述待插帧的M1×M1块拆分成M2×M2块，以所述待插帧的M2×M2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所述重新进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4。因此，能够有效地提高运动估计的准确度，并提高图像质量。
【专利说明】多级双向运动估计方法及设备
【技术领域】
[0001] 本发明实施例涉及图像处理【技术领域】，并且更具体地，涉及多级双向运动估计方 法及设备。
【背景技术】
[0002] 随着高清数字电视和高端多媒体信息系统的发展，人们对视频源的视觉效果要求 越来越高，因此需要提高现有视频节目源的帧率以达到更好的视觉效果。以此同时，随着带 宽资源不断被分配和占用，很多视频应用只能获得非常有限的带宽资源，往往需要在编码 端采用去帧的方法来降低时间分辨率以满足带宽的要求，而解码端再利用插帧的方法恢复 丢弃的巾贞，提1?视频质量。
[0003] 视频插针即巾贞率上转换（Frame Rate Up-Conversion, FRUC)技术，通过在解码端 相邻两帧之间插入中间帧的方式，将视频从低帧率提升至高帧率，实现不同帧率之间的转 换。
[0004] 运动估计方法主要分为单向运动估计方法和双向运动估计方法。单向运动估计方 法会导致内插帧产生"重叠"和"空洞"的问题，而双向运动估计方法以待插帧为镜像中心， 保证了运动补偿处理时内插帧不会产生"重叠"和"空洞"的问题。现有机制的双向运动估 计方法中在运动估计时采用视频压缩中的搜索算法，如三步法或钻石搜索法等。然而与视 频压缩不同的是，由于视频对象的运动具有连续性，运动矢量间存在时空相关性，采用视频 压缩中的搜索算法使运动补偿的内插帧产生与主观视觉不符的图像信息。因此，估计出的 插值块的运动向量准确度低，也降低了图像质量。
【发明内容】
[0005] 本发明实施例提供一种多级双向运动估计方法及设备，能够有效地提高运动估计 的准确度，并提高图像质量。
[0006] 第一方面，提供了一种多级双向运动估计方法，该方法包括：以待插帧的M1XM1 块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述前一帧为所述待插帧的 前一帧，所述当前帧为所述待插帧的后一帧，所述搜索算法包括三维递推搜索算法（3-D Recursive Search, 3-D RS)或六边形搜索算法；确定与所述待插巾贞的Ml XM1块对应的第 一待定匹配块对，所述第一待定匹配块对为在所述当前帧和前一帧中的所述搜索的各对匹 配块中双边绝对误差和（Sum of Binary Absolute Difference, SBAD)值最小的一对匹配 块；如果确定所述第一待定匹配块对的SBAD值小于SBAD阈值，则根据所述第一待定匹配块 对的运动矢量确定所述待插帧的Ml XM1块的运动矢量；如果确定所述第一待定匹配块对 的SBAD值大于或等于SBAD阈值，则将所述待插帧的Ml XMl块拆分成M2 XM2块，以所述待 插帧的M2XM2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所 述重新进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4,其中Ml和M2 均为2的m次幂，m为正整数且Μ2=Μ1/2。
[0007] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，在所述以待 插帧的Ml X Ml块为镜像中心分别在当前帧和前一帧中进行匹配块搜索之前，确定第一 SBAD值、第二SBAD值和第三SBAD值，所述第一 SBAD值为所述当前帧和所述前一帧之间进 行双向运动估计产生的SBAD值，所述第二SBAD值为所述当前帧和后后帧之间进行双向运 动估计产生的SBAD值，所述第三SBAD值为所述前一帧和后后帧之间进行双向运动估计产 生的SBAD值，所述后后巾贞为所述当如巾贞的后一巾贞；所述以待插巾贞的Ml XM1块为镜像中心分 别在当前帧和前一帧中进行匹配块搜索，包括：在所述第一 SBAD值为所述第一 SBAD值、第 二SBAD值和第三SBAD值中的最小值的情况下，以待插帧的Ml XM1块为镜像中心分别在当 前帧和前一帧中进行匹配块搜索。
[0008] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，在所述第二 SBAD值为所述第一 SBAD值、第二SBAD值和第三SBAD值中的最小值的情况下，以相应的所 述当前帧的匹配块外推得到所述待插帧的Ml XM1块；在所述第三SBAD值为所述第一 SBAD 值、第二SBAD值和第三SBAD值中的最小值的情况下，以相应的所述前一帧的匹配块外推得 到所述待插帧的Ml XM1块。
[0009] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当所述当前 帧边界相对于所述前一帧边界出现有对象进入或退出场景时，在所述以待插帧的Ml XM1 块为镜像中心分别在当前帧和前一帧中进行匹配块搜索之前，所述方法还包括：设定所述 当前帧和所述前一帧的边界像素值均为非〇,分别在所述当前帧和所述前一帧的边界向四 周扩展Ml个像素。
[0010] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当所述当前 帧相对于所述前一帧出现场景切换时，在第一次进行匹配块搜索后，所述方法还包括：在确 定所述待插帧的所有Ml XM1块相应的待定匹配块对的SBAD值大于或等于SBAD阈值的数 目大于预设门限值的情况下，以外推法得到所述待插帧。
[0011] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当进行所述 多级双向运动估计中的K级运动估计之后，如果确定所述第一待定匹配块对的SBAD值大 于或等于SBAD阈值，则在所述当前帧和前一帧中的限定区域内搜索第二待定匹配对块，所 述限定区域为所述当前帧和前一帧中所有未参与内插的块，所述K为大于或等于2的正整 数；
[0012] 根据所述第二待定匹配对块对的运动矢量确定所述待插帧的MXM块的运动矢 量，所述待插帧的MXM块为与第K级运动估计相对应的匹配块，Μ为2的m次幂，m为正整 数。
[0013] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，当进行所述 多级双向运动估计中的K级运动估计之后，如果确定所述第一待定匹配块对的SBAD值大于 或等于SBAD阈值，则根据所述第一待定匹配块对周边的匹配块对的运动矢量确定所述待 插帧的MXM块的运动矢量，所述待插帧的MXM块为与第K级运动估计相对应的匹配块，Μ 为2的m次幂，m为正整数。
[0014] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述以待插 帧的Ml XM1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，包括：以待插帧的 Ml XM1块为镜像中心分别在当前帧和前一帧中进行两次匹配块搜索，所述两次匹配块搜索 的搜索顺序相反。
[0015] 结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述确定与 所述待插帧的Ml XM1块对应的第一待定匹配块对，包括：基于块匹配准则确定与所述待插 帧的Ml XM1块对应的第一待定匹配块对，所述块匹配准则为：
[0016]
【权利要求】
1. 一种多级双向运动估计方法，其特征在于，包括： 以待插帧的Ml XM1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，所述前 一帧为所述待插帧的前一帧，所述当前帧为所述待插帧的后一帧，所述搜索的算法包括三 维递推搜索算法或六边形搜索算法； 确定与所述待插帧的Ml XM1块对应的第一待定匹配块对，所述第一待定匹配块对为 在所述当前帧和前一帧中的所述搜索的各对匹配块中双边绝对误差和SBAD值最小的一对 匹配块； 如果确定所述第一待定匹配块对的SBAD值小于SBAD阈值，则根据所述第一待定匹配 块对的运动矢量确定所述待插帧的Ml XM1块的运动矢量； 如果确定所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则将所述待插帧的 Ml XM1块拆分成M2 XM2块，以所述待插帧的M2 XM2块为镜像中心分别在所述当前帧和所 述前一帧中重新进行匹配块搜索且所述重新进行匹配块搜索的SBAD阈值为前一次匹配块 搜索的SBAD阈值的1/4,其中Ml和M2均为2的m次幂，m为正整数且Μ2=Μ1/2。
2. 如权利要求1所述的方法，其特征在于，在所述确定与所述待插帧的Ml XM1块对应 的第一待定匹配块对之后，所述方法还包括： 确定第一 SBAD值、第二SBAD值和第三SBAD值，所述第一 SBAD值为所述当前帧和所述 前一帧之间进行双向运动估计产生的SBAD值，所述第二SBAD值为所述当前帧和后后帧之 间进行双向运动估计产生的SBAD值，所述第三SBAD值为所述前一帧和后后帧之间进行双 向运动估计广生的SBAD值，所述后后巾贞为所述当如巾贞的后一巾贞； 所述以待插帧的Ml XM1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索，包 括： 在所述第一 SBAD值为所述第一 SBAD值、第二SBAD值和第三SBAD值中的最小值的情 况下，以待插帧的Ml XM1块为镜像中心分别在当前帧和前一帧中进行匹配块搜索。
3. 如权利要求2所述的方法，其特征在于， 在所述第二SBAD值为所述第一 SBAD值、第二SBAD值和第三SBAD值中的最小值的情 况下，以相应的所述当前帧的匹配块外推得到所述待插帧的Ml XM1块； 在所述第三SBAD值为所述第一 SBAD值、第二SBAD值和第三SBAD值中的最小值的情 况下，以相应的所述前一帧的匹配块外推得到所述待插帧的Ml XM1块。
4. 如权利要求1-3任一项所述的方法，其特征在于，当所述当前帧边界相对于所述前 一帧边界出现有对象进入或退出场景时，在所述以待插帧的Ml XM1块为镜像中心分别在 当前帧和前一帧中进行匹配块搜索之前，所述方法还包括： 设定所述当前帧和所述前一帧的边界像素值均为非〇,分别在所述当前帧和所述前一 帧的边界向四周扩展Ml个像素。
5. 如权利要求1-4任一项所述的方法，其特征在于，当所述当前帧相对于所述前一帧 出现场景切换时，在第一次进行匹配块搜索后，所述方法还包括： 在确定所述待插帧的所有Ml XM1块相应的待定匹配块对的SBAD值大于或等于SBAD 阈值的数目大于预设门限值的情况下，以外推法得到所述待插帧。
6. 如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括： 当进行所述多级双向运动估计中的K级运动估计之后，在所述当前帧和前一帧中的限 定区域内搜索第二待定匹配对块，所述限定区域为所述当前帧和前一帧中所有未参与内插 的块，所述K为大于或等于2的正整数； 根据所述第二待定匹配对块对的运动矢量确定所述待插帧的MXM块的运动矢量，所 述待插帧的MXM块为与第K级运动估计相对应的匹配块，Μ为2的m次幂，m为正整数。
7. 如权利要求1-5任一项所述的方法，其特征在于， 当进行所述多级双向运动估计中的K级运动估计之后，如果确定的所述第一待定匹配 块对的SBAD值大于或等于SBAD阈值，则根据所述第一待定匹配块对周边的匹配块对的运 动矢量确定所述待插帧的MXM块的运动矢量，所述待插帧的MXM块为与第K级运动估计 相对应的匹配块，Μ为2的m次幂，m为正整数，所述K为大于或等于2的正整数。
8. 如权利要求1-7任一项所述的方法，其特征在于，所述以待插帧的Ml XM1块为镜像 中心分别在当前帧和前一帧中进行匹配块搜索，包括： 以待插帧的Ml XM1块为镜像中心分别在当前帧和前一帧中进行两次匹配块搜索，所 述两次匹配块搜索的搜索顺序相反。
9. 如权利要求1-8任一项所述的方法，其特征在于，所述确定与所述待插帧的Ml XM1 块对应的第一待定匹配块对，包括： 基于块匹配准则确定与所述待插帧的Ml XM1块对应的第一待定匹配块对，所述块匹 配准则为：
其中，所述SBAD为匹配块对的SBAD值，Bi;j为所述待插帧的Ml XM1块，s为所述待插 帧的像素点，v为位移矢量，为所述当前帧的像素值，fn+1为所述前一帧的像素值。
10. -种多级双向运动估计设备，其特征在于，包括： 匹配搜索单元，用于以待插帧的Ml X Ml块为镜像中心分别在当前帧和前一帧中进行 匹配块搜索，所述前一帧为所述待插帧的前一帧，所述当前帧为所述待插帧的后一帧，所述 搜索算法包括三维递推搜索算法或六边形搜索算法； 确定单元，用于确定与所述待插帧的Ml XM1块对应的第一待定匹配块对，所述第一待 定匹配块对为所述搜索单元在所述当前帧和前一帧中搜索的各对匹配块中双边绝对误差 和SBAD值最小的一对匹配块； 所述确定单元还用于如果确定的所述第一待定匹配块对的SBAD值小于SBAD阈值，则 根据所述第一待定匹配块对的运动矢量确定所述待插帧的Ml XM1块的运动矢量； 所述匹配搜索单元还用于：如果所述确定单元确定的所述第一待定匹配块对的SBAD 值大于或等于SBAD阈值，则将所述待插帧的Ml XM1块拆分成M2 XM2块，以所述待插帧的 M2XM2块为镜像中心分别在所述当前帧和所述前一帧中重新进行匹配块搜索且所述重新 进行匹配块搜索的SBAD阈值为前一次匹配块搜索的SBAD阈值的1/4,其中Ml和M2均为2 的m次幂，m为正整数且Μ2=Μ1/2。
11. 如权利要求10所述的设备，其特征在于， 所述确定单元还用于：确定第一 SBAD值、第二SBAD值和第三SBAD值，所述第一 SBAD 值为所述当前帧和所述前一帧之间进行双向运动估计产生的SBAD值，所述第二SBAD值为 所述当前帧和后后帧之间进行双向运动估计产生的SBAD值，所述第三SBAD值为所述前一 帧和后后帧之间进行双向运动估计产生的SBAD值，所述后后帧为所述当前帧的后一帧； 所述匹配搜索单元具体用于：在所述第一 SBAD值为所述第一 SBAD值、第二SBAD值和 第三SBAD值中的最小值的情况下，以待插帧的Ml XM1块为镜像中心分别在当前帧和前一 帧中进行匹配块搜索。
12. 如权利要求11所述的设备，其特征在于， 所述确定单元还用于：在所述第二SBAD值为所述第一 SBAD值、第二SBAD值和第 三SBAD值中的最小值的情况下，以相应的所述当前帧的匹配块外推得到所述待插帧的 M1XM1 土夬； 所述确定单元还用于：在所述第三SBAD值为所述第一 SBAD值、第二SBAD值和第 三SBAD值中的最小值的情况下，以相应的所述前一帧的匹配块外推得到所述待插帧的 M1XM1 土夬。
13. 如权利要求10-12任一项所述的设备，其特征在于，所述设备还包括扩展单元， 所述扩展单元，用于当所述当前帧边界相对于所述前一帧边界出现有对象进入或退出 场景时，分别在所述当前帧和所述前一帧的边界向四周扩展Ml个像素，其中所述当前帧和 所述前一帧的边界像素值均为非0。
14. 如权利要求10-13任一项所述的设备，其特征在于， 所述确定单元还用于：当所述当前帧相对于所述前一帧出现场景切换时，在第一次进 行匹配块搜索后，在确定所述待插帧的所有Ml XM1块相应的待定匹配块对的SBAD值大于 或等于SBAD阈值的数目大于预设门限值的情况下，以外推法得到所述待插帧。
15. 如权利要求10-14任一项所述的设备，其特征在于， 所述匹配搜索单元还用于：当进行所述多级双向运动估计中的K级运动估计之后，如 果所述确定单元确定的所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则在所述 当前帧和前一帧中的限定区域内搜索第二待定匹配对块，所述限定区域为所述当前帧和前 一中贞中所有未参与内插的块； 所述确定单元还用于：根据所述匹配搜索单元搜索的所述第二待定匹配对块对的运动 矢量确定所述待插帧的MXM块的运动矢量，所述待插帧的MXM块为与第K级运动估计相 对应的匹配块，Μ为2的m次幂，m为正整数，所述K为大于或等于2的正整数。
16. 如权利要求10-14任一项所述的设备，其特征在于， 所述确定单元还用于：当进行所述多级双向运动估计中的K级运动估计之后，如果确 定的所述第一待定匹配块对的SBAD值大于或等于SBAD阈值，则根据所述第一待定匹配块 对周边的匹配块对的运动矢量确定所述待插巾贞的ΜXΜ块的运动矢量，所述待插巾贞的ΜXΜ 块为与第Κ级运动估计相对应的匹配块，Μ为2的m次幂，m为正整数，所述Κ为大于或等于 2的正整数。
17. 如权利要求10-16任一项所述的设备，其特征在于， 所述匹配搜索单元具体用于：以待插帧的Ml ΧΜ1块为镜像中心分别在当前帧和前一 帧中进行两次匹配块搜索，所述两次匹配块搜索的搜索顺序相反。
18. 如权利要求10-17任一项所述的方法，其特征在于， 所述确定单元具体用于：基于块匹配准则确定与所述待插帧的Ml XM1块对应的第一 待定匹配块对，所述块匹配准则为：
其中，所述SBAD为匹配块对的SBAD值，Bi;j为所述待插帧的M1XM1块，s为所述待插 帧的像素点，v为位移矢量，为所述当前帧的像素值，fn+1为所述前一帧的像素值。
【文档编号】H04N19/513GK104104960SQ201310115703
【公开日】2014年10月15日 申请日期:2013年4月3日 优先权日:2013年4月3日
【发明者】武晓军, 易本顺, 肖进胜 申请人:华为技术有限公司