专利名称：视频帧率转换中的插值帧获取方法及其装置的制作方法
技术领域：
本发明涉及视频处理领域，特别涉及视频处理领域中的视频帧率转换技术。
背景技术：
近年来，IXD显示器的应用越加广泛，但其缺陷是在显示动态画面时存在“拖尾”现 象，造成动态物体解析度下降。其主要原因是IXD的保持显示特性由于IXD的每一个像素 在一帧时间内一直保持其亮度，持续作用于观看者的双眼，而人的双眼又具有视觉惰性，当 IXD的画面切换到下一帧时，人眼仍暂留有上一帧画面的内容，从而产生“拖尾”现象。目前解决“拖尾”现象较为常见的方法是提升帧频，即在原始相邻两帧之间插入一 帧或多帧，这样，每个像素的发光时间缩短，相应地也就缩短了一帧图像对人眼的持续作用 时间，减弱了人眼的视觉暂留，提高了动态解析度。帧率转换中插值帧获取的方法主要包括两类，第一类是不考虑图像中物体的运 动，非运动补偿的方法，如帧复制或帧平均。帧复制是指新插入的帧直接复制前一帧数据。 帧平均是指新插入的帧使用前后两帧的平均值。这种方法实现简单，但在物体运动区域，会 存在模糊现象；第二类是考虑物体的运动，运动补偿的方法，利用线性或非线性插值来完成 插值帧。由于考虑了运动信息，因而具有较好的图像质量，然而运动估计容易产生错误，所 以准确的运动估计，运动补偿算法直接影响了帧率转换的性能。具体地说，目前主要有以下几种实现插帧的方法(1)直接拷贝原始帧，或者采用两帧的均值。然而，该方法由于不进行运动估计，会 造成插值帧运动模糊，因此帧率转换效果差。(2)直接从解码信息中获得运动向量(Motion Vector，简称“MV”)信息，利用或修 正此MV，然后使用重叠块运动补偿(Overlapped BlockMotion Compensation，简称“0BMC”) 等方法进行插值。分为以下步骤步骤一，获取MV 如果当前帧是P帧，直接从码流信息中获取MV。如果当前帧是I帧，取前一帧获取的MV ；如果当前宏块是I宏块，取周围不为I宏 块的MV。步骤二，对MV进行分类使用绝对差值和(Sum of AbsoluteDifference，简称 “SAD”)的方法对MV进行分类，如果小于特定阈值T，则合理，作为插值帧的MV ；如果大于特 定阈值Τ，则不合理，需要使用周围宏块的MV，选取周围宏块MV的原则为最小SAD。然而，该方法应用不灵活，必须需要解码MV信息。而且准确度不高，插值帧容易出 现瑕疵(因为对于不合理的MV，需要使用周围宏块的MV，但周围宏块有可能没有合理的MV ； 另外，即使SAD足够小，也不一定是合理MV，会出现“背景取代物体”的错误)。(3)单边运动估计计算前向MV，或者后向MV，然后再进行插帧。然而，该方法在映射到插值帧MV时，有“空洞”或者“重叠”现象，并且此现象较难 解决。(4)双边运动估计，即以插值帧作为中心对称点，对称搜索MV，然后进行插帧，这样可以保证插值帧MV不会出现“空洞”或者“重叠”现象。可以求出更加准确的运动向量， 获得更好质量的插值帧。但由于插值帧的不存在性，双边运动估计也会产生错误，其中最突 出的就是“背景取代物体”错误；并且随着高清视频的普及，双边运动估计的运算量也进一 步增大。
发明内容
本发明的目的在于提供一种视频帧率转换中的插值帧获取方法及其装置，以有效 减少“背景取代物体”错误，并且避免巨大的运算量。为解决上述技术问题，本发明的实施方式提供了一种视频帧率转换中的插值帧获 取方法，包含以下步骤将待求的插值帧划分成L个大块，对每一个大块，执行以下步骤根据输入视频的当前帧和前一帧，对大块进行双边运动向量估计，得到大块的运
动向量；将大块分解为P个插值小块，以该大块的运动向量为预测值，对分解该大块后得 到的各插值小块进行双边运动向量估计，得到各插值小块的运动向量；在求得整帧的插值小块的运动向量后，根据得到的整帧的插值小块的运动向量进 行插值，得到待求的插值帧；其中，L、P均为自然数。本发明的实施方式还提供了一种视频帧率转换中的插值帧获取装置，包含大块划分模块，用于将待求的插值帧划分成L个大块；大块运动向量估计模块，用于对每一个大块，根据输入视频的当前帧和前一帧，对 大块进行双边运动向量估计，得到大块的运动向量；大块分解模块，用于将每一个大块分解为P个插值小块；插值小块运动向量估计模块，用于以插值小块所属的大块的运动向量为预测值， 对各插值小块进行双边运动向量估计，得到各插值小块的运动向量；插值模块，用于在插值小块运动向量估计模块求得整帧的插值小块的运动向量 后，根据得到的整帧的插值小块的运动向量进行插值，得到待求的插值帧；其中，L、P均为自然数。本发明实施方式与现有技术相比，主要区别及其效果在于将待求的插值帧划分成若干个大块，首先对大块进行双边运动向量估计，然后将 大块分解为若干插值小块，以大块的运动向量为预测值，进行插值小块的双边运动向量估 计。在得到整帧的插值小块的运动向量后，然后根据插值小块的MV进行插值，最终得到插 值帧。通过分级估计出需要插值块的运动向量，可以提高插值块的运动向量准确度，更好地 减少“背景取代物体”错误，从而保证插值帧图像质量高，视觉效果更好。而且，基于分级搜 索，会带来更小的运算量，适合实时处理高清视频。进一步地，对大块进行双边运动向量估计时，在大块的搜索范围内，对称地在当前 帧和前一帧中进行大块匹配计算，并将计算到的最匹配的大块的运动向量作为所求的大块 的运动向量。其中，大块的搜索范围通过以下方式确定判断在大块周围的插值小块的运动 向量的均值是否小于第一阈值Tl，如果小于Tl，则选用第一搜索范围Sl ；如果大于或等于Tl，则选用第二搜索范围S2。对插值小块进行双边运动向量估计时，在插值小块的搜索范围 内，对称地在当前帧和前一帧中进行插值小块匹配计算，并将计算到的最匹配的插值小块 的运动向量作为所求的插值小块的运动向量。其中，插值小块的搜索范围通过以下方式确 定如果周围的插值小块运动向量的均值，与待求运动向量的插值小块所属大块的运动向 量的差值小于第二阈值T2，则选用第三搜索范围S3 ；如果大于或等于T2，则选用第四搜索 范围S4。通过动态改变搜索范围的方式，通过利用周围已计算的插值小块的运动向量，来动 态选择当前块的搜索范围，可以在正确的搜索范围内搜索最优运动向量，避免错误，提高图 像质量，提高视觉效果。而且，动态调节搜索范围，对于相对静止的大块运动估计，和预测值 较准的插值小块运动估计，都会分配较小的搜索范围，从而减少运算量，缩短运算时间。进一步地，采用快速搜索方式进行大块匹配计算和插值小块匹配计算，能进一步 减少运算量，缩短运算时间。进一步地，在分级双边运动估计中，大块块匹配使用SASD准则，不但减少计算量， 而且减少噪声干扰；在插值小块块匹配使用SAD准则，能增加准确性。有利于图像质量，有 利于减少实时处理高清视频。
图1是根据本发明第--实施方式的视频帧率转换中的插值帧获取方法流程图2是根据本发明第二二实施方式中的双边运动估计示意图3是根据本发明第二二实施方式中的SASD分块方式示意图4是根据本发明第二二实施方式中的大块和周围的插值小块的位置关系示意图5是根据本发明第二二实施方式中进行分级双边运动估计的步骤细化流程图6是根据本发明第二二实施方式中的3 * 3运动向量滤波示意图7是根据本发明第二二实施方式中的采用OBMC插值的示意 图。图8是根据本发明第ΞΞ实施方式的视频帧率转换中的插值帧获取装置结构示意
具体实施例方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本 领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化 和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施 方式作进一步地详细描述。本发明第一实施方式涉及一种视频帧率转换中的插值帧获取方法，具体流程如图 1所示。在步骤110中，进行分级双边运动估计，估计出需要的插值小块的MV。具体地说， 将待求的插值帧划分成L个大块(L为自然数)，例如大块的尺寸为64女64像素，那么IOM 女768的图像就可以分成16女12个大块。对每一个大块进行以下操作根据输入视频的当前帧和前一帧，对大块进行双边运动向量估计，得到大块的运 动向量(MV_Large)。
将大块分解为P个插值小块(P为自然数)，以该大块的运动向量为预测值，对分 解该大块后得到的各插值小块进行双边运动向量估计，得到各插值小块的运动向量(MV_ Small)ο在求得整帧的插值小块的MV后，进入步骤120，对整帧的插值小块的运动向量的 正确性进行检测，对错误的插值小块的运动向量进行修正。接着，在步骤130中，判断错误的插值小块的运动向量的个数是否小于预设门限 值，如果小于该预设门限值，则进入步骤140，根据得到的插值小块的运动向量，进行插值； 如果大于或等于该预设门限值，则进入步骤150，直接进行帧复制，将得到的复制帧作为待 求的插值帧输出。在本实施方式中，通过分级估计出需要插值块的运动向量，可以提高插值块的运 动向量准确度，更好地减少“背景取代物体”错误，从而保证插值帧图像质量高，视觉效果更 好。而且，基于分级搜索，会带来更小的运算量，适合实时处理高清视频。本发明第二实施方式涉及一种视频帧率转换中的插值帧获取方法。第二实施方式 在第一实施方式的基础上进行了改进，主要改进之处在于本实施方式中不仅采用分级的 方式进行双边运动估计，而且在运动向量估计时，动态的改变搜索范围，以进一步提高图像 质量，提高视觉效果，同时进一步减少运算量，缩短运算时间。另外，本实施方式也在第一实 施方式的基础上，进行了细节上的补充。具体地说，在本实施方式中，在步骤110中，通过以下方式，根据输入视频的当前 帧和前一帧，对插值帧的某大块进行双边运动向量估计在大块的搜索范围内，以大块坐标为中心，对称地在当前帧f (η)和前一帧f (η-1) 中进行大块匹配计算，采用的块匹配准则是绝对子块差值和(Sum ofAbsolute Sub-block Differences，简称“SASD”)，如图2所示。并将计算到的最匹配的大块的运动向量作为所 求的大块的运动向量。该SASD的求法如下先将大块划分成若干求和小块，例如将64 ^ 64的大块分成2 ^ 2个求和小 块，那么每个求和小块的尺寸为32女32像素，然后求出每个求和小块的像素和(Sum of Sub-Block，简称“SSB”)如图3所示。假设所分的小块宽为w，高为h，小块左上角在图像f 中的坐标为(m, η)，那么SSB的计算如公式(1)
权利要求
1.一种视频帧率转换中的插值帧获取方法，其特征在于，包含以下步骤 将待求的插值帧划分成L个大块，对每一个所述大块，执行以下步骤根据输入视频的当前帧和前一帧，对所述大块进行双边运动向量估计，得到所述大块 的运动向量；将所述大块分解为P个插值小块，以该大块的运动向量为预测值，对分解该大块后得 到的各插值小块进行双边运动向量估计，得到各插值小块的运动向量；在求得整帧的插值小块的运动向量后，根据得到的整帧的插值小块的运动向量进行插 值，得到所述待求的插值帧； 其中，所述L、P均为自然数。
2.根据权利要求1所述的视频帧率转换中的插值帧获取方法，其特征在于，所述根据 输入视频的当前帧和前一帧，对所述大块进行双边运动向量估计的步骤中，包含以下子步 骤在大块的搜索范围内，对称地在所述当前帧和前一帧中进行大块匹配计算，并将计算 到的最匹配的大块的运动向量作为所求的大块的运动向量； 其中，所述大块的搜索范围通过以下方式确定判断在大块周围的插值小块的运动向量的均值是否小于第一阈值Tl，如果小于所述 Tl，则选用第一搜索范围Sl ；如果大于或等于所述Tl，则选用第二搜索范围S2 ；所述对分解该大块后得到的各插值小块进行双边运动向量估计的步骤中，包含以下子 步骤在插值小块的搜索范围内，对称地在所述当前帧和前一帧中进行插值小块匹配计算， 并将计算到的最匹配的插值小块的运动向量作为所求的插值小块的运动向量； 其中，所述插值小块的搜索范围通过以下方式确定如果周围的插值小块的运动向量的均值，与待求运动向量的插值小块所属大块的运动 向量的差值小于第二阈值T2，则选用第三搜索范围S3 ；如果大于或等于所述T2，则选用第 四搜索范围S4 ；其中，所述Si、S2、S3、S4预先设定。
3.根据权利要求2所述的视频帧率转换中的插值帧获取方法，其特征在于，所述在大 块的搜索范围内，对称地在所述当前帧和前一帧中进行大块匹配计算时，采用快速搜索方 式进行所述大块匹配计算；所述在插值小块的搜索范围内，对称地在所述当前帧和前一帧中进行插值小块匹配计 算时，采用快速搜索方式进行所述插值小块匹配计算。
4.根据权利要求2所述的视频帧率转换中的插值帧获取方法，其特征在于，在进行所 述大块匹配计算时，采用的块匹配准则为绝对子块差值和SASD，计算到的最匹配的大块的 运动向量即为在所述大块的搜索范围内最小SASD所对应的运动向量；其中，所述SASD通过以下方式计算得到将大块划分为A * B个求和小块，求出每个求和小块的像素和SSB ； 根据以下公式计算(mvx，mvy)下的所述SASD A-I B-ISASD(mK ,) = Σ Σ\SSBn-i (χ0 + mvx+i*w,y0+ mvy + j*h)-SSBn (x0 - mvx +i*w,y0- mvy + j*h)/=O _/=0其中，SSBlri表示在前一帧中大块的求和小块的像素和，SSBn表示在当前帧中大块的求 和小块的像素和，^表示待求运动向量的大块在图像中的横坐标，％表示待求运动向量的 大块在图像中的纵坐标，w表示求和小块的宽，h表示求和小块的高，mvx和mvy为在所述大 块的搜索范围内的向量取值。
5.根据权利要求4所述的视频帧率转换中的插值帧获取方法，其特征在于，在将所述 大块分解为P个插值小块的步骤之后，以该大块的运动向量为预测值，对分解该大块后得 到的各插值小块进行双边运动向量估计的步骤之前，还包含以下步骤判断在大块的搜索范围内的最小SASD是否小于第三阈值T3，如果小于所述T3，则分解 该大块后得到的P个插值小块的运动向量均为求得的该大块的运动向量；如果大于或等于 所述T3，则再进入所述以该大块的运动向量为预测值，对分解该大块后得到的各插值小块 进行双边运动向量估计的步骤。
6.根据权利要求2所述的视频帧率转换中的插值帧获取方法，其特征在于，在进行所 述插值小块匹配计算时，采用的块匹配准则为绝对差值和SAD，计算到的最匹配的插值小块 的运动向量即为在所述插值小块的搜索范围内最小SAD所对应的运动向量。
7.根据权利要求1至6中任一项所述的视频帧率转换中的插值帧获取方法，其特征在 于，在求得整帧的插值小块的运动向量后，还包含以下步骤对所述整帧的插值小块的运动向量的正确性进行检测，对错误的插值小块的运动向量 进行修正；判断错误的插值小块的运动向量的个数是否小于预设门限值，如果小于所述预设门限 值，则再进入所述根据得到的整帧的插值小块的运动向量，进行插值的步骤；如果大于或等 于所述预设门限值，则直接进行帧复制，将得到的复制帧作为所述待求的插值帧。
8.一种视频帧率转换中的插值帧获取装置，其特征在于，包含大块划分模块，用于将待求的插值帧划分成L个大块；大块运动向量估计模块，用于对每一个所述大块，根据输入视频的当前帧和前一帧，对 所述大块进行双边运动向量估计，得到所述大块的运动向量；大块分解模块，用于将每一个所述大块分解为P个插值小块；插值小块运动向量估计模块，用于以插值小块所属的大块的运动向量为预测值，对各 插值小块进行双边运动向量估计，得到各插值小块的运动向量；插值模块，用于在所述插值小块运动向量估计模块求得整帧的插值小块的运动向量 后，根据得到的整帧的插值小块的运动向量进行插值，得到所述待求的插值帧；其中，所述L、P均为自然数。
9.根据权利要求8所述的视频帧率转换中的插值帧获取装置，其特征在于，所述大块 运动向量估计模块在进行双边运动向量估计时，在大块的搜索范围内，对称地在所述当前 帧和前一帧中进行大块匹配计算，并将计算到的最匹配的大块的运动向量作为所求的大块 的运动向量；所述视频帧率转换中的插值帧获取装置还包含大块搜索范围动态获取模块，用于判断 在大块周围的插值小块的运动向量的均值是否小于第一阈值Tl，并在小于所述Tl时，选用 第一搜索范围Sl作为该大块的搜索范围；在大于或等于所述Tl时，选用第二搜索范围S2 作为该大块的搜索范围；插值小块运动向量估计模块在进行双边运动向量估计时，在插值小块的搜索范围内， 对称地在所述当前帧和前一帧中进行插值小块匹配计算，并将计算到的最匹配的插值小块 的运动向量作为所求的插值小块的运动向量；所述视频帧率转换中的插值帧获取装置还包含插值小块搜索范围动态获取模块，用于 判断在待求运动向量的插值小块周围的插值小块的运动向量的均值，与待求运动向量的插 值小块所属大块的运动向量的差值是否小于第二阈值T2，并在小于所述T2时，选用第三搜 索范围S3作为待求运动向量的插值小块的搜索范围；在大于或等于所述T2时，选用第四搜 索范围S4作为待求运动向量的插值小块的搜索范围；其中，所述Si、S2、S3、S4预先设定。
10.根据权利要求9所述的视频帧率转换中的插值帧获取装置，其特征在于，所述大块 运动向量估计模块在大块的搜索范围内，对称地在所述当前帧和前一帧中进行大块匹配计 算时，采用快速搜索方式进行所述大块匹配计算；所述插值小块运动向量估计模块在插值小块的搜索范围内，对称地在所述当前帧和前 一帧中进行插值小块匹配计算时，采用快速搜索方式进行所述插值小块匹配计算。
11.根据权利要求9所述的视频帧率转换中的插值帧获取装置，其特征在于，所述大 块运动向量估计模块在进行所述大块匹配计算时，采用的块匹配准则为绝对子块差值和 SASD，计算到的最匹配的大块的运动向量即为在所述大块的搜索范围内最小SASD所对应 的运动向量；所述大块运动向量估计模块包含以下子模块求和小块划分子模块，用于将大块划分为A * B个求和小块；像素求和子模块，用于求出每个求和小块的像素和SSB ；SASD计算子模块，用于根据以下公式计算(mVx，mVy)下的所述SASD A-I B-ISASDimv ,) = Σ Σ 1^-1 (χο + mvx +i*w,y0+ mvy + j*h)~ SSBn (x0 - mvx + i*w,y0-mVy +j*h)/=O ；=()其中，SSB 表示在前一帧中大块的求和小块的像素和，SSBn表示在当前帧中大块的 求和小块的像素和，^表示待求运动向量的大块在图像中的横坐标，％表示待求运动向量 的大块在图像中的纵坐标，w表示求和小块的宽，h表示求和小块的高，mvx和mvy为在所述 大块的搜索范围内的向量取值。
12.根据权利要求11所述的视频帧率转换中的插值帧获取装置，其特征在于，所述视 频帧率转换中的插值帧获取装置还包含赋值判断模块，用于判断待求运动向量的大块的搜索范围内的最小SASD是否小于第 三阈值T3，并在判定小于所述T3时，直接将求得的该大块的运动向量赋值给分解该大块后 得到的各插值小块的运动向量；并在大于或等于所述T3时，触发所述插值小块运动向量估 计模块。
13.根据权利要求9所述的视频帧率转换中的插值帧获取装置，其特征在于，所述插值 小块运动向量估计模块在进行所述插值小块匹配计算时，采用的块匹配准则为绝对差值和 SAD，计算到的最匹配的插值小块的运动向量即为在所述插值小块的搜索范围内最小SAD 所对应的运动向量。
14.根据权利要求8至13中任一项所述的视频帧率转换中的插值帧获取装置，其特征在于，所述视频帧率转换中的插值帧获取装置还包含插值小块运动向量修正模块，用于对所述插值小块运动向量估计模块求得的整帧的插 值小块的运动向量的正确性进行检测，对错误的插值小块的运动向量进行修正；插值决定模块，用于判断错误的插值小块的运动向量的个数是否小于预设门限值，并 在判定小于所述预设门限值时，触发所述插值模块；在判定大于或等于所述预设门限值时， 触发用于直接进行帧复制的复制模块，将得到的复制帧作为所述待求的插值帧。
全文摘要
本发明涉及视频处理领域，公开了一种视频帧率转换中的插值帧获取方法及其装置。本发明中，将待求的插值帧划分成若干个大块，首先对大块进行双边运动向量估计，然后将大块分解为若干插值小块，以大块的运动向量为预测值，进行插值小块的双边运动向量估计。在得到整帧的插值小块的运动向量后，根据插值小块的运动向量进行插值，最终得到插值帧。通过分级估计出需要插值块的运动向量，可以提高插值块的运动向量准确度，更好地减少“背景取代物体”错误，从而保证插值帧图像质量高，视觉效果更好。而且，基于分级搜索，会带来更小的运算量，适合实时处理高清视频。
文档编号H04N7/46GK102123283SQ20111005801
公开日2011年7月13日 申请日期2011年3月11日 优先权日2011年3月11日
发明者俞海, 查林, 贾永华, 黄崇基 申请人:杭州海康威视软件有限公司