确定小物体区域的方法、视频帧之间插补帧的方法和装置制造方法

确定小物体区域的方法、视频帧之间插补帧的方法和装置制造方法
【专利摘要】本发明实施例涉及视频处理【技术领域】，特别涉及一种确定视频帧中小物体区域的方法和装置，用以较为准确地在视频帧中确定其中包括的小物体区域。本发明实施例提供的确定视频帧中小物体区域的方法，包括：将当前视频帧划分为至少两个区域，确定每个区域对应的全局运动矢量；确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量；根据所述任意一组相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定当前视频帧中的小物体候选区域；对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧中的小物体区域。本发明实施例实现了较为准确地在视频帧中确定其中包括的小物体区域。
【专利说明】确定小物体区域的方法、视频帧之间插补帧的方法和装置

【技术领域】
[0001] 本发明涉及视频处理【技术领域】，特别涉及一种确定视频帧中小物体区域的方法和 装置、以及一种在两相邻视频帧之间插补帧的方法和装置。

【背景技术】
[0002] 在视频技术应用中，为了保证流畅地播放高清视频或超高清视频，终端播放视频 帧的帧率需要达到至少120Hz (赫兹)，而由于传输带宽的限制，视频编码传输的帧率只能达 到25Hz或30Hz，因而需要播放高清视频或超高清视频的终端在接收到的视频编码原始帧 之间插补新的视频帧以实现帧率转换。
[0003] 目前需要播放高清视频或超高清视频的终端一般先对接收到的原始帧作运动估 计（即对原始帧包括的各个块作运动估计)，然后根据运动估计得到的相邻两帧之间的双向 运动矢量，生成插补在该相邻两帧之间的新视频帧（即插补帧)，为了使得插补帧具有良好 的连续性，需要对该根据运动估计得到的相邻两帧之间的双向运动矢量作平滑滤波，并根 据平滑滤波后的该相邻两帧之间的双向运动矢量，生成插补帧。
[0004] 在原始帧包括小物体区域时，在对该原始帧进行运动估计后得到的运动矢量作平 滑滤波时，可能会使得该原始帧中的小物体区域对应的运动矢量由该原始帧的背景运动矢 量所替代，而目前还没有一种能够确定视频帧中的小物体区域的方法，而且在该原始帧中 的小物体区域对应的运动矢量被该原始帧的背景运动矢量所替代时，根据该原始帧对应的 运动矢量生成的插补帧中会由于缺失小物体区域的像素，从而影响高清视频或超高清视频 的播放质量。其中，原始帧中满足下列特征中的一种特征的区域称之为小物体区域：占据原 始帧背景的比例值小于特定值的物体区域，或与原始帧背景运动方向不一致且占据原始帧 背景的比例值小于特定值的物体区域，或亮度值接近原始帧背景的亮度值且占据原始帧背 景的比例值小于特定值的物体区域，或与原始帧背景运动方向不一致且亮度值接近原始帧 背景的亮度值且占据原始帧背景的比例值小于特定值的物体区域。
[0005] 综上所述，目前在原始帧包括小物体区域时，还没有一种能够确定视频帧中的小 物体区域的方法，而且在对该原始帧进行运动估计后得到的运动矢量作平滑滤波时，可能 会使得该原始帧中的小物体区域对应的运动矢量被该原始帧的背景运动矢量所替代，造成 生成的插补帧中由于小物体像素的缺失，从而影响高清视频或超高清视频的播放质量。


【发明内容】

[0006] 本发明实施例提供一种确定视频帧中小物体区域的方法和装置，以较为准确地在 视频帧中确定其中包括的小物体区域。
[0007] 本发明实施例还提供一种在两相邻视频帧之间插补帧的方法和装置，以实现避免 生成的插补帧中由于小物体像素的缺失，导致高清视频或超高清视频的播放质量不高的问 题。
[0008] 第一方面，提供一种确定视频帧中小物体区域的方法，包括：
[0009] 将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量；
[0010] 确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组 相邻帧的帧间运动矢量；
[0011] 根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中 任意一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所 述当前视频帧中的小物体候选区域；
[0012] 对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为 当前视频帧中的小物体区域；
[0013] 其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连 续视频帧中的一种或多种。
[0014] 结合第一方面，在第一种可能的实现方式中，所述确定包括所述当前视频帧和所 述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，还包括：
[0015] 针对包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组 相邻帧中的每帧视频帧包括的待处理图像块，分别执行：
[0016] 在当前视频帧的前N帧视频帧中选择至少一帧视频帧；
[0017] 根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像 块在所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像 块；
[0018] 若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图 像块为第二类待处理图像块；
[0019] 所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意 一组相邻帧的帧间运动矢量，包括：
[0020] 分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢 量；
[0021] 将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图 像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢 量。
[0022] 结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，确定所述 每个第一类待处理图像块的帧间运动矢量，包括：
[0023] 分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处 理图像块所在的视频帧的背景运动矢量的相差度值；
[0024] 根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺 序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
[0025] 根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与 所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢 量。
[0026] 结合第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式， 在第三种可能的实现方式中，在当前视频帧的前N帧视频帧中选择至少一帧视频帧，包括：
[0027] 选择当前视频巾贞的至少一巾贞前连续视频中贞。
[0028] 结合第一方面的第二种可能的实现方式或者第一方面的第三种可能的实现方式， 在第四种可能的实现方式中，确定所述第一类待处理图像块的帧间运动矢量，包括：
[0029] 针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢 量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选 运动矢量作为所述第一类待处理图像块的帧间运动矢量。
[0030] 结合第一方面的第一至四种中的任一种可能的实现方式，在第五种可能的实现方 式中，确定所述当前视频帧中的小物体候选区域，包括：
[0031] 根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组 相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每 个图像块对应的匹配块；并
[0032] 在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近 块的帧间运动矢量；
[0033] 针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块 的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间运动 矢量与全局运动矢量的相差度值；
[0034] 根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图 像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含 的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于 第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
[0035] 结合第一方面的第一至五种中的任一种可能的实现方式，在第六种可能的实现方 式中，对当前视频帧中的小物体候选区域进行滤波之前，还包括：
[0036] 将小物体候选区域包括的每个图像块标志特定标记；
[0037] 对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视 频帧中的小物体区域，包括：
[0038] 针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水 平方向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块 垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值；
[0039] 在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定 标记；以及
[0040] 确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三 个数值；
[0041] 在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；
[0042] 将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域；
[0043] 其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
[0044] 第二方面，提供一种基于上述确定视频帧中小物体区域的方法的在两相邻视频帧 之间插补帧的方法，包括：
[0045] 确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物 体区域；
[0046] 对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区 域对应的帧间运动矢量进行平滑滤波；
[0047] 根据所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的 帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧。
[0048] 第三方面，提供一种基于上述确定视频帧中小物体区域的方法的在两相邻视频帧 之间插补帧的方法，包括：
[0049] 根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块， 将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图 像块和第二类待处理图像块；
[0050] 分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量， 以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像 块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动 矢量；
[0051] 根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧 之间插补帧，其中，N为正整数。
[0052] 结合第三方面，在第一种可能的实现方式中，根据前、后两相邻视频帧的前N帧视 频帧中的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分 别包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，包括：
[0053] 针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
[0054] 在所述所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；
[0055] 根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像 块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像 块；
[0056] 若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图 像块为第二类待处理图像块。
[0057] 结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，分别确定 每个第一类待处理图像块的帧间运动矢量，包括：
[0058] 分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处 理图像块所在的视频帧的背景运动矢量的相差度值；
[0059] 根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺 序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
[0060] 根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与 所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢 量。
[0061] 结合第三方面的第一种可能的实现方式或者第三方面的第二种可能的实现方式， 在第三种可能的实现方式中，在所述前N帧视频帧中选择至少一帧视频帧，包括 ：
[0062] 选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
[0063] 结合第三方面的第二种可能的实现方式或者第三种可能的实现方式，在第四种可 能的实现方式中，确定所述第一类待处理图像块的帧间运动矢量，包括：
[0064] 针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢 量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选 运动矢量作为所述第一类待处理图像块的帧间运动矢量。
[0065] 第四方面，提供一种确定视频帧中小物体区域的装置，包括：
[0066] 全局运动矢量确定单元，用于将当前视频帧划分为至少两个区域，确定每个区域 对应的全局运动矢量，并将确定的所述全局运动矢量传输至区域确定单元；
[0067] 帧间运动矢量确定单元，用于确定包括所述当前视频帧和所述当前视频帧的参考 帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，并将确定的所述帧间运动矢量传输至 区域确定单元；
[0068] 区域确定单元，用于根据来自所述帧间运动矢量确定单元的包括所述当前视频帧 和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及来自所 述全局运动矢量确定单元的每个区域对应的全局运动矢量，确定所述当前视频帧中的小物 体候选区域，并将确定的所述当前视频帧中的小物体候选区域信息传输至处理单元；
[0069] 处理单元，用于根据来自所述区域确定单元的所述当前视频帧中的小物体候选区 域信息，确定所述当前视频帧中的小物体候选区域，对所述当前视频帧中的小物体候选区 域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
[0070] 其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连 续视频帧中的一种或多种。
[0071] 结合第四方面，在第一种可能的实现方式中，所述装置还包括划分单元，用于在确 定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢 量之前，针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的 每帧视频帧包括的待处理图像块，分别执行：
[0072] 在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前 N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧 中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块 为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
[0073] 所述帧间运动矢量确定单元，具体用于分别确定每个第一类待处理图像块和每个 第二类待处理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频帧分 别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述 任意一组相邻帧的帧间运动矢量。
[0074] 结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述帧间 运动矢量确定单元，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量 与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个 候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规 贝1J，为每个候选运动矢量分别赋予对应的权值；以及根据为每个候选运动矢量分别赋予的 权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定 所述第一类待处理图像块的帧间运动矢量。
[0075] 结合第四方面的第一种可能的实现方式或者第二种可能的实现方式，在第三种可 能的实现方式中，所述划分单元，具体用于选择当前视频帧的至少一帧前连续视频帧。
[0076] 结合第四方面的第二种可能的实现方式或者第三种可能的实现方式，在第四种可 能的实现方式中，所述帧间运动矢量确定单元，具体用于针对每个候选运动矢量，确定所述 候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像 块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的 帧间运动矢量。
[0077] 结合第四方面的第一至四种中任一种可能的实现方式，在第五种可能的实现方式 中，所述区域确定单元，具体用于根据包括所述当前视频帧和所述当前视频帧的参考帧的 多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所 述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块附近的附近 块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视频帧包含的 每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图像块的帧间 运动矢量的相似度值，确定每个附近块的帧间运动矢量与全局运动矢量的相差度值；根据 确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像块，其中，小 物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的针对所述图 像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第一阈值、且存 在第二设定个数的附近块的相差度值均不小于第二阈值。
[0078] 结合第四方面的第一至五种中任一种可能的实现方式，在第六种可能的实现方式 中，所述装置还包括标志单元，用于在对当前视频帧中的小物体候选区域进行滤波之前，将 小物体候选区域包括的每个图像块标志特定标记；
[0079] 所述处理单元，具体用于针对所述当前视频帧中小物体候选区域包括的每个图像 块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一 个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第 二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特 定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第 三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将当 前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设定范 围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
[0080] 第五方面，提供一种在两相邻视频帧之间插补帧的装置，包括：
[0081] 确定单元，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后 视频帧中的小物体区域，并将确定的所述在前视频帧中的小物体区域和在后视频帧中的小 物体区域的信息传输至滤波单元；
[0082] 滤波单元，用于根据来自所述确定单元的所述在前视频帧中的小物体区域和在后 视频帧中的小物体区域的信息，确定所述在前视频帧中的小物体区域和在后视频帧中的小 物体区域，对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区 域对应的帧间运动矢量进行平滑滤波，并将平滑滤波后得到的帧间运动矢量传输至插补单 元；
[0083] 插补单元，用于根据来自所述滤波单元的所述平滑滤波后得到的帧间运动矢量， 以及所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动 矢量，在所述前、后两相邻视频帧之间插补帧。
[0084] 第六方面，提供一种在两相邻视频帧之间插补帧的装置，包括：
[0085] 划分单元，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的 待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为 第一类待处理图像块和第二类待处理图像块，并将所述第一类待处理图像块和第二类待处 理图像块对应的划分信息传输至处理单元；
[0086] 处理单元，用于根据来自所述划分单元的所述划分信息，确定所述前、后两相邻视 频帧中的每帧视频帧分别包括的待处理图像块中的第一类待处理图像块和第二类待处理 图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量， 以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像 块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动 矢量，并将所述前、后两相邻视频帧的帧间运动矢量传输至插补单元；
[0087] 插补单元，用于根据来自所述处理单元的所述前、后两相邻视频帧的帧间运动矢 量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
[0088] 结合第六方面，在第一种可能的实现方式中，所述划分单元，具体用于针对所述 前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
[0089] 在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、 后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一 帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处 理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
[0090] 结合第六方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理 单元，具体用于分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类 待处理图像块所在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分 别对应的相差度值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选 运动矢量分别赋予对应的权值；根据为每个候选运动矢量分别赋予的权值和每个候选运动 矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图 像块的帧间运动矢量。
[0091] 结合第六方面的第一种可能的实现方式或者第二种可能的实现方式，在第三种可 能的实现方式中，所述划分单元，具体用于选择所述前、后两相邻视频帧的至少一帧前连续 视频帧。
[0092] 结合第六方面的第二种可能的实现方式或者第三种可能的实现方式，在第四种可 能的实现方式中，所述处理单元，具体用于针对每个候选运动矢量，确定所述候选运动矢量 被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD 值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢量。 根据第一方面提供的确定视频帧中小物体区域的方法和第四方面提供的确定视频帧中小 物体区域的装置，由于根据视频帧的帧间运动矢量和全局运动矢量，确定视频帧中的小物 体候选区域，并对视频帧中的小物体候选区域进行滤波，得到视频帧中的小物体区域，从而 实现了能够较为准确地在视频帧中确定其中包括的小物体区域。
[0093] 根据第二方面提供的在两相邻视频帧之间插补帧的方法和第五方面提供的在两 相邻视频帧之间插补帧的装置，由于只对两相邻视频帧中的每帧视频帧中的小物体区域以 外的区域对应的帧间运动矢量进行平滑滤波，而且根据两相邻视频帧中的每帧视频帧中的 小物体区域的帧间运动矢量和平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之 间插补帧，从而避免现有技术中由于对两相邻视频帧的帧间运动矢量进行整体滤波而造成 的前、后两相邻视频帧中的小物体区域的帧间运动矢量被该帧的背景运动矢量所替代的问 题，从而提高了高清视频或超高清视频的播放质量。
[0094] 根据第三方面提供的在两相邻视频帧之间插补帧的方法和第六方面提供的在两 相邻视频帧之间插补帧的装置，由于不对前、后两相邻视频帧的帧间运动矢量作平滑滤波， 而是直接根据得到的两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插补帧，从而实 现了避免生成的插补帧中小物体像素的缺失，提高了高清视频或超高清视频的播放质量。

【专利附图】

【附图说明】
[0095] 图1为本发明实施例确定视频帧中小物体区域的方法流程示意图；
[0096] 图2为本发明实施例的帧间运动矢量示意图；
[0097] 图3为本发明实施例的参考帧示意图；
[0098] 图4为本发明实施例的物体滤波示意图；
[0099] 图5为本发明实施例的噪点滤波示意图；
[0100] 图6为本发明实施例确定视频帧中小物体区域的详细方法流程示意图；
[0101] 图7为本发明实施例在两相邻视频帧之间插补帧的方法流程示意图；
[0102] 图8为本发明实施例在两相邻视频帧之间插补帧的方法流程示意图；
[0103] 图9为本发明实施例在fn和fn+1之间插补帧的方法流程示意图；
[0104] 图10为本发明实施例在fn和fn+1之间插补帧的方法流程示意图；
[0105] 图11为本发明实施例在fn和fn+1之间插补帧的方法流程示意图；
[0106] 图12为本发明实施例确定视频帧中小物体区域的装置结构示意图；
[0107] 图13为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图；
[0108] 图14为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图；
[0109] 图15为本发明实施例确定视频帧中小物体区域的装置结构示意图；
[0110] 图16为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图；
[0111] 图17为本发明实施例在两相邻视频帧之间插补帧的装置结构示意图。

【具体实施方式】
[0112] 本发明实施例中，将当前视频帧划分为至少两个区域，并确定每个区域对应的全 局运动矢量；确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一 组相邻帧的帧间运动矢量；根据所确定的包括当前视频帧和当前视频帧的参考帧的多帧视 频帧中任意一组相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定 当前视频帧中的小物体候选区域；对当前视频帧中的小物体候选区域进行滤波，并将滤波 后得到的区域确定为当前视频帧中的小物体区域；其中，当前视频帧的参考帧包括当前视 频帧的前连续视频帧和当前视频帧的后连续视频帧中的一种或多种，由于根据视频帧的帧 间运动矢量和全局运动矢量，确定视频帧中的小物体候选区域，并对视频帧中的小物体候 选区域进行滤波，得到视频帧中的小物体区域，从而实现了能够较为准确地在视频帧中确 定其中包括的小物体区域。
[0113] 本发明实施例中，确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在 后视频帧中的小物体区域；对在前视频帧中的小物体区域和在后视频帧中的小物体区域以 外的区域对应的帧间运动矢量进行平滑滤波；根据在前视频帧中的小物体区域和在后视频 帧中的小物体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在所述前、 后两相邻视频帧之间插补帧，由于只对两相邻视频帧中的每帧视频帧中的小物体区域以外 的区域对应的帧间运动矢量进行平滑滤波，从而避免前、后两相邻视频帧中某视频帧的小 物体区域的帧间运动矢量被该帧的背景运动矢量所替代的问题，从而提高了高清视频或超 高清视频的播放质量。
[0114] 本发明实施例中，根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括 的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分 为第一类待处理图像块和第二类待处理图像块；分别确定每个第一类待处理图像块和每个 第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视 频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作 为所述前、后两相邻视频帧的帧间运动矢量；根据得到的所述前、后两相邻视频帧的帧间运 动矢量，在所述前、后两相邻视频帧之间插补帧，由于不对前、后两相邻视频帧的帧间运动 矢量作平滑滤波，直接根据得到的两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插 补帧，从而实现了避免生成的插补帧中小物体像素的缺失，提高了高清视频或超高清视频 的播放质量。
[0115] 需要说明的是，本发明实施例中插补帧以外的视频帧为接收到的原始帧。
[0116] 下面将结合说明书附图对本发明实施例作进一步详细描述。
[0117] 需要说明的是，本发明实施例的执行主体可以为能够播放视频的所有装置或系 统。
[0118] 如图1所示，本发明实施例确定视频帧中小物体区域的方法包括下列步骤：
[0119] 步骤101、将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢 量；
[0120] 步骤102、确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组 相邻帧的帧间运动矢量；
[0121] 步骤103、根据所确定的包括当前视频帧和当前视频帧的参考帧的多帧视频帧中 任意一组相邻帧的帧间运动矢量，以及确定的每个区域对应的全局运动矢量，确定当前视 频帧中的小物体候选区域；
[0122] 步骤104、对当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确 定为当前视频帧中的小物体区域；
[0123] 其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连 续视频帧中的一种或多种。
[0124] 较佳地，在步骤101中，具体将当前视频帧划分为多少个区域可以根据需要或经 验设定，比如，根据经验将当前视频帧划分为四个区域。
[0125] 具体实施中，可以采用现有技术中任一种确定全局运动矢量的方法，确定本发明 实施例中的每个区域对应的全局运动矢量。
[0126] 实施中，在视频帧中的背景占据视频帧的比例值较大、且视频帧被划分的区域的 个数较少时，视频帧的每个区域对应的全局运动矢量与该区域对应的背景运动矢量近似相 等，可以用视频帧的每个区域对应的全局运动矢量表征视频帧的该区域对应的背景运动矢 量。
[0127] 较佳地，在步骤102中，当前视频帧的参考帧的个数可以根据需要或经验设定。
[0128] 比如，如图2所示，接收到的原始帧包括视频帧fn_2、视频帧、视频帧f n、视频帧 fn+1、视频巾贞fn+2和视频巾贞fn+3,假设当前视频巾贞为4 ;
[0129] 可以将fn_i、fn+1和fn+2设定为f n的参考帧；可以将fn+1设定为fn的参考帧；也可 以将设定为f n的参考帧。
[0130] 具体实施中，在步骤102中，针对包括当前视频帧和当前视频帧的参考帧的多帧 视频帧，在确定当前视频帧的前一帧视频帧中的小物体区域时，已经确定该多帧视频帧中 的部分视频帧中任意一组相邻帧的帧间运动矢量。
[0131] 比如，如图2所示，接收到的原始帧包括视频帧fn_2、视频帧f n_i、视频帧fn、视频帧 fn+1、视频巾贞fn+2和视频巾贞f n+3,假设当前视频巾贞为4 ;
[0132] 在确定L中的小物体区域时，L的参考帧为fn_2、f n和fn+1，则需要确定L和 fn的帧间运动矢量、fn和f n+1的帧间运动矢量；
[0133] 在确定fn中的小物体区域时，fn的参考帧为Ug和f n+2，则需要确定L和fn 的中贞间运动矢量、4和fn+1的巾贞间运动矢量、fn+1和fn+2的巾贞间运动矢量，而和f n的中贞 间运动矢量、4和fn+1的帧间运动矢量为已经确定的帧间运动矢量。
[0134] 具体实施中，在步骤102中，包括当前视频帧和当前视频帧的参考帧的多帧视频 帧中的某一组相邻帧的帧间运动矢量为已知（即，为已经确定的帧间运动矢量）的情况下， 可以将已知的帧间运动矢量作为在确定当前视频帧中的小物体区域时需要确定的该一组 相邻帧的帧间运动矢量。
[0135] 比如，如图2所示，接收到的原始帧包括视频帧fn_2、视频帧f n_i、视频帧fn、视频帧 fn+1、视频巾贞fn+2和视频巾贞f n+3,假设当前视频巾贞为4 ;
[0136] 在确定L中的小物体区域时，L的参考帧为fn_2、f n和fn+1，则确定L和fn的 帧间运动矢量、4和fn+1的帧间运动矢量；
[0137] 在确定fn中的小物体区域时，fn的参考帧为和f n+2，而L和fn的帧间运 动矢量、4和fn+1的帧间运动矢量已知，可以将在确定fM中的小物体区域时确定的fM和 f n的帧间运动矢量，作为在确定fn中的小物体区域时需要确定的fM和fn的帧间运动矢量， 将在确定fM中的小物体区域时确定的4和f n+1的帧间运动矢量，作为在确定fn中的小物 体区域时需要确定的4和fn+1的帧间运动矢量。
[0138] 实施中，在包括当前视频帧和当前视频帧的参考帧的多帧视频帧中的某一组相邻 帧的帧间运动矢量为已知的情况下，将已知的帧间运动矢量作为在确定当前视频帧中的小 物体区域时需要确定的该一组相邻帧的帧间运动矢量，可以降低确定当前视频帧中的小物 体区域的复杂度。
[0139] 较佳地，在步骤102中，确定包括当前视频帧和当前视频帧的参考帧的多帧视频 帧中任意一组相邻帧的帧间运动矢量，包括：
[0140] 对包括当前视频帧和当前视频帧的参考帧的多帧视频帧进行运动估计，确定包括 当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量。
[0141] 具体实施中，可以采用现有技术中任一种对视频帧进行运动估计的方法对本发明 实施例中的视频帧进行运动估计。
[0142] 实施中，对已知的帧间运动矢量对应的视频帧进行运动估计，得到的新的该视频 帧的帧间运动矢量准确度较高。
[0143] 具体实施中，包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相 邻帧的帧间运动矢量为所述任意一组相邻帧中的每帧视频帧分别包括的待处理图像块的 帧间运动矢量，其中，对包括当前视频帧和当前视频帧的参考帧的多帧视频帧进行运动估 计为对所述多帧视频帧中任意一组相邻帧中的每帧视频帧分别包括的待处理图像块进行 运动估计。具体实施中，可以根据确定的当前视频帧的之前的视频帧中的小物体区域，将包 括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包 括的待处理图像块进行分类，并针对不同类待处理图像块，采用不同方法对该待处理图像 块进行运动估计，以确定该待处理图像块的帧间运动矢量。
[0144] 较佳地，确定包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相 邻帧的帧间运动矢量之前，还包括：
[0145] 针对包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中 的每帧视频帧包括的待处理图像块，分别执行：
[0146] 在当前视频帧的前N帧视频帧中选择至少一帧视频帧，其中N为正整数；
[0147] 根据当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在 所选择的至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；
[0148] 若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图 像块为第二类待处理图像块；
[0149] 较佳地，在步骤102中，确定包括当前视频帧和当前视频帧的参考帧的多帧视频 帧中任意一组相邻帧的帧间运动矢量，包括：
[0150] 分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢 量；
[0151] 将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图 像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢 量。
[0152] 具体实施中，可以根据需要或者经验，在当前视频帧的前N帧视频帧中选择至少 一帧视频帧。
[0153] 比如，如图2所示，当前视频帧为fn，可以根据需要将fn_ 3和L作为选择的视频 帧，也可以根据经验将作为选择的视频帧。
[0154] 较佳地，在当前视频帧的前N帧视频帧中选择至少一帧视频帧，包括：
[0155] 选择当前视频巾贞的至少一巾贞前连续视频中贞。
[0156] 较佳地，确定待处理图像块在选择的视频帧中对应的参考图像块，包括：
[0157] 确定待处理图像块在包括该待处理图像块的视频帧中的位置；
[0158] 将选择的视频帧中对应位置的图像块，作为待处理图像块在选择的视频帧中对应 的参考图像块。
[0159] 实施中，通过根据当前视频帧的前N帧视频帧中确定的小物体区域，对所述多帧 视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块进行分类，并针对不同类待 处理图像块，采用不同方法对该待处理图像块进行运动估计，以确定该待处理图像块的帧 间运动矢量，降低了对当前视频帧和当前视频帧的参考帧进行运动估计的难度，并且提高 了根据运动估计得到的帧间运动矢量的精度。
[0160] 具体实施中，N可以根据需要或经验设定，比如，设定为1或2。
[0161] 较佳地，确定所述每个第一类待处理图像块的帧间运动矢量，包括：步骤A1、分别 确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在 的视频帧的背景运动矢量的相差度值；
[0162] 步骤A2、根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小 到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
[0163] 步骤A3、根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图 像块与所述第一类待处理图像块的像素的SAD (Sum of Absolute Differences,差的绝对 值的和）值，确定所述第一类待处理图像块的帧间运动矢量。
[0164] 需要说明的是，任意一组相邻帧中的每帧视频帧分别包括的待处理图像块的帧间 运动矢量具有一定的方向性，即，任意一组相邻帧中的在前视频帧分别包括的待处理图像 块的帧间运动矢量为所述任意一组相邻帧之间的前向运动矢量，任意一组相邻帧中的在后 视频帧分别包括的待处理图像块的帧间运动矢量为所述任意一组相邻帧之间的后向运动 矢量。
[0165] 比如，如图2所示，一组相邻帧为L和fn，L和fn的帧间运动矢量为L分别包 括的待处理图像块的帧间运动矢量和f n分别包括的待处理图像块的帧间运动矢量，fM分 别包括的待处理图像块的帧间运动矢量为fM和fn之间的前向运动矢量，f n分别包括的待 处理图像块的帧间运动矢量为和4之间的后向运动矢量。
[0166] 较佳地，在步骤A1中，确定所述第一类待处理图像块对应的每个候选运动矢量与 现有技术中确定待处理图像块对应的每个候选运动矢量的实施方式类似，比如，确定待处 理图像块对应的时域候选运动矢量或空域候选运动矢量。
[0167] 较佳地，在步骤A1中，所述第一类待处理图像块对应的每个候选运动矢量与所述 第一类待处理图像块所在的视频帧的背景运动矢量的相差度值为用于表征所述每个候选 运动矢量与所述背景运动矢量相差程度的值。
[0168] 具体实施中，任何能够表征所述每个候选运动矢量与所述背景运动矢量相差程度 的相差度值均适用于本发明，比如，每个候选运动矢量与背景运动矢量的差的绝对值，每个 候选运动矢量的绝对值与背景运动矢量的绝对值的差值，每个候选运动矢量与背景运动矢 量在不同维度上（比如，X维度和Y维度)的差值的和值，或每个候选运动矢量与背景运动矢 量在不同维度上的差值的平方和的根号值等。
[0169] 具体实施中，确定视频帧的背景运动矢量的实施方式与现有技术中确定视频帧的 背景运动矢量的实施方式类似，在此不再赘述。
[0170] 较佳地，在步骤A3中，确定每个候选运动矢量指向的图像块与所述第一类待处理 图像块的各个像素的SAD值的实施方式与现有技术中确定候选运动矢量指向的图像块与 待处理图像块的各个像素的SAD值的实施方式类似。
[0171] 比如，针对一个候选运动矢量，确定该候选运动矢量指向的图像块，确定该候选运 动矢量指向的图像块包括的每个像素与所述第一类待处理图像块中包括的对应的像素的 差的绝对值，并确定各个像素的差的绝对值的和，再将该差的绝对值的和值除以该图像块 中的像素个数值，将该差的绝对值的和值除以该图像块中的像素个数值得到的值，作为该 候选运动矢量指向的图像块与所述第一类待处理图像块的各个像素的SAD值。
[0172] 较佳地，在步骤A3中，确定所述第一类待处理图像块的帧间运动矢量，包括：
[0173] 针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢 量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选 运动矢量作为所述第一类待处理图像块的帧间运动矢量。
[0174] 需要说明的是，根据所述第一类待处理图像块的每个候选运动矢量对应的权值和 所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第 一类待处理图像块的帧间运动矢量的实施方式有多种，比如，针对所述第一类待处理图像 块对应的每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指 向的图像块与所述第一类待处理图像块的像素的SAD值的和，将和值最小的候选运动矢量 作为所述第一类待处理图像块的帧间运动矢量，本发明实施例中列举的实施方式只是较佳 的实施方式。
[0175] 较佳地，确定所述每个第二类待处理图像块的帧间运动矢量的实施方式与现有技 术中确定待处理图像块的帧间运动矢量的实施方式相同，比如，从所述第二类待处理图像 块对应的多个候选运动矢量中随机选择一个候选运动矢量作为所述第二类待处理图像块 的帧间运动矢量。
[0176] 较佳地，在步骤103中，确定当前视频帧中的小物体候选区域，包括：
[0177] 步骤B1、根据包括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相 邻帧的帧间运动矢量，在当前视频帧的每个参考帧中确定当前视频帧包括的每个图像块对 应的匹配块；
[0178] 具体实施中，针对当前视频帧包括的每个图像块，确定图像块对应的匹配块的实 施方式类似，下面对确定当前视频帧包括的一个图像块对应的匹配块的实施方式进行详细 介绍。
[0179] 如图3所示，接收到的原始帧包括视频帧fn_i、视频帧fn、视频帧f n+1和视频帧fn+2， 当前视频帧为fn，fn包括图像块A，f n的参考帧为fn+1和fn+2 ;
[0180] 针对fn的参考帧为fn+1，根据图像块A的帧间运动矢量m V()ldF (fn和fn+1的帧间运 动矢量)，确定图像块A在fn+1中的匹配块B ;
[0181] 针对fn的参考帧为fn+2，根据图像块A的帧间运动矢量m V()ldF (4和fn+1的帧间运 动矢量)，确定图像块A在fn+1中的匹配块B，根据匹配块B的帧间运动矢量mv nOTF (fn+1和 fn+2的帧间运动矢量)，确定图像块A在fn+2中的匹配块C。
[0182] 较佳地，在步骤B1中，当前视频帧的参考帧不同，当前视频帧包含的每一图像块 的帧间运动矢量可能不同，也可能相同。
[0183] 比如，如图3所示，接收到的原始帧包括视频帧、视频帧fn、视频帧fn+1和视频 帧f n+2，当前视频帧为fn，fn的参考帧为I、fn+1和f n+2 ;
[0184] 针对fn的参考帧为4+ fn中的每一图像块的帧间运动矢量为fn中的该图像块在 和fn之间的后向运动矢量；
[0185] 针对fn的参考帧为fn+1，fn中的每一图像块的帧间运动矢量为f n中的该图像块在 4和fn+1之间的前向运动矢量；
[0186] 针对fn的参考帧为fn+2, fn中的每一图像块的帧间运动矢量为fn中的该图像块在 4和fn+1之间的前向运动矢量。
[0187] 步骤B2、在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的 每个附近块的帧间运动矢量；
[0188] 较佳地，匹配块附近的附近块为位于该匹配块周围特定范围内的图像块。
[0189] 具体实施中，特定范围可以根据需要或者经验设定。
[0190] 步骤B3、针对当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附 近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间 运动矢量与全局运动矢量的相差度值；
[0191] 较佳地，针对图像块确定的一个附近块，确定所述附近块的帧间运动矢量与所述 图像块的帧间运动矢量的相似度值，包括：
[0192] 在所述附近块的帧间运动矢量和图像块的帧间运动矢量为前向运动矢量时，根据 所述附近块的帧间运动矢量与图像块的帧间运动矢量的差值，确定所述附近块的帧间运动 矢量与所述图像块的帧间运动矢量的相似度值；
[0193] 在所述附近块的帧间运动矢量和图像块的帧间运动矢量为后向运动矢量时，根据 所述附近块的帧间运动矢量与图像块的帧间运动矢量的差值，确定所述附近块的帧间运动 矢量与图像块的帧间运动矢量的相似度值；
[0194] 在附近块的帧间运动矢量为后向运动矢量和图像块的帧间运动矢量为前向运动 矢量时，根据附近块的帧间运动矢量与图像块的帧间运动矢量的和值，确定附近块的帧间 运动矢量与图像块的巾贞间运动矢量的相似度值；以及
[0195] 在附近块的帧间运动矢量为前向运动矢量和图像块的帧间运动矢量为后向运动 矢量时，根据附近块的帧间运动矢量与图像块的帧间运动矢量的和值，确定附近块的帧间 运动矢量与图像块的帧间运动矢量的相似度值。
[0196] 实施中，上述的和/差值越小，所述附近块的帧间运动矢量与图像块的帧间运动 矢量的相似度值越大。
[0197] 较佳地，针对图像块确定的一个附近块，确定所述附近块的帧间运动矢量与全局 运动矢量的相差度值，包括：
[0198] 根据所述附近块对应的至少两个区域中的一个区域，确定所述附近块的全局运动 矢量；
[0199] 根据所述附近块的帧间运动矢量和所述附近块的全局运动矢量的差值，确定所述 附近块的帧间运动矢量和所述附近块的全局运动矢量的相差度值。
[0200] 具体实施中，可以根据所述附近块在当前视频帧中的匹配块位于当前视频帧中的 区域，确定所述附近块对应的至少两个区域中的一个区域；也可以根据所述附近块位于包 括所述附近块的参考帧中的区域，确定所述附近块对应的至少两个区域中的一个区域，具 体可以根据需要而定。
[0201] 实施中，所述附近块的帧间运动矢量和所述附近块的全局运动矢量的差值越大， 所述附近块的帧间运动矢量和所述附近块的全局运动矢量的相差度值越大，所述附近块的 帧间运动矢量与包括所述附近块的参考帧的背景运动矢量的相差度值越大。
[0202] 步骤M、根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域 包括的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考 帧中针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小 于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
[0203] 较佳地，在步骤Μ中，第一设定个数、第二设定个数、第一阈值和第二阈值可以根 据需要或经验设定，比如，在每个图像块包括8像素*8像素时，第一设定个数可以为10,第 二设定个数为10,第一阈值为16和第二阈值为16。
[0204] 具体实施中，当前视频帧中的小物体候选区域为当前视频帧中区别于背景的物体 区域。
[0205] 较佳地，在步骤104之前，还可以将小物体候选区域包括的每个图像块标志特定 记。
[0206] 较佳地，特定标记可以根据需要或经验设定，可以设定为字母、数字或符号，比如， 设定为1或0。
[0207] 较佳地，在将小物体候选区域包括的每个图像块标志特定标记之后，还包括：
[0208] 保存标志特定标记的图像块。
[0209] 较佳地，在步骤104中，对当前视频帧中的小物体候选区域进行滤波，将滤波后得 到的区域确定为当前视频帧中的小物体区域，包括：
[0210] 步骤C1、针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述 图像块水平方向上的第一设定范围内标志有特定标记的图像块的第一个数值、和在所述图 像块垂直方向上的第二设定范围内标志有特定标记的图像块的第二个数值；
[0211] 步骤C2、在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像 块的特定标记；以及
[0212] 步骤C3、确定在所述图像块周围的第三设定范围内标志有特定标记的图像块的第 三个数值；
[0213] 步骤C4、在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标 记；
[0214] 步骤C5、将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体 区域；
[0215] 其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
[0216] 较佳地，在步骤C1中，第一设定范围和第二设定范围可以根据需要或经验设定， 第一设定范围可以大于第二设定范围，第一设定范围可以小于第二设定范围，第一设定范 围也可以等于第二设定范围。
[0217] 具体实施中，在步骤C2中，第三阈值可以根据需要或经验设定。
[0218] 较佳地，第三阈值可以根据小物体区域的定义确定，比如，小物体区域占据当前视 频帧背景的比例值小于特定值，则可以根据所述特定值，确定第三阈值。
[0219] 比如，假设当前视频帧中小物体候选区域包括的每个图像块的特定标记为1，第三 阈值为6,如图4所示，针对标志有1的图像块Α，第一设定范围包括以图像块Α为中心的13 个单位块，第二设定范围包括以图像块A为中心的11个单位块，确定在图像块A水平方向 上的第一设定范围内标志有特定标记的块的第一个数值为10和在图像块A垂直方向上的 第二设定范围内标志有特定标记的图像块的第二个数值为8,由于第一个数值和第二个数 值均大于第三阈值，则去除图像块A的特定标记。
[0220] 实施中，通过执行步骤C1和步骤C2,将当前视频帧包括的小物体候选区域中的小 物体以外的物体对应的区域过滤掉。
[0221] 较佳地，在步骤C3中，第三设定范围可以根据需要或经验设定。
[0222] 较佳地，在步骤C4中，第四阈值可以根据需要或经验设定。
[0223] 比如，假设当前视频帧中小物体候选区域包括的每个图像块的特定标记为1，第四 阈值为2,如图5所示，针对标识有1的图像块A，第三设定范围包括图像块A周围一圈的8 个单位块，确定在图像块周围的第三设定范围内标志有特定标记的图像块的第三个数值为 0,由于第三个数值小于第四阈值，则去除图像块A的特定标记。
[0224] 实施中，通过执行步骤C3和步骤C4,将当前视频帧包括的小物体候选区域中的噪 点对应的区域过滤掉。
[0225] 具体实施中，可以先执行步骤C1，再执行步骤C3 ;可以先执行步骤C3,再执行步骤 C1 ;也可以同时执行步骤C1和步骤C3。
[0226] 下面将结合图3，并以视频帧fn的参考帧为fn_i、f n+1和fn+2为例，对本发明实施例 确定视频帧fn中的小物体区域的方法进行详细介绍。
[0227] 如图6所示，本发明实施例确定视频帧中小物体区域的详细方法，包括：
[0228] 步骤601、根据L中确定的小物体区域包括的待处理图像块，将和fn+2 中每帧视频帧包括的待处理图像块划分为第一类待处理图像块和第二类待处理图像块，确 定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，得到fM和f n的 帧间运动矢量，4和fn+1的帧间运动矢量，以及fn+1和f n+2的帧间运动矢量；
[0229] 步骤602、将4划分为四部分，并统计每部分的全局运动矢量，得到gVec[i]，其中 i={〇, 1,2,3}；
[0230] 步骤603、针对fn包括的一个图像块，根据所述图像块的巾贞间运动矢量mv。；^，确定 所述图像块在f n+1中的匹配块，并搜索所述匹配块对应的每个附近块；
[0231] 步骤604、针对fn+1中的匹配块对应的一个附近块，确定所述附近块的帧间运动矢 量 mvn?B，并确定mvn?B与mv〇LdF的和值，在mvn?B与 mv〇i<iF的和值小于阈值0bjLocal，变量 LdiffO 增 1 ;
[0232] 具体实施中，LdiffO的初始值可以设置为0。
[0233] 步骤605、针对fn+1中的匹配块对应的一个附近块，根据所述附近块在f n+1中的位 置，确定所述附近块对应的全局运动矢量为gVec[l]，并确定mvmwB与gVec[l]的差值，在 mvnewB与gVec[l]的差值大于阈值objGlobal，变量GdiffO增1 ;
[0234] 具体实施中，GdiffO的初始值可以设置为0。
[0235] 步骤606、在对fn+1中的匹配块对应的每个附近块遍历后，得到LdiffO和GdiffO ;
[0236] 步骤607、针对fn包括的一个图像块，根据所述图像块的巾贞间运动矢量mv。；^，确定 所述图像块在f n+1中的匹配块，并根据所述匹配块的帧间运动矢量mvnOTF，确定所述图像块 在f n+2中的匹配块，并搜索所述匹配块对应的每个附近块；
[0237] 步骤608、针对fn+2中的匹配块对应的一个附近块，确定所述附近块的帧间运动矢 量mvMfB，并确定mvrafB与mv-的和值，在mvrafB与游。 1(^的和值小于阈值objLocal，变量 Ldiffl增 1 ;
[0238] 具体实施中，Ldiffl的初始值可以设置为0。
[0239] 步骤609、针对fn+2中的匹配块对应的一个附近块，根据所述附近块在f n+2中的位 置，确定所述附近块对应的全局运动矢量为gVec[l]，并确定mvMfB与gVec[l]的差值，在 mvrefB与gVec[l]的差值大于阈值objGlobal，变量Gdiffl增1 ;
[0240] 具体实施中，Gdiffl的初始值可以设置为0。
[0241] 步骤610、在对fn+2中的匹配块对应的每个附近块遍历后，得到Ldiffl和Gdiffl ;
[0242] 步骤611、针对fn包括的一个图像块，根据所述图像块的帧间运动矢量m V()ldB，确定 所述图像块在fM中的匹配块，并搜索所述匹配块对应的每个附近块；
[0243] 步骤612、针对fn_i中的匹配块对应的一个附近块，确定所述附近块的帧间运动矢 量mv MfF，并确定mvrafF与mv。；^的差值，在mvrafF与mv。；^的差值小于阈值objLocal，变量 Ldiff2 增 1 ;
[0244] 具体实施中，Ldiff2的初始值可以设置为0。
[0245] 步骤613、针对fn_i中的匹配块对应的一个附近块，根据所述附近块在f n_i中的位 置，确定所述附近块对应的全局运动矢量为gVec[l]，并确定mvMfF与gVec[l]的差值，在 mvrefF与gVec[l]的差值大于阈值objGlobal，变量Gdiff2增1 ;
[0246] 具体实施中，Gdiff2的初始值可以设置为0。
[0247] 步骤614、在对中的匹配块对应的每个附近块遍历后，得到Ldiff2和Gdiff2 ;
[0248] 步骤 615、在 Gdiff0>A 且 GdiffDA 且 Gdiff2>A 且 Ldiff0>B 且 LdiffDB 且 Ldiff2>B时，确定fn中的小物体候选区域包括所述图像块，并将所述图像块缓存在 markFlagBufOij 中；
[0249] 具体实施中，A和B为阈值，markFlagBufOij可以为以矩阵形式存储所述图像块的 存储器。
[0250] 步骤616、通过遍历4包括的每个图像块，确定fn中的小物体候选区域，并将小物 体候选区域包括的每个图像块标志为1 ;
[0251] 步骤617、针对fn中每个标志为1的图像块，确定在所述图像块水平方向上的第一 设定范围内标志为1的图像块的第一个数值和在所述图像块垂直方向上的第二设定范围 内标志为1的图像块的第二个数值，在第一个数值或第二个数值大于阈值C时，将所述图像 块的标识改为0 ;
[0252] 步骤618、针对fn中每个标志为1的图像块，确定在所述图像块周围的第三设定范 围内标志为1的图像块的第三个数值，在第三个数值小于阈值D时，将所述图像块的标志改 为〇 ;
[0253] 步骤619、将fn中标志为1的图像块确定为fn中的小物体区域。
[0254] 如图7所示，本发明实施例在两相邻视频帧之间插补帧的方法，包括：
[0255] 步骤701、确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧 中的小物体区域；
[0256] 步骤702、对在前视频帧中的小物体区域和在后视频帧中的小物体区域以外的区 域对应的帧间运动矢量进行平滑滤波；
[0257] 步骤703、根据在前视频帧中的小物体区域和在后视频帧中的小物体区域对应的 帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧。
[0258] 较佳地，在步骤701中，可以采用本发明实施例图1中确定当前视频帧中的小物体 区域的方法，确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的 小物体区域。
[0259] 具体实施中，可以根据在确定所述在前视频帧中的小物体区域和在后视频帧中的 小物体区域时确定的前、后两相邻视频帧的帧间运动矢量，确定所述前、后两相邻视频帧的 帧间运动矢量。
[0260] 较佳地，在步骤702中，对在前视频帧中的小物体区域和在后视频帧中的小物体 区域以外的区域对应的帧间运动矢量进行平滑滤波的实施方式与现有技术中对两相邻视 频帧的帧间运动矢量进行平滑滤波的实施方式类似，只不过在本发明中不对两相邻视频中 的小物体区域对应的帧间运动矢量进行平滑滤波，而仅对两相邻视频中的小物体区域以外 的区域对应的帧间运动矢量进行平滑滤波。
[0261] 较佳地，在步骤703中，根据在前视频帧中的小物体区域和在后视频帧中的小物 体区域对应的帧间运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧 之间插补帧的实施方式与现有技术中根据两相邻视频帧的帧间运动矢量，在两相邻视频帧 之间插补帧的实施方式类似，在此不再赘述。
[0262] 实施中，确定前、后两相邻视频帧中每帧视频帧的小物体区域，不对前、后两相邻 视频帧中确定的小物体区域对应的帧间运动矢量进行平滑滤波，从而实现避免生成的插补 帧中小物体像素的缺失，提高了视频显示质量。
[0263] 如图8所示，本发明实施例在两相邻视频帧之间插补帧的方法，包括：
[0264] 步骤801、根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理 图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类 待处理图像块和第二类待处理图像块；
[0265] 步骤802、分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间 运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类 待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧 的帧间运动矢量；
[0266] 步骤803、根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相 邻视频帧之间插补帧；
[0267] 其中，N为正整数。
[0268] 较佳地，N可以根据需要或者经验设定。
[0269] 较佳地，在步骤801中，可以采用本发明实施例图1中确定当前视频帧中的小物体 区域的方法，确定前、后两相邻视频帧的前N帧视频帧中的小物体区域。
[0270] 较佳地，在步骤801中，根据前、后两相邻视频帧的前N帧视频帧中的小物体区域 包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像 块分为第一类待处理图像块和第二类待处理图像块，包括：
[0271] 针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行：
[0272] 在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；
[0273] 根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像 块在选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像 块；
[0274] 若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图 像块为第二类待处理图像块。
[0275] 较佳地，在所述前N帧视频帧中选择至少一帧视频帧，包括：
[0276] 选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
[0277] 较佳地，在步骤802中，分别确定每个第一类待处理图像块的帧间运动矢量，包 括：
[0278] 步骤D1、分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一 类待处理图像块所在的视频帧的背景运动矢量的相差度值；
[0279] 具体实施中，步骤D1的实施方式与本发明实施例的步骤A1的实施方式类似，在此 不再赘述。
[0280] 步骤D2、根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小 到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；
[0281] 具体实施中，步骤D2的实施方式与本发明实施例的步骤A2的实施方式类似，在此 不再赘述。
[0282] 步骤D3、根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图 像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运 动矢量。
[0283] 具体实施中，步骤D3的实施方式与本发明实施例的步骤A3的实施方式类似，在此 不再赘述。
[0284] 较佳地，在步骤D3中，确定所述第一类待处理图像块的帧间运动矢量，包括：
[0285] 针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢 量指向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选 运动矢量作为所述第一类待处理图像块的帧间运动矢量。
[0286] 需要说明的是，根据所述第一类待处理图像块的每个候选运动矢量对应的权值和 所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD值，确定所述第 一类待处理图像块的帧间运动矢量的实施方式有多种，比如，针对所述第一类待处理图像 块对应的每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指 向的图像块与所述第一类待处理图像块的像素的SAD值的和，将和值最小的候选运动矢量 作为所述第一类待处理图像块的帧间运动矢量，本发明实施例中列举的实施方式只是较佳 的实施方式。
[0287] 较佳地，在步骤803中，根据得到的所述前、后两相邻视频帧的帧间运动矢量，在 所述前、后两相邻视频帧之间插补帧的实施方式与现有技术中根据两相邻视频帧的帧间运 动矢量，在两相邻视频帧之间插补帧的实施方式类似，在此不再赘述。
[0288] 实施中，不对所述前、后两相邻视频帧的帧间运动矢量作平滑滤波，直接根据得到 的两相邻视频帧的帧间运动矢量，在两相邻视频帧之间插补帧，实现了避免生成的插补帧 中小物体像素的缺失，提高了高清视频或超高清视频的播放质量。
[0289] 需要说明的是，本发明的在两相邻视频帧之间插补帧的方法的实施方式有多种， 下面将以在4和f n+1之间插补帧为例，对本发明实施例在两相邻视频帧之间插补帧的三种 较佳的实施方式进行介绍。
[0290] 假设fn的参考帧为L和fn+1，fn+1的参考帧为f n和fn+2。
[0291] 实施方式一
[0292] 如图9所示，本发明实施例在两相邻视频帧之间插补帧的方法包括下列步骤：
[0293] 步骤901、对和fn+1进行运动估计，确定包括和fn+1的多帧视频帧中 任意两相邻帧的帧间运动矢量；
[0294] 步骤902、将4划分为四个区域，并确定每个区域对应的全局运动矢量；
[0295] 步骤903、根据包括和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量， 以及确定的每个区域对应的全局运动矢量，确定f n中的小物体候选区域；
[0296] 步骤904、对4中的小物体候选区域进行滤波，并将滤波后得到的区域确定为4中 的小物体区域；
[0297] 步骤905、对fn、fn+1和fn+2进行运动估计，确定包括f n、fn+1和fn+2的多帧视频帧中 任意两相邻帧的帧间运动矢量；
[0298] 具体实施中，由于在步骤901中已经对4和fn+1进行过运动估计，因而在步骤905 中，可以只对f n+1和fn+2进行运动估计，得到fn+1和fn+2的帧间运动矢量。
[0299] 步骤906、将fn+1划分为四个区域，并确定每个区域对应的全局运动矢量；
[0300] 步骤907、根据包括fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量， 以及确定的每个区域对应的全局运动矢量，确定fn+1中的小物体候选区域；
[0301] 步骤908、对fn+1中的小物体候选区域进行滤波，并将滤波后得到的区域确定为 fn+1中的小物体区域；
[0302] 步骤909、对fn中的小物体区域和fn+1中的小物体区域以外的区域对应的帧间运 动矢量进行平滑滤波；
[0303] 需要说明的是，在步骤901和步骤905中均同时确定4和fn+1之间的前向运动矢 量和后向运动矢量，步骤909中的4和f n+1的帧间运动矢量为步骤905中确定的4和fn+i 之间的前向运动矢量和后向运动矢量。
[0304] 需要说明的是，本发明实施例的步骤901?步骤909是对分时确定4和fn+1中的 小物体区域进行的介绍，而在具体应用中，也可以同时确定4和f n+1中的小物体区域，在同 时确定fn和fn+1中的小物体区域时，需要同时对I、f n、fn+1和fn+2进行运动估计，同时确 定4和fn+1中的小物体区域的步骤如下：
[0305] 步骤一、对1、fn、fn+1和fn+2进行运动估计，确定包括1、f n、fn+1和fn+2的多中贞 视频帧中任意两相邻帧的帧间运动矢量；
[0306] 步骤二、将4和fn+1各划分为四个区域，并确定每个区域对应的全局运动矢量；
[0307] 步骤三、根据包括4^4和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量，以 及确定的f n中的每个区域对应的全局运动矢量，确定fn中的小物体候选区域；根据包括fn、 4 +1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量，以及确定的4+1中的每个区域对 应的全局运动矢量，确定f n+1中的小物体候选区域；
[0308] 步骤四、对fn中的小物体候选区域进行滤波，将滤波后得到的区域确定为f n中的 小物体区域；以及对fn+1中的小物体候选区域进行滤波，将滤波后得到的区域确定为fn+1中 的小物体区域。
[0309] 步骤910、根据fn中的小物体区域和fn+1中的小物体区域对应的帧间运动矢量，以 及平滑滤波后得到的帧间运动矢量，在f n和fn+1之间插补帧。
[0310] 具体实施中，可以根据前、后两相邻视频帧之前的视频帧中确定的小物体区域，对 前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块进行分类，下面将在实施方 式二中进行介绍。
[0311] 实施方式二
[0312] 如图10所示，本发明实施例在两相邻视频帧之间插补帧的方法包括下列步骤：
[0313] 步骤1001、根据L中确定的小物体区域包括的待处理图像块，将包括I、fn和 fn+1的多帧视频帧中的每帧视频帧包括的待处理图像块分为第一类待处理图像块和第二类 待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动 矢量，得到包括?^、?· η和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量；步骤1002、将 fn划分为四个区域，并确定每个区域对应的全局运动矢量；
[0314] 步骤1003、根据包括和fn+1的多帧视频帧中任意两相邻帧的帧间运动矢量， 以及确定的每个区域对应的全局运动矢量，确定f n中的小物体候选区域；
[0315] 步骤1004、对fn中的小物体候选区域进行滤波，并将滤波后得到的区域确定为f n 中的小物体区域；
[0316] 步骤1005、根据L和fn中确定的小物体区域包括的待处理图像块，将包括f n、fn+1 和fn+2的多帧视频帧中的每帧视频帧包括的待处理图像块分为第一类待处理图像块和第二 类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运 动矢量，得到包括f n、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量；
[0317] 步骤1006、将fn+1划分为四个区域，并确定每个区域对应的全局运动矢量；
[0318] 步骤1007、根据包括fn、fn+1和fn+2的多帧视频帧中任意两相邻帧的帧间运动矢量， 以及确定的每个区域对应的全局运动矢量，确定f n+1中的小物体候选区域；
[0319] 步骤1008、对fn+1中的小物体候选区域进行滤波，并将滤波后得到的区域确定为 fn+1中的小物体区域；
[0320] 步骤1009、对fn中的小物体区域和fn+1中的小物体区域以外的区域对应的帧间运 动矢量进行平滑滤波；
[0321] 步骤1010、根据fn中的小物体区域和fn+1中的小物体区域对应的帧间运动矢量， 以及平滑滤波后得到的帧间运动矢量，在f n和fn+1之间插补帧。
[0322] 具体实施中，可以不对4和fn+1的帧间运动矢量进行平滑滤波，直接根据4和f n+1 的帧间运动矢量，在4和fn+1之间插补帧，下面将在实施方式三中进行介绍。
[0323] 实施方式三
[0324] 如图11所示，本发明实施例在两相邻视频帧之间插补帧的方法包括下列步骤：
[0325] 步骤1101、确定中的小物体区域；
[0326] 步骤1102、根据L中确定的小物体区域包括的待处理图像块，将4和fn+1分别 包括的待处理图像块分为第一类待处理图像块和第二类待处理图像块，分别确定每个第一 类待处理图像块和每个第二类待处理图像块的帧间运动矢量，得到f n和fn+1的帧间运动矢 量；
[0327] 步骤1103、根据fn和fn+1的帧间运动矢量，在f n和fn+1之间插补帧。
[0328] 基于同一发明构思，本发明实施例还提供一种确定视频帧中小物体区域的装置和 在两相邻视频帧之间插补帧的装置，由于与确定视频帧中小物体区域的方法和在两相邻视 频帧之间插补帧的方法具有相似的原理，因此实施中可以参考方法，重复之处不再赘述。
[0329] 图12为本发明实施例确定视频帧中小物体区域的装置的结构示意图，如图所示， 确定视频帧中小物体区域的装置包括：
[0330] 全局运动矢量确定单元1201，用于将当前视频帧划分为至少两个区域，确定每个 区域对应的全局运动矢量，并将确定的所述全局运动矢量传输至区域确定单元1203 ;
[0331] 帧间运动矢量确定单元1202,用于确定包括所述当前视频帧和所述当前视频帧的 参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，并将确定的所述帧间运动矢量传 输至区域确定单元1203 ;
[0332] 区域确定单元1203,用于根据来自所述帧间运动矢量确定单元1202的包括所述 当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量， 以及来自所述全局运动矢量确定单元1201的每个区域对应的全局运动矢量，确定所述当 前视频帧中的小物体候选区域，并将确定的所述当前视频帧中的小物体候选区域信息传输 至处理单元1204 ;
[0333] 处理单元1204,用于根据来自所述区域确定单元1203的所述当前视频帧中的小 物体候选区域信息，确定所述当前视频帧中的小物体候选区域，对所述当前视频帧中的小 物体候选区域进行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域；
[0334] 其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连 续视频帧中的一种或多种。
[0335] 较佳地，所述装置还包括划分单元1205,用于在确定包括当前视频帧和当前视频 帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，针对包括当前视频帧和 当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像 块，分别执行：
[0336] 在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前 N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧 中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块 为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
[0337] 所述帧间运动矢量确定单元1202,具体用于分别确定每个第一类待处理图像块和 每个第二类待处理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频 帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为 所述任意一组相邻帧的帧间运动矢量。
[0338] 较佳地，所述帧间运动矢量确定单元1202,具体用于分别确定所述第一类待处理 图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢 量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到 大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；以及根据 为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待 处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
[0339] 较佳地，所述划分单元1205,具体用于选择当前视频帧的至少一帧前连续视频帧。
[0340] 较佳地，所述巾贞间运动矢量确定单元1202,具体用于针对每个候选运动矢量，确定 所述候选运动矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理 图像块的像素的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像 块的帧间运动矢量。
[0341] 较佳地，所述区域确定单元1203,具体用于根据包括所述当前视频帧和所述当前 视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每 个参考帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定 匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述 当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与 所述图像块的帧间运动矢量的相似度值，确定每个附近块的帧间运动矢量与全局运动矢量 的相差度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括 的图像块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中 包含的针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不 小于第一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
[0342] 较佳地，所述装置还包括标志单元1206,用于在对当前视频帧中的小物体候选区 域进行滤波之前，将小物体候选区域包括的每个图像块标志特定标记；
[0343] 所述处理单元1204,具体用于针对所述当前视频帧中小物体候选区域包括的每 个图像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块 的第一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像 块的第二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像 块的特定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像 块的第三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记； 将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设 定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
[0344] 图13为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所 示，在两相邻视频帧之间插补帧的装置包括：
[0345] 确定单元1301，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和 在后视频帧中的小物体区域，并将确定的所述在前视频帧中的小物体区域和在后视频帧中 的小物体区域的信息传输至滤波单元1302 ;
[0346] 滤波单元1302,用于根据来自所述确定单元1301的所述在前视频帧中的小物体 区域和在后视频帧中的小物体区域的信息，确定所述在前视频帧中的小物体区域和在后视 频帧中的小物体区域，对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区 域以外的区域对应的帧间运动矢量进行平滑滤波，并将平滑滤波后得到的帧间运动矢量传 输至插补单元1303 ;
[0347] 插补单元1303,用于根据来自所述滤波单元1302的所述平滑滤波后得到的帧间 运动矢量，以及所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的 帧间运动矢量，在所述前、后两相邻视频帧之间插补帧。
[0348] 图14为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所 示，在两相邻视频帧之间插补帧的装置包括：
[0349] 划分单元1401，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包 括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块 分为第一类待处理图像块和第二类待处理图像块，并将所述第一类待处理图像块和第二类 待处理图像块对应的划分信息传输至处理单元1402 ;
[0350] 处理单元1402,用于根据来自所述划分单元1401的所述划分信息，确定所述前、 后两相邻视频帧中的每帧视频帧分别包括的待处理图像块中的第一类待处理图像块和第 二类待处理图像块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间 运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类 待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧 的帧间运动矢量，并将所述前、后两相邻视频帧的帧间运动矢量传输至插补单元1403 ;
[0351] 插补单元1403,用于根据来自所述处理单元1402的所述前、后两相邻视频帧的帧 间运动矢量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
[0352] 较佳地，所述划分单元1401，具体用于针对所述前、后两相邻视频帧中的每帧视频 帧分别包括的待处理图像块，执行：
[0353] 在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、 后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一 帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处 理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
[0354] 较佳地，所述处理单元1402,具体用于分别确定所述第一类待处理图像块对应的 每个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值； 根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权 值由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量 分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的 SAD值，确定所述第一类待处理图像块的帧间运动矢量。
[0355] 较佳地，所述划分单元1401，具体用于选择所述前、后两相邻视频帧的至少一帧前 连续视频中贞。
[0356] 较佳地，所述处理单元1402,具体用于针对每个候选运动矢量，确定所述候选运动 矢量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素 的SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动 矢量。
[0357] 图15为本发明实施例确定视频帧中小物体区域的装置的结构示意图，如图所示， 确定视频帧中小物体区域的装置包括：
[0358] 处理器1501，用于将当前视频帧划分为至少两个区域，确定每个区域对应的全局 运动矢量；确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组 相邻帧的帧间运动矢量；根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频 帧中任意一组相邻帧的帧间运动矢量，以及每个区域对应的全局运动矢量，确定所述当前 视频帧中的小物体候选区域；并
[0359] 根据对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确 定为当前视频帧中的小物体区域；
[0360] 存储器1502,用于存储每个区域对应的全局运动矢量、所述任意一组相邻帧的帧 间运动矢量、当前视频帧中的小物体候选区域信息和当前视频帧中的小物体区域信息；
[0361] 其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连 续视频帧中的一种或多种。
[0362] 具体实施中，处理器1501可以直接到存储器1502中调取需要的矢量或者信息，也 可以向存储器1502发送获取矢量或者信息指令，由存储器1502将处理器1501发送的指令 中请求的矢量或者信息发送给处理器1501。
[0363] 较佳地，所述处理器1501，还用于在确定包括当前视频帧和当前视频帧的参考帧 的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，针对包括当前视频帧和当前视频帧 的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包括的待处理图像块，分别执 行：
[0364] 在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前 N帧视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧 中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块 为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块；
[0365] 所述处理器1501，具体用于分别确定每个第一类待处理图像块和每个第二类待处 理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每 个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相 邻帧的帧间运动矢量。
[0366] 较佳地，所述处理器1501，具体用于分别确定所述第一类待处理图像块对应的每 个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根 据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值 由大到小的规则，为每个候选运动矢量分别赋予对应的权值；以及根据为每个候选运动矢 量分别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素 的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
[0367] 较佳地，所述处理器1501，具体用于选择当前视频帧的至少一帧前连续视频帧。
[0368] 较佳地，所述处理器1501，具体用于针对每个候选运动矢量，确定所述候选运动矢 量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的 SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢 量。
[0369] 较佳地，所述处理器1501，具体用于根据包括所述当前视频帧和所述当前视频帧 的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，在所述当前视频帧的每个参考 帧中确定所述当前视频帧包括的每个图像块对应的匹配块；并在每个参考帧中确定匹配块 附近的附近块，并确定每个参考帧中确定的每个附近块的帧间运动矢量；针对所述当前视 频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧间运动矢量与所述图 像块的帧间运动矢量的相似度值，确定每个附近块的帧间运动矢量与全局运动矢量的相差 度值；根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像 块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的 针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第 一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
[0370] 较佳地，所述处理器1501，还用于在对当前视频帧中的小物体候选区域进行滤波 之前，将小物体候选区域包括的每个图像块标志特定标记；
[0371] 所述处理器1501，具体用于针对所述当前视频帧中小物体候选区域包括的每个图 像块，确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第 一个数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的 第二个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的 特定标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的 第三个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将 当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设定 范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
[0372] 图16为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所 示，在两相邻视频帧之间插补帧的装置包括：
[0373] 处理器1601，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在 后视频帧中的小物体区域；对所述在前视频帧中的小物体区域和所述在后视频帧中的小物 体区域以外的区域对应的帧间运动矢量进行平滑滤波；根据所述平滑滤波后得到的帧间运 动矢量，以及所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧 间运动矢量，在所述前、后两相邻视频帧之间插补帧；
[0374] 存储器1602,用于存储在前视频帧中的小物体区域信息，在后视频帧中的小物体 区域信息，以及前、后两相邻视频帧的帧间运动矢量。
[0375] 具体实施中，处理器1601可以直接到存储器1602中调取需要的矢量或者信息，也 可以向存储器1602发送获取矢量或者信息指令，由存储器1602将处理器1601发送的指令 中请求的矢量或者信息发送给处理器1601。
[0376] 图17为本发明实施例在两相邻视频帧之间插补帧的装置的结构示意图，如图所 示，在两相邻视频帧之间插补帧的装置包括：
[0377] 处理器1701，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括 的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分 为第一类待处理图像块和第二类待处理图像块；分别确定每个第一类待处理图像块和每个 第二类待处理图像块的帧间运动矢量，以及将确定的所述前、后两相邻视频帧中的每帧视 频帧分别包括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作 为所述前、后两相邻视频帧的帧间运动矢量；根据所述前、后两相邻视频帧的帧间运动矢 量，在所述前、后两相邻视频帧之间插补帧，其中，N为正整数；
[0378] 存储器1702,用于存储前、后两相邻视频帧的前N帧视频帧中的小物体区域信息， 前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块的分类信息，以及前、后两相 邻视频帧的帧间运动矢量。
[0379] 具体实施中，处理器1701可以直接到存储器1702中调取需要的矢量或者信息，也 可以向存储器1702发送获取矢量或者信息指令，由存储器1702将处理器1701发送的指令 中请求的矢量或者信息发送给处理器1701。
[0380] 较佳地，所述处理器1701，具体用于针对所述前、后两相邻视频帧中的每帧视频帧 分别包括的待处理图像块，执行：
[0381] 在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、 后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一 帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处 理图像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
[0382] 较佳地，所述处理器1701，具体用于分别确定所述第一类待处理图像块对应的每 个候选运动矢量与所述第一类待处理图像块所在的视频帧的背景运动矢量的相差度值；根 据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋予权值 由大到小的规则，为每个候选运动矢量分别赋予对应的权值；根据为每个候选运动矢量分 别赋予的权值和每个候选运动矢量指向的图像块与所述第一类待处理图像块的像素的SAD 值，确定所述第一类待处理图像块的帧间运动矢量。
[0383] 较佳地，所述处理器1701，具体用于选择所述前、后两相邻视频帧的至少一帧前连 续视频帧。
[0384] 较佳地，所述处理器1701，具体用于针对每个候选运动矢量，确定所述候选运动矢 量被赋予的权值和所述候选运动矢量指向的图像块与所述第一类待处理图像块的像素的 SAD值的乘积，将乘积值最小的候选运动矢量作为所述第一类待处理图像块的帧间运动矢 量。
[0385] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序 产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实 施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机 可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产 品的形式。
[0386] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程 图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一 流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算 机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理 器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生 用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的装置。
[0387] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特 定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能。
[0388] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计 算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图 一个方框或多个方框中指定的功能的步骤。
[0389] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造 性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优 选实施例以及落入本发明范围的所有变更和修改。
[0390] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1. 一种确定视频帧中小物体区域的方法，其特征在于，该方法包括： 将当前视频帧划分为至少两个区域，并确定每个区域对应的全局运动矢量； 确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻 帧的帧间运动矢量； 根据所确定的包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意 一组相邻帧的帧间运动矢量，以及确定的所述每个区域对应的全局运动矢量，确定所述当 前视频帧中的小物体候选区域； 对所述当前视频帧中的小物体候选区域进行滤波，并将滤波后得到的区域确定为当前 视频帧中的小物体区域； 其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视 频帧中的一种或多种。
2. 如权利要求1所述的方法，其特征在于，所述确定包括所述当前视频帧和所述当前 视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，还包括： 针对包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻 帧中的每帧视频帧包括的待处理图像块，分别执行： 在当前视频帧的前N帧视频帧中选择至少一帧视频帧，其中N为正整数； 根据所述当前视频帧的前N帧视频帧中确定的小物体区域，确定所述待处理图像块在 所选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块； 若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块 为第二类待处理图像块； 所述确定包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组 相邻帧的帧间运动矢量，包括： 分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量； 将确定的所述任意一组相邻帧中的每帧视频帧分别包括的每个第一类待处理图像块 和每个第二类待处理图像块的帧间运动矢量，作为所述任意一组相邻帧的帧间运动矢量。
3. 如权利要求2所述的方法，其特征在于，确定所述每个第一类待处理图像块的帧间 运动矢量，包括： 分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图 像块所在的视频帧的背景运动矢量的相差度值； 根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋 予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值； 根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述 第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
4. 如权利要求2或3所述的方法，其特征在于，在当前视频帧的前N帧视频帧中选择至 少一帧视频帧，包括： 选择当前视频巾贞的至少一巾贞前连续视频中贞。
5. 如权利要求3所述的方法，其特征在于，确定所述第一类待处理图像块的帧间运动 矢量，包括： 针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指 向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动 矢量作为所述第一类待处理图像块的帧间运动矢量。
6. 如权利要求1所述的方法，其特征在于，所述根据所确定的包括所述当前视频帧和 所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及确定的所 述每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候选区域，包括： 根据包括所述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻 帧的帧间运动矢量，在所述当前视频帧的每个参考帧中确定所述当前视频帧包括的每个图 像块对应的匹配块；并 在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块的 帧间运动矢量； 针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各个附近块的帧 间运动矢量与所述图像块的帧间运动矢量的相似度值，并确定每个附近块的帧间运动矢量 与全局运动矢量的相差度值； 根据确定的相似度值和相差度值，确定当前视频帧中的小物体候选区域包括的图像 块，其中，小物体候选区域包括的每个图像块满足当前视频帧对应的每个参考帧中包含的 针对所述图像块确定的多个附近块中存在第一设定个数的附近块的相似度值均不小于第 一阈值、且存在第二设定个数的附近块的相差度值均不小于第二阈值。
7. 如权利要求1所述的方法，其特征在于，对当前视频帧中的小物体候选区域进行滤 波之前，还包括： 将小物体候选区域包括的每个图像块标志特定标记； 对当前视频帧中的小物体候选区域进行滤波，将滤波后得到的区域确定为当前视频帧 中的小物体区域，包括： 针对所述当前视频帧中小物体候选区域包括的每个图像块，确定在所述图像块水平方 向上的第一设定范围内标志有所述特定标记的图像块的第一个数值、和在所述图像块垂直 方向上的第二设定范围内标志有所述特定标记的图像块的第二个数值； 在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定标 记；以及 确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三个数 值； 在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记； 将当前视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域； 其中第三设定范围小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
8. -种基于权利要求1?7任一确定视频帧中小物体区域的方法的在两相邻视频帧之 间插补帧的方法，其特征在于，该方法包括： 确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频帧中的小物体区 域； 对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域以外的区域对 应的帧间运动矢量进行平滑滤波； 根据所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间 运动矢量，以及平滑滤波后得到的帧间运动矢量，在前、后两相邻视频帧之间插补帧。
9. 一种基于权利要求1?7任一确定视频帧中小物体区域的方法的在两相邻视频帧之 间插补帧的方法，其特征在于，该方法包括： 根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处理图像块，将所 述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一类待处理图像块 和第二类待处理图像块； 分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以 及将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块 和每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢 量； 根据得到的所述前、后两相邻视频帧的帧间运动矢量，在所述前、后两相邻视频帧之间 插补帧，其中，N为正整数。
10. 如权利要求9所述的方法，其特征在于，根据前、后两相邻视频帧的前N帧视频帧中 的小物体区域包括的待处理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括 的待处理图像块分为第一类待处理图像块和第二类待处理图像块，包括： 针对所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行： 在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧； 根据所述前、后两相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在 选择的所述至少一帧视频帧中对应的参考图像块是否均为小物体区域包括的图像块； 若是，则确定所述待处理图像块为第一类待处理图像块，否则，确定所述待处理图像块 为第二类待处理图像块。
11. 如权利要求10所述的方法，其特征在于，分别确定每个第一类待处理图像块的帧 间运动矢量，包括： 分别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图 像块所在的视频帧的背景运动矢量的相差度值； 根据确定的各个候选运动矢量分别对应的相差度值，按照相差度值由小到大的顺序赋 予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权值； 根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述 第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
12. 如权利要求10或11所述的方法，其特征在于，在所述前N帧视频帧中选择至少一 中贞视频巾贞，包括： 选择所述前、后两相邻视频帧的至少一帧前连续视频帧。
13. 如权利要求11所述的方法，其特征在于，确定所述第一类待处理图像块的帧间运 动矢量，包括： 针对每个候选运动矢量，确定所述候选运动矢量被赋予的权值和所述候选运动矢量指 向的图像块与所述第一类待处理图像块的像素的SAD值的乘积，将乘积值最小的候选运动 矢量作为所述第一类待处理图像块的帧间运动矢量。
14. 一种确定视频帧中小物体区域的装置，其特征在于，包括： 全局运动矢量确定单元，用于将当前视频帧划分为至少两个区域，确定每个区域对应 的全局运动矢量，并将确定的所述全局运动矢量传输至区域确定单元； 帧间运动矢量确定单元，用于确定包括所述当前视频帧和所述当前视频帧的参考帧的 多帧视频帧中任意一组相邻帧的帧间运动矢量，并将确定的所述帧间运动矢量传输至区域 确定单元； 区域确定单元，用于根据来自所述帧间运动矢量确定单元的包括所述当前视频帧和所 述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量，以及来自所述全 局运动矢量确定单元的每个区域对应的全局运动矢量，确定所述当前视频帧中的小物体候 选区域，并将确定的所述当前视频帧中的小物体候选区域信息传输至处理单元； 处理单元，用于根据来自所述区域确定单元的所述当前视频帧中的小物体候选区域信 息，确定所述当前视频帧中的小物体候选区域，对所述当前视频帧中的小物体候选区域进 行滤波，并将滤波后得到的区域确定为当前视频帧中的小物体区域； 其中，当前视频帧的参考帧包括当前视频帧的前连续视频帧和当前视频帧的后连续视 频帧中的一种或多种。
15. 如权利要求14所述的装置，其特征在于，还包括划分单元，用于在确定包括当前视 频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢量之前，针对包 括当前视频帧和当前视频帧的参考帧的多帧视频帧中任意一组相邻帧中的每帧视频帧包 括的待处理图像块，分别执行： 在当前视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述当前视频帧的前N帧 视频帧中确定的小物体区域，确定所述待处理图像块在所选择的所述至少一帧视频帧中对 应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图像块为第 一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块； 所述帧间运动矢量确定单元，具体用于分别确定每个第一类待处理图像块和每个第二 类待处理图像块的帧间运动矢量；并将确定的所述任意一组相邻帧中的每帧视频帧分别包 括的每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，作为所述任意 一组相邻帧的帧间运动矢量。
16. 如权利要求15所述的装置，其特征在于，所述帧间运动矢量确定单元，具体用于分 别确定所述第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所 在的视频帧的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度 值，按照相差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋 予对应的权值；以及根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的 图像块与所述第一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间 运动矢量。
17. 如权利要求14所述的装置，其特征在于，所述区域确定单元，具体用于根据包括所 述当前视频帧和所述当前视频帧的参考帧的多帧视频帧中任意一组相邻帧的帧间运动矢 量，在所述当前视频巾贞的每个参考巾贞中确定所述当前视频巾贞包括的每个图像块对应的匹配 块；并在每个参考帧中确定匹配块附近的附近块，并确定每个参考帧中确定的每个附近块 的帧间运动矢量；针对所述当前视频帧包含的每一图像块，确定针对所述图像块确定的各 个附近块的帧间运动矢量与所述图像块的帧间运动矢量的相似度值，确定每个附近块的帧 间运动矢量与全局运动矢量的相差度值；根据确定的相似度值和相差度值，确定当前视频 帧中的小物体候选区域包括的图像块，其中，小物体候选区域包括的每个图像块满足当前 视频帧对应的每个参考帧中包含的针对所述图像块确定的多个附近块中存在第一设定个 数的附近块的相似度值均不小于第一阈值、且存在第二设定个数的附近块的相差度值均不 小于第二阈值。
18. 如权利要求14所述的装置，其特征在于，还包括标志单元，用于在对当前视频帧中 的小物体候选区域进行滤波之前，将小物体候选区域包括的每个图像块标志特定标记； 所述处理单元，具体用于针对所述当前视频帧中小物体候选区域包括的每个图像块， 确定在所述图像块水平方向上的第一设定范围内标志有所述特定标记的图像块的第一个 数值、和在所述图像块垂直方向上的第二设定范围内标志有所述特定标记的图像块的第二 个数值；在确定的所述第一个数值或第二个数值大于第三阈值时，去除所述图像块的特定 标记；以及确定在所述图像块周围的第三设定范围内标志有所述特定标记的图像块的第三 个数值；在确定的所述第三个数值小于第四阈值时，去除所述图像块的特定标记；将当前 视频帧中标志有特定标记的图像块确定为当前视频帧中的小物体区域，其中第三设定范围 小于第一设定范围和第二设定范围，第四阈值小于第三阈值。
19. 一种在两相邻视频帧之间插补帧的装置，其特征在于，包括： 确定单元，用于确定前、后两相邻视频帧中的在前视频帧中的小物体区域和在后视频 帧中的小物体区域，并将确定的所述在前视频帧中的小物体区域和在后视频帧中的小物体 区域的信息传输至滤波单元； 滤波单元，用于根据来自所述确定单元的所述在前视频帧中的小物体区域和在后视频 帧中的小物体区域的信息，确定所述确定单元的所述在前视频帧中的小物体区域和在后视 频帧中的小物体区域，对所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区 域以外的区域对应的帧间运动矢量进行平滑滤波，并将平滑滤波后得到的帧间运动矢量传 输至插补单元； 插补单元，用于根据来自所述滤波单元的所述平滑滤波后得到的帧间运动矢量，以及 所述在前视频帧中的小物体区域和所述在后视频帧中的小物体区域对应的帧间运动矢量， 在所述前、后两相邻视频帧之间插补帧。
20. -种在两相邻视频帧之间插补帧的装置，其特征在于，包括： 划分单元，用于根据前、后两相邻视频帧的前N帧视频帧中的小物体区域包括的待处 理图像块，将所述前、后两相邻视频帧中的每帧视频帧分别包括的待处理图像块分为第一 类待处理图像块和第二类待处理图像块，并将所述第一类待处理图像块和第二类待处理图 像块对应的划分信息传输至处理单元； 处理单元，用于根据来自所述划分单元的所述划分信息，确定所述前、后两相邻视频帧 中的每帧视频帧分别包括的待处理图像块中的第一类待处理图像块和第二类待处理图像 块，分别确定每个第一类待处理图像块和每个第二类待处理图像块的帧间运动矢量，以及 将确定的所述前、后两相邻视频帧中的每帧视频帧分别包括的每个第一类待处理图像块和 每个第二类待处理图像块的帧间运动矢量，作为所述前、后两相邻视频帧的帧间运动矢量， 并将所述前、后两相邻视频帧的帧间运动矢量传输至插补单元； 插补单元，用于根据来自所述处理单元的所述前、后两相邻视频帧的帧间运动矢量，在 所述前、后两相邻视频帧之间插补帧，其中，N为正整数。
21. 如权利要求20所述的装置，其特征在于，所述划分单元，具体用于针对所述前、后 两相邻视频帧中的每帧视频帧分别包括的待处理图像块，执行： 在所述前、后两相邻视频帧的前N帧视频帧中选择至少一帧视频帧；根据所述前、后两 相邻视频帧的前N帧视频帧中的小物体区域，确定待处理图像块在选择的所述至少一帧视 频帧中对应的参考图像块是否均为小物体区域包括的图像块；若是，则确定所述待处理图 像块为第一类待处理图像块，否则，确定所述待处理图像块为第二类待处理图像块。
22. 如权利要求21所述的装置，其特征在于，所述处理单元，具体用于分别确定所述 第一类待处理图像块对应的每个候选运动矢量与所述第一类待处理图像块所在的视频帧 的背景运动矢量的相差度值；根据确定的各个候选运动矢量分别对应的相差度值，按照相 差度值由小到大的顺序赋予权值由大到小的规则，为每个候选运动矢量分别赋予对应的权 值；根据为每个候选运动矢量分别赋予的权值和每个候选运动矢量指向的图像块与所述第 一类待处理图像块的像素的SAD值，确定所述第一类待处理图像块的帧间运动矢量。
【文档编号】H04N19/527GK104219532SQ201310222076
【公开日】2014年12月17日 申请日期:2013年6月5日 优先权日:2013年6月5日
【发明者】张雷, 姚志刚, 谢清鹏 申请人:华为技术有限公司