运动估计的方法和使用该方法的图像处理装置的制造方法
【技术领域】
[0001] 以下说明书涉及一种运动估计的方法和使用该方法的图像处理装置。
【背景技术】
[0002] 运动估计技术是获得通过使用视频的两个连续帧找到对象或运动矢量的技术。运 动估计技术是重要的技术哪个被使用于各种图像处理领域中的一个：诸如视频压缩，三维 (3D)-噪声还原，去交织，帧速率转换（FRC)和类似物。
[0003] 从全文搜索技术到快速搜索技术的各种运动估计技术已经被开发。视频压缩用于 减少连续帧之间的冗余，并且因此视频压缩的主要目的是找到运动压缩误差被最小化的运 动矢量而不是找到实际的对象的准确的运动信息。FRC的主要目的是找到实际的对象或背 景的准确的运动信息。
[0004] 视频中的移动对象的运动可以被分类为对象随着加速度执行加速或减速运动的 情况，或者对象以恒定速度执行运动的情况。然而，即使在对象执行加速运动的情况下，当 除了运动的开始和结束之外的运动通过相当短的时间间隔被划分时，该运动可以被分类为 与以恒定速度进行的运动几乎接近的运动，并且按照这种方式分类的部分可占据运动的一 大部分。
[0005] 在其中在图像中显示的对象在从帧0到帧7的总共8个帧期间以恒定速度执行运 动的示例中，在帧〇和1、帧1和2、帧3和3、帧3和4、帧4和5、帧5和6以及帧6和7中 总共执行7次帧单元的运动估计。当在执行帧单元的运动估计的同时使用前一帧的运动估 计的结果和对应帧之前的局部运动估计的结果时，可以提高运动估计的可靠性。具体地说， 在对象以恒定速度匀速执行运动时而不加速或减少的情况下，经过多个帧获得的运动矢量 可与实际对象的运动矢量相同或者二者之间仅具有小的差，并且因此可以在实际对象的运 动矢量上获得估计的运动矢量收敛的结果。
【发明内容】
[0006] 然而，在现有技术中，即使当对象以恒定速度执行运动或者执行加速或减速运动 时，也在保持搜索范围的区域均匀的同时执行局部运动估计。因此，当由于插入在任何两个 帧之间的图像特性（诸如噪声、亮度改变等）以及由于运动估计算法的特性而出现误差时， 可以估计搜索范围内的相应块或对象移动到了该相应块或对象实际上不移动的位置，由此 当执行运动估计时可能出现误差。为了避免这种误差，当当搜索范围的面积总是设置为很 小并且执行运动估计时，不能在加速或减速运动间隔跟随实际运动，使得运动估计的结果 完全是错误的或者收敛到实际运动上所需的时间增加。结果，存在在多个帧期间的运动估 计的结果中可能出现误差直到收敛到实际运动上为止的缺点。
[0007] 在一个总的方面，提供了一种运动估计的方法，所述方法包括如下步骤：
[0008] 获得多个帧中的帧之间的块的至少两个运动矢量；确定所述块的所述至少两个运 动矢量是否收敛；计算所述至少两个运动矢量被确定为收敛的块的相邻块的运动矢量的分 散度；以及基于计算出的所述相邻块的所述运动矢量的分散度来设置所述块的搜索范围的 大小。
[0009] 在另一个总的方面，提供了一种图像处理装置，所述图像处理装置包括：
[0010] 运动矢量计算单元，所述运动矢量计算单元获得多个帧中的帧之间的块的至少两 个运动矢量；收敛确定单元，所述收敛确定单元确定所述块的所述至少两个运动矢量是否 收敛；分散度计算单元，所述分散度计算单元计算所述至少两个运动矢量被确定为收敛的 块的相邻块的运动矢量的分散度；以及搜索范围大小设置单元，所述搜索范围大小设置单 元基于计算出的所述相邻块的所述运动矢量的分散度来设置所述块的搜索范围的大小。
【附图说明】
[0011] 图1是例示运动估计的方法的示例的流程图。
[0012] 图2示意性地例示块的速度和每个帧中的块的位置的示例。
[0013] 图3示意性地例示块的速度和每个帧中的块的位置的另一个示例。
[0014] 图4例示移动块b的相邻多个块（块0到块7)的运动矢量的示例。
[0015] 图5A到图5F例示将要被运动估计的块b和相邻块的示例。
[0016] 图6例示在对象从帧0前进到帧7的同时设置搜索范围的区域的示例。
[0017] 图7是例示图像处理装置的示例的示意性框图。
[0018] 在整个附图和详细描述中，除非另有说明，否则相同的附图标记将被理解为指代 相同的元素、特征和结构。出于清楚、例示和方便的目的，这些元件的相对大小和描述可能 被夸大。
【具体实施方式】
[0019] 提供下面的详细描述以帮助读者得到这里描述的方法、装置和/或系统的全面理 解。因此，这里所述的各种变化、修改和系统、装置和/或方法的等同物将被建议给本领域 技术人员。另外，出于增加清楚和简明的目的，可以省略公知的功能和结构的描述。
[0020] 这里使用的所有术语（包括技术和科学术语）对于本发明所属的本领域技术人员 而言具有通常理解的相同含义。还将理解的是，诸如在常用词典中定义的术语应当被解释 为具有与它们在相关领域的上下文中的含义相一致的含义而不应以理想化或过于正式的 意义被解释，除非这里明确这样定义。
[0021] 这里所使用的术语是出于仅描述特定实施方案的目的，而不是旨在限制本发明的 概念。如这里所使用的，单数形式"一"、"一个"和"该"旨在也包括复数形式，除非上下文清 楚地另有指示。还将理解的是，术语"包括"和/或"包含"当本说明书中使用时，指定陈述 的特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其它特征、整体、 步骤、操作、元件、部件和/或它们的组合的存在或添加。
[0022] 还应该注意的是，在一些另选实现中，在块中所提到的功能/动作可以不按照流 程图中提到的次序出现。例如，连续示出的两个块实际上可以基本上同时执行，或者根据所 包括的功能/动作，所述块有时可以以相反的次序执行。
[0023] 除非另有定义，否则这里使用的所有术语（包括技术和科学术语）对于本发明所 属的本领域技术人员而言具有通常理解的相同含义。还将理解的是，诸如在常用词典中定 义的术语应当被解释为具有与它们在相关领域的上下文中的含义相一致的含义而不应以 理想化或过于正式的意义被解释，除非这里明确这样定义。
[0024] 图1是例示运动估计的方法的示例的流程图。
[0025] 参照图1，在操作S100 (步骤100)中，在多个帧中的帧之间的块的至少两个运动矢 量被获得。在时间轴中，从第一帧中的第一块和第二帧中的、与第一块对应的第二块获得运 动矢量。两个帧（第一帧和第二帧）应当是连续的。进一步地，所述两个帧应包括一个帧 和针对该一个帧的第k个先前帧，其中k是两个或更多个。
[0026] 搜索范围的大小可以通过获得至少两个运动矢量（S100)和搜索范围的设置大小 来确定。所确定的搜索范围的大小仅针对帧中的一个块。
[0027] 由于确定了针对一个块的搜索范围的大小，将开始获得针对另一个块的至少两个 运动矢量（S100)。并且，图1中的所述程序将在确定当前帧中的针对所有块的搜索范围的 大小之后结束（S500)。并且图1中的程序可以在当前帧的下一个帧中执行。
[0028] 根据多个帧中的块的运动矢量被定义和被计算的实施方式，在时间上分离的两个 帧中位于相同的位置的共同定位的块的运动矢量被计算。根据另一个实施方式，多个帧中 的块的运动矢量被定义为与投射的运动矢量对应的块的运动矢量，其按照在任何一个帧中 的预定块的运动矢量根据运动矢量的幅度和方向被投射到另一个帧的方式来获得。以该方 式计算的块的运动矢量被存储在存储器中。
[0029] 根据实施方式，获得当前帧的至少两个帧之前的帧中的块的运动矢量。作为示例， 当当前帧是1,时，当前帧之前的两个相邻帧Ih和Im中的块的运动矢量被获得。作为另 一个示例，当前帧之前的任何两个相邻帧Ity和I^中的块的运动矢量被获得。
[0030] 接下来，在操作S200中