经分离成静态和运动对象的移动估算的帧插入装置和方法

专利名称：经分离成静态和运动对象的移动估算的帧插入装置和方法
经分离成静态和运动对象的移动估算的帧插入装置和方法 技术领域本申请要求于2007年2月2曰在韩国知识产权局申请的韩国专利申请 No.10-2007-0011259的权益，其公开作为参考资料整体结合在此处。
背景技术：
本发明通常涉及电子显示控制，并且尤其是，涉及转换帧的帧速率转换 装置和方法。通常，在个人计算机(PC)或者高清晰度电视(HDTV)中，为了在具有诸如 PAL或者NTSC的各种各样的广播信号标准的节目之间兼容，可以执行帧速 率转换。帧速率转换可以指的是每秒输出的帧数目的转换。尤其是，当帧速 率被提高的时候，可能需要插入新的帧。该插入的帧可以称为插入帧。为了 产生该插入帧，可以使用运动估算(ME)。 ME可以包括搜索在先前帧和当前 帧之间最相似的块。运动矢量(MV)可以表示在ME时块运动的幅度。常规的ME方法可用于降低视频数据的时间冗余度，并且可用于产生该 MV。在用于产生该MV的各种各样的ME方法之中，可以使用块匹配算法 (BMA)。 BMA可以搜索在每个块中的运动，并且将一个对应于该运动的运动 矢量施加于包括在该块中的所有的像素。BMA可能需要少量的时间来执行， 并且可以容易地作为硬件实现。在常规视频中，运动可以划分为旋转、平移 和放大/缩小。在这点上，假定在具有微小的间隔的帧之间的运动是微乎其微 的。因此，在视频中仅仅存在平移，并且在相同的块中的所有像素的运动是 相同的假定之下，可以执行BMA。因此，该BMA可以搜索在先前帧的搜索 范围中最类似于当前帧的当前块的块，并且将在二个块之间的移动确定为 MV。这个过程可以被称作全搜索。每个块可以由16x16个像素组成，并且可 以-故称作宏块(MB)。因为全搜索可以与包括在搜索范围中的所有像素执行比较，其可以找到 一个具有最小的匹配误差的MV。但是，该全搜索可以需要很大的计算资源。换句话说，常规的BMA可以导致不必要的计算和功率消耗，因为其可以甚 至对于没有运动的部分执行ME。此外，通过在静态对象和运动对象之间不 加区别，常规的BMA可能执行错误的ME。在这点上，当错误的ME被施加 于插入的图像的时候，可能道致在显示质量方面退化。发明内容本发明的一些实施例提供一种通过分离成静态对象和运动对象，能够经 由低功率驱动和精确的真实运动矢量，仅仅对运动对象执行移动估算，和在修改的搜索范围中执行移动估算，产生精确的插入帧的帧插入装置。 一种帧 插入装置的一些实施例插入包括第n帧和设置邻近于第n帧的第(n-l)帧的多 个帧以产生一个插入帧，其可以包括静态对象分离单元，其配置以将多个 第n帧宏块(MB)的第n帧MB与多个第(n-l)帧MB的第(n-l)帧MB比较，以 将该第n帧MB分离成静态对象和运动对象；运动矢量(MV)估算单元，其被 配置以在第(n-l)帧搜索与被确定是运动对象的第n帧MB匹配的MB以估算 一个MV。 一些实施例可以包括一个插入帧生成单元，其被配置以使用估算 的MV、第n帧和第(n-l)帧产生该插入帧。在一些实施例中，该MV估算单元包括搜索范围处理单元，其被配置以 在第(n-l)帧的第一搜索范围中搜索与该第n帧MB匹配的MB以估算第一 MV;修改的搜索范围处理单元，其被配置以在第(n-l)帧的第二搜索范围中搜 索与该第n帧MB匹配的MB以估算第二 MV;当前MB处理单元，其被配 置以将第n帧MB与对应于第n帧MB的多个第(n-l)帧MB的第(n-l)帧MB 匹配以估算第三MV。在一些实施例中，第一搜索范围包括第(n-l)帧的多个 MB，并且第二搜索范围包括与被确定是运动对象的多个第n帧MB相对应的 多个第(n-l)帧MB。在一些实施例中，第一搜索范围包括对应于该匹配的第n帧MB的该第 (n-l)帧MB以及邻近该相应第(n-l)帧MB的多个第(n-l)帧MB。在一些实施 例中，第二搜索范围包括对应于该匹配的第n帧MB的该第(n-l)帧MB以及 邻近该相应的第(n-l)帧MB且对应于确定是运动对象的多个第n帧MB的多 个第(n-l)帧MB。在一些实施例中，搜索范围处理单元被配置以计算用于匹配MB的绝对 差值的总和(SAD),和估算在具有最小的SAD的第(n-l)帧MB和第n帧MB之间的第一 MV。 一些实施例提供修改的搜索范围处理单元被配置以计算用于匹配MB的绝对差值的总和(SAD),和估算在具有最小的SAD的第(n-l)帕 MB和第n帧MB之间的第二 MV。在一些实施例中，当前MB处理单元被 配置以计算用于匹配MB的绝对差值的总和(SAD)以估算第三MV。一些实施例提供插入帧生成单元被配置以使用估算的第一 MV 、估算的第 二MV和估算的第三MV的平均值产生插入帧。在一些实施例中，插入帧生 成单元被配置以当与第n帧MB匹配的匹配MB存在于第(n-l)帧中的时候， 使用第n帧MB和第(n-l)帧MB的平均值产生插入帧。在一些实施例中，插入帧生成单元被配置以当与第n帧MB匹配的匹配 MB不存在于第(n-l)帧中的时候，按照估算的MV的方向，使用第n帧MB 或者第(n-l)帧MB产生插入帧。在一些实施例中，当估算的MV的方向是从 左至右的时候，插入帧生成单元使用第n帧MB，当估算的MV的方向是从 右到左的时候，使用第(n-l)帧MB。在一些实施例中，静态对象分离单元被 配置以计算第n帧MB和相应的第(n-l)帧MB的亮度信号之间的差值，将该 差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标，并 且将多个第n帧MB的每个分离成静态对象和运动对象。在一些实施例中，静态对象分离单元被配置以当该差值大于阁值的时候， 将第n帧MB确定为运动对象，并且当该差值小于阈值的时候，将第n帧MB 确定为静态对象。在一些实施例中，MV估算单元被配置以在第(n-l)帧的搜 索范围中搜索与第n帧的MB匹配的MB以估算MV,其中该搜索范围包括 与第n帧MB对应的第(n-l)帧MB,以及邻近与第n帧MB对应的该第(n-l) 帧MB的多个第(n-l)帧MB。本发明的一些实施例包括一种帧插入装置，其插入包括第n帧和设置邻 近第n帧的第(n-l)帧的多个帧以便产生一个插入帧。这样的装置的一些实施 例包括静态对象分离单元，其配置以将第n帧宏块(MB)与对应于第n帧MB 的第(n-l)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对 象；运动矢量(MV)估算单元，其被配置以在第(n-l)帧的搜索范围中搜索与被 确定是运动对象的多个第n帧MB的每个匹配的MB以估算一个MV。 一些 实施例包括插入帧生成单元，其被配置以使用估算的MV、第n帧和第(n-l) 帧产生该插入帧，使得该搜索范围包括对应于多个第n帧MB的每个的第(n-1) 帧MB,多个第n帧MB被确定是运动对象。在一些实施例中，搜索范围包括对应于该匹配的第n帧MB的该第(n-l) 帧MB以及邻近该相应第(n-l)帧MB、并与被确定是运动对象的多个第n帧 MB相对应的多个第(n-l)帧MB。 一些实施例提供插入帧生成单元被配置以当 匹配第n帧MB的MB存在于第(n-l)帧中的时候，使用第n帧MB和第(n-l) 帧MB的平均值产生插入帧。在一些实施例中，插入帧生成单元被配置以当与第n帧MB匹配的第(n-1) 帧MB不存在于第(n-l)帧中的时候，按照估算的MV的方向，使用第n帧 MB或者第(n-l)帧MB产生插入帧。在一些实施例中，静态对象分离单元被配置以计算在第n帧MB和相应 的第(n-l)帧MB的亮度信号之间的差值，将该差值与一个阈值比较，该阈值 是用于将运动对象与静态对象区别的指标，并且将每个第n帧MB分离成静 态对象和运动对象。本发明的一些实施例包括插入方法，其插入包括第n帧和设置邻近第n 帧的第(n-l)帧的多个帧以产生一个插入帧。这样的方法的一些实施例包括将 第n帧宏块(MB)与对应于第n帧MB的第(n-l)帧MB比较，以将多个第n帧 MB的每个分离成静态对象和运动对象；在第(n-l)帧中搜索与被确定是运动 对象的多个第n帧MB的每个匹配的MB。 一些实施例包括响应匹配多个第n 帧MB的每个的MB估算运动矢量(MV)，多个第n帧MB被确定是运动对象； 和使用估算的MV、第n帧和第(n-l)帧产生插入帧。在一些实施例中，估算该MV包括在第(n-l)帧的第一搜索范围中搜索 与多个第n帧MB的每个匹配的MB以估算第一 MV;在第(n-l)帧的第二搜 索范围中搜索与多个第n帧MB的每个匹配的MB以估算第二MV;和将第 n帧MB与第(n-l)帧MB匹配以估算第三MV，第(n-l)帧MB对应于第n帧 MB。在一些实施例中，第一搜索范围包括多个第(n-l)帧MB,并且第二搜索 范围包括多个第(n-l)帧MB,多个第(n-l)帧MB对应于被确定是运动对象的 多个第n帧MB。在一些实施例中，第一搜索范围包括对应于该匹配的第n帧MB的该第 (n-l)帧MB以及邻近该相应第(n-l)帧MB的多个第(n-l)帕MB。在一些实施 例中，第二搜索范围包括与匹配的第n帧MB相对应的第(n-l)帧MB,以及 邻近该相应的第(n-l)帧MB、并与被确定为是运动对象的多个第n帧MB对 应的多个第(n-l)帧MB。在一些实施例中，第一 MV的估算包括计算用于匹配MB的绝对差值 (SAD)的总和，和估算在第(n-l)帧MB和第n帧MB之间的第一MV，第(n-l) 帧MB具有最小的SAD。在一些实施例中，第二MV的估算包括计算用于匹 配MB的绝对差值的总和，和估算在具有最小的SAD的第(n-l)帧MB和第n 帧MB之间的第二MV。在一些实施例中，第三MV的估算包括计算用于匹 配MB的绝对差值的总和(SAD)以估算第三MV。在一些实施例中，产生插入帧包括选择估算的第一MV、估算的第二MV 和估算的第三MV的平均值，和使用选择的平均值产生插入帧。在一些实施例中，产生插入帧包括确定匹配第n帧MB的MB是否存 在于第(n-l)帧中，当匹配第n帧MB的MB存在于第(n-l)帧中的时候，使用 第n帧MB和第(n-l)帧MB的平均值产生插入帧，和当匹配第n帧MB的 MB没有存在于第(n-l)帧中的时候，按照估算的MV的方向，使用第n帧MB 或者第(n-l)帧MB产生插入帧。在一些实施例中，按照估算的MV的方向产生插入帧包括确定估算的 MV的方向，当估算的MV的方向是从左至右的时候，使用第n帧MB产生 插入帧，和当估算的MV的方向是从右到左的时候，使用第(n-l)帧MB产生 插入帧。在一些实施例中，将第n帧宏块(MB)与对应于第n帧MB的第(n-l)帧 MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象包括计 算在第n帧MB和相应的第(n-l)帧MB的亮度信号之间的差值，和将该差值 与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标。 一些实 施例包括将第n帧MB的每个分离成静态对象和运动对象。在一些实施例中，将第n帧MB的每个分离包括当该差值大于阈值的 时候，将第n帧MB确定为运动对象，并且当该差值小于阔值的时候，将第 n帧MB确定为静态对象。在一些实施例中，该MV的估算包括在第(n-l)帧的搜索范围中搜索与第n 帧MB匹配的MB以估算该MV,其中搜索范围包括与匹配的第n帧MB对 应的第(n-l)帧MB,以及邻近相应的第(n-l)帧MB是多个第(n-l)帧MB。本发明的一些实施例包括帧插入方法，其插入包括第n帧和设置邻近第n 帧的第(n-l)帧的多个帧以产生一个插入帧。 一些实施例的方法包括将在第n 帧中的第n帧宏块(MB)与在对应于第n帧MB的第(n-l)帧中的第(n-l)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象。 一些实施例 可以包括在第(n-l)帧的搜索范围中搜索MB以估算一个运动矢量(MV),该 MB与确定是运动对象的第n帧MB的每个匹配，和使用估算的MV、第n 帧和第(n-l)帧产生插入帧。在一些实施例中，该搜索范围包括对应于第n帧 MB的第(n-l)帧MB,第n帧MB被确定是运动对象。在一些实施例中，该搜索范围包括对应于该匹配的第n帧MB的该第(n-1) 帧MB,以及邻近该相应第(n-l)帧MB、并与被确定是运动对象的多个第n 帧MB对应的多个第(n-l)帧MB。在一些实施例中，产生插入帧包括确定匹配第n帧MB的MB是否存 在于第(n-l)帧中，当匹配第n帧MB的MB存在于第(n-l)帧中的时候，使用 第n帧MB和第(n-l)帧MB的平均值产生插入帧，和当匹配第n帧MB的 MB没有存在于第(n-l)帧中的时候，按照估算的MV的方向，使用第n帧MB 或者第(n-l)帧MB产生插入帧。在一些实施例中，按照估算的MV的方向产生插入帧包括确定估算的 MV的方向，当估算的MV的方向是从左至右的时候，使用第n帧MB产生 插入帧，和当估算的MV的方向是从右到左的时候，使用第(n-l)帧MB产生 插入帧。在一些实施例中，将在第n帧中的第n帧宏块(MB)与在对应于第n 帧MB的第(n-l)帧中的第(n-l)帧MB比较，以将多个第n帧MB的每个分离 成静态对象和运动对象包括计算在第n帧MB和相应的第(n-l)帧MB的亮 度信号之间的差值，将该差值与一个阈值比较，该阈值是用于将运动对象与 静态对象区别的指标，和将第n帧MB的每个分离成静态对象和运动对象。


该附图被包括以提供对本发明进一步的理解，并且被结合进和构成本说明书的一部分。该附图举例说明本发明示范的实施例，并且与该说明书一起 用来解释本发明的原理。图1是按照本发明一些实施例的帧插入装置的方框图。 图2举例说明按照本发明一些实施例被分成宏块的帧。 图3是按照本发明一些实施例的帧插入方法的流程图。 图4和图5举例说明按照在图1中举例说明的静态对象分离单元的操作 被分成宏块的帧。图6A至图6C举例说明按照在图1中举例说明的运动矢量估算单元的操 作被分成宏块的帧。图7是按照本发明一些实施例的考虑一个封闭(occlusion)区域的帧插入方 法的流程图。图8A和图8B举例说明按照本发明一些实施例对于宏块估算的运动矢量 的方向。图9举例说明按照在图7中举例说明的一些实施例产生一个用于遮挡 (occlusion)区i或的4§入帧。图10是举例说明按照本发明一些实施例的帧插入装置的方框图。 图11是举例说明按照本发明一些实施例的帧插入装置的方框图。
具体实施方式
现在将在下文中参考伴随的附图更加充分地描述本发明的实施例，其中 本发明的实施例被示出。但是，本发明可以以许多不同的形式实施，并且将 不会认为是局限于在此处阐述的实施例。更合适地，这些实施例被提供为使 得这个公开将是全面的和完整的，并且将对那些本领域技术人员完全地表达 本发明的范围。相同的数字自始至终地指的是相同的单元。应该明白，虽然可以在此处使用术语第一、第二等等来描述各种各样的 单元，这些单元将不会受到这些术语的限制。这些术语仅仅用于将一个单元 与另一个区别。例如，不脱离本发明的范围，第一单元可以称为第二单元， 并且类似地，第二单元可以称为第一单元。如在此处使用的，该术语"和/或，， 包括一个或多个相关的列表项的任意和所有组合。应该理解，当一个单元被称为是"连接"或者"耦合"到另一个单元的时候， 其可以直接地连接或者耦合到另一个单元，或者可能存在插入的单元。相比 之下，当 一个单元被称为是"直接地连接"或者"直接地耦合"到另 一个单元上 的时候，不存在插入的单元。用于描述在几个单元之间的关系的其它的措词 将以类似的方式(即，"在之间，，对比"直接在之间，，，"邻近"对比"直接邻近"等 等)解释。在此处使用的术语仅仅是为了描述特定的实施例的目的，并且不意欲限 制本发明。如在此处使用的，除了该上下文清楚地表示别的方式之外，单数 形式"一个"和"该"意欲同样包括多于一个的形式。应该进一步明白，当在此处使用的时候，该术语"包括"、"包含"指定存在规定的特点、操作、单元和/或部件，但是不排除存在或者增加一个或多个其它的特点、搡作、单元、部 件和/或其分组。除了定义的别的方式之外，在此处使用的所有术语(包括技术和科学术语) 具有与由本发明属于的该领域普通的技术人员通常所理解相同的含义。应该 进一步明白，在此处使用的术语应该解释为具有一个含义，该含义符合在本 公开和有关的领域的背景下的其含义，并且除了在此处特意地如此定义的之外，不会以理想化或者极度地正式的意义解释。现在参考图1 ，其是按照本发明的 一些实施例的帧插入装置100的方框图。该帧插入装置100可以包括静态对象分离单元110、运动矢量(MV)估算单元 130和插入帧生成单元170。该帧插入装置100可以通过插入第n帧和第(n-l) 帧来产生一个插入帧，其中n是大于2的整数。第n帧可以是当前帧，并且 第(n-l)帧可以是直接地在当前帧之前的先前帧。该静态对象分离单元110可 以以宏块(MB)为单位将第n帧分离成静态对象和运动对象。换句话说，该帧 插入装置100可以将第n帧的每个MB与第(n-l)帧的相应的MB比较，并且 将第n帧的每个MB分离成静态对象和运动对象。该MV估算单元130可以在第(n-l)帧中搜索与第n帧的MB的每个匹配 的MB,第n帧的MB的每个可以确定为是运动对象。以这样的方式，可以 估算MV。该MV估算单元130可以包括搜索范围处理单元140、修改的搜 索范围处理单元150和当前MB处理单元160。该搜索范围处理单元140可 以在第(n-l)帧的第一搜索范围中搜索与第n帧的MB的每个匹配的MB。以 这样的方式，可以估算第一MV。第一搜索范围可以包括第(n-l)帧的匹配MB 和第(n-l)帧的MB,第(n-l)帧的MB可以设置邻近第(n-l)帧的匹配MB。换句 话说，该搜索范围处理单元140可以使用全搜索估算一个MV。该修改的搜 索范围处理单元150可以在第(n-l)帧的第二搜索范围中搜索与第n帧的MB 的每个匹配的MB。从而，可以估算第二MV。第二搜索范围可以包括第(n-l) 帧的MB,其可以对应于确定是运动对象的第n帧的MB。该当前MB处理单 元160可以将第n帧的MB与对应于第n帧的MB的第(n-l)帧的MB匹配。 从而，可以估算第三MV。稍后将参考图3至图6更详细地描述该静态对象 分离单元110、搜索范围处理单元140、修改的搜索范围处理单元150和当前 MB处理单元160。该插入帧生成单元170可以使用估算的MV、第n帧和第(n-l)帧产生该插 入帧。该插入帧生成单元170可以使用估算的第一MV、估算的第二MV和/ 或估算的第三MV的平均值来产生该插入帧。该插入帧生成单元170可以按 照是否明显地存在与第n帧的MB匹配的第(n-l)帧的MB来使用不同的帧插 入方法。以这样的方式，可以处理一个遮挡区域。稍后将参考图7至图9更 详细地描述该插入帧生成单元170的操作。现在参考图2,其举例说明按照本发明一些实施例划分为MB的帧。 一个 帧可以^f皮分成多个MB,其每个可以例如由16x16个像素组成。在一些实施 例中，该MB的每个也可以由像素的各种各样的数量和/或结构组成。现在参考图3，其是按照本发明一些实施例的帧插入方法的流程图；图4和图5举例说明在图1中举例说明的静态对象分离单元110的操作中被分成宏块的帧410和450;和图6A至6C举例说明在图1中举例说明的运动矢量估算单元130的操作中被分成宏块的帧410和450。参考图l和图3至图6C,该静态对象分离单元110可以计算在第n帧的MB和第(n-l)帧MB的亮度值之间的差值(模块310)。该差值ImgDiff可以如下计算= I/O， 乂 " -1) - /0, 乂 ")|...........................(1 )，这里f()表示帧的亮度值，x和y表示帧的空间位置，并且n和(n-l)表示 帧号。如在图4中举例说明的，当第n帧450被分成5x5个MB (MB，_11、MB，_12..... MB，_55)，并且第(n-l)帧410被分成5x5个MB (MB—11、MB—12、 ...、 MB—55)的时候,用于相应于此的第n帧450的MB和第(n-l) 帧450的MB的差值ImgDiff被计算。换句话说，在第n帧450的MB( MB'—11 ) 的亮度值和第(n-l)帧410的MB (MB—11 )的亮度值之间的差值可以被计算， 在第n帧450的MB ( MB，—12 )的亮度值和第(n-l)帧410的MB ( MB—12 ) 的亮度值之间的差值可以被计算。以这样的方式，用于其它的MB的差值 ImgDiff可以被计算。在一些实施例中，该静态对象分离单元110可以将该差值与一个阈值比 较0莫块320),该阈值是用于将运动对象与静态对象区别的指标。该差值对于 运动对象可以是很大的，而该差值对于静态对象可以是很小的。因此，该静 态对象分离单元110可以将该差值与该阈值比较，以便确定如果该差值大于 该阈值，相应的MB是运动对象，并且如果该差值小于该阈值，确定该MB是静态对象。 一旦完成对于第n帧450的每个MB分离成运动对象和/或静态 对象，"l"分配给确定是运动对象的MB,并且"O，，分配给确定是静态对象的 MB,如在图5中举例说明的。以这样的方式，可以实现二元化的(binarized) 图像。在以下的描述中，运动估算(ME)可以仅仅对于分配'T，的MB执行。由 于分配"0"的MB被确定是静态对象，可以无需用于分配"0，，的MB的ME,使 用第(n-l)帧的相应的MB产生一个插入帧。该搜索范围处理单元140、修改的搜索范围处理单元150和当前MB处理 单元160可以估算用于MB的第一MV、第二MV和第三MV，该MB被确 定是运动对象。在下文中，将参考图6A描述按照一些实施例的搜索范围处理单元140的 操作。为了处理第n帧450的MB610，该搜索范围处理单元140可以搜索一 个MB,在第(n-l)帧410的第一搜索范围630中其与第n帧的MB 610匹配。 以这样的方式，可以估算第一MV(模块330)。第一搜索范围630可以包括对 应于第n帧450的MB 610的第(n-l)帧410的MB ( MB—33 ),以及第(n-l)帧 410的MB (MB—22、 MB—23、 MB_24、 MB_32、 MB—34、 MB—42、 MB—43 和MB—44 ),其设置邻近于该MB ( MB_33 )。如举例说明的，虽然包括在第 一搜索范围中的MB具有3x3的大小，在一些实施例中，它们也可以尤其具 有4x4、 4x5和/或5x5的大小。现在将参考图6B描述按照一些实施例的修改的搜索范围处理单元150的 操作。为了处理第n帧450的MB610,该修改的搜索范围处理单元150可以 搜索一个MB,在第(n-l)帧410的第二搜索范围650中其与第n帧的MB 610 匹配。以这样的方式，可以估算第二MV(模块340)。第二搜索范围650可以 包括对应于第n帧450的MB 610的第(n-l)帧410的MB (MB_33)。第二搜 索范围650可以包括第(n-l)帧410的MB ( MB_22、 MB—23、 、 MB—24MB_32、 MB_33和MB—34 )，其被设置邻近于MB ( MB_33 ),并且对应于第n帧450 的MB(MB，—22、 MB，_23、 MB，—24、 MB，—32、 MB，—33和MB，_34 ),其被 确定是运动对象。换句话说，仅仅第(n-l)帧410的MB (MB—22、 MB—23、 MB—24、 MB—32、 MB—33和MB—34 ),对应于在第n帧450的MB以外分配 'T，的MB (MB，—22、 MB，—23、 MB，_24、 MB，—32、 MB，—33和MB，_34 ),可 以定义为第二搜索范围650。现在将参考图6C描述按照一些实施例的当前MB处理单元160的操作。为了处理第n帧450的MB 610,当前MB处理单元160可以将第n帧450 的MB 610与对应于MB 610的第(n-l)帧410的MB ( MB，_33 )匹配。以这 样的方式，可以估算第三MV(模块350)。对于利用搜索范围处理单元130、修改的搜索范围处理单元150和当前 MB处理单元160的运动矢量估算，可以使用均方差(MSE)算法、平均绝对差 值(MAD)算法，和绝对差值(SAD)的总和算法。可以使用SAD算法执行运动 矢量估算，在此处将描述该SAD算法。在一些实施例中，可以尤其在本发明 的范围和精神内使用MAD算法执行运动矢量估算。在被处理的当前MB和包括在第一搜索范围或者第二搜索范围中的所有 MB之间的SAD可以使用公式2计算。 一个MV可以通过在当前MB和具有 如在公式3中最小的SAD的MB之间的空间距离确定。在一些实施例中，该 SAD可以计算如下这里N表示MB的大小，i和j表示当前帧的空间位置，n和(n-l)表示帧 编号，和dx和dy表示在当前帧和先前帧，即，第n帧和第(n-l)帧的MB的 位置之间的差值。使用该SAD,用于具有最小SAD的MB的MV可以如下 获得min &4￡)(血,办)........................(3),这里R表示用于ME的搜索范围。在一些实施例中，R可以是第一搜索 范围、第二搜索范围，和/或MB ( MB—33 )。该插入帧生成单元170可以选择估算的第一 MV、估算的第二MV,和/ 或估算的第三MV的平均值(模块360),并且使用选择的平均值产生该插入帧 (模块370)。在一些实施例中，当估算的第一、第二或者第三MV的任何一个 急剧地变化的时候，该插入帧生成单元170可以将该MV识别为噪声，并且 除去该MV。在下文中，将描述按照该插入帧生成单元170的一些实施例用 于处理遮挡区域的操作。现在参考图7,其是按照本发明一些实施例考虑到遮挡区域的帧插入方法 的流程图；和图8A和图8B举例说明按照本发明一些实施例对于MB估算的 MV的方向。同样参考图l和图4，该插入帧生成单元170可以确定是否与第 n帧450的MB匹配的MB明显地存在于第(n-l)帧410中(模块710)。在这点上，该插入帧生成单元170可以确定第(n-l)帧410是否包括一个准确地与第 n帧450的MB匹配的MB。当第(n-l)帧410的MB和第n帧450的MB精 确地彼此匹配的时候，SAD可能等于0。在这种情况下，该插入帧可以使用 第n帧450的MB和其第(n-l)帧410的匹配MB的平均值来产生(模块720)。如果没有明显地存在与第n帧450的MB匹配的第(n-l)帧410的MB,那 么该遮挡区域存在。在这种情况下，没有存在于第(n-l)帧410中的图像可以 存在于第n帧450中，或者存在于第(n-l)帧410中的图像可能不存在于第n 帧450中。当存在该遮挡区域的时候，该估算的MV的方向可以如在图8A 中举例说明的那样确定(模块730)。在图8A中，以X标记的MB可以确定为 是静态对象。当估算的MV具有如在图8A中举例说明的方向的时候，"O，，可 以分配给一个MB,其中用于该MB的MV的SAD等于0，如在图8B中举 例-说明的。当用于MB的MV的SAD不等于0,并且MV的方向是从左至右 的时候，该MB可以被分配"-1"。当用于MB的MV的SAD不等于0，并且 MV的方向是从右到左的时候，该MB可以被分配"l"。当"-l"被分配给第n 帧450的MB的时候，该插入帧可以使用第n帧450的MB来产生(模块740)。 当"l"被分配给第n帧450的MB的时候，该插入帧可以使用第(n-l)帧410的 相应的MB来产生(模块750)。现在参考图9，其举例说明按照在图7中举例说明的一些实施例产生用于 遮挡区域的插入帧的过程。将首先描述用于在先前帧910和当前帧950之间 产生插入帧970的阶段(a)。存在于先前帧910中的部分920通过利用汽车挡 住而在当前帧950中消失。在这种情况下，由于一个对应于部分960的MB 从右到左运动，其可能被分配'T，，并且该插入帧970可以使用先前帧910的 部分920来产生。接下来，将描述用于在先前帧950和当前帧910之间产生插入帧970的 阶段(b)。没有存在于先前帧950中的部分920存在于当前帧910中。由于对 应于部分960的MB ,人左至右运动，其可以;故分配"-l"，并且该插入帧970 可以使用当前帧910的部分920来产生。现在参考图10,其是按照本发明 一些实施例的帧插入装置1000的方框图。 静态对象分离单元101、搜索范围处理单元1040和插入帧生成单元1070可 以以与如以上对于图1讨论的静态对象分离单元110、搜索范围处理单元140 和插入帧生成单元170同样的方式工作。该帧插入装置IOOO可以由该搜索范围处理单元1040获得与以上对于图1所述的相同的第一MV,而在图1中举 例说明的该帧插入装置100可以由MV估算单元130获得三个估算的MV。 该帧插入装置1000的其它的部件可以按照以上对于图1所述的那些起作用， 并且因此将不再描述。现在参考图11 ，其是按照本发明 一些实施例的帧插入装置1100的方框图。 静态对象分离单元1110、修改的搜索范围处理单元1150和插入帧生成单元 1170以与以上对于图1所述类似的方式工作。该帧插入装置IIOO可以由修改 的搜索范围处理单元1150获得与以上对于图1所述的相同的第二MV，而在 图1中举例说明的该帧插入装置IOO可以由MV估算单元130获得三个估算 的MV。该帧插入装置1100的其它的部件可以按照以上对于图1所述的那些 起作用，并且因此将不再描述。如在此处描述的，按照本发明的一些实施例， 一个输入视频可以按照该 输入视频的特征分离成静态对象和运动对象，并且可以仅仅对于该运动对象 执行运动估算。以这样的方式，使用较少的功率可以驱动显示器。此外，通 过仅仅在修改的搜索范围中执行运动估算，可以降低不必要的计算，并且可 以处理遮挡区域。此外，由于可以选择三个估算的运动矢量的平均值，错误 的MV可以被校正，并且可以获得真实的运动矢量，从而实现高精度的视频。以上公开的主题将考虑是说明性的，而不是限制性的，并且所附的权利 要求意欲覆盖落在本发明的实际精神和范围内的所有上述的修改、增加和其 它的实施例。因此，对于法律允许的最大范围来说，本发明的范围是由以下 的权利要求和其等效物的可允许的解释来确定的，并且将不会受上述的详细 说明约束或者限制。在该附图和说明书中，已经公开了本发明典型的优选实施例，虽然采用 了特定的术语，它们仅仅被用于通用和说明的意义，而不是用于限制的目的， 本发明的范围在以下的权利要求中阐述。
权利要求
1.一种帧插入装置，其插入包括第n帧和设置邻近于第n帧的第(n-1)帧的多个帧以产生一个插入帧，该帧插入装置包括静态对象分离单元，其被配置以将多个第n帧宏块(MB)的第n帧MB与多个第(n-1)帧MB的第(n-1)帧MB比较，以将该第n帧MB分离成静态对象和运动对象；运动矢量(MV)估算单元，其被配置以在第(n-1)帧搜索与被确定是运动对象的第n帧MB匹配的MB以估算一个MV；和插入帧生成单元，其被配置以使用估算的MV、第n帧和第(n-1)帧产生该插入帧。
2. 根据权利要求1的帧插入装置，其中MV估算单元包括 搜索范围处理单元，其被配置以在第(n-l)帧的第一搜索范围中搜索与该第n帧MB匹配的MB以估算第一 MV;修改的搜索范围处理单元，其被配置以在第(n-l)帧的第二搜索范围中搜 索与该第n帧MB匹配的MB以估算第二 MV;和当前MB处理单元，其被配置以将第n帧MB与对应于第n帧MB的多 个第(n-l)帧MB的第(n-l)帧MB匹配以估算第三MV,其中第 一搜索范围包括第(n-1 )帧的多个MB,并且第二搜索范围包括与被 确定是运动对象的多个第n帧MB相对应的多个第(n-l)帧MB。
3. 根据权利要求2的帧插入装置，其中第一搜索范围包括对应于该匹配 的第n帧MB的该第(n-l)帧MB以及邻近该相应第(n-l)帧MB的多个第(n-l) 帧MB。
4. 根据权利要求2的帧插入装置，其中第二搜索范围包括对应于该匹配 的第n帧MB的该第(n-l)帧MB以及邻近该相应的第(n-l)帧MB且对应于确 定是运动对象的多个第n帧MB的多个第(n-l)帧MB。
5. 根据权利要求2的帧插入装置，其中搜索范围处理单元被配置以计算 用于匹配MB的绝对差值的总和(SAD),和估算在具有最小的SAD的第(n-l) 帧MB和第n帧MB之间的第一 MV。
6. 根据权利要求2的帧插入装置，其中修改的搜索范围处理单元被配置 以计算用于匹配MB的绝对差值的总和(SAD),和估算在具有最小的SAD的第(n-l)帧MB和第n帧MB之间的第二 MV。
7. 根据权利要求2的帧插入装置，其中当前MB处理单元被配置以计算 用于匹配MB的绝对差值的总和(SAD)以估算第三MV。
8. 根据权利要求2的帧插入装置，其中插入帧生成单元被配置以使用估 算的第一 MV、估算的第二 MV和估算的第三MV的平均值产生插入帧。
9. 根据权利要求1的帧插入装置，其中插入帧生成单元被配置以当与第 n帧MB匹配的匹配MB存在于第(n-1 )帧中的时候，使用第n帧MB和第(n-1) 帧MB的平均值产生插入帧。
10. 根据权利要求1的帧插入装置，其中插入帧生成单元被配置以当与第 n帧MB匹配的匹配MB不存在于第(n-l)帧中的时候，按照估算的MV的方 向，使用第n帧MB或者第(n-l)帧MB产生插入帧。
11. 根据权利要求10的帧插入装置，其中当估算的MV的方向是从左至 右的时候，插入帧生成单元使用第n帧MB,当估算的MV的方向是从右到 左的时候，插入帧生成单元使用第(n-l)帧MB。
12. 根据权利要求1的帧插入装置，其中静态对象分离单元被配置以计算 第n帧MB和相应的第(n-l)帧MB的亮度信号之间的差值，将该差值与一个 阈值比较，该阈值是用于将运动对象与静态对象区别的指标，并且将多个第 n帧MB的每个分离成静态对象和运动对象。
13. 根据权利要求12的帧插入装置，其中静态对象分离单元被配置以当 该差值大于阈值的时候，将第n帧MB确定为运动对象，并且当该差值小于 阈值的时候，将第n帧MB确定为静态对象。
14. 根据权利要求1的帧插入装置，其中MV估算单元被配置以在第(n-l) 帧的搜索范围中搜索与第n帧的MB匹配的MB以估算MV,其中该搜索范 围包括与第n帧MB对应的第(n-l)帧MB、以及邻近与第n帧MB对应的该 第(n-l)帧MB的多个第(n-l)帧MB。
15. —种帧插入装置，其插入包括第n帧和设置邻近于第n帧的第(n-l) 帧的多个帧以便产生一个插入帧，该帧插入装置包括静态对象分离单元，其被配置以将第n帧宏块(MB)与对应于第n帧MB 的第(n-l)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对 象；运动矢量(MV)估算单元，其被配置以在第(n-1 )帧的搜索范围中搜索与被确定是运动对象的多个第n帧MB的每个匹配的MB以估算一个MV;和插入帧生成单元，其被配置以使用估算的MV、第n帧和第(n-l)帧产生该 插入帧，其中搜索范围包括对应于多个第n帧MB的每个的第(n-l)帧MB,多个第 n帧MB被确定是运动对象。
16. 根据权利要求15的帧插入装置，其中搜索范围包括对应于该匹配的 第n帧MB的该第(n-l)帧MB以及设置邻近该相应第(n-l)帧MB、并与被确 定是运动对象的多个第n帧MB相对应的多个第(n-l)帧MB。
17. 根据权利要求15的帧插入装置，其中插入帧生成单元被配置以当匹 配第n帧MB的MB存在于第(n-l)帧中的时候，使用第n帧MB和第(n-l)帧 MB的平均值产生插入帧。
18. 根据权利要求15的帧插入装置，其中插入帧生成单元被配置以当与 第n帧MB匹配的第(n-l)帧MB不存在于第(n-l)帧中的时候，按照估算的 MV的方向，使用第n帧MB或者第(n-1 )帧MB产生插入帧。
19. 根据权利要求15的帧插入装置，其中静态对象分离单元被配置以计 算在第n帧MB和相应的第(n-l)帧MB的亮度信号之间的差值，以将该差值 与一个阈值比较，该阈值是用于将运动对象与静态对象区别的指标，并且将 每个第n帧MB分离成静态对象和运动对象。
20. —种帧插入方法，其插入包括第n帧和设置邻近于第n帧的第(n-l) 帧的多个帧以产生一个插入帧，该帧插入方法包括将第n帧宏块(MB)与对应于第n帧MB的第(n-l)帧MB比较，以将多个 第n帧MB的每个分离成静态对象和运动对象；在第(n-l)帧中搜索与被确定是运动对象的多个第n帧MB的每个匹配的MB;响应匹配多个第n帧MB的每个的MB估算运动矢量(MV),多个第n帧 MB被确定是运动对象；和使用估算的MV、第n帧和第(n-l)帧产生插入帧。
21. 根据权利要求20的帧插入方法，其中估算MV包括 在第(n-l)帧的第一搜索范围中搜索与多个第n帧MB的每个匹配的MB以估算第一MV;在第(n-l)帧的第二搜索范围中搜索与多个第n帧MB的每个匹配的MB以估算第二MV;和将第n帧MB与第(n-l)帧MB匹配以估算第三MV，第(n-l)帧MB对应 于第n帧MB,其中第一搜索范围包括多个第(n-l)帧MB,并且第二搜索范围包括多个第 (n-l)帧MB,多个第(n-l)帧MB对应于被确定是运动对象的多个第n帧MB。
22. 根据权利要求21的帧插入方法，其中第一搜索范围包括对应于该匹 配的第n帧MB的该第(n-l)帧MB以及设置邻近该相应第(n-l)帧MB的多个 第(n-l)帧MB。
23. 根据权利要求21的帧插入方法，其中第二搜索范围包括与匹配的第 n帧MB相对应的第(n-l)帧MB,以及邻近该相应的第(n-l)帧MB、并与被确 定为是运动对象的多个第n帧MB对应的多个第(n-l)帧MB。
24. 根据权利要求21的帧插入方法，其中第一MV的估算包括 计算用于匹配MB的绝对差值的总和(SAD);和估算在具有最小的SAD的第(n-l)帧MB和第n帧MB之间的第一 MV。
25. 根据权利要求21的帧插入方法，其中第二MV的估算包括 计算用于匹配MB的绝对差值的总和(SAD);和估算在具有最小的SAD的第(n-l)帧MB和第n帧MB之间的第二 MV。
26. 根据权利要求21的帧插入方法，其中第三MV的估算包括计算用于 匹配MB的绝对差值的总和(SAD)以估算第三MV。
27. 根据权利要求21的帧插入方法，其中产生插入帧包括 选择估算的第一MV、估算的第二MV和估算的第三MV的平均值；和 使用选择的平均值产生插入帧。
28. 根据权利要求20的帧插入方法，其中产生插入帧包括 确定匹配第n帧MB的MB是否存在于第(n-l)帧中；当匹配第n帧MB的MB存在于第(n-l)帧中的时候，使用第n帧MB和 第(n-l)帧MB的平均值产生插入帧；和当匹配第n帧MB的MB没有存在于第(n-l)帧中的时候，按照估算的MV 的方向，使用第n帧MB或者第(n-1 )帧MB产生插入帧。
29. 根据权利要求28的帧插入方法，其中按照估算的MV的方向产生插 入帧包括确定估算的MV的方向；当估算的MV的方向是从左至右的时候，使用第n帧MB产生插入帧；和当估算的MV的方向是从右到左的时候，使用第(n-l)帧MB产生插入帧。
30. 根据权利要求20的帧插入方法，其中将第n帧宏块(MB)与对应于第 n帧MB的第(n-l)帧MB比较，以将多个第n帧MB的每个分离成静态对象 和运动对象包括计算在第n帧MB和相应的第(n-l)帧MB的亮度信号之间的差值； 将该差值与一个阈值比较，该阔值是用于将运动对象与静态对象区别的 指标；和将多个第n帧MB的每个分离成静态对象和运动对象。
31. 根据权利要求30的帧插入方法，其中分离多个第n帧MB的每个包括当该差值大于该阈值的时候，将第n帧MB确定为运动对象；和 当该差值小于该阈值的时候，将第n帧MB确定为静态对象。
32. 根据权利要求20的帧插入方法，其中该MV的估算包括在第(n-l)帧 的搜索范围中搜索与第n帧MB匹配的MB以估算该MV，其中搜索范围包 括与匹配的第n帧MB对应的第(n-l)帧MB,以及邻近相应的第(n-l)帧MB 的多个第(n-l)帧MB。
33. —种帧插入方法，其插入包括第n帧和设置邻近于第n帧的第(n-l) 帧的多个帧以产生一个插入帧，该帧插入方法包括将在第n帧中的第n帧宏块(MB)与在对应于第n帧MB的第(n-l)帧中的 第(n-l)帧MB比较，以将多个第n帧MB的每个分离成静态对象和运动对象；在第(n-l)帧的搜索范围中搜索与确定是运动对象的多个第n帧MB的每 个匹配的MB以估算一个运动矢量(MV);和使用估算的MV、第n帧和第(n-l)帧产生插入帧，其中搜索范围包括对应于第n帧MB的第(n-l)帧MB,第n帧MB被确 定是运动对象。
34. 根据权利要求33的帧插入方法，其中搜索范围包括对应于该匹配的 第n帧MB的该第(n-l)帧MB,以及邻近该相应第(n-l)帧MB、并与被确定是 运动对象的多个第n帧MB对应的多个第(n-l)帧MB。
35. 根据权利要求33的帧插入方法，其中产生插入帧包括确定匹配第n帧MB的MB是否存在于第(n-l)帧中；当匹配第n帧MB的MB存在于第(n-l)帧中的时候，使用第n帧MB和 第(n-l)帧MB的平均值产生插入帧；和当匹配第n帧MB的MB没有存在于第(n-l)帧中的时候，按照估算的MV 的方向，使用第n帧MB或者第(n-l)帧MB产生插入帧。
36. 根据权利要求33的帧插入方法，其中按照估算的MV的方向产生插 入帧包括确定估算的MV的方向；当估算的MV的方向是从左至右的时候，使用第n帧MB产生插入帧；和当估算的MV的方向是从右到左的时候，使用第(n-l)帧MB产生插入帧。
37. 根据权利要求33的帧插入方法，其中将在第n帧中的第n帧宏块(MB) 与在对应于第n帧MB的第(n-l)帧中的第(n-l)帧MB比较，以将多个第n帧 MB的每个分离成静态对象和运动对象包括计算在第n帧MB和相应的第(n-l)帧MB的亮度信号之间的差值； 将该差值与一个阈值比较，该阈值是用于将运动对象与静态对象区别的 指标；和将多个第n帧MB的每个分离成静态对象和运动对象。
全文摘要
所提供的是一种帧插入装置和方法，其中移动估算是通过分离成静态对象和运动对象执行的。该帧插入装置插入包括第n帧和设置邻近第n帧的第(n-1)帧的多个帧以便产生一个插入帧。该装置的一些实施例包括静态对象分离单元、运动矢量(MV)估算单元和插入帧生成单元。该静态对象分离单元可以将第n帧的宏块(MB)与第(n-1)帧的MB比较，第(n-1)帧的MB可以对应于第n帧的MB，以便将第n帧的每个MB分离成静态对象和运动对象。该MV估算单元可以在第(n-1)帧中搜索与第n帧的MB的每个匹配的MB以估算一个MV，第n帧的MB的每个可以确定为是运动对象。该插入帧生成单元可以使用估算的MV、第n帧和第(n-1)帧产生插入帧。
文档编号H04N7/26GK101237578SQ200810009000
公开日2008年8月6日 申请日期2008年2月2日 优先权日2007年2月2日
发明者曹和铉, 金钟善 申请人:三星电子株式会社