专利名称：估计两个视频帧之间的运动的方法
技术领域：
本发明涉及一种估计两个视频帧之间的运动的方法。可以在任何类型的数字显示 设备中实现对于运动再现(motion rendition)的改善。
背景技术：
运动补偿是当今的一个热门话题，因为它用在像液晶显示器或等离子显示屏那样 的各种显示设备中来改善运动再现。它通常用于将50/60HZ (赫兹)源转换成100/120HZ 源。运动补偿需要运动估计。已知的运动估计方法是相当昂贵的，因为它们基于2维搜索。例如，为了估计在水 平轴每帧多达+/_n个像素和在垂直轴每帧多达+/-ρ个像素的运动，标准方法具有ηΧρ的 复杂度。
发明内容
本发明提出了一种具有降低的复杂度的运动估计方法。按照本发明，通过依次使用1维搜索进行运动估计，这意味着至少在第一空间方 向进行一次运动估计和在第二空间方向进行一次运动估计。如果要求在第一空间方向进 行一次运动估计和在第二空间方向进行一次运动估计，则对于估计在水平轴每帧多达+/-η 个像素和在垂直轴每帧多达+/-P个像素的运动，该方法的复杂度降低到η+ρ。本发明涉及一种在至少包含第一和第二视频帧的视频序列中的预定时间位置上 估计运动的方法，包含如下步骤a)针对位于预定时间位置上的帧的至少一个像素，根据所述第一视频帧和所述第 二视频帧估计第一空间方向的第一运动向量分量；b)根据所估计第一运动向量分量的至少一部分补偿所述第二视频帧的至少一部 分；以及c)针对所述位于预定时间位置上的帧的至少一个像素，根据所述第一视频帧和所 补偿第二视频帧估计第二空间方向的第二运动向量分量。在另一个实施例中，该方法进一步包含如下步骤d)在步骤C)结束时检验是否达到第一停止准则；以及e)只要未达到第一停止准则，就根据所估计第二运动向量分量的至少一部分补偿 所述第二视频帧，针对所述位于预定时间位置上的帧的至少一个像素，根据所述第一视频 帧和新补偿的第二视频帧估计第一空间方向的新第一运动向量分量，并重复步骤b)到d)。例如，当迭代次数等于N时，达到所述第一停止准则，N是大于一的整数。在一种变 体中，只要步骤e)中的第一次迭代所得的第一和第二运动向量分量与步骤e)中的下一次 迭代所得的第一和第二运动向量分量之间的差值大于阈值，就未达到所述第一停止准则。 当这些差值接近零时，达到所述第一停止准则。在另一个实施例中，只有当未达到第二停止准则时才在步骤e)中重复步骤b)到d)。例如，只要步骤e)中的第一次迭代所得的新第一运动向量分量与步骤e)中的下一次 迭代所得的新第一运动向量分量之间的差值大于阈值，就未达到所述第二停止准则。在这 种情况下，当该差值接近零时，达到所述第二停止准则。
本发明的示范性实施例例示于附图中并且在如下描述中更详细地说明了。在附图 中图1示出了本发明方法的第一实施例的步骤；图2A到图2G示出了依照图1的方法的运动估计的例子；图3示出了本发明方法的第二实施例的步骤；图4A到图4N示出了依照图3的方法的运动估计的例子；图5示出了本发明方法的第三实施例的步骤；图6示出了本发明方法的第四实施例的步骤；图7示出了本发明方法的第五实施例的步骤；以及图8示出了实现本发明方法的设备。
具体实施例方式在如下的详细描述中，只通过例示的方式示出和描述本发明的某些示范性实施 例。本领域的普通技术人员应该认识到，可以以不偏离本发明的精神或范围的各种方式修 改所述的示范性实施例；于是，从本质上来说，这些附图和描述被认为是例示性的，而不是 限制性的。相同的标号表示相同的元件。在包含帧A和B的视频序列中的预定时间位置上 估计运动。这个时间位置可以位于帧A和B的时间位置之间的时间上或在其它时间位置上。 也可以在帧A或帧B的时间位置上估计运动。图1示出了按照本发明在包含帧A和B的视频序列中的预定时间位置上估计运动 的第一种方法的步骤。这种方法包含-步骤100，针对位于预定时间位置上的帧的至少一个像素，根据视频帧A和B估
计第一空间方向的第一运动向量分量；-步骤110，根据所估计的第一运动向量分量的至少一部分补偿视频帧B的至少一 部分；-步骤120，针对所述位于预定时间位置上的帧的至少一个像素，根据视频帧A和 所补偿的视频帧B估计第二空间方向的第二运动向量分量。例如，第一空间方向是水平方向，并且第二空间方向是垂直方向。在一种变体中， 第一空间方向是垂直方向，并且第二空间方向是水平方向。视频帧B接在视频帧A的后面 或反过来。在步骤110中，取代依照在步骤100中估计的运动向量分量或它的一部分补偿 视频帧B，也可以依照在步骤100中估计的运动向量分量的一部分补偿视频帧A和依照在步 骤100中估计的运动向量分量的另一个部分补偿视频帧B。在这第二种情况下，在两个补偿 视频帧之间执行估计步骤120。针对给定时间位置上的帧中的像素估计运动向量。如果这个时间位置对应于两个 帧A和B之一(例如，A)，只需补偿另一个帧(在这种情况下，B)。在其它情况下，必须依照运动向量的一部分补偿两个帧。这种方法通过在图2A到2G中给出的例子例示出来。在该例中，第一空间方向是水 平方向，并且第二空间方向是垂直方向。针对帧A的像素P估计运动向量(预定时间位置 对应于视频帧A的时间位置)。视频帧A是在白色背景上显示一个灰色正方形20的画面。 正方形的左上角的水平和垂直坐标是xl和yl。在视频帧B中，灰色正方形发生了移动，并 且这个帧中的正方形的左上角的水平和垂直坐标是x2和y2。图2A示出了帧A和B。在图2B中，在帧A中定义了中心在像素P上的一个窗口 W。在帧B中定义了与窗口 W相同的窗口 W'。这个窗口 W'的中心在像素P'上，像素P' 具有与像素P相同的空间坐标。估计步骤100在于水平移动窗口 W'，以便确定窗口 W的 内容与窗口 W'的内容之间的最佳匹配。在运动估计的时间位置未处在帧A或B上的情况 下，窗口 W和W'将沿着位于预定时间位置上的帧中的像素上的运动向量与它们的相应中 心像素P和P' —起移动。图2C示出了最佳匹配以及运动向量的估计水平分量Vx。步骤 110通过图2D例示出来。依照运动向量分量Vx补偿帧B。估计步骤120在于垂直移动窗 口 W'，以便确定窗口 W的内容与窗口 W'的内容之间的最佳匹配，如图2E所示。图2F示 出了最佳匹配以及运动向量的估计垂直分量Vy。向量(Vx，Vy)是为像素P估计的运动向 量。图2G示出了依照前面估计的运动向量Vx和Vy水平和垂直补偿的帧B。这个图2G不 对应于该方法的一个步骤，而是表明估计是正确的。在本例中，在第一空间方向只用了一个估计步骤以及在第二空间方向也只用了一 个估计步骤来估计正确运动向量分量。在一些情况下，大量估计步骤是强制的。图3例示了在包含帧A和B的视频序列中的预定时间位置上估计运动的第二种方 法。这种方法包含大量估计步骤。这种方法包含如参考图1所述的步骤100到120以及附 加步骤。这些附加步骤是-步骤130，检验是否达到第一停止准则；以及-只要未达到第一停止准则，步骤140，根据在步骤120估计的第二运动向量分量 的至少一部分补偿第二视频帧B的至少一部分，和步骤150，针对位于预定时间位置上的帧 的至少一个像素，根据视频帧A和新补偿视频帧B估计第一空间方向的新第一运动向量分 量，并重复步骤110到130。例如，当迭代次数等于N时，达到第一停止准则，N是大于一的整数。例如，N等于 2或3。这个第一停止准则也可以是收敛准则。例如，如果两次相继迭代的第一和第二运动 向量分量之间的差值低于阈值(例如，如果该差值接近零)，则达到第一停止准则。在步骤 140，取代依照在步骤120估计的运动向量分量补偿视频帧B，也可以依照在步骤120估计的 运动向量分量的一部分补偿视频帧A和依照在步骤120估计的运动向量分量的另一个部分 补偿视频帧B。在这第二种情况下，在两个补偿视频帧之间执行估计步骤150。这第二种方法通过在图4A到4N中给出的例子例示出来。在该例中，第一空间方 向是水平方向，并且第二空间方向是垂直方向。针对帧A的像素P估计运动向量(预定时 间位置对应于视频帧A的时间位置)。视频帧A是在白色背景上显示一个灰色三角形20的 画面。三角形的左上角的水平和垂直坐标是xl和yl。在视频帧B中，灰色三角形发生了移 动，并且这个帧中的三角形的左上角的水平和垂直坐标是x2和y2。
5
图4A示出了帧A和B。在图4B中，在帧A中定义了中心在像素P上的一个窗口 W。在帧B中定义了与窗口 W相同的窗口 W'。这个窗口 W'的中心在像素P'上，像素P' 具有与像素P相同的空间坐标。估计步骤100在于水平移动窗口 W'，以便确定窗口 W的内 容与窗口 W'的内容之间的最佳匹配。在运动估计的时间位置未处在帧A或B上的情况下， 窗口 W和W'将沿着位于预定时间位置上的帧中的像素上的运动向量与它们的相应中心像 素P和P' —起移动。图4C示出了最佳匹配以及运动向量的估计水平分量Vx。步骤110通 过图4D例示出来。按照运动向量分量Vx补偿帧B。估计步骤120在于垂直移动窗口 W'， 以便确定窗口 W的内容与窗口 W'的内容之间的最佳匹配，如图4E所示。图4F示出了最佳 匹配以及运动向量的估计垂直分量Vy。图4G示出了依照前面估计的运动向量Vx和Vy水 平和垂直补偿的帧B。这个图4G不对应于该方法的一个步骤，而是为了表明在这个处理阶 段估计是不正确的而提供的。必须执行一些附加步骤来改善这个估计。只要步骤130的停 止准则未达到，则执行这些附加步骤。这个停止准则是，例如，步骤110和120的迭代次数。 为了保证得到正确估计，这个迭代次数等于，例如，2次或更多次。然后，由此执行步骤140 和150。图4H示出了依照运动向量Vy垂直补偿的帧B。估计步骤150在于如图41所示地 水平移动窗口 W'，以便确定窗口 W的内容与窗口 W'的内容之间的最佳匹配。图4J示出 了最佳匹配以及运动向量的新估计水平分量Vx。接在步骤150之后的步骤110通过图4K 例示出来。按照新运动向量分量Vx补偿帧B。接着的估计步骤120在于如图4L所示地垂 直移动窗口 W'，以便确定窗口 W的内容与窗口 W'的内容之间的最佳匹配。图4M示出了 最佳匹配以及运动向量的新估计垂直分量Vy。最终向量(Vx，Vy)是为像素P估计的运动 向量。图4N示出了依照前面估计的最终运动向量Vx和Vy水平和垂直补偿的帧B。这个图 4N不对应于该方法的一个步骤，而是表明估计是正确的。图5例示了估计视频帧A和视频帧B之间的运动的第三种方法。这种方法包含如 参考图3所述的步骤100到150以及在步骤150之后检验是否达到第二停止准则的步骤 160。只有当未达到第二停止准则时才重复步骤110到130。例如，当步骤d)的两次相继 迭代所得的两个相继新第一运动向量分量之间的差值大于阈值时，未达到这个第二停止准 则。例如，如果该差值低于每帧1个像素，则达到第二停止准则，并且，通过最后估计的第一 和第二运动向量分量来定义为当前像素估计的运动向量。图6例示了估计视频帧A和视频帧B之间的运动的第四种方法。在这种方法中， 为了估计给定像素的第一运动向量分量，建议使用为相邻像素(例如，属于前一行)估计的 第二运动向量分量。这种方法包含如参考图3所述的步骤100到150以及根据为相邻像素 估计的第二运动向量分量补偿第一视频帧B的步骤170。这个补偿步骤是在步骤100之前 执行的。如果第一停止准则是收敛准则，这个新步骤170将使运动向量的精度得到提高，因 此更迅速地达到收敛准则。图7例示了估计视频帧A和视频帧B之间的运动的第五种方法。在这种方法中，为 了估计给定像素的第一运动向量分量，也建议使用为相邻像素估计的第二运动向量分量。 这种方法包含如参考图5所述的步骤100到160以及根据为属于前一行或后一行的相邻像 素估计的第二运动向量分量补偿第一视频帧B的步骤170。这个补偿步骤是在步骤100之 前执行的。如果第一和第二停止准则的至少一个是收敛准则，则这个新步骤170将导致更 迅速地达到收敛准则，因为这提高了运动向量的精度。
图8示出了实现图1到6例示的方法的设备。由于每个估计步骤只在一个空间方 向上执行，所以该设备包含两个方块在第一空间方向进行运动估计和补偿的方块800以 及在第二空间方向进行运动估计和补偿的方块810。步骤100、110以及，如果需要的话，步 骤150和160由方块800执行，和步骤120、130以及，如果需要的话，步骤140和160由方 块810执行。执行步骤170需要另外的行存储器。本发明不局限于所公开的实施例。可以作出各种各样的修改，并认为它们都在权 利要求书的范围之内。可以逐个步骤地对视频帧的一部分或整个帧执行步骤100、110和120(同样适用 于140、150和170)。在第一种情况下，意味着在第一空间方向对帧的一部分的运动估计，然 后在这个第一空间方向对帧A和/或B的一部分的补偿，最后在第二空间方向的估计。在 第二种情况下，意味着在第一空间方向对整个帧的运动估计，然后在这个第一空间方向对 整个帧A和/或B的补偿，最后在第二空间方向的估计。也可以关于这种补偿(以及向量的使用)作许多改变。对于估计单个像素的运动，不需要整个视频帧；事实上，仅仅需要用于运动估计的 像素，使得实际上仅仅需要补偿这个部分的视频(如前所述，也可以补偿整个帧)。当然，可以使用每个像素的相应向量补偿所需视频区，但为了节省一些资源和行 存储器，可以将相同向量信息用于几个像素。例如，对于水平补偿(在垂直估计之前)，可以 按列补偿视频，每列是使用该列的中心像素的向量移动的。
权利要求
一种在至少包含第一视频帧和第二视频帧的视频序列中的预定时间位置上估计运动的方法，包含如下步骤a)针对位于预定时间位置上的帧的至少一个像素，根据所述第一视频帧和所述第二视频帧估计(100)第一空间方向的第一运动向量分量；b)根据所估计的第一运动向量分量的至少一部分补偿(110)所述第二视频帧的至少一部分；以及c)针对所述位于预定时间位置上的帧的至少一个像素，根据所述第一视频帧和所补偿的第二视频帧估计(120)第二空间方向的第二运动向量分量。
2.按照权利要求1所述的方法，其中，所述方法进一步包含如下步骤d)在步骤c)结束时检验(130)是否达到第一停止准则；以及e)只要未达到所述第一停止准则，就根据所估计的第二运动向量分量的至少一部分补 偿(140)所述第二视频帧，针对所述位于预定时间位置上的帧的至少一个像素，根据所述 第一视频帧和新补偿的第二视频帧估计(150)第一空间方向的新第一运动向量分量，并重 复步骤b)到d)。
3.按照权利要求1或2所述的方法，其中，所述第一空间方向是水平方向，并且所述第 二空间方向是垂直方向。
4.按照权利要求1或2所述的方法，其中，所述第一空间方向是垂直方向，并且所述第 二空间方向是水平方向。
5.按照权利要求1到4的任何一项所述的方法，其中，所述第二视频帧接在所述第一视 频帧的后面。
6.按照权利要求1到4的任何一项所述的方法，其中，所述第一视频帧接在所述第二视 频帧的后面。
7.按照权利要求2到6的任何一项所述的方法，其中，只要迭代次数不等于N，就未达 到所述第一停止准则(130)，N是大于一的整数。
8.按照权利要求2到6的任何一项所述的方法，其中，只要步骤e)的第一次迭代所得 的第一运动向量分量和第二运动向量分量与步骤e)的下一次迭代所得的第一运动向量分 量和第二运动向量分量之间的差值大于阈值，就未达到所述第一停止准则(130)。
9.按照权利要求2到8的任何一项所述的方法，其中，在步骤e)中，只有当未达到第二 停止准则时(160)才重复步骤b)到d)。
10.按照权利要求9所述的方法，其中，只要步骤e)的第一次迭代所得的新第一运动向 量分量与步骤e)的下一次迭代所得的新第一运动向量分量之间的差值大于阈值，就未达 到所述第二停止准则(160)。
全文摘要
本发明涉及一种估计两个视频帧之间的运动的方法。按照本发明，运动估计是通过首先在水平方向使用一次运动估计，然后在垂直方向使用一次运动估计来进行的。最好，与数次垂直方向的运动估计交替地使用多次水平方向的运动估计。它使得降低了估计的复杂度。
文档编号H04N5/14GK101946502SQ200880126938
公开日2011年1月12日 申请日期2008年3月13日 优先权日2008年2月20日
发明者卡洛斯·科里亚, 塞巴斯蒂恩·韦特布鲁克, 塞德里克·希鲍尔特 申请人:汤姆森特许公司