专利名称：减小基于运动估计的视频处理系统的反应时间的制作方法
技术领域：
本发明通常涉及视频处理领域。更具体地本发明涉及通过执行多个运动估计扫描而并不相反地增加视频处理系统的运动估计操作的反应时间，来增强在视频屏幕例如电视屏幕上被显示图像的质量。
背景技术：
在运动估计被用来增强显示图像的质量的电视领域公知，运动估计的质量是至关重要的。在其它视频应用技术中，运动估计被用作两个主要的视频应用技术——去隔行和画面上变换的一部分。而且，包括空-时噪音减小和锐度增强的视频应用技术将同样受益于运动估计的使用。
过去，对于两个应用技术仅使用一个运动估计器意味着去隔行都是匆忙运行的，紧跟着的是画面速率上变换(up-conversion)。另一方面，今天的电视屏幕更大且更亮并且因此使得赝象变得更加可见。在减小赝象影响的持久努力中，研究者已经提出了更加复杂的算法。在C.Ciuhu和G.de Haan在2004年1月出版的SPIE，Proceeding of VCIP的700-711页发表的“A two dimensional generalised sampling theory and application tode-interlacing”公开的基于新2D广义取样法则(GST)的去隔行算法中，以及R.B.Wittebrood，G.de Haan和R.Lodder在2003年6月出版的Digestof the ICCE’03的344-45页发表的“Tackling occlusion in scan rateconversion system”公开的减小晕圈的画面速率上变换算法都是典型的例子。这些算法基于已有的运动向量域提供了更好的结果，意味着它们仅消耗了已经可用的运动向量域。因此它们高度依赖已消耗的运动向量域的质量。
改善运动向量域的质量的一种方式是增加每个输入图像对的运动估计扫描的数量。更大数量的扫描应当意味着更好的图像质量。在两个连续运动估计通道上改变扫描的方向，例如第一通道是从屏幕的顶部到底部以及第二通道是从屏幕的底部到顶部，也似乎是个可关注的选择，因为其实现了运动向量域从两个不同方向的集中。多次扫描、扫描方向交替和两种扫描方式(曲折(meandering)方式和从顶部到底部以及从左到右的常规方式)的效果被A.Beric，G de Haan，J.van Meerbergen和R.Sethuraman在2003年9月以CD出版的“Proceedings of the IEEEInternational Conference on Image Processing”上发表的“Towards anefficient high quality picture rate up-converter”用实验方法分析，其在此整体引入作为参考。
该实验在如图1所示的五个渐进序列上(自行车101，独白102，BBC脚本103，乒乓球104，混合器105)使用一组六个运动向量候选者进行。计算的运动向量域的质量通过在文献中广泛使用的标准——修正均方误差(MMSE)来测量。实验的结论是增加运动估计扫描的数量实现了运动向量域的更好质量。然而，在第二或第三扫描之后，MMSE曲线饱和，并且更多的扫描并不能实现更好的图像质量。而且，扫描方向的交替促使了运动向量域的更快集中，特别是在不同序列的情况下。这些结论在图2中示出，其示出了为不同数量的运动估计通道并且具有扫描所使用的交替和曲折方式的不同结合而画出的序列混合器105的MMSE。
然而，更多的运动估计扫描意味着视频处理系统的更高等待时间，其使得例如在当使用单独声音表现系统时的情况下产生唇同步损失，并且需要额外的存储器资源来缓存图像。
为了保持运动向量域的高水平质量，两个交替方向的扫描应当在去隔行侧和上变换器侧都执行。图3示出了在去隔行侧301和303以及上变换侧305和307执行的运动估计扫描。一个单独的运动估计器执行四个扫描。第一扫描从顶部到底部，以及第二扫描从底部到顶部。如图3所示，执行这个操作的时间是4T，给出执行一个扫描需要的时间是1T。随着第二扫描的执行，去隔行帧的产生就可以开始了。这大概在t＝1T发生。上变换帧的产生在大概t＝3T开始。不幸的，该方法在视频处理系统中产生了太多不需要的等待时间。
在如图3所示的公知方法中，最后的上变换运动估计扫描从底部到顶部执行。这是很不方便的，因为像素在显示设备上应当从顶部到底部来显示。为了克服这种不便，上变换器应当仅执行一个向下扫描，这将损坏质量，或3个扫描即向下、向上、向下(其会增加等待时间以及所需的缓存容量)。因此，需要一种新的方法来执行多个运动估计扫描而不用过度地增加视频处理系统的等待时间。
因此，一种改进的用于执行多个运动估计扫描而不用过度地增加视频处理系统的等待时间的方法和系统是有利的。
发明内容
因此，本发明优选设法逐一减轻、缓解或消除现有技术中的一个或多个上述缺陷以及缺点或其结合，并且通过提供一种根据权利要求的允许视频图像处理系统在去隔行侧和上变换器侧执行多个运动估计扫描而不用过度地增加视频处理系统的等待时间的系统、方法和计算机可读介质来至少解决上述问题。
根据本发明的总的解决方案是在去隔行侧和上变换器侧使用单独的运动估计器，以及更具体地改变第一上变换器扫描的方向以使得其可在第二去隔行扫描被执行时开始，从而减小了视频图像处理系统的等待时间。
根据本发明的一个方面，提供了一种方法在图像处理系统中以连续的图像处理步骤在视频图像帧上执行运动估计，所述方法包括以下步骤在第一图像处理步骤在第一方向执行第一运动估计扫描；在第一处理步骤在第二方向执行第二运动估计扫描；在第二图像处理步骤在第二方向执行第一运动估计扫描；以及在第二处理步骤在第一方向执行第二运动估计扫描。
根据本发明的另一个方面，提供了一种处理图像帧的系统，所述系统包括用于处理图像帧的第一图像处理器；与第一图像处理器连接的第一运动估计器，其中第一运动估计器首先在第一方向扫描该帧并随后在第二方向扫描该帧；与第一图像处理器的输出连接的第二图像处理器，用于处理该帧；以及与第二图像处理器连接的第二运动估计器，其中第二运动估计器首先在第二方向扫描该帧并随后在第一方向扫描该帧，所述装置彼此可操作的连接。
根据本发明的再一个方面，提供了一种具有体现在其上的用于由计算机处理的计算机程序的计算机可读介质。计算机程序包括用于在图像处理系统中以连续的图像处理步骤在视频图像帧上执行运动估计的代码段，所述方法包括以下步骤在第一图像处理步骤在第一方向执行第一运动估计扫描；在第一处理步骤在第二方向执行第二运动估计扫描；在第二图像处理步骤在第二方向执行第一运动估计扫描；以及在第二处理步骤在第一方向执行第二运动估计扫描。
本发明具有相对于现有技术的优点，其降低了整个系统的等待时间和所需的帧缓存存储器容量而不会损坏所产生信号的质量。
本发明的这些和其它方面、特征和优点将从本发明以下参考附图做出的实施例的描述中变得明显和清楚，其中图1示出了在运动向量域的质量估计中使用的一系列序列；图2示出了为不同数量的运动估计通道所画出的混合器序列的MMSE；图3示出了根据已知方法在去隔行侧和上变换器侧执行的运动估计扫描；图4示出了根据本发明一个实施例的视频处理系统的一些部件；图5示出了根据本发明一个实施例的上变换器的框图；图6示出了用于本发明的两级缓存策略的框图；图7示出了根据本发明一个实施例的在去隔行侧和上变换器侧执行的运动估计扫描。
具体实施例方式
以下描述集中在可应用在视频图像处理系统以及尤其是对于去隔行和上变换都利用多个运动估计的视频图像处理系统的本发明的一个实施例。然而，应当理解的是本发明不限于这种应用，而可应用到很多其它视频应用技术比如空-时噪音减小和锐度增强，其二者都能受益于运动估计的使用。
本发明的一个实施例如图4所示，其是包括多个阶段的图像处理系统400的框图。图像信号402被提供到第一阶段401，其包括用于将信号解码为存储在帧缓存器(未示出)中的帧的视频解码器413和空间噪音减小单元415。然后第二阶段403选择一帧进行处理，该阶段包括去隔行处理器417和空-时噪音减小单元419。运动估计器421与去隔行处理器417可操作地连接以在由去隔行处理器417处理的每一帧上执行运动估计扫描，其将在以下进行详细的描述。去隔行处理器的输出与第三阶段405连接，其包括空间定标和锐度增强单元。第三阶段405在将帧发送到第四阶段407之前对其进行定标和锐化。第四阶段407包括用于上变换图像信号帧的上变换过程423。运动估计器425与上变换处理器423可操作地连接以在由上变换处理器423处理的每一帧上执行运动估计扫描，其将在以下详细描述。根据本发明的一个实施例，每个运动估计器421、425执行每帧至少两个扫描。随后上变换处理器的输出被发送到定标器409，其在将帧发送到显示设备411之前将其调制为适当的显示分辨率。
图5示出了可用于本发明的上变换模块。帧存储器M1和M2分别用于从画面输入速率f1到输出速率f2的频率变换以及用于提供延迟图像。
图6示出了上变换处理器407所使用的两个等级的缓存策略。存储在帧存储器M1和M2以及L1缓存中的数据是压缩格式的，而存储在L0缓存中的数据是未压缩格式的。数据解压缩模块(DEC/IDCT)执行解码并找到数据流的反离散余弦变换的操作。等级1(L1)缓存保留五个块行，图像的搜索区域的高度，而整个搜索区域存储在等级0(L0)缓存中。帧存储器M1和M2和运动估计器/补偿器(ME/MC)之间的数据通信量当数据解压缩模块(DEC/IDCT)在接近L0缓存发生时最小。
在本发明的第一实施例中，在图3所示的方向上执行所有的四个扫描。在该实施例中，有两个运动估计器421、425，其中第一运动估计器为去隔行阶段执行两个扫描以及第二运动估计起为上变换阶段执行两个扫描。
根据本发明的另一实施例，将参考图7更加详细地描述图像处理系统400地操作。图7示出了根据本发明第一实施例在去隔行处理器403和上变换处理器407执行的运动估计扫描。在本发明的这个实施例中，两个运动估计扫描对每个运动估计器在相反方向被执行。首先，运动估计器405在如箭头701所指示的第一方向在所选帧上执行运动估计扫描。随后运动估计器在如箭头703所指示的另一个方向执行第二扫描。根据本发明，一旦运动估计器405开始第二扫描，第二运动估计器409的第一运动估计扫描(用于上变换过程)从如箭头705所指示的与运动估计器405的第一扫描相反的方向开始。因此，第一上变换运动估计器在第二去隔行运动估计结束之前开始。最后，第二运动估计器409在如箭头707所指示的与第一扫描相反的方向执行第二扫描。在本发明的该实施例中，第一去隔行运动估计扫描从顶部到底部，以及第二去隔行运动估计扫描从底部到顶部。此外，第一上变换运动估计扫描从底部到顶部，以及第二上变换运动估计扫描从顶部到底部。
在如图3所示的已有系统中，随着第二去隔行扫描的进行，去隔行帧的产生在大概t＝1T开始。然而，如图7所示，第一上变换运动估计扫描可通过倒转第一上变换运动估计扫描的方向在第二去隔行扫描开始后一小段时间(δ)开始。时间δ取决于估计器的搜索窗口或搜索区域的垂直尺寸(高度)。典型的，搜索区域的高度是5个块(1个块定义为8*8的像素区域)。对于标准清晰度(SD)分辨率，帧的高度是72个块。因此，δ＝5/72T≈7％T。因此，在不同方向对于去隔行和上变换利用两个运动估计的图像处理系统的等待时间减小了93％T而不会降低最终信号的质量。
本发明在图像处理系统上具有多个额外的有益效果。首先，需要用于上变换的缓存存储器(帧存储器)的容量减小大约1个帧存储器(720*576*2字节/像素≈6.3Mbit)。此外，第二上变换运动估计扫描从顶部到底部来产生。因此，属于上变换帧的像素从顶部到底部产生。由于这个原因，这些像素可立即显示在显示设备411上。
如上所述，倒转了上变换的第一运动估计扫描的方向的本发明，相对于现有系统具有很多优点并且不会损坏所产生的信号质量。首先，整个系统的等待时间降低而所需的帧(缓存)存储器的容量减小了。此外，最后的运动估计扫描和上变换帧从顶部到底部产生，这意味着产生的像素可立即在屏幕上显示。
本发明可以包括硬件、软件、固件和其任何组合的适当形式实施。然而优选地，本发明可作为运行在一个或多个数据处理器和/或数字信号处理器的计算机程序来实施。本发明实施例的元件和部件可以是物理地、功能性地和逻辑地以任何适当方式实施。实际上，功能可在单个单元、多个单元或作为其它功能单元的一部分上实施。这样，本发明可在单个单元中实施，或可物理地或功能性地分布在不同的单元和处理器中。
尽管本发明已经如上参考具体实施例进行描述，其目的不是在于限制于上述特定形式。而是本发明仅由权利要求限定，除了上述之外的其它实施例在这些权利要求的范围内也是等同可能的，例如不同于上面所描述的图像处理步骤。
在权利要求中，术语“包括”不排出其它元件或步骤的存在。此外，尽管单独列出了，多个装置、元件或方法步骤可通过例如单个单元或处理器来实施。此外，尽管在不同权利要求中包括了单独的特征，它们可能被有利地结合，并且在不同权利要求中包含并不意味着这些特征的结合不是可行和/或有利的。此外，单数标记并不排出多个。术语“一”、“第一”、“第二”等不排除多个。权利要求中的参考标记仅提供用于清楚示例并且不应当理解为以任何方式限定权利要求的范围。
权利要求
1.一种在图像处理系统中以连续的图像处理步骤在视频图像上执行运动估计的方法，该方法包括在第一图像处理步骤的第一运动估计扫描中，在第一扫描方向上执行第一扫描操作；在第一图像处理步骤的第二运动估计扫描中，在第二扫描方向上执行第一扫描操作；在第二图像处理步骤的第一运动估计扫描中，在第一扫描方向上执行第二扫描操作；在第二图像处理步骤的第二运动估计扫描中，在第二扫描方向上执行第二扫描操作。
2.如权利要求1所述的方法，在第一图像处理步骤的第一扫描操作中的第一扫描方向与在第二图像处理步骤的第一扫描操作中的第一扫描方向相反，以及在第一图像处理步骤的第一扫描操作中的第二扫描方向与在第二图像处理步骤的第二扫描操作中的第二扫描方向相反。
3.如权利要求1所述的方法，在第一图像处理步骤的第一扫描操作中的第一扫描方向与在第二图像处理步骤的第二扫描操作中的第一扫描方向相同，以及在第一图像处理步骤的第一扫描操作中的第二扫描方向与在第二图像处理步骤的第二扫描操作中的第二扫描方向相同，以及第一图像处理步骤使用第一运动估计器以及第二图像处理步骤使用第二运动估计器。
4.如权利要求1所述的方法，在第一图像处理步骤的第一扫描操作中的第一扫描方向是从图像的顶部到底部，以及在第一图像处理步骤的第一扫描操作中的第二扫描方向是从图像的底部到顶部，以及在第二图像处理步骤的第二扫描操作中的第一扫描方向是从图像的底部到顶部，以及在第二图像处理步骤的第二扫描操作中的第二扫描方向是从图像的顶部到底部。
5.如权利要求1所述的方法，其中第一图像处理步骤相应于去隔行。
6.如权利要求1或5所述的方法，其中第二处理步骤相应于上变换。
7.如权利要求1所述的方法，其中第一图像处理步骤的运动估计扫描由第一运动估计器执行，以及第二图像处理步骤的运动估计扫描由第二运动估计器执行。
8.如权利要求1所述的方法，在第二图像处理步骤的第一运动估计扫描在第一图像处理步骤的第二运动估计扫描结束之前开始。
9.一种用于处理图像的图像处理系统，该系统包括第一图像处理器(417)，用于处理图像；与第一图像处理器(417)连接的第一运动估计器(421)，其中第一运动估计器(421)被配置为首先在第一扫描方向扫描图像并随后在第二扫描方向扫描图像；与第一图像处理器(417)的输出连接的第二图像处理器(423)，用于处理图像；与第二图像处理器(423)连接的第二运动估计器(425)，其中第二运动估计器(425)被配置为在两个不同的扫描方向连续扫描图像，其中图像处理器(417，423)和运动估计器(421，425)彼此可操作的连接。
10.如权利要求9所述的系统，其中第二运动估计器(425)被配置为首先在第一扫描方向扫描图像并随后在第二扫描方向扫描图像。
11.如权利要求9所述的系统，其中第二运动估计器(425)被配置为首先在第二扫描方向扫描图像并随后在第一扫描方向扫描图像。
12.如权利要求9或11所述的系统，其中所述第一扫描方向是从图像的顶部到底部，以及第二扫描方向是从图像的底部到顶部。
13.如权利要求9所述的系统，其中第一图像处理器(417)被配置为执行去隔行。
14.如权利要求9或13所述的系统，其中第二图像处理器(423)被配置为执行上变换。
15.如权利要求9所述的系统，其中第二运动估计器(425)被配置为在第一运动估计器(421)的第二运动估计扫描结束之前开始它的第一运动估计扫描。
16.一种计算机可读介质，在其上具体化有由计算机处理，用于在图像处理系统中以连续的图像处理步骤在视频图像上执行运动估计的计算机程序，该计算机程序包括代码段，用于在第一图像处理步骤的第一运动估计扫描中，在第一扫描方向上执行第一扫描操作；在第一图像处理步骤的第二运动估计扫描中，在第二扫描方向上执行第一扫描操作；在第二图像处理步骤的第一运动估计扫描中，在第一扫描方向上执行第二扫描操作；在第二图像处理步骤的第二运动估计扫描中，在第二扫描方向上执行第二扫描操作。
全文摘要
公开了一种在视频处理系统中以连续图像处理步骤在视频图像上执行运动估计的方法和系统。根据一个实施例使用第一运动估计器在第一图像处理步骤在第一方向上执行第一运动估计扫描以及使用第一运动估计器在第一处理步骤在第二方向上执行第二运动估计扫描。使用第二运动估计器在第二图像处理步骤在第二方向上执行第一运动估计扫描以及使用第二运动估计器在第二运动处理步骤在第一方向上执行第二运动估计扫描。因为第二运动估计器在第一运动估计器的第二运动估计扫描结束之前开始其第一运动估计扫描，所以可减小反应时间。
文档编号H04N7/46GK101061710SQ200580039891
公开日2007年10月24日 申请日期2005年11月17日 优先权日2004年11月22日
发明者A·贝里, R·塞瑟拉曼 申请人:皇家飞利浦电子股份有限公司