专利名称：用于创建内插图像的方法和系统的制作方法
技术领域：
本发明涉及用于在视频流中的前一 图像和当前图像间创建内插图像的方法。本发明还涉及用于在视频流中的前一 图像和当前图像间创建内插图像的图像处理系统。
背景技术：
过去，通常以诸如每秒50和60帧的较低的帧速率来实现LCD电视的帧速率上变换。近年来，市场正试图解决LCD屏幕的采样和保持问题。解决这一问题的一种方式是，上变换至诸如每秒96、 100或120帧的较高的帧速率。不幸的是，以较大的因子执行上变换还会使感知到的视频质量恶化。除了其他因素以外，这主要是由于内插图像显示时间相对较长这一事实所引起的。常用的帧速率上变换运动估计算法使3DRS算法，在G.deHaan禾卩R W, A, C. Biezen的Sub-pixel motion estimation with 3-D recursivesearch block-matching, Signal Processing: Image Communication 6， pp.229.239, 1994中对该算法进行了说明。该算法通过使取自块相关候选集中的矢量的绝对差和(SAD)最小化的方式，为当前帧中的每个块求得一个
目前，存在诸如静态和级联中值(cascaded median)等几种上变换技术。G. de Haan的Video Processing for multimedia systems, University PressEindhoven, 2000中对这些技术进行了详细说明。然而，这些技术均会受到所谓晕圈伪像(halo artifact)的困扰。在由运动补偿速率变换器产生的图像中，运动物体边缘将可见到伪像，在图像中既可以存在背景覆盖，也可以存在背景暴露。这些伪像通常被称为晕圈(halo)。晕圈的成因有两个。第一个原因在于运动矢量场的分辨率。通常，运动矢量可以使用的网格密度远远小于像素网格的密度。举例而言，如果可以每8X8像素可以使用一个运动矢量，那么运动物体的轮廓只能以矢量网格精度得到粗略近似，而这将导致块晕圈(blockyhalo)现象。第二个原因在于对视频序列的两个连续图像间的运动进行估计的运动估计单元，由于对于出现覆盖或暴露的区域而言背景信息只出现在两幅图像中的任意一幅图像之中，因此该运动估计单元无法在上述区域中良好的工作。
US 2006/0072790 Al中公开了用于执行暴露-覆盖检测的方法。关于暴露-覆盖检测的方法还可参见G. de Haan和P. W. A. C. Biezen的Sub-pixelmotion estimation with 3-D recursive search block-matching, SignalProcessing: Image Communication 6, pp. 229.239， 1994。
最近，为了解决遮挡(覆盖或暴露)问题，提出了多种三帧变形(variant)(G. A. Lunter， Occlusion-insensitive motion estimation for segmentation, inProceedings of the SPIE: Visual Communications and Image Processing, pp.573.584， Jan. 2002)。遮挡发生在只在两或三个参考帧中的某些参考帧而不是全部参考帧中内可见的图像内的区域之中。由遮挡导致的误差称作晕圈伪像。这些三帧变形可以用于利用矢量场重定时器(retimer)的帧速率上变换。这种矢量场重定时器是通过WO 2005/027525 Al为公众所知的。这些文件公幵了一种由飞利浦研究中心所开发的、用于解决晕圈问题的、不受平台限制的算法。该算法包括运动估计器和时间上变换器两个部件。然而，三帧估计器和矢量场重定时器组合实现起来的代价是十分高昂的。
存在一种成本更低的晕圈消减算法，专利申请US 2006/0072790 Al中公开了该算法。文件US 2006/0072790 Al公开了一种用于十分方便地确定适当的遮挡区域内的运动矢量的方法。该方法包括以下步骤根据基于图像的运动矢量场的一部分确定得到的运动模型，为像素计算基于模型的运动矢量；将基于模型的运动矢量同运动矢量集中的各运动矢量进行比较；基于比较，选择运动矢量集中特定的运动矢量，将该特定的运动矢量指定为背景运动矢量。然而，该算法非常可能在视频中引入新的伪像，并且实际上，几乎根本不使用该算法。此外，该算法实现起来成本极高。
发明内容
本发明的一目的在于，提供一种用于创建内插图像的、减少了晕圈伪像并相对廉价的方法。该目的可由根据权利要求1所述的方法予以实现。
5本发明的另一目的在于，提供一种用于创建内插图像的、减少了晕圈 伪像并相对廉价的图像处理系统。该目的可由根据权利要求7所述的方法 予以实现。
本发明的另一目的在于，提供一种用于实现根据本发明的方法的计算 机程序产品。该目的可由根据权利要求8所述的计算机程序产品予以实现。
本发明可以同二帧运动估计器一起使用，从而降低了实现成本。该新 方法首先在其目的有别于其他技术。本发明并不打算解决所有光晕问题，
而意在部分降低光晕的感知等级，例如，采用级联中值，将每秒25帧到 每秒100帧的上变换降低至每秒25帧到每秒50帧的上变换等级。
本发明基于以下原理运动估计器产生至少两个矢量场，其一位于小
于1/2的时间位置，另一个位于大于1/2的时间位置。然后，进行遮挡检 测，以检测覆盖和暴露区。从第一矢量场获取第一矢量，从第二矢量场获 取第二矢量。如果有覆盖，就用第二矢量作为上变换矢量；如果有暴露， 就用第一矢量作为上变换矢量；如果不存在暴露-覆盖，上变换矢量既可以 为第一矢量，也可以是第二矢量。如此以来，上变换矢量就可以指向前一 图像和当前图像中正确的原始段值。
本发明的实施例定义于所附权利要求。
参考附图对本发明进行更加详细的说明，其中
图1示出了根据本发明的方法的第一步骤；
图2示出了根据本发明的方法的第二步骤；
图3示出了根据本发明的方法的第三步骤；
图4示出了根据本发明的方法的第四步骤；
图5示出了根据本发明的方法的第五步骤；
图6示出了根据本发明的方法的第六步骤；
图7示出了在检测到覆盖的情况下的上变换矢量的产生；
图8示出了在检测到暴露的情况下的上变换矢量的产生；
图9示出了未检测到暴露-覆盖的情况下的上变换矢量的产生。
具体实施例方式
时间上变换涉及使用两幅输入图像的算法，在这两幅输入图像间必须 创建一幅内插图像。较早的图像称为前一图像，最近的图像称为当前图像。 该算法通常逐步创建内插图像针对图像各段(例如块或像素)创建运动 矢量，并使用运动矢量计算各段的内插值，以获取前一图像和当前图像中 正确的原始值。
图l示出了根据本发明的方法的第一步骤。在算法的第一步骤中，用
运动估计器(例如类3DRS估计器)在前一图像和当前图像间执行两次标
准的两图像运动估计。第一次估计位于小于1/2的时间位置；第二次估计
位于大于1/2的时间位置。时间位置1/2被定义为前一图像和当前图像的 中间时间的位置。由于该时间位置的缘故，第一矢量场中的背景矢量与暴 露区中的前景对象相对比较接近。同样，第二矢量场中的背景矢量与覆盖 区中的前景对象相对比较接近。
以下步骤均是逐段的、对期望进行上变换的各时间位置予以执行的。 例如，对于从每秒25帧到每秒100帧的上变换，这些时间位置为1/4、 1/2 和3/4，但该算法不局限于这些位置。
图2示出了根据本发明的方法的第二步骤。在第二步骤中，通过对一 个或两个矢量场进行分析的方式执行暴露-覆盖检测。暴露-覆盖检测是按 以下方式予以实现的。在第二步骤中，计算当前段左侧的N段位置中的矢 量同当前段右侧的N段位置中的矢量的水平差异(其中N》1)。将该差异 同一个遮挡阈值进行比较。具体如下所示
mvx (x - N, y) - mvx (x + N， y) > Toceiusion =>暴露(1)
mvx (x - N, y) - mVx (x + N, y) < - Tocclusion =>覆盖(2)
在该式中，mvx(x,y)是位置(x,y)的矢量的水平分量，T。edusi。n是遮挡阈值。
图3示出了根据本发明的方法的第三步骤。第三步骤以运动补偿的方 式从各矢量场中获取两个矢量。如果检测到覆盖，就用第一矢量场中的矢 量进行补偿，以提高选中前景矢量的概率。如果检测到暴露，就用第二矢 量场中的矢量进行补偿，以提高选中背景矢量的概率。如果未检测到覆盖 -暴露，就使用零矢量。沿所述矢量，从第一矢量场中获取矢量mvune°v，从第二矢量场中获取矢量nw，。
图4示出了根据本发明的方法的第四步骤。第四步骤是一个鲁棒性步 骤。在mv，和mv^。v的水平分量间进行比较。如果其小于T。edusi。n，剩余 处理就认为没有覆盖或暴露。
图5示出了根据本发明的方法的第五步骤。第五步骤为当前段的上变 换产生上变换矢量mv"Pe。如果有覆盖，就选择mve。v。如果有暴露，就选 择nww，以及如果二者均没有，就选择mv(x,y)。如果没有覆盖-暴露， 则可以从mv，和nwu^v中任意选择上变换矢量。此外，还产生遮挡掩图 (mask)。该掩图是二维场，其中有覆盖部分的块取值为1，有暴露部分 的块取值为-1，两者都不存在的取值为0。该遮挡掩图经低通滤波。
图6示出了根据本发明的方法的第六步骤。第六步骤用矢量mvupe进 行实际的上变换。如果当前段的遮挡掩图为0，就执行标准的级联中值。 如果遮挡掩图大于0，上变换将是动态中值以及沿矢量mvUPe从当前图像 中所单侧获取的二者之间的混合。该混合受遮挡掩图中数值的控制。如果 该值和0相差较多，就加入较多的单侧获取。如果遮挡掩图小于0，就执 行相似的上变换，但此时单侧获取将取自前一图像。
图7示出了在检测到覆盖的情况下的上变换矢量的产生。如果检测到 覆盖，就从第二矢量场中获取上变换矢量。在这种情况下，选择背景矢量。
图8示出了在检测到暴露的情况下的上变换矢量的产生。如果检测到 暴露，就从第一矢量场中获取上变换矢量。在这种情况下，选择背景矢量。
图9示出了在未检测到暴露-覆盖的情况下的上变换矢量的产生。如果 未检测到暴露-覆盖，则可以从第一矢量场或第二矢量中任意地选择上变换 矢量。在这种情况下，选择前景矢量。
以下，将说明若干候选以及可选方案。 一种引人关注的可选方案是， 在1/4时间位置以下的时间位置，对上变换禁用暴露检测，并在3/4以上 的时间位置禁用覆盖检测。这样做可以提高鲁棒性并降低实现开销。
另一种可选方案是，不以运动补偿的方式获取矢量，而始终获取基于 零矢量获取它们。这样做将降低前景运动情况下晕圈的性能，但可以提高 鲁棒性并降低实现开销。
另一种可选方案是，在以运动补偿方式获取矢量时，在空间上内插矢
8量。这样做将使暈圈区的边缘变得比较柔和，还将得到更好的整体晕圈性 能，然而这样做将提高实现开销。可以通过移动估计的时间位置以接近或 远离1/2，在鲁棒性和晕圈性能间获得平滑的折中。以动态方式执行折中
将提高实现的开销，但可以极大地提高低效运行(fallback)控制的概率。
同前有算法相比，本发明具有以下若干优势
-本发明支持高效廉价的实现。 -本发明支持时延相对较小的实现。
-本发明可以通过移动估计的时间位置以接近或远离1/2，在鲁棒性
和晕圈性能间获得平滑的折中。 -本发明是一个相对鲁棒的算法。
根据本发明的方法可以在计算机程序产品的控制下予以实现。在执行
过程中，该计算机程序产品通常被加载于诸如RAM等存储器中，并在该 处执行。该程序可以是从诸如ROM、硬盘、或磁盘和/或光学存储器等后 台存储器进行加载的，后者还可以是通过诸如互联网等网络予以加载的。 可选地，可以由专用集成电路提供所公开的功能。
值得注意的是，本发明的保护范围不局限于此处所述的实施例。本发 明的保护范围也不受权利要求中参考符号的限制。词语"包括"不排除除 权利要求所述部件以外的其他部件。元件前的词语"一"不排除多个同种 元件的可能。够长本发明部件的装置既可以专用硬件的形式实现，也可以 可编程通用处理器的形式予以实现。本发明的重点在于各种新特征或特征 的组合。
权利要求
1.一种用于在视频流中的前一图像和当前图像间创建内插图像的方法，其特征在于(a)在所述前一图像和当前图像间执行运动估计，产生第一矢量场和第二矢量场，其中，第一运动估计是在小于1/2的时间位置执行的，第二运动估计是在大于1/2的时间位置执行的；其中一段内插图像的内容是按如下方式确定的(b)通过对第一矢量场和第二矢量场中至少一个矢量场进行分析，执行暴露-覆盖检测；(c)从第一矢量场获取第一矢量，并从第二矢量场获取第二矢量；(d)产生上变换矢量，其中(d1)如果有覆盖，就用第二矢量作为上变换矢量；(d2)如果有暴露，就用第一矢量作为上变换矢量；(d3)如果不存在暴露-覆盖，从第一矢量和第二矢量中任意选择上变换矢量；(e)使用上变换矢量获取前一图像和当前图像中的原始段值，并根据所述原始段值计算所述段的内插值；(f)对所述内插图像的每一段重复步骤(b)至(e)。
2. 根据权利要求1所述的方法，其中，步骤(b)中的暴露-覆盖检测是 按以下方式予以实现的(bl)计算所述段左侧的N段位置中的矢量同所述段右侧的N段位置中的矢量间的水平差异，(b2)使用以下公式将所述水平差异同遮挡阈值进行比较mvx (x - N， y)國mvx (x + N， y) > Tocclusion =>暴露(1)mvx (x - N, y) - mvx (x + N， y) < - T。cclusi。n =>覆盖(2)其中，N>1， mvx(x，y)是位置(x,y)的矢量的水平分量，T。edusi。n是遮挡阈值。
3. 根据权利要求1所述的方法，其中，由类3DRS运动估计器执行 所述运动估计。
4. 根据权利要求1所述的方法，其中，步骤(C)中的获取是按以下方 式实现的(Cl)如果检测到覆盖，就沿第一矢量场中的矢量进行获取； (C2)如果检测到暴露，就沿第二矢量场中的矢量进行获取；以及 (c3)如果未检测到暴露-覆盖，就沿零矢量进行获取。
5. 根据权利要求2所述的方法，其中，在步骤(C)和步骤(d)间执行以 下步骤比较第一和第二矢量的水平分量，如果所述水平分量间的差异小于遮挡阈值，就执行步骤(d)和(e)，如同不存在暴露-覆盖一样。
6. 根据权利要求1所述的方法，其中，在l/4以下的时间位置，针对 上变换禁用暴露检测；以及在3/4以上的时间位置，禁用覆盖检测。
7. —种用于在视频流中的前一图像和当前图像间创建内插图像的图 像处理系统，其特征在于，所述系统包括用于以下目的各装置(a) 在所述前一图像和当前图像间执行运动估计，产生第一矢量场和第 二矢量场，其中，第一估计是在小于l/2的时间位置执行的，第二运动估 计是在大于1/2的时间位置执行的；其中一段内插图像的内容是按如下方式确定的(b) 通过对第一矢量场和第二矢量场中至少一矢量场进行分析，执行暴 露-覆盖检测；(c) 从第一矢量场获取第一矢量并从第二矢量场获取第二矢量；(d) 产生上变换矢量，其中(dl)如果有覆盖，就用第二矢量作为上变换矢量； (d2)如果有暴露，就用第一矢量作为上变换矢量； (d3)如果不存在暴露-覆盖，从第一矢量和第二矢量中任意选择上 变换矢量；(e) 使用上变换矢量获取前一图像和当前图像中的原始段值，并根据所 述原始段值计算所述段的内插值； .(f) 对所述内插图像的每一段重复步骤(b)至(e)。
8. —种用于执行根据权利要求1所述的方法的计算机程序产品。
全文摘要
本发明涉及一种用于在视频流中的前一图像和当前图像间创建内插图像的方法。本发明还涉及一种用于在视频流中的前一图像和当前图像间创建内插图像的图像处理系统。本发明基于以下原理运动估计器产生至少两个矢量场，其一位于小于1A的时间位置，另一个位于大于1A的时间位置。然后，进行遮挡检测，以检测覆盖和暴露区。从第一矢量场获取第一矢量，从第二矢量场获取第二矢量。如果有覆盖，就用第二矢量作为上变换矢量；如果有暴露，就用第一矢量作为上变换矢量；如果不存在暴露-覆盖，上变换矢量既可以为第一矢量，也可以是第二矢量。如此以来，上变换矢量就可以指向前一图像和当前图像中正确的原始段值。
文档编号G06T7/20GK101496063SQ200780013770
公开日2009年7月29日 申请日期2007年3月29日 优先权日2006年4月19日
发明者杰克·万古普, 马菲积斯·皮克 申请人:Nxp股份有限公司