专利名称：用于对输入图像序列的先前和后继图像插值的方法
技术领域：
本发明涉及用于对输入图像序列的先前和后继图像插值的方法。此 外，本发明涉及信号处理系统、计算机程序产品、计算机可读存储介质 和用于对输入图像序列的先前和后继图像插值的信号处理装置。
背景技术：
一般需要改善由运动补偿系统产生的插值图像的感知图像质量。典 型的运动补偿系统包括两个主架构模块。第 一模块是产生运动矢量场的 运动估计过程，该运动矢量场描述从在时间上处于不同{旦通常相邻的点 的两个图像中估计的图像部分的局部位移。经估计的运动矢量信息随后 被插值过程使用以将那些运动图像部分位移表示待插值图像的中间临
时位置的分量(fractional amount) t。图1描述了包括静止背景对象BG 和移动前景对象FG的一维图4象的这种情况。,人时间n到时间n+l在BG 和FG之间的边界的位移由矢量v给出。为了在时间n+t处对图像适当 地插值，需要以因子t缩放矢量v以找出在BG和FG之间的边界的插值 位置。线a表示在时间索引n和n+l处分别在先前和下一图像中的接入 位置(access position ),其中在那些位置的图像部分一皮用在滤波过程中 以在点p产生插值图像部分。
然而，如果经估计的运动矢量v处于一些原因不反映对象FG的实 际运动，插值过程将不复制在对象BG和FG之间的合适边界。在图2 中可视化这种情况，其中运动估计产生错误的矢量V而不是正确的矢 量v。结果在两个对象之间的边界现在包括在接入线b和c之间的过渡 区，并且插值过程将基于前景和背景区域的混合。 一般，这种合成体 (constellation )将产生没有被合适地构建的边界区域并且因此降低了插 值结果的感知质量。
运动估计过程失效的原因可以是多方面的。它们涉及运动估计本身 的原理或由于实现相关的限制。运动估计过程失效的突出原因是
当在图像序列中描述的前景对象越过(move over)背景对象时，则 被先前对象中的前景遮挡的背景部分将暴露在下一图像中。相反，在先前图像中暴露的背景图像部分可能当前景对象越过那些部分时被前景 对象遮挡。大多数运动估计过程仍然试图估计那些遮挡和暴露区域的运 动矢量。然而，这是容易出错的，因为用在匹配过程中的信息仅存在于 先前或下一图像。
如果匹配过程确定了位移矢量的几个候选，相对于匹配准则它们全 部产生同等好的匹配，最后所分配的矢量可以是从候选组中的随机选 择。这种情况在均匀图像区域或区域包括重复图样或紋理的情况下发 生。
尽管由不完善的运动估计过程招致的问题由于以上给出原因不能 被解决，所提出的方法的目的是在插值结果中降低那些影响的可见性， 并且因此改善运动补偿的感知质量。所提出的方法的另一目的是用适合 于在集成电路中实现的有效途径实现这个结果。换句话说，目的在于提 供信号处理装置，该信号处理装置可以在插值结果中降低由不完善的运 动估计招致的影响的可见性，并且因此改善运动补偿的感知质量，其中 依据所需要的计算时间和存储器将资源保持在最'J、。
发明内容
为解决这个问题，本发明依据权利要求1提供了用于对输入图像序
列的先前和后继图像插值的方法。此外，分别依据权利要求20、 21、 22 和23本发明提供了信号处理系统、计算机程序产品、计算机可读存储 介质和信号处理装置。本发明的优选实施例是所限定的从属权利要求。
本发明提供了用于对输入图像序列的先前和后继图像插值的方法， 包括确定描述在所述先前和后继图像之间运动的至少 一 运动矢量的保 真度信息的步骤，其中所述保真度信息描述所述运动的水平和准确性。 所述运动的水平描述所述运动的复杂度、大小和/或绝对值。因此，运动 的水平还可以视为运动的复杂度。复杂运动被定义为与所描述移动场景 对象的快速遮挡或暴露组合的非匀速运动。所述运动的准确性与例如可 从残差(比较以下)中得到的估计准确性相应。方法还包括确定所述至 少一运动矢量的分类信息的步骤，其中所述分类信息取决于所述保真度 信息，其中所述分类信息描述所述运动的运动类型。例如，所述分类信 息可以相对于所述后继图像描述所述先前图像中的图像块的可见性，或 反之亦然。方法还包括依据所确定的分类信息选择插值方法的步骤。随后，这种插值方法被用来对所述先前和后继图像插值以获得插值图像。
例如所述先前图像可与时间n对应并且所述后继图^象可与时间n+l对 应。则所述插值图^象可与时间n+T对应。在这个实例中，时间n+iM立于 时间n和时间n+l之间。所述保真度信息用来决定效用，即在插值图像 内运动补偿的运动矢量的有效性或有用性或效益。例如，如果所述保真 度信息表示低的保真度，则运动矢量被认为不是非常有效，然而当所述 保真度信息表示高的保真度时，则这表示相应运动矢量对于所述插值图 像中的运动补偿来说是有效的。
因此，提出运动补偿系统/方法的增强，其识别包括潜在复杂运动的 问题图像区域。随后用与用于匀速运动区域的插值方法不同的可选稳健 方法对所识别区域插值以感知上优化插值结果。
可以确定每个运动矢量的残差并且基于所述残差和相应运动矢量
可确定所述保真度信息。
所述保真度信息还可以与信息的l位对应。在这种情况下内存的所
需量非常低。
如果相应运动矢量的大小超过了第一阈值并且相应残差超过了第 二阈值，所述保真度信息还可以具有值"不稳定"，并且否则还可以具 有值"稳定"。
此外，还可以扭^t以下步骤
将所述运动矢量投影到与位于所述先前和后继图像之间的插值图 像对应的插值位置以获得投影运动矢量，并且基于所述投影运动矢量确 定所述分类信息。
此外，还可以扭J亍以下步骤
将所述保真度信息投影到所述插值位置以获得投影保真度信息，并 且基于所述投影保真度信息确定所述分类信息。
所述分类信息还可以具有以下运动分类值之一，每个表示一定的运 动类型
"普通"，在此情况下所述运动矢量描述在所述先前图像中和在所 述后继图像中都可见的图像块的无歧义运动；
"遮挡"，在此情况下所述运动矢量描述仅在所述先前源图像中可 见并且在所述后继图像中被遮挡的图像块的运动；
"暴露"，在此情况下所述运动矢量描述在所述先前源图像中不可见并且在所述后继图像中被暴露的图像块的运动；
"未知，，，在此情况下所述运动矢量描述不能^C识别为"普通"、 "遮挡"或"暴露"的运动。
所述分类信息可以是通过对描述所述运动的运动类型的未滤波分 类信息滤波来确定的滤波分类信息。
所述对所述未滤波分类信息滤波还可以包括确定取决于所述未滤 波分类信息、所述投影保真度信息和/或所述投影运动矢量的组合保真度 信息。
如果所述投影保真度信息具有值"不稳定"，或
所述投影运动矢量与表示无矢量的零矢量对应并且所述未滤波分 类信息的运动分类值与"普通"不同，或
横向和纵向相邻运动矢量的运动分类值具有值"未知"或相矛盾的 相反值"遮挡"和"暴露"，
所述组合保真度信息还可以具有值"不稳定"，并且
否则具有值"稳定"。
还可以对所述组合保真度信息滤波以获得滤波保真度信息，其中所 述对所述组合保真度信息滤波包括扩大标以值"不稳定"的空间区域的 组合形态扩张和关闭操作。
从而，所述对所述未滤波分类信息滤波可包括复用所述未滤波分类 信息和具有运动分类值"未知"的恒定运动分类信息以获得复用分类信 息，其中所述复用取决于所述滤波保真度信息和/或取决于所述组合保真
度信息。
如果所述滤波保真度信息具有值"稳定"，所述复用分类信息可等 于所述未滤波分类信息，并且否则等于所述恒定运动分类信息。
此外，当对所述未滤波分类信息滤波时，还可以执行以下步骤 在空间定义的邻域内围绕与所述至少 一运动矢量对应的每个空间 位置确定具有多数发生的运动分类值，并且
将所述滤波分类信息设置成具有多数发生的所确定运动分类值。 此外，还可以依据滤波运动矢量补偿运动，该滤波运动矢量由以下 确定
选择所述投影运动矢量的邻近运动矢量的子集，其中所述邻近运动 矢量具有与具有多数发生的运动分类值相等的运动分类值，并且将邻近运动矢量的所述子集用作调整方法的输入以获得所述滤波 运动矢量。
在一实施例中，所述调整方法包括单独计算横向和纵向运动矢量分 量的个别平均以得到平均;镜向和平均纵向运动矢量分量，并且重组待解 释为每个邻域子集的平均运动矢量的平均矢量分量。
在另一实施例中，所述调整方法包括单独计算横向和纵向运动矢量 分量的个别中值以得到中值横向和中值纵向运动矢量分量，并且重组待 解释为每个邻域子集的中值滤波运动矢量的中值矢量分量。
仍然在另一实施例中，所述调整方法包括尤其通过矢量大小、矢量 方向等等来枚举所述子集中的运动矢量，并且使用排序滤波器以选择所 述子集的代表性运动矢量。
所述方法可以包括在投影所述运动矢量和/或所述保真度信息之后 提高分辨率的步骤。
本发明的信号处理系统适合于执行如以上所定义并解释的方法或 方法步骤中的任何之一。
依据发明的计算机程序产品，包括当在计算机、数字信号处理装置 等等上执行时适合于实现方法的计算机程序装置，如以上所定义和/或其 步骤该方法用于对输入图像序列的先前和后继图像插值。
计算机可读存储介质包括如以上所定义的计算机程序产品。
信号处理装置，用于对输入图像序列的先前和后继图像插值，包括 保真度检测单元，适合于确定描述在所述先前和后继图像之间的运
动的至少 一运动矢量的保真度信息，其中所述保真度信息描述所述运动
的水平和准确性，
滤波单元，适合于确定所述至少一运动矢量的分类信息，其中所述 分类信息取决于所述保真度信息，所述分类信息描述所述运动的运动类 型，
插值单元，适合于依据所确定的分类信息选择插值方法。 信号处理装置还可以包括适合于确定每个运动矢量的残差的运动 估计单元，其中基于所述残差和相应运动矢量确定所述保真度信息。
所述信号处理装置还可以包括投影单元，该投影单元适合于将所述 运动矢量投影到与位于所述先前和后继图像之间的插值图像对应的插 值位置以获得投影运动矢量，其中所述滤波单元还适合于基于所述投影运动矢量确定所述分类信息。
所述投影单元可以适合于将所述保真度信息投影到所述插值位置 以获得投影保真度信息，并且所述滤波单元适合于基于所述投影保真度 信息确定所述分类信息。
所述分类信息可以是滤波分类信息并且所述滤波单元适合于对描 述所述运动的运动类型的未滤波分类信息滤波以获得所述滤波分类信
息。.；、、…、p 、、、 ， 、 、； ^、" 、；
投影保真度信息和/或所述投影运动矢量的组合保真度信息。
波保真度i息,、其中;斤述对所述组合保真度信息:波^;:扩大标:i "不稳定"的空间区域的组合形态扩张和关闭操作。 所述信号处理装置还可以包括复用单元，该复用单元适合于复用所 述未滤波分类信息和具有运动分类值"未知，，的恒定运动分类信息以获 得复用分类信息，其中所述复用取决于所述滤波保真度信息和/或取决于 所述组合保真度信息。
可以控制所述复用单元以便如果所述滤波保真度信息具有值"稳 定"，所述复用分类信息等于所述未滤波分类信息，并且否则等于所述 恒定运动分类信息。
所述信号处理装置还可以包括调整单元，该调整单元适合于 在空间定义的邻域内围绕与所述至少 一 运动矢量对应的每个空间 位置确定具有多数发生的运动分类值，并且 将所述滤波分类信息设置成具有多数发生的所确定运动分类值。 所述插值单元可适合于依据滤波运动矢量补偿运动，该滤波运动矢
量由所述调整单元通过以下确定
选择所述投影运动矢量的邻近运动矢量的子集，其中所述邻近运动
矢量具有与具有多数发生的运动分类值相等的运动分类值，并且 将所述邻近运动矢量的所述子集用作调整方法的输入以获得所述
滤〉皮运动矢量。
图1示出了例示两个图像的插值的图，其中运动矢量可以;f皮准确确定；
图2示出了例示两个图像的插值的图，其中运动矢量不能被准确确
定；
图3示出了带处理单元的框图4示出了实例，其中位移矢量由前向运动估计过程产生并且后向 矢量由前向矢量的反转(inversion)得到。
图5示出了基本原理，其中在时间索引n处的前向运动矢量场和在 时间索引n+l处的后向运动矢量场都^L投影到插值位置n+t;
图6示出了可被包括在图3所示的滤波单元PF内的处理单元。
具体实施例方式
图3描述了具有改善的复杂运动处理的运动补偿的实施例。包括至 少两个后继图像的输入图像序列SI由运动估计过程ME分析以生成运动 矢量信号SVM的和相应残差(residual error)爿f直信号SEM,用于在处于 时间索引n和时间索引n+l的输入图像之间的过渡。
矢量保真度检测器FD将误差值SEM和运动矢量SVM组合以形成二 值保真度指标SF!,如果相应矢量被认为没有准确表示运动，该指标SF! 具有值"不稳定"，如果相应矢量被认为适当地表示了运动，该指标SF! 具有值"稳定"。
依据待插值输出帧的所期望临时位置n+t,信号SVm和SFi都随后 被矢量投影过程VP在运动矢量场中空间移动。因此，矢量投影过程VP 将产生投影运动矢量SVp和相应投影保真度信号SFp。此外，生成为SCp 中的每个运动矢量定义相应运动类型的四值运动分类信号SCp。
投影运动矢量SVp、相应运动类型分类SCp和相应投影保真度指标 SFp随后一皮后滤波器PF进一步处理以生成滤波运动矢量SVF和相应的滤 波运动类型分类SCF。
依据所期望临时位置n+t,从源图像信号SI中的临时在索引n和索 引n+l处相邻的至少源图像中，最后的插值过程IP生成输出图像SO。 此外，滤波运动矢量信号SVp和滤波运动分类SCp用于通过运动补偿执 行插值。
在图3所描述的不同运动矢量信号中不需要具有与输入和输出图像 的分辨率相同的空间分辨率。在实施例中，经估计的运动矢量场的分辨率小于运动估计过程ME的有效实现的图像分辨率。对于信号SI中的8 x 8像素的图像块来说，典型值是信号SVM中的 一矢量的关系(relation )。 对于4x4像素的图像块来说，在矢量投影过程VP后，分辨率可以再次 增加至例如信号SVp中的一矢量的关系。通常，后滤波过程PF不产生 额外分辨率，以便滤波运动矢量SVF的分辨率与投影运动矢量SVp相同。 保真度检测过程FD的细节
对于运动补偿方法的所提出改善来说，运动矢量一直被认为是足够 可靠的以被包括在将它投影到应当对中间图像插值的临时位置n+T的过 程中。然而，来自运动估计过程的每个运动矢量在将它投影到插值位置 之前将通过保真度指标来分级(grade)。这具有以下优点，即仅保真度 指标需要连同相应运动矢量一起的投影，而非用来计算保真度指标的输 入自身。
基本上从两个信号中计算保真度指标，第一个是运动估计过程的残 差信号。残差是与每个所分配运动矢量相关联的单独值并反映匹配质 量。运动估计过程的典型实施例是将在由候选运动矢量移位的图像区域 之间的累计绝对误差(SAD)最小化的基于块的方法。则残差信号值是 分配给各自图像位置的运动矢量的SAD值。
基于块的运动估算方法的典型特性是在越过背景对象的前景对象 边界处确定合适运动矢量的减少的准确性。通常，对象边界并不与匹配 块网格对准(align)，以便在那些情况下，仅部分匹配块包括来自期望 运动的前景对象的像素，而由于背景与前景相比用不同的运动移动，其 它部分包括来自背景的非匹配像素。结果，由于前述原因，尽管低的匹 配误差值通常表示好的运动矢量，但高的匹配误差值并不自动表示不好 的运动矢量。因此，对于保真度表示过程来说，需要另一信号。
该另 一信号可以从以下 一般观察中得到，即具有高速度的对象运动 导致模糊的对象描绘。这种模糊效应是由于需要最小曝光时间的预先图 像采集过程，其导致越过观察空间位置的所有图像内容的临时集成。对 于移动刚性对象的内部区域来说，这种效应产生速度相关的但在其它方 面恒定模糊的对象，同时在移动对象的边界区域出现与其它背景对象的 混合。这种情况是基于块的运动估计的另一问题，即，合适检测前景和 背景对象的正确的运动矢量，因为混合的图像区域仅存在于先前和下一 源图像中的 一个，使得匹配失败并且检测到错误的运动矢量。由于上述推理，保真度检测器将从运动矢量信号SVM中得到的运动 矢量大小和匹配残差信号SEM组合以决定运动矢量的效用。如果运动矢 量的相应大小超过了第 一 阈值并且相应的残差超过了第二阈值，将值
"不稳定"分配给信号SFi中的空间位置。否则，不满足这些条件时， 将值"稳定"分配给信号SF!中的剩余空间位置。 运动矢量投影过程VP的细节
运动矢量投影过程VP的目的是对于所期望插值位置n+T对于时间 索引n和n+l分别估计信号SVM中的运动矢量的定位。这在运动矢量场 空间不连续的情况下尤其重要，即，在前景和背景对象之间的边界沿不 同轨迹移动。否则，如果对象的运动描述并没有与插值图像中的其描绘 重叠，插值过程在对象边界处产生伪像(artefact)。与将估计运动矢量 信号SVM变换成投影运动矢量信号SVp类似，保真度指标信号SF^皮变 换成投影保真度指标信号SFp。
出于类似原因，识别在插值帧的每个空间位置处存在的运动类型是 重要的，以便后继插值过程选择最合适的插值方法。因此，生成运动分 类信号SCp ,其包括与信号SVp中的每个投影运动矢量对应的四值运动 分类类型。
由矢量投影过程VP检测的四种运动分类类型为 "普通"运动矢量描述在源图像中都可见的图像块的无歧义运动， 先前图像在时间索引n处并且下一图4象在时间索引n+l处。
"遮挡"运动矢量描述仅在时间索引n处的先前源图像中可见但 在时间索引n+l处的下一源图像中一皮遮挡的图像块的运动。
"暴露"运动矢量描述在时间索引n处的先前源图像中不可见但 在时间索引n+l处的下一源图像中一皮暴露的图像块的运动。
"未知"运动矢量描述不能被识别为上述运动类型"普通"、"遮 挡"或"暴露"之一的运动。
为了检测正确的运动分类类型，运动矢量投影过程VP在时间上需 要来自至少两点的运动矢量信息，至少一点在所期望插值时间n+t之前 并且至少一点在所期望插值时间n+T之后。
运动估计方案的几个实施例对于得到运动分类类型来说是足够的。 在[2]中描述了一实施例，其采用两个平行的但在其它方面独立的运 动估计过程。第一过程估计从时间索引n到时间索引n+l的临时前向位移，而第二过程估计/人时间索引n+l到时间索引n的临时后向位移。
在[l]中描述的另 一实施例基于在时间索引n和时间索引n+l之间的 前向运动矢量场通过将矢量外插(extrapolate )入时间索引n-l和时间索 引n+2并分析由这些向量寻址(address)的像素值来执行运动分类。
在第三实施例中，使用单个运动估计过程以从两个后继运动矢量场 中才全测前向和后向位移二者。对于,人时间索引n到时间索引n+l才企测前 向位移的运动估计过程来说，直接4吏用前向运动矢量。随后通过,人时间 索引n+l到时间索引n+2对前向位移反转(invert)来得到后向运动矢 量。在从时间索引n+l到时间索引n检测后向位移的具有运动估计过程 的可选实施例中，直接使用后向运动矢量。随后从时间索引n到时间索 引n-l通过对后向位移反转得到前向运动矢量。图4描述了实例，其中
位移矢量Vfo和VF1由前向运动估计过禾呈产生，并且后向矢量VBi通过前 向矢量Vn的反转得到。
在用[1]或[2]运动估计方案从时间索引n到时间索引n+l建立前向 位移并且从索引n+l到时间索引n建立后向位移之后，可构建运动分类 类型。图5描述了基本原理，其中在时间索引n处的前向运动矢量场和 在时间索引n+l处的后向运动矢量场都被投影到插值位置n+T。将运动 类型"普通"分配给在这些投影双方中包括等效匹配运动矢量的所有空 间位置。将运动类型"遮挡"分配给在仅前向矢量投影中包括运动矢量 的所有空间位置。将运动类型"暴露"分配给在仅后向矢量投影中包括 运动矢量的所有空间位置。最后，将运动类型"未知"分配给既不在前 向中也不在后向投影中接收运动矢量的剩余空间位置。在图5中，将运 动类型"普通"分配给除段O和E外的所有空间位置，其中分别将运动 类型"遮挡"分配给段O中的空间位置并且将运动类型"暴露"分配给 段E中的空间位置。
后滤波器过程PF的细节
将参考图6来解释后滤波器过程PF的内件。在第一步骤中，通过 保真度组合过程FC将投影运动矢量信号SVp、投影保真度信号SFp和投 影运动分类信号SCp组合以生成组合保真度信号SFc。 SFc又是具有两 个值"不稳定"和"稳定"的每个空间位置的二元标志。对于每个空间 位置来说，过程FC用可配置的方式组合以下事件中的〗壬何事件以分配 输出保真度指标SFC的值"不稳定"信号SFp中的输入保真度指标具有值"不稳定"。
信号SVp中的运动矢量表示无运动的零矢量并且信号SCp中的相应 运动分类不是运动类型"普通"。
横向和纵向相邻位置的运动类型具有值"未知"或相矛盾的相反值 "遮挡"和"暴露"。
否则，将值"稳定"分配给所有空间位置的输出保真度指标SFc, 其中不满足上述条件。
在下一步骤中，通过过程DC对保真度指标信号SFc滤波以产生滤 波保真度指标信号SFD。滤波过程DC包括扩大标以值"不稳定"的空 间区域的组合形态扩张和关闭操作。这通过以下来完成，即首先将所有 与具有值"不稳定，，的位置相邻的空间位置也设置成值"不稳定"并且 随后用横向和纵向的方式对在值"不稳定"的不超过可配置分离距离 (distance apart)的所有位置之间的值"不稳定"滤波。
随后，扩张保真度指标信号SFD控制复用器MUX,该复用器MUX 从投影运动分类信号SCp或恒定运动分类信号SCu中为每个空间位置选 择值。运动分类信号SCu具有与投影运动分类信号SCp相同的分辨率， 但是具有分配给所有空间位置的运动类型值"未知"。对于每个空间位 置来说，如果保真度指标信号SFo具有相应空间位置的值"稳定"，将 投影运动分类信号SCp的值分配给输出运动分类信号SCx。否则，如果 保真度指标信号SFo具有相应空间位置的值"不稳定"，将恒定运动分 类信号SCu的值分配给输出运动分类信号SCx。
通过运动矢量调整过程VS进一步处理投影运动矢量信号SVp和复 用运动分类信号SCx以产生滤波运动矢量信号SVF和滤波运动分类信号 SCF。滤波过程VS首先在空间定义的邻域内围绕每个空间位置确定具有 多数发生的运动分类值。结果，这种多数运动分类被分配给滤波运动分 类信号SCF。相同的多数运动分类还用于在投影运动矢量信号SVp中选 择相应邻近位置的子集。将源自邻域子集的运动矢量用作调整方法的输 入以产生滤波运动矢量信号SVF中的每个空间位置的结果运动矢量。在 一实施例中在调整方法内单独计算横向和纵向运动矢量分量的个别平 均(individual average)以得到平均;廣向和平均纵向运动矢量分量。随 后重组待解释为每个邻域子集的平均运动矢量的平均矢量分量。另一实 施例采用排序滤波器(例如中值滤波器)而不是上述程序的平均滤波器。然而另一实施例例如通过矢量大小、矢量方向或其它准则来枚举邻域子 集中的运动矢量，并且随后使用排序滤波器以选择邻域子集的代表性运 动矢量。
插值过程IP的细节
依据所期望临时位置n+t从优选地为在源图像信号SI中在时间索引 n和时间索引n+l处临时邻近的源图像的至少两个源图像中，插值过程 IP生成输出图像SO。此外，滤波运动矢量SVF和滤波运动分类SCf用 于通过运动补偿执行插值。
对于待插值输出图像SO中的每个空间位置来说，相应运动分类值 用于选择在效果上不同的插值方法。那些方法中的每一个其自身通过现
有技术是个别已知的。
"普通，，以因子t缩》文相应运动矢量并且将相应运动矢量加到^r出 图像的当前空间位置坐标上以计算在时间索引n处的先前输入图像的空 间位置，第一图像块从先前输入图像中读出。其次，以因子(t-1)缩放 相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标 上以计算在时间索引n+l处的下一输入图像的空间位置，第二图像块从 下一输入图像中读出。通过加权滤波器来处理两个图像块，该加权滤波 器分别将它们的贡献加权至与它们的临时位置t和l-t成反比的滤波结 果。将滤波结果分配给输出图像SO的当前空间位置。
"未知"以因子t缩;改相应运动矢量并且将相应运动矢量加到llT出 图像的当前空间位置坐标上以计算在时间索引n处的先前输入图像的空 间位置，第一图像块从先前输入图像中读出。其次，以因子(t-1)縮放 相应运动矢量并且将相应运动矢量加到输出图l象的当前空间位置坐标 上以计算在时间索引n+l处的下一输入图像的空间位置，第二图像块从 下一输入图像中读出。在与输出图像SO的当前空间位置对应的空间位 置处分别从先前和下一输入图像中读出第三和第四图像块，并且随后将 两个模块的加权平均分配给第五图像块。排序滤波器选取待复制到输出 图像SO当前空间位置的由第 一、第二和第五图像块构成的组中的一个。 "遮挡，，以因子t缩放相应运动矢量并且将相应运动矢量加到输 出图像的当前空间位置坐标上以计算在时间索引n处的先前输入图像的 空间位置，第一图像块从先前输入图像中读出。将这个图像块复制到输 出图像SO的当前空间位置。
"暴露"以因子(t-1 )缩放相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标上以计算在时间索引n+1处的下 一 输入 图像的空间位置，第一图像块从下一输入图像中读出。将这个图像块复
制到输出图像SO的当前空间位置。
在以下给出了现有技术的筒要介绍
对于在[l]中提出的运动补偿方法来说，四个后继图像的内容用来确 定在两个中央图像之间估计的正确的运动矢量，并且决定图像部分在待 插值图像中是否是遮挡的或显示的。
在[2]中才是出的方法采用了产生前向运动矢量场和相应后向运动矢 量场的两个并行运动估计过程。将前向和后向运动矢量与误差准则相比 较以决定哪 一 矢量用于待插值图像。
在[3]中，双向基于块的运动补偿过程用于隔行到逐行扫描 (Interlaced to Progressive )以及帧步页(frame rate ) 4争才灸。，于于4寺4#<直帧 的每个像素来说，在这使用的运动估计提供了一个、多个或无运动矢量。 对于这三种情况中的每一个，使用不同的插值方法以产生插值输出像 素。
在[4]中描述的视频图像上转换方法执行待用于每个像素运动补偿
的运动矢量的正确性;险测，并且如果i^为运动矢量是不正确的则用先前 记录像素值替换插值像素值。
在[5]中提出的格式转换器和去隔行变换器(de-mterlacer )使用在先 前和下一帧之间的双向运动估计。用具有局部最小匹配误差的邻近矢量
替换具有高匹配误差的运动矢量。将结果矢量分配给插值帧，并且通过 使用所分配矢量来对帧插值。 参考文献G.A.Thomas, M.Burl, Video Image Processing, International Patent No. WO92/05662, April 2, 1992.G.de Haan, A.Pelagotti, Motion Vector Estimation and Detection of Covered/Uncovered Image Parts, International Patent No.WO 99/22520, May 6， 1999.D.-丄Wang, J.-J丄eou, A New Approach to Video Format Conversion Using Bidirectional Motion Estimation and Hybrid Error Concealment, Journal of Information Science and Engineering. Vol. 17，No.5, pp.763-777, Sept.2001.[4]N.Dantwala, Method for Improving Accuracy of Block Based Motion Compensation, International Patent No.WO02/49365, June 20, 2002.S.-H丄ee, S.國J.Ko, Format Converter Using Bi-directional Motion Vector and Method Thereof, US Patent No.6, 900, 846, May 31, 2005.
标号
FD保真度检测单元
IP插值单元
ME运动估计单元
MUX复用单元
PF滤波单元
SCF分类信息
SCp 未滤波分类信息
SCu恒定运动分类信息
scx复用分类信息
SEM残差
SFC组合保真度信息 SFD滤波保真度指标信息 SF}保真度信息 SFP投影保真度信息 SI图像序列 SVM运动矢量 SVp ^:影运动矢量 VP矢量投影单元 VS调整单元
权利要求
1. 用于对输入图像序列(SI)的先前和后继图像插值的方法，包括以下步骤确定描述在先前和后继图像之间的运动的至少一运动矢量(SVM)的保真度信息(SF1)，其中所述保真度信息(SF1)描述所述运动的水平和准确性；确定所述至少一运动矢量(SVM)的分类信息(SCF)，其中所述分类信息(SCF)取决于所述保真度信息(SF1)，所述分类信息(SCF)描述所述运动的运动类型；依据所确定的分类信息(SCF)选择插值方法。
2. 如权利要求1所述方法，其中确定每个运动矢量(SVM)的残差 (SEM )并且基于所述残差(SEM)和相应运动矢量(SVM)确定所述保真度信 息(SF!)。
3. 如前述权利要求中任何一项所述的方法，其中所述保真度信息 (SFJ与信息的l位对应。
4. 如权利要求2或3所述的方法，其中如果相应运动矢量(SVM) 的大小超过了第一阈值并且相应残差(SEM)超过了第二阈值，所述保 真度信息(SFO具有值"不稳定"，并且否则具有值"稳定"。
5. 如前述权利要求中任何一项所述的方法，还包括 将所述运动矢量(SVM)投影到与位于所述先前和后继图像之间的插值图像对应的插值位置以获得投影运动矢量(SVP),并且 基于所述投影运动矢量(SVP)确定所述分类信息(SCF)。
6. 如权利要求5所述的方法，还包括将所述保真度信息(SFJ投影到所述插值位置以获得投影保真度 信息(SFp),并且基于所述投影保真度信息(SFp)确定所述分类信息(SCF)。
7. 如前述权利要求中任何一项所述的方法，其中所述分类信息(SCF) 具有以下运动分类值之一，每个表示一定的运动类型"普通"，在此情况下所述运动矢量描述在所述先前图像中和在所 述后继图像中都可见的图像块的无歧义运动；"遮挡"，在此情况下所述运动矢量描述仅在所述先前源图像中可见并且在所述后继图像中被遮挡的图像块的运动；"暴露，，，在此情况下所述运动矢量描述在所述先前源图像中不可见并且在所述后继图像中被暴露的图像块的运动；"未知"，在此情况下所述运动矢量描述不能被识别为"普通"、 "遮挡"或"暴露"的运动。
8. 如前述权利要求中任何一项所述的方法，其中所述分类信息是通 过对描述所述运动的运动类型的未滤波分类信息(SCp )滤波来确定的 滤波分类信息(SCF)。
9. 如权利要求8所述的方法，其中所述对所述未滤波分类信息 (SCp )滤波包括确定取决于所述未滤波分类信息(SCp)、所述投影保真度信息(SFp)和/或所述投影运动矢量(SVp)的组合保真度信息 (SFc)。
10. 如权利要求9所述的方法，其中如果 所述投影保真度信息(SFp)具有值"不稳定"，或 所述投影运动矢量与表示无矢量的零矢量对应并且所述未滤波分类信息(SCp)的运动分类值与"普通"不同，或横向和纵向相邻运动矢量的运动分类值具有值"未知"或相矛盾的 相反值"遮挡"和"暴露"，所述组合保真度信息(SFc)具有值"不稳定"，并且否则具有值"稳定"。
11. 如权利要求9或10所述的方法，其中对所述组合保真度信息 (SFc)滤波以获得滤波保真度信息(SFd),其中所述对所述组合保真度信息(SFC)滤波包括扩大标以值"不稳定"的空间区域的组合形态 扩张和关闭操作。
12. 如权利要求9至11中任何一项所述的方法，其中所述对所述未 滤波分类信息(SCp)滤波包括复用所述未滤波分类信息(SCp)和具有 运动分类值"未知，，的恒定运动分类信息(SCu)以获得复用分类信息(SCx),其中所述复用取决于所述滤波保真度信息(SFd)和/或取决 于所述组合保真度信息(SFc)。
13. 如权利要求12所述的方法，其中如果所述滤波保真度信息(SFD) 具有值"稳定"，所述复用分类信息(SCx)等于所述未滤波分类信息(SCp),并且否则等于所述恒定运动分类信息(SCu)。
14. 如权利要求8至13中任何一项所述的方法，其中所述对所述未 滤波分类信息(SCP )滤波包括在空间定义的邻域内围绕与所述至少一运动矢量(SVM)对应的每 个空间位置确定具有多数发生的运动分类值，并且将所述滤波分类信息(SCF)设置成具有多数发生的所确定的运动 分类值。
15. 如权利要求14所述的方法，还包括依据滤波运动矢量(SVF) 补偿运动，该滤波运动矢量(SVF)由以下确定选择所述投影运动矢量(SVp)的邻近运动矢量的子集，其中所述 邻近运动矢量具有与具有多数发生的运动分类值相等的运动分类值，并 且将邻近运动矢量的所述子集用作调整方法的输入以获得所述滤波 运动矢量(SVF)。
16. 如权利要求15所述的方法，其中所述调整方法包括单独计算横 向和纵向运动矢量分量的个別平均以得到平均横向和平均纵向运动矢 量分量，并且重组待解释为每个邻域子集的平均运动矢量的平均矢量分 量。
17. 如权利要求15所述的方法，其中所述调整方法包括单独计算横 向和纵向运动矢量分量的个别中值以得到中值横向和中值纵向运动矢 量分量，并且重组待解释为每个邻域子集的中值滤波运动矢量的中值矢 量分量。
18. 如权利要求15所述的方法，其中所述调整方法包括尤其通过矢 量大小、矢量方向等等来枚举所述子集中的运动矢量，并且使用排序滤 波器以选择所述子集的代表性运动矢量。
19. 如前述权利要求中任何一项所述的方法，还包括在投影所述运动 矢量(SVM)和/或所述保真度信息(SF!)之后提高分辨率的步骤。
20. 信号处理系统，适合于执行依据前述权利要求中任何一项的方法 或方法步骤中的任何之一 。
21. 计算机程序产品，包括当在计算机、数字信号处理装置等等上执 行时适合于实现方法的计算机程序装置，该方法用于依据权利要求1至 19中任何一项和/或其步骤对输入图像序列的先前和后继图像插值。
22. 计算机可读存储介质，包括依据权利要求21的计算机程序产品。
23. 信号处理装置，用于对输入图像序列(SI)的先前和后继图像插 值，包括保真度检测单元(FD),适合于确定描述在所述先前和后继图像之 间的运动的至少一运动矢量(SVm)的保真度信息(SF!),其中所述保 真度信息(SFJ描述所述运动的水平和准确性；滤波单元(PF),适合于确定所述至少一运动矢量(SVM)的分类 信息(SCF ),其中所述分类信息(SCF )取决于所述保真度信息(SFi), 所述分类信息(SCF)描述所述运动的运动类型；插值单元(IP),适合于依据所确定的分类信息(SCF)选择插值 方法。
24. 如权利要求23所述的信号处理装置，包括适合于确定每个运动 矢量(SVM)的残差(SEM)的运动估计单元(ME),其中基于所述残 差(SEM)和相应运动矢量(SVM)确定所述保真度信息(SF!)。
25. 如权利要求23或24所述的信号处理装置，其中所述保真度信息 (SFJ与信息的l位对应。
26. 如权利要求24或25所述的信号处理装置，其中如果相应运动矢 量(SVM)的大小超过了第一阈值并且相应残差(SEM)超过了第二阈 值，所述保真度信息(SFJ具有值"不稳定"，并且否则具有值"稳 定"。
27. 如权利要求23至26中任何一项所述的信号处理装置，还包括投 影单元(VP )，该投影单元(VP )适合于将所述运动矢量(SVM )投影 到与位于所述先前和后继图像之间的插值图像对应的插值位置以获得 投影运动矢量(SVP)，其中所述滤波单元(PF)还适合于基于所述投 影运动矢量(SVP)确定所述分类信息(SCF)。
28. 如权利要求27所述的信号处理装置，其中所述投影单元(VP) 适合于将所述保真度信息(SFJ投影到所述插值位置以获得投影保真 度信息(SFP),并且所述滤波单元(PF)适合于基于所述投影保真度 信息(SFp)确定所述分类信息(SCF)。
29. 如权利要求23至28中任何一项所述的信号处理装置，其中所述 分类信息(SCF)具有以下运动分类值之一，每个表示一定的运动类型"普通，，，在此情况下所述运动矢量描述在所述先前图像中和在所 述后继图像中都可见的图像块的无歧义运动；"遮挡"，在此情况下所述运动矢量描述仅在所述先前源图像中可见并且在所迷后继图像中被遮挡的图像块的运动；"暴露"，在此情况下所述运动矢量描述在所述先前源图像中不可见并且在所述后继图像中被暴露的图像块的运动；"未知，，，在此情况下所述运动矢量描述不能被识别为"普通"、 "遮挡"或"暴露"的运动。
30. 如权利要求23至29中任何一项所述的信号处理装置，其中所述 分类信息是滤波分类信息(SCf)并且所述滤波单元(PF)适合于对描 述所述运动的运动类型的未滤波分类信息(SCp )滤波以获得所述滤波 分类信息。
31. 如权利要求30所述的信号处理装置，其中所述滤波单元(PF) 适合于确定取决于所述未滤波分类信息(SCp)、所述投影保真度信息(SFp)和/或所述投影运动矢量(SVp)的组合保真度信息(SFc)。
32. 如权利要求31所述的信号处理装置，其中如果 所述投影保真度信息(SFp)具有值"不稳定"，或 所述投影运动矢量与表示无矢量的零矢量对应并且所述未滤波分类信息(SCp)的运动分类值与"普通"不同，或横向和纵向相邻运动矢量的运动分类值具有值"未知"或相矛盾的 相反值"遮挡"和"暴露"，所述组合保真度信息(SFc)具有值"不稳定，，，并且否则具有值"稳定"。
33. 如权利要求31或32所述的信号处理装置，其中所述滤波单元 (PF)适合于对所述组合保真度信息(SFc)滤波以获得滤波保真度信息(SFd),其中所述对所述组合保真度信息(SFc)滤波包括扩大标以 值"不稳定"的空间区域的组合形态扩张和关闭操作。
34. 如权利要求31至33中任何一项所述的信号处理装置，其中包括 复用单元(MUX),该复用单元(MUX)适合于复用所述未滤波分类 信息(SCp)和具有运动分类值"未知，，的恒定运动分类信息(SCu)以 获得复用分类信息(SCX)，其中所述复用取决于所述滤波保真度信息(SFD)和/或取决于所述组合保真度信息(SFc)。
35. 如权利要求34所述的信号处理装置，其中控制所述复用单元 (MUX)以便如果所述滤波保真度信息(SFD)具有值"稳定"，所述复用分类信息(SCX)等于所述未滤波分类信息(SCp),并且否则等于 所述恒定运动分类信息(SCu)。
36. 如权利要求31至35中任何一项所述的信号处理装置，包括调整 单元(VS),该调整单元(VS)适合于在空间定义的邻域内围绕与所述至少一运动矢量(SVm)对应的每 个空间位置确定具有多数发生的运动分类值，并且将所述滤波分类信息(SCf)设置成具有多数发生的所确定运动分 类值。
37. 如权利要求36所述的信号处理装置，其中所述插值单元(IP) 适合于依据滤波运动矢量(SVF)补偿运动，该滤波运动矢量(SVF)由 所述调整单元(VS)通过以下确定选择所述投影运动矢量(sVp)的邻近运动矢量的子集，其中所述 邻近运动矢量具有与具有多数发生的运动分类值相等的运动分类值，并 且将邻近运动矢量的所述子集用作调整方法的输入以获得所述滤波 运动矢量(SVF)。
38. 如权利要求37所述的信号处理装置，其中所述调整方法包括单 独计算横向和纵向运动矢量分量的个别平均以得到平均横向和平均纵向运动矢量分量，并且重组待解释为每个邻域子集的平均运动矢量的所 述平均矢量分量。
39. 如权利要求37所述的信号处理装置，其中所述调整方法包括单 独计算横向和纵向运动矢量分量的个别中值以得到中值横向和中值纵向运动矢量分量，并且重组待解释为每个邻域子集的中值滤波运动矢量 的中值矢量分量。
40. 如权利要求37所述的信号处理装置，其中所述调整方法包括尤 其通过矢量大小、矢量方向等等来枚举所述子集中的运动矢量，并且使 用排序滤波器以选择所述子集的代表性运动矢量。
全文摘要
用于对输入图像序列(SI)的先前和后继图像插值的方法，包括以下步骤确定描述在所述先前和后继图像之间的运动的至少一运动矢量(SV<sub>M</sub>)的保真度信息(SF<sub>1</sub>)，其中所述保真度信息(SF<sub>1</sub>)描述所述运动的水平和准确性，确定所述至少一运动矢量(SV<sub>M</sub>)的分类信息(SC<sub>F</sub>)，其中所述分类信息(SC<sub>F</sub>)取决于所述保真度信息(SF<sub>1</sub>)，所述分类信息(SC<sub>F</sub>)描述所述运动的运动类型，并且依据所确定的分类信息(SC<sub>F</sub>)选择插值方法。
文档编号H04N7/01GK101444094SQ200780017331
公开日2009年5月27日 申请日期2007年5月9日 优先权日2006年5月12日
发明者O·埃德勒, V·弗赖伯格 申请人:索尼德国有限责任公司