专利名称：用于产生内插帧的设备的制作方法
技术领域：
本发明涉及一种在诸如等离子显示屏、液晶设备或阴极射线管之类的 任意类型的帧显示设备中实现或插入的帧内插设备。
背景技术：
标准的运动补偿帧内插技术需要使用运动估计器。这种估计器根 据在时间上"围绕"在要内插的帧周围的源帧以及可能的先前已估计 的运动矢量来计算要内插的帧中的每个像素的运动矢量。这种运动矢 量可以以若干可能的方式来计算--或者是首先估计围绕在要内插的帧周围的两个源帧之一的每个 像素的运动矢量，然后通过使用源帧中穿过或在附近通过要内插的帧 的被考虑像素的估计运动矢量进行赋值，而推导出要内插的帧的像素 的运动矢量，-或者直接根据围绕在要内插的帧周围的一个或两个源帧以及先 前估计的运动矢量来估计要内插的帧的像素的运动矢量。然后，基于围绕在要内插的帧周围的两个源帧中至少一个的视频 信息以及针对要内插的帧所计算的运动矢量，在运动的方向上进行运 动补偿视频内插。图1示出了用于将帧插在先前源帧与当前源帧之间 的方法。在本示例中，内插的帧在时间上位于先前源帧与当前源帧之 间的中间位置处。这种内插在传统上用于修改视频序列的显示频率，例如将其从50HZ提升至100HZ。在本示例中，针对内插帧的像素P22—i 所估计的运动矢量一端指向位于先前源帧的像素P11_P、 P12_p、 P21_p、 P22j之间的点，而另一端指向位于当前源帧的像素P22一c、 P23—c、 P32—c、 P33—c之间的点。因此，分配给像素P22—i的视频信 息是Pll_p、 P12_p、 P21_p、 P22_p、 P22—c、 P23—c、 P32—c、 P33—c 的视频信息的组合。理论上，这种运动补偿内插给出了良好的结果。实际上，在运动 补偿内插视频序列的显示过程中，运动估计器在图像的一些区域(尤 其在被覆盖或未覆盖的区域中)的故障产生了显著的伪像，而不管算 法的复杂度如何。这就是内插器不能只提供运动补偿序列的原因。对 于输入视频序列的一些部分，优选地可以在运动补偿内插序列与通过 滤波所获得的内插序列之间提供通过对输入视频序列在空间和/或时间域或两者(或混合)的线性滤波所获得的内插序列。在图2中示出 了用于实现上述过程的设备。该设备包括运动估计器10，其用于根据 围绕在要内插的所述帧周围的源帧来估计要内插的帧的每个像素的运 动矢量。运动补偿内插设备20计划用于根据源帧以及针对内插帧的每 个像素所估计的运动矢量来产生运动补偿内插帧。线性内插设备30 设计用于通过对围绕在第二内插帧周围的源帧的线性滤波而产生第二 内插帧。混合器40存在于内插设备20和30的输出处，用于产生作为 运动补偿内插帧和通过对源帧的线性滤波而获得的内插帧的混合的最 终内插帧。通过向两个内插帧中的每一个(更精确地为所述内插帧中 的每个像素)分配混合系数(或权重)来操作上述混合。例如，这些 混合系数是由混合器40根据所考虑的像素的运动矢量的幅度而确定 的。例如，运动越快，通过线性滤波应用于图像的加权系数越小，而 且应用于运动补偿帧的加权系数越大，这两个加权系数的和等于1。当所估计的运动矢量有缺陷并且当这些矢量指向具有完全不同的 视频信息的像素时，该设备无法正确操作。图3示出了这种情况。将 移动背景上的弱静止对象(thin static object)显示在通过3个像素 Pl_p、 P2_p、 P3_p表示的先前源帧以及通过3个像素PI—c、 P2—c、 P3—c表示的当前源帧上。为了简化，以单一维度来显示图像。设法在 先前源帧与当前源帧之间产生由3个像素P1—i、 P2一i、 P3—i表示的内 插帧。将该弱静止对象显示在先前源帧中的像素P1_P和当前源帧中 的像素PI—c上。该运动估计器为像素P2—i提供了有缺陷的运动矢量 VI。如果使用图2中的设备，并且如果V1大于根据其在设备输出端处向运动补偿帧给予优选权的阈值(针对运动补偿帧的较大加权系 数)，则反馈像素P2—i上的静止对象的视频电平，这会产生重影(echo)。然而，存在用于改进在欧洲专利EP 0 390 660中所暴露的混合的如图3中所示的设备。使用图4中的相同附图标记来标识图2中已出 现的该设备的元件。将源帧的序列同时施加到运动估计器IO、运动补 偿内插设备20、以及线性内插设备30。运动补偿内插设备20根据接 收自运动估计器10的运动矢量来处理源帧。用于提供运动矢量场的运 动估计器10的一个输出连接到运动矢量场的一致性分析电路50，其 结构己经在专利EP 0 390 660详细描述。例如，该电路提供了一致性 二元矩阵，其中对有缺陷的运动矢量做出标记。将该二元矩阵施加到 混合系数的定义电路60，以施加给混合器40，混合器40另外接收来 自运动补偿内插设备20的视频信息以及接收自线性内插设备30的信 息。根据该矩阵的内容来确定来自内插设备20和30的视频信息混合 系数。如果认为要内插的帧的当前像素的运动矢量有缺陷，则分配给 运动补偿通道的混合系数i将较小，而分配给线性通道的系数l-i将较 大。因此，混合器60提供作为由设备20所提供的序列和由设备30 所提供的序列的混合的内插帧的序列。发明内容本发明建议了能够克服运动补偿器的缺陷并且实现起来更为简 单的另一解决方案。 一般地说，本发明的目的是减少由在针对运动估 计器的关键区域(即不具有时间连续性的区域，尤其是从一帧到另一 帧出现或消失的区域)中执行的运动补偿估计器所产生的缺陷。本发明涉及一种用于根据在时间上围绕在内插帧周围的源帧产生内插帧的设备，该设备包括-根据所述源帧来针对要内插的帧的至少一个当前像素估计运动 矢量的估计装置，-运动补偿内插装置，用于产生第一运动补偿内插帧，根据由针 对所述当前像素而估计的运动矢量所确定的源帧的像素特性来确定所 述第一内插帧的当前像素的特性，-线性内插装置，用于通过在与源帧中的当前像素具有相同坐标 的像素之间进行线性滤波来产生第二内插帧，-混合装置，用于针对要内插的帧的每个当前像素，以产生所述内插帧的方式对第一和第二内插帧中具有相同坐标的像素的特性进行 混合，将混合系数("，分配给针对每个当前像素的所述第一 和第二内插帧中的每个帧。该设备的显著特征在于该设备还包括计算装置，该计算装置用 于针对内插帧的每个当前像素，计算由所述当前像素的估计运动矢量 所确定的源帧的像素之间的第一位移帧差值(DFD)以及与源帧中的 当前像素具有相同坐标的像素之间的第二帧差值(FD);以及在于， 该混合装置根据针对所述像素所计算的所述第一位移帧差值(DFD) 和/或第二帧差值(FD)和/或所估计的运动矢量来确定针对内插帧的 每个当前像素的混合系数。根据一个特定实施例，分配给所述第二内插帧的混合系数等于第 一位移帧差值(DFD)与第一 (DFD)和第二 (TO)帧差值之和的比值，应用于第一和第二内插图像的混合系数之和等于l。实际上，如果该源帧包括若干颜色分量，例如R、 G和B，则该设备产生针对所述颜色分量中的每个分量的内插帧。在这种情况下，根据相对于该颜色分量的源帧来计算针对每个颜色分量的混合系数，以防止出现由不同颜色分量之间的处理差异造成的颜色效应，针对上述混合，将这些混合系数的最大值("目)分配给每个颜色分量的第二内插帧。优选地，当第一 (DFD)和第二 (FD)帧差值较小时，通过旨在 给第一内插帧以相对于第二内插图像的优选权的正则化函数g来对上 述最大值进行加权。
通过阅读作为非限制性示例所提供的下列描述并参考附图，将更 好地理解本发明，在附图中-图l (己经描述)示出了根据两个源帧而产生内插帧， -图2 (己经描述)示出了根据现有技术的第一内插设备， -图3 (己经描述)示出了图2中的设备的缺陷， -图4 (已经描述)示出了根据现有技术的第二内插设备，-图5示出了根据本发明的第一内插帧产生设备，以及 -图6示出了根据本发明的第二内插帧产生设备，以及 -图7是示出了应用于与运动补偿帧相关联的混合系数的加权函 数的曲线图，以及-图8示出了用于处理源帧中的每个颜色分量的设备。
具体实施方式
根据本发明，根据由针对所述当前像素的估计运动矢量所确定的 与源帧相关联的像素之间的位移帧差或DFD和/或与源帧中的当前像 素具有相同坐标的像素之间的帧差或FD和/或针对所述当前像素的估 计运动矢量，针对要内插的帧的每个像素确定分配给运动补偿内插帧 和线性内插帧的混合系数。图5示出了根据本发明的设备的第一实施例。与图2或4中相同的元件具有相同的附图标记。将源帧的序列同时施加给运动估计器io、运动补偿内插设备20以及线性内插设备30。运动估计器10根据围绕在该帧周围的先前和当前的源帧来产生针对要内插的帧的每个当前像素 的运动矢量。设备20根据这些当前和先前的源帧产生第一运动补偿内 插帧，根据由针对当前像素的估计运动矢量所确定的源帧的像素的特 性来确定这个第一内插帧的当前像素的特性。如果源帧中的估计运动 矢量不指向特定像素，而是指向位于若干像素之间的帧点，则可以使 用最靠近相邻像素的特性或可以对最靠近的像素进行平均或双线性内 插。设备30产生通过对在与源帧中的当前像素具有相同坐标的像素之 间进行线性滤波而内插的第二帧。计算电路70被提供用于为内插帧中的每个当前像素计算由针对所述当前像素的估计运动矢量所确定的源 帧的像素之间的帧差值(与DFD相对应)。通常在运动估计器中执行DFD 计算。因此，该计算电路70可以是运动估计器10中的完整部分。最后， 提供混合器40'，从而针对要内插的帧的每个当前像素，以产生内插帧的方式对第一和第二内插帧中具有相同坐标的像素的特性进行混合。 对于这个操作，将针对每个当前像素的混合系数分配给第一和第二内 插帧中的每一个。在本附图中所示的实施例中，根据由电路70所计算的帧差值(DFD)和/或针对该像素的估计运动矢量来确定针对内插帧 的每个当前像素的混合系数。例如，在给定的内插帧的像素的情况下，在电路恥'中所执行的混 合如下所示S = (l-oO*C+"*F 其中，-s是混合后的相应像素的值， -c是运动补偿内插序列的相应像素的值，-F是通过线性滤波所获得的序列的相应像素的值， -"是应用于通过线性滤波所获得的序列的像素的混合系数，以及 -l-"是应用于运动补偿序列的像素的混合系数。可以按照如下方式定义混合系数"a=k*(l+V2)*DFD其中，k是使得系数a的分辨率能够被修改和/或能够向线性通道 赋予相对于运动补偿通道的优选权的乘法系数， V是运动矢量的幅度，以及 DFD是相应像素的位移帧差。因此，根据本发明，如果运动矢量所指向的像素的视频信息很接 近，即它们的DFD差较小，则意味着所估计的运动矢量是正确的，而 且将在混合器的输出向运动补偿内插帧赋予优选权(系数1-a较大)。 相反地，如果DFD差较大，则所估计的运动矢量不很正确，并且向通过滤波而获得的内插帧赋予优选权(系数oc较大)。在图6中提出了第二设备实施例。与图5中相同的元件含有相同的 附图标记。将源帧的序列同时施加给运动估计器IO、运动补偿内插设 备20、以及线性内插设备30。运动估计器10根据围绕在要内插的帧周围的先前和当前源帧来产生针对要内插的帧的每个当前像素的运动矢 量。设备20根据这些当前和先前的源帧产生第一运动补偿内插帧，根 据由针对当前像素的估计运动矢量所确定的源帧的像素的特性来确定这个第一内插帧的当前像素的特性。如果源帧中的估计运动矢量不指 向特定像素，而是指向位于若干像素之间的帧点，则可以使用最靠近 相邻像素的特性或可以对最靠近的像素进行平均或双线性内插。设备30通过在与源帧中的当前像素具有相同坐标的像素之间进行线性滤波 而产生第二内插帧。计算电路70'被提供用于针对内插帧中的每个当 前像素，计算由针对所述当前像素的估计运动矢量所确定的源帧的像 素之间的第一帧差值(与DFD相对应)，并计算与源帧中的当前像素具 有相同坐标的像素之间的第二帧差值(与FD相对应)。通常在运动估计 器中执行DFD计算。因此，该计算电路70可以是运动估计器10中的完 整部分。最后，提供混合器40'，，用于针对要内插的帧的每个当前像素， 以这种方式对第一和第二内插帧中具有相同坐标的像素的特性进行混 合，以产生内插帧。对于这个操作，把针对每个当前像素的混合系数 分配给第一和第二内插帧中的每一个。在附图中所示的实施例中，根 据由电路70所计算的帧差值DFD和/或第二差值FD来确定针对内插帧的每个当前像素的混合系数。例如，在给定的内插帧的像素的情况下，在电路40"中所执行的混 合如下所示S = (l-a)*C+a*F其中，-S是混合后的相应像素的值，-c是运动补偿内插序列的相应像素的值，-F是通过线性滤波所获得的序列的相应像素的值，-"是应用于通过线性滤波所获得的序列的像素的混合系数，以及-l-"是应用于运动补偿序列的像素的混合系数。 由于混合系数"是针对当前像素所计算的DFD和FD的值的函数，然而混合系数"以不同的方式来确定a= 腳此外，如果认为每个源帧都包括至少两个颜色分量，如红色分量、 绿色分量和蓝色分量，则必须对每个分量执行内插。分别对视频信号 的每个颜色分量执行DFD和FD帧差的计算。然后，针对每个分量确定混合系数"。这样，可能的是-或者分别处理每个颜色分量，并由此产生针对这些分量中的每 一个分量的内插帧，而不考虑其它分量；分别计算针对红色、绿色和蓝色分量中的每个分量的系数，被标为 d、 "^ 、 "blu。，然后使用这 些系数产生红色、绿色和蓝色的内插帧，-或者对颜色分量进行全局处理，并通过考虑其它分量而产生针对这些分量中的每一个分量的内插帧；第二种可能最为有益，因为即使针对三个颜色分量存在相同的系数"，其也能够防止出现颜色效应；该系数优选地为系数0^、"^ 、"^中的最大值；将该公共系数标为"臓，"m =max ("w、 ％鄉、因此当这些分量之一上存在误差 时，向线性通道赋予优选权("越大，则线性通道在最终结果中的比 例越大)。由于系数a的计算直接取决于DFD和FD的值，因此在DFD和FD的两 个值较低时，有益地将正则化函数g引进该计算中，以便向补偿通道赋 予优选权。这是在0到1 ("软"阈值)之间的增函数。例如，函数g的类型是g(x)-l-1，其中x是所述第一和第二帧差值之和。该函数的曲线如图7所示。!lil:匕，^a=g(DFD+FD)*a x=g(DFD+FD)*ma5c(ared、 °Veen 、 ablue)的情况下，最终内插可以写为S-(1-""C+^F。图8中示出了适用于实现本实施例的设备。通过相同的附图标记 表示先前附图中已出现的元件。视频处理电路80将源帧序列的视频信 号转化成三个信号，每个信号表示颜色分量R、 G和B。还将该视频信 号施加至运动估计器IO。然后，由包括运动补偿内插设备20、线性内 插设备30以及DFD和FD的计算电路70"的不同块来分别处理红色、绿 色和蓝色信号。这些装置如图6所示地连接。每个块中的设备20接收由 运动估计器10所产生的运动矢量，并根据这些矢量来处理颜色信号。 每个块中的设备20和30以及计算电路70"的输出都连接到适用于实现先前段落中所描述的内插的混合器4(T。 这些不同的设备存在多个优点-可以获得补偿的时间连续性，即视频电平在运动的方向上始终 接近，-最终结果不仅说明运动方向上的误差，而且说明线性通道中的 误差，-大大减少了由于估计器所造成的缺陷而引起的误差， -限制了在运动的不同区域的结合处的有色重影，以及-可应用于任意类型的转化，例如50->60Hz、 50》75Hz以及相反的情况。当然，本发明不局限于先前所述的实施例。特别地，本领域的技 术人员将能够使用其它混合系数和/或加权函数。
权利要求
1.一种用于根据在时间上围绕在内插帧周围的源帧来产生内插帧的设备，包括-估计装置(10)，根据所述源帧来针对要内插的帧的至少一个当前像素估计运动矢量，-运动补偿内插装置(20)，产生第一运动补偿内插帧，所述第一内插帧的当前像素的特性由针对所述当前像素而估计的运动矢量所确定的源帧的像素的特性来确定，-线性内插装置(30)，通过在具有与源帧的当前像素相同的坐标的像素之间进行线性滤波而产生第二内插帧，-混合装置(40′，40″)，针对要内插的帧的每个当前像素，以产生所述内插帧的方式对所述第一和第二内插帧中具有相同坐标的像素的特性进行混合，将混合系数(α，1-α)分配给针对每个当前像素的所述第一和第二内插帧中的每个帧，所述设备的特征在于所述设备还包括计算装置(70，70″)，用于针对内插帧的每个当前像素，计算由所述当前像素的估计运动矢量所确定的源帧的像素之间的第一位移帧差值(DFD)以及与源帧的当前像素具有相同坐标的像素之间的第二帧差值(FD)，以及在于所述混合装置(40′，40″)根据针对所述像素所计算的所述第一位移帧差值(DFD)和/或第二帧差值(FD)和/或所估计的运动矢量来确定针对内插帧的每个当前像素的混合系数。
2. 根据权利要求1所述的设备，其特征在于，分配给所述第二内 插帧的混合系数等于第一位移帧差值(DFD)与第一 (DFD)和第二(FD)帧差值之和的比例。
3. 根据权利要求2所述的设备，其特征在于，应用于第一和第二内插图像的混合系数之和等于1。
4. 根据权利要求2或3所述的设备，其特征在于，每个源帧都包 括至少两个颜色分量(R、 G、 B)，所述设备产生针对所述颜色分量中的每个分量的内插帧。
5. 根据权利要求2或3所述的设备，其特征在于，根据与所述颜 色分量有关的源帧来计算针对每个颜色分量的混合系数(&d、 "p，、 uO，以及针对所述混合，将所述混合系数的最大值("自)分配给 每个颜色分量的第二内插帧。
6. 根据权利要求5所述的设备，其特征在于，当所述第一 (DFD) 和第二 (FD)帧差值较小时，通过用于给第二内插帧以优选权的正则 化函数(g)来对应用于每个颜色分量的第二内插帧的所述混合系数的 所述最大值进行加权。
7. 根据权利要求6所述的设备，其特征在于，所述正则化函数具有表达式gQc)-l-1，其中x是所述第一和第二帧差值之和。
全文摘要
本发明处于帧或视频处理领域内，更具体地处于视频内插领域。本发明涉及一种用于根据在时间上围绕在其周围的源帧来产生内插帧的设备。该设备包括运动估计装置(10)、运动补偿内插装置(20)、线性内插装置(30)、用于将由运动补偿内插装置(20)所产生的帧与由线性内插装置(30)所产生的帧进行混合的装置(40′；40″)。根据本发明，分配给上述两帧的混合系数(α，1-α)取决于围绕在该内插帧周围的源帧之间的位移帧差(DFD)和/或帧差(FD)和/或所估计的运动矢量。
文档编号H04N7/01GK101283598SQ200680027744
公开日2008年10月8日 申请日期2006年7月27日 优先权日2005年7月28日
发明者哈萨尼·古尔莫德, 约那桑·科维奇, 迪带尔·杜严 申请人:汤姆森许可贸易公司