视频信号处理的制作方法

专利名称：视频信号处理的制作方法
技术领域：
本发明涉及视频信号的处理，特别地但是不排他地涉及呈现在采样保持类型显示 器上或具有提高的帧速率的显示器上的视频信号的处理。
背景技术：
通常用于呈现视频信号的一类显示器(例如电视)被称为(采样)保持类型显示 器。保持时间显示器的一个例子是在当前许多电视中使用的液晶显示器(LCD)。对于大部 分IXD电视和显示器，保持时间典型地为20毫秒。在传统的阴极射线管(CRT)显示器中，电子束仅在帧时间的极小部分内扫描阴极 射线管的表面以点亮屏幕的任意给定部分，与之相反，保持类型显示器的图像被采样并在 整个帧时间内保持恒定。保持效应对应有限冲激响应滤波器的时间域滤波，其具有持续时 间等于帧时间的方形冲激响应。由于这对应频域低通滤波(具有sin χ/χ脉冲形状)，因此 采样和保持方法可以显著地降低时间带宽，导致显著地降低的动态性能以及特别是可感知 的运动模糊。因此，诸如IXD显示器的保持类型显示器以高空间带宽和低时间带宽为特征。这 不但影响图像细节的可视性，而且在若干方面影响视频信号中的噪声的可视性。首先，噪声 在这样的显示器上更可视(与例如CRT相比)，因为高空间带宽意味着显示器无高空间频率 衰减。而且，低时间带宽不但对图像中的移动对象引入运动模糊，而且由于单独的帧的长保 持时间的原因而导致对用户愈加可感知的噪声。第一方面通过使用可以降低空间噪声的有效噪声降低技术来解决。这样的噪声降 低技术典型地包括空间低通滤波元件以降低显示器的高空间带宽(同时例如通过使用边 缘保持噪声降低算法设法维持与高空间分辨率关联的清晰度)。为了解决运动模糊，已经引入了设法有效降低视频信号的保持时间的技术，对应 于时间带宽的提高。Michiel Klompenhouwer的“使用时间冲激响应和MPRT的LCD运动模 糊降低方法的对比(Comparison of LCD Motion Blur ReductionMethods using Temporal Impulse Response and MPRT) ”，SID 会议录(Proceedings of the SID)，54. 1，2006 中给
出了这样的技术的例子。这样的技术可分成两类脉冲驱动(扫描背光，黑帧插入......)
和提高的帧速率。因为如果帧速率不提高则前者将引入大面积的闪烁，所以现有技术水平 的运动模糊降低将首先提高帧速率，并且只有在这时才可选地施加脉冲驱动。由于没有输 入视频格式提供提高的帧速率，因而现有技术水平的运动模糊降低包括具有运动补偿帧速 率上转换的运动估计，如例如Frank van Heesch和MichielKlompenhouwer等人的“LCD ±白勺云力 δ 会白勺(Video Processingfor Opt imal Motion Portrayal on LCDs) ”，IDW会议录(Proceedings of theIDW)，2006中所描述的。因此，在这种方法中，对 运动对象做运动估计，并且估计的运动补偿引入到内插的上转换帧，从而导致提高的帧速 率和因此降低的保持时间。然而，尽管这样的方法对于运动对象可以提高保持类型显示器的时间带宽，但是 其仅降低图像自身的分量的运动模糊并且因此仅改善无噪声视频信号的质量，但是不会改善视频噪声。特别地，保持时间对视频噪声的影响没有降低。根本的区别是无噪声视频信 号沿着估计的运动方向在帧之间相互相关(并且因此在内插上转换帧中可被运动补偿)， 然而噪声在帧之间不相互相关。换言之，通过这些方法，视频信号的时间带宽提高了而噪声 的时间带宽没有提高。即使当施加了一定程度的脉冲驱动时，这对于提高的帧速率运动模 糊降低系统也是事实。其可视影响是所谓的“灰窗(dirty-window)”效应，其中噪声看起来 与图像信号不同地运动。因此，改善的视频信号处理将是有益的，特别是允许提高的灵活性、降低的复杂 性、便利的实现、改善的时间性能(特别是对于保持时间显示器)、改善的感知视频噪声降 低、改善的视频质量和/或改善的性能的系统将是有益的。发明概述因此，本发明旨在优选地单独或以任意组合缓解、减轻或消除以上提到的缺点的 一个或多个。根据本发明的一个方面，提供了一种用于处理视频信号的视频信号处理设备，该 设备包括接收单元，用于接收包括图片序列的视频信号；处理单元，用于将图片噪声改变 算法应用到该图片序列；变化单元，用于响应于预定的变化规则，在该图片序列的至少一些 连续图片之间改变图片噪声改变算法的噪声降低设置。在许多实施例中本发明可以提供改善的性能，特别地可以允许视频信号的改善的 感知视频质量。特别地，对于保持类型显示器，可获得提高的噪声闪烁，导致对观察者的降 低的噪声感知。所呈现的图像中视频噪声提高的高频调制可被获得，从而补偿显示器的时 间低通特性。所描述的方法可以兼容诸如空间噪声降低以补偿保持类型显示器的高频响应 的其它图像质量改善技术和/或运动模糊补偿技术。特别地，在许多实施例中，通过改善高帧速率噪声污染视频信号(例如电视信号) 中的噪声的时间方面，该方法可以降低噪声的可视性。不用降低或可接受地降低视频信号 的感知空间清晰度便可取得该效果。在许多实施例中，该方法可以将噪声能量从较低频率传递到较高频率(导致噪声 闪烁)，其中噪声被观察者较少地可感知。图片噪声改变算法可以具体是噪声降低算法和/或可以包括一个或多个噪声降 低过程，特别地可以是空间噪声降低算法和/或可以包括一个或多个空间噪声降低过程。 图片噪声改变算法可以包括对一个或多个图片不执行任何处理或不执行任何噪声降低处理。预定的变化规则独立于视频信号的特性和/或所述图片序列的特性。因此，预定 的空间噪声降低变化被引入到该图片序列，从而引入噪声闪烁。变化规则可以例如规定，偏 差(bias)的随机的或预定的变化被引入到空间噪声降低过程中和/或为连续的图片引入 不同空间噪声降低过程之间的随机的或预定的交替。预定的变化规则可以规定周期性的变化。这种变化可以具有快速的变化频率，诸 如例如小于5或10帧的周期。图片序列具体可以是帧序列，诸如例如上转换帧序列，和/ 或可以是场序列。根据本发明的可选特征，权利要求1的视频信号处理设备进一步包括一组图片 操作过程，该组可执行的图片操作过程中的图片操作过程具有不同的噪声降低特性；以及
5其中变化单元被设置成从该组图片操作过程中选择不同的图片操作过程作为用于所述至 少一些连续图片的图片噪声改变算法。这可以提供特别有益的性能和/或可以便于实现。该组图片操作过程具体可以是一组空间噪声降低过程。空间噪声降低过程可以具 有不同的空间噪声降低特性，因为它们使用不同的算法和/或因为它们使用不同的操作参 数。该组中的一个空间噪声降低过程具体可以对应于不执行空间噪声降低。预定的变化规则可以例如规定为每一个连续的图片从该组图片操作过程中伪随 机选择图片操作过程。根据本发明的可选特征，预定的变化规则包括所述不同图片操作过程的预定交替 序列。这可以提供特别有益的性能和/或可以便于实现。预定的变化规则可以例如规定预定的周期性选择模式，用于为连续的图片从该组 图片操作过程中选择图片操作过程。选择模式可被重复并且可以有益地具有少于5或10 个图片的周期和/或对应用于生成连续的图片的上转换因子的周期。在用于连续图片的该 组可执行图片操作过程中的图片操作过程的数目可以与上转换速率相同和/或与预定的 周期性选择模式的周期相同。预定的交替序列/选择模式可以独立于视频信号和/或图片特性。各个图片操作 过程的空间噪声降低属性可以依赖于视频信号的特性和/或图片特性。例如，第一图片操 作过程可以具有对于图片特性的给定依赖性(例如，图片的噪声估计的加权)，第二图片操 作过程可以具有对于同一图片特性的不同依赖性(例如，图片的噪声估计的不同加权)，并 且预定的交替序列可以例如规定这些过程对于连续的图片是交替的，从而引入空间噪声闪 烁。根据本发明的可选特征，视频信号处理设备进一步包括噪声估计器，用于生成所 述至少一些连续图片的第一图片的噪声估计；其中该组图片操作过程的至少第一图片操作 过程被设置成当该第一图片操作过程应用于该第一图片时，响应噪声估计而调整噪声降低 特性。这可以提供特别有益的性能和/或可以便于实现。特别地，其可以允许该空间噪 声降低适于单独的图片的当前需要，从而导致该图片的改善的图像质量。根据本发明的可选特征，该组图片操作过程的至少一个图片操作过程是边缘保持 空间噪声降低过程。这可以提供特别有益的性能和/或可以便于实现。特别地，其可以允许具有降低 的空间噪声的改善的图像质量、提高的噪声闪烁和因此降低的噪声感知，同时提供了高感 知的空间分辨率。根据本发明的可选特征，该组图片操作过程的图片操作过程是空间噪声降低过程。这可以提供特别有益的性能和/或可以便于实现。特别地，这可以导致有效的、低 复杂性和/或高性能的视频信号处理，其可以特别适合保持类型显示器。根据本发明的可选特征，视频信号处理设备进一步包括帧速率上转换器，其被设 置成生成图片序列作为从较低帧速率视频信号生成的上转换帧序列。
6
这可以提供特别有益的性能和/或可以便于实现。特别地，上转换以及引入噪声闪烁的组合可以提供改善的感知图像质量，其中感 知的帧/视频空间噪声充分地降低。具体地，上转换可以允许将高频空间噪声闪烁引入到 常规帧速率系统(其典型地具有大约50Hz的帧速率，对应20ms帧时间)，从而允许从用户 的感知中屏蔽闪烁同时仍然维持感知的噪声降低效果。根据本发明的可选特征，预定的变化规则规定对于上转换帧序列的上转换帧和原 始帧之间的增加的时差增大空间噪声降低。这可以提供特别有益的性能和/或可以便于实现。特别地，其可以提供观看被补 偿的视频信号的用户所感知的降低的噪声。根据本发明的可选特征，所述至少一些上转换帧是较低帧速率视频信号的原始 帧，预定的变化规则规定，对所述至少一些上转换帧比对不是较低帧速率视频信号的原始 帧的未转换帧应用较少的空间噪声降低。这可以提供特别有益的性能和/或可以便于实现。特别地，其可以提供观看补偿 的视频信号的用户所感知的降低的噪声。根据本发明的可选特征，变化单元引入的噪声降低设置变化独立于所述至少一些 连续图片的特性。这可以提供特别有益的性能和/或可以便于实现。根据本发明的可选特征，预定的变化规则是这样的，即使得空间噪声降低设置的 变化频率在30Hz以上。这可以提供特别有益的性能和/或可以便于实现。特别地，其可以允许噪声的闪 烁仅被感知为噪声降低，从而导致改善的感知视频质量。特别地，预定的变化规则可以被设 置成使得变化频率(以及因此噪声闪烁)在例如人类用户的闪烁感知频率(即为用户不再 感知到闪烁的频率)之上。闪烁感知频率可以被确定为显示器尺寸、显示器亮度、到显示器 的典型观看距离、显示器的分辨率等的函数。根据本发明的一个方面，提供了一种视频显示器设备，该视频显示器设备包括接 收单元，用于接收包括图片序列的视频信号；处理单元，用于将图片噪声改变算法应用于该 图片序列以生成修改的视频信号；变化单元，用于响应预定的变化规则，在该图片序列的至 少一些连续图片之间改变图片噪声改变算法的噪声降低设置；以及显示器，用于显示修改 的初频信号。根据本发明的一个方面，提供了一种处理视频信号的方法，该方法包括接收包括 图片序列的视频信号；将图片噪声改变算法应用于该图片序列；响应预定的变化规则，在 该图片序列的至少一些连续图片之间改变图片噪声改变算法的噪声降低设置。根据本发明的一个方面，提供了一种包含软件代码的载体，该软件代码使得处理 器能够执行包括以下步骤的方法接收包括图片序列的视频信号；将图片噪声改变算法应 用于该图片序列；响应预定的变化规则，在该图片序列的至少一些连续图片之间改变图片 噪声改变算法的噪声降低设置。本发明的这些以及其它方面、特征和优点根据下文描述的实施例将是清楚明白 的，并且将参照所述实施例进行阐述。附图的简更描述
仅通过例子，参考附图，将描述本发明的实施例，其中

图1示出了根据本发明的一些实施例的显示器设备的例子；图2示出了根据本发明的一些实施例的视频信号处理设备的例子；以及图3示出了根据本发明的一些实施例的视频信号处理方法的例子。实施例详述下面的描述集中在本发明的可应用于保持类型显示器以及特别是LCD显示器的 实施例。然而，应当理解的是，本发明不限于该应用。图1示出了根据本发明的一些实施例的IXD显示器设备的例子。该IXD显示器设 备具体地包括根据本发明的一些实施例的视频信号处理设备。显示器设备包括视频信号输入101，其接收包括图片序列的视频信号。下面的描述 将集中在其中该图片序列的每一图片是一帧的实施例，但是应当理解的是，该图片序列可 以可替换地或额外地包括场。特别地，描述的原理和例子可以容易地被扩展到对场序列的处理。在本例子中，视频信号是数字电视接收机(未示出)接收的数字电视信号。视频 信号具体可以是具有与50Hz帧更新速率对应的20ms帧持续时间的MPEG 2编码视频信号。 视频信号可以从诸如外部或内部源(例如本地视频存储器)的任意合适的源接收。视频信号被从视频信号输入101馈送到第一噪声处理器103，该第一噪声处理器 被设置成对接收的视频信号执行初始噪声降低算法。例如，第一噪声处理器103可以执行 空间噪声降低过程，该过程降低了图像中的高频空间噪声，同时尽可能维持图像中的对象 边缘以及转变。第一噪声处理器103被耦合到帧上转换器105，该帧上转换器执行视频信号的转 换以生成具有更高帧速率的上转换视频信号。例如，帧上转换器105可以为每一输入帧生 成两个输出帧，从而提高帧速率到IOOHz并且降低帧持续时间到10ms。应当理解的是，可以使用已知用于帧上转换的各种技术和算法来实现帧上转换。 特别地，可以通过在从第一噪声处理器103接收的视频信号的原始帧之间的内插而生成新 帧，并且可以对视频图像的运动对象执行运动估计和运动补偿。因此，帧上转换器105可以 降低无噪声视频图像的运动模糊。因此，帧上转换器105生成包括帧序列的视频信号，所述帧序列具体为从自第一 噪声处理器103接收的较低帧速率视频信号所生成的上转换帧序列。应当理解的是，在一 些实施例中，该系统将不包括任何帧上转换，但是例如将以生成或接收视频信号的帧速率 直接对帧操作。帧上转换器105进一步耦合到空间噪声处理器107，该空间噪声处理器被设置成 将图片噪声改变算法应用到从帧上转换器105接收的视频信号的上转换帧。在该例子中，空间噪声处理器107被设置成将空间噪声降低应用到上转换帧。以 原始的较低的帧速率执行的初始空间噪声降低以及以上转换帧速率执行的后续空间噪声 降低这两者的使用允许执行改善的总体噪声降低。特别地，第一噪声处理器103的初始噪 声处理可以在上转换之前移除噪声，从而降低了噪声的额外引入以及由应用于噪声的上转 换过程所引起的伪像。对上转换帧执行的空间噪声降低可以提供非常有效的空间噪声降 低，因为其被直接应用于将被显示的帧。例如，应用于上转换帧的空间噪声降低可以移除由帧上转换器105的上转换过程所引入的空间伪像。空间噪声处理器107被耦合到显示器驱动器109，该显示器驱动器被设置成驱动 在这个具体的例子中是IXD电视显示器的显示器111。由于帧上转换器105的上转换，与接 收信号的较低帧速率相比，保持时间可以充分地降低。在其中执行两倍的上转换的具体例 子中，保持时间降低为一半。因此，由于帧上转换器105执行的内插以及运动估计和补偿可 以导致有效的输出帧更新速率加倍(因为上转换帧代表在原始较低帧速率图像的帧时间 之间的中间时间处的(估计的)图像，并且不仅仅是原始帧的重复)，因而运动模糊可以充 分地降低。而且，在本例子中，空间噪声处理器107由变化处理器113控制，从而空间噪声处 理器107执行的帧处理的空间噪声降低设置在至少一些连续帧之间是变化的。因为该变 化，连续(上转换)帧之间的空间噪声的可变性或去相关被引入，导致噪声闪烁效应引入到 图像中。这种噪声闪烁的效应可以导致观看显示的输出的用户的充分降低的噪声感知。特别地，已经发现，对于高于给定门限频率的噪声闪烁频率，人类感知不会检测单 独的更高频率闪烁，而是感知到噪声因为引入的变化而降低。特别地，已经发现，噪声闪烁 被感知为比呈现了具有与噪声闪烁的平均值同样水平的恒定噪声的情况较少的噪声。在该具体的例子中，噪声降低可以在导致对应上转换帧速率的噪声闪烁频率(即 具有50Hz闪烁频率)(显示速率100Hz)的每一上转换帧之间变化。与维持噪声在50Hz的 较低帧速率的整个持续时间恒定相比，该噪声被感知为大大地降低。根据预定的变化规则，变化处理器113改变噪声降低设置。该规则独立于接收的 视频信号和/或上转换信号的任何特性(尽管帧操作过程自身的属性、特性和变量可能依 赖于这样的特性)。因此，不管视频信号的特性如何，变化处理器113都引入噪声闪烁效应。预定的变化规则可以例如对于每一连续的帧修改空间噪声降低算法的偏差。作为 一个简单的例子，空间噪声处理器107可以将空间噪声降低过程应用到每一上转换帧，包 括空间低通滤波。可以响应变化处理器113提供的偏差值，为每一上转换帧确定该低通滤 波的带宽。因此，通过改变连续帧之间的该偏差值，变化处理器113可以将噪声闪烁引入到 图像。偏差值的变化是预定的并且独立于任何视频信号特性。应当理解的是，低通滤波的 带宽也可以响应包括视频信号或噪声降低所应用的单独的帧的特性在内的其它参数和特 性而确定。例如，带宽也可以响应出现在单独的上转换帧中的空间噪声量的估计而确定。还应当理解的是，变化处理器113可能不必改变所有连续帧之间的噪声降低设 置。例如，可以例如仅每隔一个帧转变而引入变化。然而，在该具体实施例中，对于每一个 帧转变改变噪声降低设置，因为这导致更高的噪声闪烁频率，从而增大用户感知的噪声降 低并且降低噪声闪烁自身的感知。在该具体例子中，取得50Hz的噪声闪烁频率。在其它实施例中，可使用其它噪声 闪烁频率。然而，在许多这样的实施例中，变化可以有益地使得噪声闪烁频率在与处理的视 频信号相关联的特定显示器的人类感知闪烁速率门限之上。例如，根据显示器尺寸、分辨 率、典型的观看距离等可以确定闪烁速率门限(作为另一个例子，可以做实验以获取经验 值)。变化处理器113的变化于是可以被设计为在该闪烁速率门限之上。对于大部分用户和显示器而言，30Hz之上的变化频率将导致噪声闪烁不会被感知 到(或仅仅在可接受的程度上感知到)。因此，在许多实施例中，预定的变化规则使得空间噪声降低设置的变化频率在30Hz之上。在该具体例子中，空间噪声处理器107可以执行从一组帧操作处理器中选择的帧 操作过程。帧操作过程具有不同的空间噪声降低特性，并且变化处理器113可以通过在连 续的帧中选择不同的帧操作过程改变噪声降低设置。具体地，该组帧操作过程可以包括多个不同的空间噪声降低过程。每一空间噪声 降低过程相比其它噪声降低过程可以使用不同的算法和/或具有不同的参数设置。通过在 连续的帧中选择具有不同噪声降低特性的不同空间噪声降低过程，低复杂性和简单的操作 可以用来提供非常灵活和有效的噪声闪烁。应当理解的是，不同噪声降低过程可以包括使用不同算法或方法的过程，和/或 可以包括使用相同算法但是具有不同噪声降低参数(诸如例如不同的空间低通滤波带宽) 的过程。还应当理解的是，该组噪声降低过程之一可以是空的(或哑)过程，其对帧不执行 任何处理和/或空间噪声降低。因此，一个过程可以简单地对应于让(上转换)帧不变。下 面的例子集中在其中噪声降低过程是空间噪声降低过程的例子，但是应当理解的是，在其 它实施例中，可以使用其它的噪声降低过程。接下来，将参考图2描述具体的例子，该图更详细地示出了用于一个例子的空间 噪声处理器107，在该例子中，该组空间噪声降低过程包含两个不同的空间噪声降低过程， 此后称为NRl和NR2。NRl和NR2具有不同的空间噪声降低属性，并且具体地可以是不同的 空间噪声降低算法和/或是以不同参数设置使用的同样的基本空间噪声降低算法。在该例子中，预定的变化规则存在于用于不同的空间噪声降低过程的预定的交替 序列。因此，变化处理器113简单地控制空间噪声处理器107以对连续的帧使用不同的噪 声降低过程。在该具体例子中，其中该组过程仅包括两个过程，变化处理器113简单地控制 空间噪声处理器107以在NRl和NR2之间交替。而且，在该例子中，空间噪声处理器107被 控制以在每一帧转变时切换到另一个噪声降低过程。在该例子中，空间噪声处理器107包括耦合到帧上转换器105以及变化处理器113 的切换处理器201。切换处理器201耦合到第一噪声降低单元203，该第一噪声降低单元被 设置成将第一空间噪声降低过程NRl应用到上转换帧。而且，切换处理器201耦合到第二 噪声降低单元205，该第二噪声降低单元被设置成将第二空间噪声降低过程NR2应用到上 转换帧。对于每一上转换帧，切换处理器201根据从变化处理器113接收的控制信号决定 应当将该帧馈送到噪声降低单元203和205的哪一个。在该具体例子中，变化处理器113 简单地控制切换处理器201以交替地将上转换帧馈送到第一噪声降低单元203和第二噪声 降低单元205。第一噪声降低单元203和第二噪声降低单元205耦合到帧组合器207，其中通过将 第一噪声降低单元203或第二噪声降低单元205的空间噪声降低处理所产生的单独的上转 换帧组合而生成补偿的视频信号。该补偿的视频信号因此包括噪声闪烁效应并且其被馈送 到显示驱动器109以便呈现在显示器111上。应当理解的是，在其它实施例中，可以使用用于在可用的噪声降低过程之间进行 选择的其他规则。例如，在一些实施例中，可以应用上转换帧到噪声降低单元203和205之 一的随机分配。这可以导致随机噪声闪烁而不是在一些实施例中可能是有益的更高频率周
10期性噪声闪烁。应当理解的是，可以使用任意合适的噪声降低过程而不偏离本发明。还应当理解 的是，多个这样的噪声降低过程对于本领域技术人员将是已知的。在该具体例子中，噪声降低过程NRl和NR2两者都是边缘保持空间噪声降低过程。 因此，两个噪声降低过程都被设置成保持(尽可能合理地考虑其它冲突需求)图像中对象 的边缘，从而确保组合的视频输出图像维持高的边缘分辨率。特别地，这可以向用户提供改 善的总体清晰度印象。在该具体例子中，NRl进一步提供比NR2(潜在地显著)更强的空间噪声降低。因此，在该具体系统中，输入视频序列被上转换为更高的显示帧速率以获取高帧 速率视频信号。对于高帧速率视频信号，连续帧被NRl或被NR2交替地降低噪声，并且作为结果得 到的帧被组合以生成输出视频序列。该输出视频序列具有以下特性-帧速率对于不可视的帧交替细节闪烁足够高，-边缘由NRl和NR2保持，从而维持总体清晰度印象，以及-相对于NR2，NRl更强烈地降低(优选完全消除)噪声，从而噪声在逐帧基础上 交替。该噪声交替序列的可视结果是整体噪声印象和“灰窗”效应降低了，从而提供显著 改善的视频质量和用户体验。通过降低噪声的时间低频分量同时提高观察者较少感知的高时间频率分量，所提 出的方法因此降低了保持类型显示器上噪声的可视性。该效果通过在逐帧基础上交替噪声 降低的量和/或类型来取得。而且，结果得到的显示速率被设置的如此高以至于该细节闪 烁对普通用户不可视(优选地使用高于-80Hz的显示速率)。在该具体例子中，强大的边缘 保持(空间)噪声降低过程NRl与适度的或没有空间噪声降低过程NR2交替。在该例子中，NRl以高噪声降低效果和以丢失细节为代价强调降低噪声为特征。而且，在该例子中，响应被处理的帧中的实际空间噪声而调整NRl的确切噪声降 低效果。因此，第一噪声降低单元203耦合到噪声估计单元209，该噪声估计单元被设置成 生成帧的噪声估计并将该噪声估计馈送到第一噪声降低单元203，第一噪声降低单元然后 响应该噪声估计而调整帧的空间噪声降低特性。具体地，对于增大的估计空间噪声，可以应 用增大的空间噪声降低。例如，可以降低NRl的空间低通滤波的带宽以便提高噪声估计。应 当理解的是，可以使用任何适当的空间噪声估计方法或算法而不偏离本发明。在该例子中，NR2执行不太严厉的空间噪声降低并且特征在于以有限的噪声降低 为代价强调保持空间细节和清晰度。NRl和NR2两者都可以是任意类型的已知噪声降低方法，并且可以是不同的方法 或仅有一个变化(例如门限或噪声强度)参数的相同方法。所描述的方法的优点在于，可以独立于其它噪声降低方法以及尤其是独立于不考 虑时间特性的其它噪声降低方法而应用该方法。例如，在转换之前，初始空间噪声降低过程 可被应用于原始的较低帧速率视频信号。还应当理解的是，通过恰当地选择所应用的噪声降低过程的噪声降低属性，可以取得期望水平的平均总体噪声降低。例如，在该具体的例子中，为了取得给定整体平均水平 的噪声降低，可以选择NRl的噪声降低的量以导致高于期望的总体水平的总体噪声降低， 同时可以选择NR2的噪声降低的量以导致低于期望的总体水平的总体噪声降低。还应当理解的是，所描述的方法可以容易地扩展到多组多于两个的不同空间噪声 降低过程(例如NR3、NR4等)。在已经被上转换的视频信号中，一些帧可能更接近低帧速率原始帧，或者甚至与 原始帧相同，并且一些帧将更加远离原始帧。优选地，噪声降低过程NRl和NR2与视频信号 如此联合(align)，使得较低量的噪声降低被尽可能地应用于与原始帧接近或相同的帧，并 且使得最高量的噪声降低被应用于更远离原始帧的帧。在该具体例子中，上转换是这样的，使得上转换帧的一些直接对应原始帧的一些。 在一些这样的实施例中，预定的变化规则规定，与不对应原始帧但是是内插帧的上转换帧 相比，对对应原始帧的上转换帧应用较少的空间噪声降低。这种方法将典型地导致较少的 伪像，因为内插帧典型地可以包含比用于生成内插帧的原始帧更多的伪像。因此，将更强的 噪声降低应用到内插帧导致总体更高的视频质量。因此，在其中仅使用两个不同的噪声降低过程NRl和NR2的具体例子中，对于偶数 帧速率上转换因子(例如2、4等)，典型地优选应用NRl和NR2，从而NR2被应用于原始帧， 因为与内插帧相比，它们典型地包含更多细节和更少伪像。更一般地，如果帧速率上转换比率是偶整数，即m/n = 2*i，i 乒 0 并且 i e N，那么上转换算法典型地每m/n帧输出具有与输入帧的时间戳匹配的时间戳的帧。 优选地，这些原始帧由比用于内插帧的噪声降低更弱的噪声降低来处理。这在图2的例子 中通过如下面的表格所示适当地初始化切换处理器201的交替而取得 作为具体的例子，25Hz的电影序列可以具有运动补偿地上转换到IOOHz的帧速 率。在该例子中，为每一原始帧生成三个内插帧。然而，这些内插帧的噪声特性是不同的， 并且典型地由于双向内插的使用，位于两个原始帧中间的内插帧经历比其它内插帧更少的 噪声。因此，为这些噪声特性优化的不同噪声降低过程NR3可以用于中间内插帧。该附加的噪声降低过程NR3可以例如被设计为导致与由较弱的噪声降低过程NR2处理的原始帧同 样的中间内插帧的输出噪声特性。结果，这种系统的噪声水平可以在50Hz的频率上交替。 这种系统的例子呈现在下面的表格中
输入帧上转换奇/偶’相位噪声劇氐IN(O)— Ε, 0NR2内插0、10，1NRl内插0、1E, 2NR3内插0、10’ 3NRlIN⑴— Ε, 0NR2内插1、20’ 1NRl内插1、2E, 2NR3内插1、20, 3NRl图3示出了根据本发明一些实施例的视频信号处理方法。该方法在步骤301启动，其中接收包括帧序列的视频信号。步骤301之后是步骤303，其中图片噪声改变算法应用于该帧序列。步骤303之后是步骤305，其中图片噪声改变算法的空间噪声降低设置在该帧序 列的至少一些连续帧之间响应预定的变化规则而变化。在一些实施例中，可以提供包含软件代码的载体，其使处理器能够执行图3的方 法。载体具体可以包括计算机可读指令，当其被计算机或其它合适的处理设备执行时使得 该方法被执行。术语载体应当解释为对于特定的时间量可以包含作为物理参数(比如电 压)的代码的任意事物。术语载体例如可以包括实体，诸如设备内存储器(诸如硬盘或固 态存储器)、可断开存储器(诸如磁盘或记忆棒或记忆卡)、连接电缆或其它信号运输装置寸。应当理解的是，出于清楚的目的，以上描述已经参考不同的功能单元和处理器描 述了本发明的实施例。然而，显而易见的是，可以使用不同功能单元或处理器之间的任何适 当的功能分布而不偏离本发明。例如，被示出由单独的处理器或控制器执行的功能可由同 一处理器或控制器执行。因此，对特定功能单元的引用仅被视为对用于提供所描述功能的 适当装置的引用，而不是指示严格的逻辑的或物理的结构或组织。本发明可以以包括硬件、软件、固件或这些的任意组合在内的任意合适形式实现。 本发明可选地可以至少部分地被实现为运行在一个或多个数据处理器和/或数字信号处 理器上的计算机软件。本发明实施例的元件和组件可以以任意合适的方式物理地、功能地、 逻辑地实现。实际上，功能可以以单个单元、以多个单元或作为其他功能单元的部分来实 现。因此，本发明可以以单个单元来实现或者可以物理地并且功能上分布在不同的单元和 处理器之间。尽管已经结合一些实施例描述了本发明，但是并不预期其限于这里阐述的具体形
13式。相反，本发明的范围仅由所附权利要求书限制。而且，尽管可能结合特定实施例描述了 特征，但是本领域技术人员应当认识到，所描述实施例的各种特征可以根据本发明进行组 合。在权利要求书中，措词包括不排除其他元件或步骤的存在。 而且，尽管是个别地列举的，但是多个装置、元件或方法步骤可以通过例如单个单 元或处理器来实现。而且，尽管个别的特征可以包含在不同的权利要求中，但是这些特征可 以可能地被有益组合，并且包含在不同权利要求中并不意味着特征的组合是不可行和/或 不是有益的。而且，在一类权利要求中包含特征并不意味着对该类的限制，而是指示在适当 情况下该特征同样可应用于其他类权利要求。而且，权利要求中特征的顺序不意味着特征 必须工作在任何特定的顺序，尤其是方法权利要求中单独的步骤的顺序不意味着步骤必须 以该顺序执行。相反地，步骤可以以任意适当的顺序执行。此外，单数引用不排除多个。因 此，提到“一”、“一个”、“第一”、“第二”等不排除多个。在权利要求中仅仅作为澄清的例子 而提供的附图标记不应当以任意方式解释为限制权利要求书的范围。
权利要求
一种用于处理视频信号的视频信号处理设备，该设备包括 接收单元(101，103，105)，用于接收包括图片序列的视频信号； 处理单元(107)，用于将图片噪声改变算法应用到该图片序列； 变化单元(113)，用于响应预定的变化规则，在该图片序列的至少一些连续图片之间改变图片噪声改变算法的噪声降低设置。
2.如权利要求1的视频信号处理设备，进一步包括-一组图片操作过程(203，205)，该组可执行的图片操作过程中的图片操作过程具有 不同的噪声降低特性；并且其中所述变化单元(113)被设置成从该组图片操作过程中选择不同的图片操作过程作为 用于所述至少一些连续图片的图片噪声改变算法。
3.如权利要求2的视频信号处理设备，其中所述预定的变化规则包括不同图片操作过 程的预定交替系列。
4.如权利要求2的视频信号处理设备，进一步包括-噪声估计器(209)，用于为所述至少一些连续图片的第一图片生成噪声估计；并且其 中该组图片操作过程(203，205)的至少第一图片操作过程(203)被设置成当该第一图片操 作过程应用于该第一图片时，响应噪声估计而调整噪声降低特性。
5.如权利要求2的视频信号处理设备，其中该组图片操作过程(203，205)的至少一个 图片操作过程是边缘保持空间噪声降低过程。
6.如权利要求2的视频信号处理设备，其中该组图片操作过程(203，205)的图片操作 过程是空间噪声降低过程。
7.如权利要求1的视频信号处理设备，进一步包括帧速率上转换器(105)，被设置成生 成该图片序列作为从较低帧速率视频信号生成的上转换帧序列。
8.如权利要求7的视频信号处理设备，其中所述预定的变化规则规定，为该上转换帧 序列中的上转换帧和原始帧之间的增加的时差增大空间噪声降低。
9.如权利要求1的视频信号处理设备，其中所述变化单元(113)引入的噪声降低设置 变化独立于所述至少一些连续图片的特性。
10.如权利要求3的视频信号处理设备，其中所述预定的变化规则是这样的，使得噪声 降低设置的变化频率在30Hz以上。
11.一种视频显示器设备，包括-接收单元(101，103，105)，用于接收包括图片序列的视频信号；-处理单元(107)，用于将图片噪声改变算法应用于该图片序列以生成修改的视频信号；-变化单元(113)，用于响应预定的变化规则，在该图片序列的至少一些连续图片之间 改变图片噪声改变算法的噪声降低设置；以及-显示器(109，111)，用于显示修改的视频信号。
12.一种处理视频信号的方法，该方法包括-接收(301)包括图片序列的视频信号；-将图片噪声改变算法应用(303)于该图片序列；以及-响应预定的变化规则，在该图片序列的至少一些连续图片之间改变(305)图片噪声改变算法的噪声降低设置。
13. 一种包含软件代码的载体，该软件代码使得处理器能够执行包括以下步骤的方法-接收(301)包括图片序列的视频信号；-将图片噪声改变算法应用(303)于该图片序列；以及-响应预定的变化规则，在该图片序列的至少一些连续图片之间改变(305)图片噪声 改变算法的噪声降低设置。
全文摘要
一种用于处理视频信号的视颇信号处理设备包括接收单元(101，103，105)，其接收包括图片序列的视频信号。处理单元(107)将图片噪声改变算法应用到该图片序列中，并且变化单元(113)响应预定的变化规则而在该图片序列的至少一些连续图片之间改变图片噪声改变算法的空间噪声降低设置。特别地，可提供具有不同空间噪声降低特性的一组图片操作过程(203，205)，并且变化单元(113)可以在连续的图片中选择不同的图片操作过程。该方法可以引入观察者较少感知的高频噪声闪烁，从而降低感知的噪声。本发明特别地可以应用到保持类型显示器(比如液晶显示器)的上转换高图片速率视频信号中。
文档编号H04N5/21GK101919233SQ200880120981
公开日2010年12月15日 申请日期2008年12月12日 优先权日2007年12月17日
发明者F·H·范希施, M·A·克洛姆彭霍沃 申请人:皇家飞利浦电子股份有限公司;Nxp有限公司