专利名称：用于减少视频图像处理中的运动失真和噪声的方法和设备的制作方法
技术领域：
本发明涉及减少视频图像处理过程中运动失真和噪声的方法和设备，尤其是用于逐帧地在时间上以每个像素的方式滤波视频图像的方法和设备。
我们都知道现有技术采用时间滤波器(也称为“递归滤波器”)对数字数据(它代表视频图像的每个帧)进行滤波以减少视频图像中的噪声。采用硬件或者软件的方式可以实现时间滤波器，硬件方面主要采用乘法器或者查找表来实现的，查找表用于保持代表像素差值的增益系数的数据。通过运算帧或者矩阵中每个单一像素、在时间上对每个视频帧存储每个单一像素的像素值、确定目前的或者输入帧的像素的像素值与前邻的或者已经滤波的帧的像素的像素值之间的差、把这个差值一部分与前邻的或者已经滤波的帧的像素的像素值(依赖于滤波器或增益系数)相加获得针对帧中每个像素的新的已经滤波的像素值、存储并且显示或者输出这个新像素值，时间滤波器将可以进行噪声降低。加到前邻的帧的像素的像素值的数量，是这个差值的分数的部分，并且通过函数者选择来确定这个数量。例如，函数者可能选择四帧进行平均，这样使加到前邻的帧的像素的像素值的数量，将为这个差值的0.25(或者1/4)。如果函数者选择八帧进行平均，这样使加到前邻的帧的像素的像素值的数量，将为这个差值的0.125(或者1/8)。因此要求的平均等级越高，则加到前面像素值的差值的分数就越小。换言之，时间滤波过程就是对输入像素值的连续(running)平均过程。
简单的时间滤波器的缺点在于不能够区分活动图像中噪声与运动，因此无论是由于不希望的噪声所引起的还是由于可接受的运动所引起的像素差值的改变，都会导致滤波。当对由于运动所引起的像素差值进行平均时，则已经滤波的视频图像在出现运动的地方就会有模糊和斑点。因此时间滤波器降低噪声的同时也非本意地降低了活动图像的清晰度。
综上所述，就希望提供随着视频图像中运动量调整滤波量的滤波器。
本发明的一个目的是提供用于获得具有减少运动失真和减少噪声的得到改善了的视频图像的一种方法和设备。
本发明的另一个目的是提供用于当图像正在运动或者图像的一部分正在运动时减少图像的滤波量的方法和设备。当图像正在运动时降低时间滤波就减少了图像的运动的部分中的模糊和斑点而保持对图像的非运动的部分中很好的噪声滤波。
本发明的另一个目的是提供这样的方法和设备这个方法和设备可以最大地滤波静止图像或者图像的静止部分的噪声。
通过用于减少显示的视频图像的像素中的噪声的一个方法和设备，就可以实现上述目的和其他未特殊提出的目的，这个方法和设备根据具有目前滤波的像素值的第一帧和具有最近刚获取的未滤波的像素值的第二帧，来滤波视频图像中的像素的像素值。一个示意性的方法包括以下步骤(a)在存储器中存储数字数据，这些数字数据代表了已经滤波的帧中每个像素的 图像滤波值或(在第一周期后)的多个滤波值，每个像素具有由数字数据的一组比特所表示的一个像素值；(b)获取代表第二帧或随后帧中每个像素的图像值的数字数据，每个像素具有由数字数据的一组比特所表示的一个未滤波的像素值；(c)根据扫描技术，在这个视频图像中像素之间选择所关心的像素；(d)计算(i)这个所关心的像素或者所选择的像素与(ii)这个所关心的像素周围的核心(kernel)或者矩阵中的像素的之间差值，这些差值的每个都是所存储帧中像素的初始或者已经滤波的像素值与下一帧中相同像素位置的输入的或者未滤波的像素值之间的差；(e)对所关心的像素周围的核心(kernel)或者矩阵中像素的差值进行平均(空间滤波器)，得到降低了滤波噪声的运动值；(f)根据根据所关心的滤波量并且按照与每个所关心像素相关的运动值，计算针对在这个帧或者矩阵中所关心像素的滤波等级；以及(g)把这个计算出的所关心像素的值与所存储的图像初始的或者已经滤波的值相加，产生新的存储图像的已经滤波的值。
对输入的帧图像的每个未滤波的输入像素值重复这个时间(递归)和运动滤波处理过程。
然后这个新的已经滤波的像素值将被显示或者输出成为处理的图像。这样，就产生了代表了已经滤波的像素值的新一帧数字数据，它代替了第二帧的未滤波的像素值。这个新帧被输出或者显示，并且对下一帧未滤波的像素值重复这个全部处理过程。
下面的说明将公开本发明的附加目的和优点，并且尤其通过说明或者通过体验本发明将使本发明的附加目的和优点更加明显。通过在附加权利要求中所特别声明的方式以及组合，将可以实现并且获得本发明的目的和优点。
通过下面结合附图所作的详细地说明，将会更加清楚本发明的上述和其他的目的、特征以及优点。这些附图是
图1示出像素滤波模型的方框图，这个像素滤波模型用于减少视频图像的每个像素中的噪声和运动失真，运动值控制这个滤波函数；图2示出像素滤波模型的方框图，这个像素滤波模型用于减少视频图像的每个像素中的噪声和运动失真，通过空间滤波器值用作输入到时间滤波器的输入，运动值也控制这个滤波函数，并且这个控制是以运动值控制信号为基础的；图3示出了示意性的时间或者递归滤波器的标准模型的方框图，它们主要在现有领域中使用；图4A示出滤波器函数的一个曲线图，这个滤波器函数的曲线图表示根据减少噪声的运动控制的一个查找表的一系列输出值的一个例子，输入是像素差值，“D”(x轴)，而输出(y轴)是加法器的输入；图4B是控制装置的曲线选择(x轴)与用来控制时间滤波器传递函数的运动值(y轴)的示图；图4C是用作被处理的像素差值的用于控制装置的空间输入选择(x轴)，与用作滤波器函数装置的输入的运动值(y轴)的示图；图5A示出本发明的像素矩阵或者核心的一个实施例的示图，其中示出了5×5核心；图5B示出本发明的核心的一个实施例的示图，其中示出了3×3核心；下面将参考示图，在这些示图中，为本发明的各种各样的单元标出数字标记，并且将讨论本发明，以便本领域技术人员能够制造和使用本发明。应当明白下面说明仅出于举例说明本发明，因此不能被认为是对附属权利要求书的局限。
本发明是用于减少视频图像处理中运动失真和噪声的方法和装置，其中在有运动的区域中一个视频图像中滤波的数量取决于在这个视频图像的那个区域中所检测到的运动的数量。
从大量的画面元素(称为“像素”)产生一个视频图像，对这些画面元素进行管理以形成成像图形。这些图像图形可以或者是彩色或者是灰度等级图像，它们具有数字数据所表示的像素的亮度和色度。利用来自这个数字数据的一组比特，代表视频图像的每个像素，并且把每组比特称作“像素值”。像素值确定在视频图像中可以从帧到帧地改变的特定像素的亮度和色度或者灰度等级。例如，当视频图像是逐帧渐进地变暗时，则在这个视频图像中的像素针对这个视频图像的每个帧将具有不同的像素值。当一个帧中的像素位置的像素值与另外一帧相同位置的像素值相减，就得到了像素差值。
这个设备包括结合时间滤波器的空间滤波器，因此在定域的区域中，利用空间滤波器滤波所产生的结果，控制通过时间滤波器所进行的滤波的数量。换言之，当空间滤波器(处理的核心数据)经过时间(从帧到帧的时间数据)检测到在所感兴趣的像素周围有显著运动时，则针对那个像素的时间滤波器(也称为“递归滤波器”)就采用减少或最小滤波那个像素的输入图像的方式来过滤这个视频图像，这样也减少了运动失真。另一方面，如果空间滤波器经过时间检测到在所感兴趣的像素周围有非常少运动时，则就对时间滤波器进行调整对那个像素进行最大噪声滤波。这样，随在这个视频图像中所检测到的运动量，调整时间滤波器所进行的滤波量。针对每帧图像数据的图像矩阵的每个像素都重复这样的处理过程。
在空间滤波器中使用来自视频图像中一组像素(或核心)的差值，来确定“运动值”，它们与对这个视频图像所要进行的时间滤波量相对应。下面是这个处理过程的详细说明。详细说明图1示出视频图像滤波器10的时间像素滤波模型的方框图，这个视频图像滤波器10用于减少视频图像中每帧的每个像素中的噪声和运动失真。Xi(t)表示输入图像帧的像素值，而Xo(t)表示输出图像帧的像素值。按时间顺序，Xi(t)表示滤波之前一帧视频图像中的像素，而Xo(t)表示已经滤波之后的同一帧的视频图像中的像素。符号Xo(t-1)表示刚刚才显示的像素值，即通过以前滤波过程得到的最近所存储的像素值。当把一帧最近得到的值的像素值Xi(t)送入视频图像滤波器10时，减法器14计算像素输入值Xi(t)与最近所存储的像素值Xo(t-1)之间的差，得到视频图像的输入图像帧中每个像素的像素差值“D”。然后空间滤波器18对这些差值进行空间滤波，得到运动值“M”。控制单元22接收到这个运动值并且产生用于控制滤波函数26的一个信号。滤波函数26受到用户所选择的输入“A”以及控制单元22基于运动的控制，这个输入“A”是用户根据所关心的视频图像滤波器10的滤波量进行选择的。然后滤波函数26向加法器30输出得到的信号值(“输出差值”)，加法器30把这个得到的信号值与所存储的像素值Xo(t-1)相加，得到当前输出的一个输出像素值Xo(t)，并且把这个输出像素值Xo(t)存储到存储器34中，这个输出能够被显示或者用于其他处理。
图2示出视频图像滤波器10的像素滤波模式的附加特性。把表示为“D”的像素差值输入到空间滤波器18和滤波函数26。当出现大量运动时，使用具有小滤波系数的差值将能够把不希望的噪声加到输出。图2示出了这些差值被在加权平均单元38中穿入并且与空间滤波运动值混合。当空间滤波器平均核心中(或者所需要的像素)像素的差值时，空间滤波器18就产生了运动值“M”。然后把这个运动值“M”输入到控制单元22和加权平均单元38。加权平均单元38从控制信号并根据运动值“M”和原值“D”选择输入的不同比例，以计算滤波器函数26的输入。这个控制过程对差值和运动值进行加权平均，包括(i)，所关心的像素(或者运动值“M”)周围的差值的平均；(ii)，所关心的像素的差值；以及(iii)，(i)和(ii)的某个比例或者组和的值。当出现大量运动时，通过调整具有小滤波系数的像素差值，加权平均单元就能够避免把不希望的噪声加给输出。
图2示出控制单元22接收来自空间滤波器18的运动值“M”并且确定将送到加权平均单元38和滤波函数26的控制信号。这些控制信号的一部分使加权平均单元38选择(通过一个查找表和乘法器)从“D”和“M”输入所得到的混合信号，并且使加权平均单元信号送到滤波函数26。根据来自空间滤波器信号的数据混合、来自控制单元的基于运动“M”的输入信号以及用户所确定的输入“A”，滤波函数26输出信号。这些输入到滤波函数26的输入信号被用来产生矩阵的每个像素的时间和空间滤波器的输出值。这样，图2更加详细地示出了如何利用差值“D”和空间信息“M”对时间滤波器进行控制，以减少噪声和运动失真。
图3示出现有技术的时间滤波器110的方框图，有助于理解本发明。图3示出来自目前帧的像素值输入Xi(t)；来自目前帧的像素值输出Xo(t)；以及来自刚刚才显示的帧的存储的像素值Xo(t-1)。在这个时间滤波器中，减法器114取Xi(t)与Xo(t)之间的差并且把这些差值送到乘法器或者查找表118。乘法器118把这个差值与用户所选择的数值“A”相乘。然后，把乘法器118的输出送到加法器122，得到输出像素值Xo(t)。下面公式(采用上述图3的符号)示出了现有技术的时间滤波器的典型功能Xo(t)＝A[Xi(t)-Xo(t-1)]+Xo(t-1)如结合图1和2所述，本发明提供了随视频图像中运动量的不同而改变加给刚才显示的帧的像素值Xo(t-1)的一个信号。换言之，本发明通过为时间滤波器110增加硬件来更改时间滤波器110，以便控制送到乘法器118的差值和用户输入“A”。随运动值“M”而增加或者减少时间滤波。
通过测试和实验，改进控制和滤波函数所使用的数据值，从而优化处理过程。它们是非-线性方程和控制信息。图4A、4B、4C是这个信息的一种形式的例子。图4A是曲线族，每个曲线具有不同的用于各个像素差的滤波量。图4B示出一组控制输出，根据像素周围的运动量选择不同滤波级别(图4A)。图4C是另外一组控制输出，从不同的像素改变比例、经过空间滤波的像素改变的增量以及空间滤波器大小中选择，用于在滤波器函数中使用。
再结合图1或2，根据所关心的像素周围和包括这个像素的一组差值，计算本发明的运动值“M”。这组像素或者核心被用于空间滤波器中，以便产生运动值“M”。图5A和5B分别示出两个不同大小的核心，即，5×5和3×3。每个核心代表了这样的像素在这些像素处，所关心的像素与该所关心的像素周围的选择出的像素之间的像素差值被存储。例如，图5A示出像素K1、K2、K3、等，其中空间滤波器18(见图1和2)计算所关心的像素X(n)周围像素的平均的像素差值，产生运动值“M”。
利用图2的设备，采用扫描技术，即按顺序滤波像素的技术，对一帧的每个像素进行滤波。用于减少将要显示成视频图像的像素中噪声的方法包括下面步骤(a)在存储器中存储数字数据，这些数字数据代表了已经滤波的视频图像的第一帧中每个像素的彩色或者灰度等级成像，每个像素具有由数字数据的一组比特所表示的一个已经滤波的像素值；
(b)获取代表这个视频图像的第二帧中每个像素的彩色或者灰度等级成像的数字数据，每个像素具有由数字数据的一组比特所表示的一个未滤波的像素值；(c)根据扫描技术，在这个视频图像中像素之间选择所关心的像素；(d)计算这个所关心的像素与这个所关心的像素周围像素的差值，这些差值的每个都是第一帧中像素值与第二帧中相同像素的像素值之间的差；(e)对所关心的像素周围的像素的差值进行平均，得到运动值；以及(f)根据这个运动值，时间滤波该所关心的像素的像素值。
对第二帧的每个像素重复进行步骤(c)、(d)、(e)以及(f)，得到新的一帧显示的像素数据。
如图2所示，步骤(f)还可以包括对差值和运动值进行加权的平均的步骤，对差值和运动值进行加权的该平均包括(i)，得到所关心的像素周围的差值的平均；(ii)，计算所关心的像素的差值；以及(iii)，计算(i)和(ii)的某种组和的值。
应当知道，上述的安排仅用于显示本发明的原理的应用的目的。在不脱离本发明的实质和范围下，本领域技术人员可以提出各种各样的更改和其他安排，并且附属的权利要求致力于涵盖这样的更改和其他安排。
权利要求
1.用于减少目前输出、显示或者处理的视频图像的像素中噪声和运动失真的设备，这个设备根据具有目前滤波的像素值的视频图像的第一帧和具有最近刚获取的未滤波的像素值的视频图像的第二帧，来滤波视频图像中的像素的像素值，这个设备包括显示器，用于显示该视频图像的已经滤波的像素值；存储器，用于存储已经滤波的该第一帧视频图像，其中该第一帧是由数字数据来表示的并且这个第一帧的每个像素具有由这个数字数据的一组比特所表示的像素值；减法器，用于通过(i)接收第一帧已经滤波的像素值和第二帧未滤波的像素值，以及(ii)计算第一帧已经滤波的像素值和第二帧未滤波的像素值之间的差，产生差值；空间滤波器装置，用于通过平均所关心像素的周围所选择出像素的差值，计算所关心像素的运动值；滤波函数(filter function)装置，用于根据该运动值产生所关心像素的输出差值；以及加法器，用于把该输出差值与第一帧的已经滤波的所关心像素的像素值相加。
2.权利要求1的设备，其中该滤波函数装置包括乘法器或者存储查找表，这个乘法器或者存储查找表用于把所关心像素的运动值与由运动值本身所确定的一个分数相乘，其中这个乘法器产生输出差值使得随图像运动的增加而减小滤波函数乘法器。
3.权利要求1的设备，其中时间滤波器包括查找表，这个查找表用于根据所关心像素的差值和所关心像素周围的像素的核心的运动值，产生输出差值。
4.权利要求1的设备，其中该空间滤波器装置所选择的像素包括与从一组中选择出的所关心像素相关的像素差值的核心，这组是由5×5的像素差值矩阵和3×3的像素差值矩阵或者其他最适合图像分辨率的矩阵形式以及用于测量定位的图像运动的图像类型所构成的。
5.权利要求4的设备，其中空间滤波器装置平均在这个核心矩阵中像素的差值。
6.权利要求1的设备，其中所关心像素包括根据扫描技术所选择出的视频图像的像素。
7.权利要求1的设备还包括控制单元和加权平均单元，这个加权平均单元接收来自控制单元的控制信号，其中控制单元所导出的该控制信号选择该差值和该运动值的不同的加权和比例，两个信号都已经被以相同的相对幅度标定。
8.权利要求7的设备，其中的加权平均单元还包括第一输入端，用于接收由该减法器产生的差值；第二输入端，用于接收由空间滤波器装置产生的运动值；和根据该差值和来自该空间滤波器的运动值，用于计算该滤波函数装置所用的输入和比率的电路。
9.权利要求7的设备，还包括具有一个输入端的滤波函数单元，其中的滤波函数单元输入端接收由控制单元产生的控制信号以及由加权平均单元处理的差值。
10.用于减少在被处理显示的视频图像的像素中噪声和运动失真的方法，该方法根据具有目前滤波的像素值的视频图像的第一帧和具有最近刚获取的未滤波的像素值的该视频图像的第二帧，来滤波视频图像中的像素的像素值，该方法包括步骤(a)在存储器中存储数字数据，这些数字数据代表了第一帧中每个像素的彩色或者灰度等级成像，每个像素具有由数字数据的一组比特所表示的一个已经滤波的像素值；(b)获取代表第二帧中每个像素的彩色或者灰度等级成像的数字数据，每个像素具有由数字数据的一组比特所表示的一个未滤波的像素值；(c)根据扫描技术，在这个视频图像中像素之间选择所关心的像素；(d)计算(i)这个所关心的像素以及(ii)这个所关心的像素周围像素的差值，这些差值的每个都是第一帧中已经滤波的像素值与第二帧中相同像素的未滤波的像素值之间的差；(e)对所关心的像素周围的像素的差值求平均，得到核心改变或者运动值；以及(f)根据这个运动值，时间滤波该所关心的像素的未滤波的像素值。
11.权利要求10的方法还包括对第二帧的每个像素重复进行步骤(c)、(d)、(e)以及(f)，得到新的一帧已经滤波、处理并且显示的像素数据的步骤。
12.权利要求10的方法其中步骤(f)还可以包括对该差值和运动值进行加权平均的步聚。
13权利要求12的方法，其中进行加权平均包括(i)，获得所关心的像素周围的差值的平均；(ii)，计算所关心的像素的差值；以及(iii)，计算(i)和(ii)的某种组和的值，从而控制信号根据该运动值选择用于进行递归滤波的上述信号之一。
14.权利要求10的方法，其中步骤(f)还包括产生所关心的像素的输出差值并且把这个输出差值与该第一帧的这个所关心像素已经滤波的像素值相加的步骤。
15.权利要求14的方法，其中产生该输出差值的步骤还包括以下步骤产生具有表列数据的查找表，这些表列数据对应于涉及一定范围的不同运动值的输出差值；获取该运动值作为输入到这个查找表的输入；以及按照这个输入运动值从这个查找表中产生该输出差值。
16.权利要求14的方法其中产生该输出差值的步骤还包括选择所关心的像素的差值的步骤。
17.权利要求14的方法其中产生该输出差值的步骤还包括选择所关心的像素周围的像素的平均差值的步骤。
18.权利要求14的方法其中产生该输出差值的步骤还包括根据所关心像素的差值与所关心的像素周围的像素的平均差值的组合，计算一个值的步骤。
全文摘要
用于减少处理或者显示的视频图像的像素中噪声和运动失真的方法和设备,根据具有目前存储(滤波)的像素值的第一帧和具有最近刚获取的但还未滤波的像素值的第二帧,滤波视频图像的像素值,设备包括用于计算所关心像素的运动值的空间滤波器,用于根据该运动值产生所关心像素的输出差值的滤波函数装置以及加法器。根据视频图像中的运动量来滤波视频图像的每个像素。
文档编号H04N5/14GK1259823SQ99127719
公开日2000年7月12日 申请日期1999年11月12日 优先权日1998年11月12日
发明者约瑟夫·阿尔利德, 拉里·安德顿, 巴里·K·汉诺威, 史蒂文·柯蒂斯 申请人:Oec医疗系统公司