专利名称：时空域中的自适应噪声过滤/恢复的方法及其高清晰度图象捕获装置的制作方法
技术领域：
本发明涉及一种噪声过滤方法，是一种从极低能级照度的环境下捕获得的模糊彩色图象中恢复高清晰度图象的恢复技术。
具体地说，本发明涉及一种图象处理技术，以消除在极低能级照度下捕获的图象的色彩模糊和与信号相关的泊松噪声，同时能够很好地保存所捕获图象的边缘边界以及具体信息。
更为常见的是，如果在图象捕获处理期间不利用附加照明设备，则所捕获图象的质量的恶化将变得非常严重。
为了解决上述的在低能级照度下所捕获的图象的颜色模糊和边界平滑问题，人们建议应当利用一种特别设计的图象捕获设备，比如IR(红外线)输入装置或者光放大器，以提高图象的质量。
然而，使用如IR输入装置的高端图象捕获装置不适于用于包括数字录像机(DVR)在内的消费电子设备，因为提高了生产成本。
因此，需要发明一种软件技术，使该软件技术能够恢复低能级照度下捕获的图象，以及能够过滤来自实际远景的与信号相关的噪声。
在低能级照度下，将相当频繁的观察到颜色模糊，其中亮点的色度完全不同于附近的色度。在比较明亮的照度下，颜色模糊被减轻。然而，当光线照度不充足时，颜色模糊的问题将变得严重。
颜色模糊的技术原因在于CCD传感器中的包括滤色镜的阵列的每个通道被一致地处理，而不考虑每个通道的不同特性。
换句话说，不考虑照度的强度的信号处理影响了每个象素颜色的相对比值，从而造成局部颜色模糊。
此外，在低能级照度下捕获的图象在强度区域遭受与信号相关的泊松噪声，以及上述的颜色模糊问题。
图1是说明现有技术的在低能级照度下由于噪声使得所捕获的图象质量下降的示意图。
参见图1，可以注意到所捕获得图象看起来比它应当具有的亮度明亮，因为使用了自动增益控制(AGC)操作。更仔细地参见图1，我们可以观察到，图象上的所有红(R)、蓝(B)、绿(G)颜色的模糊，还可以在没有颜色模糊的几个亮点上观察到象素单元中的泊松噪声。
然而在某些电器中，比如24小时工作的并且在某些时候在低能级照度下操作的用于安全和监视系统的数字摄像机(DVR)，人们强烈地要求该DVR系统提供这样一个等级的分辨能力例如，罪犯的面貌应当能够被识别，以便追踪在所捕获的图象中记录犯罪现场的罪犯。
此外，非常重要的是，能够压缩24小时工作的DVR系统的捕获图象的数据长度，因为DVR系统日夜不停地产生大量的图象数据。
特别是，如果采用MPEG数据压缩方案，那么从DVR记录具有运动对象的1小时图象，需要接近200MB(兆字节)的存储空间。
目前，在压缩在低能级照度下捕获的图象时MPEG方案的技术局限是因为色斑(被称为“颜色模糊”)的发散现像(事件)将被MPEG处理器识别为时间帧中的对象运动，从而不可避免地加大数据存储媒介的尺寸。
因此，在实际应用时，如在一个用于安全和监视系统的DVR中，经常发生消耗大于400～600MB存储区域的情况，它恰好用于来自安装在低能级照度下的分散地点上的一个CCD监视器的1小时图象。
由于在低能级照度下捕获的图象中所观察的色斑(即，颜色模糊)在每个时间帧上以随机发散方式出现，因此在MPEG压缩期间，它被错误地视作时域中的对象运动，因而造成MPEG压缩率的降低。
作为一种消除上述复杂的与信号相关的噪声的建议，人们提出了一种时间过滤方案。
然而，现有技术的时间过滤方案利用了运动补偿的概念。因此，传统的时间过滤方案需要大量的计算时间(CPU加强器)用于后处理。
由于传统的时间过滤方案通过在每个时间帧跟踪运动对象的轨迹来执行过滤处理，因此估算轨迹的计算时间变得非常巨大，以致不能实时实施。
最近，人们提出了一种新的时间过滤方法，该方法以致力于解决误差和减轻运动补偿的计算时间的负担为基础。
然而，该方案仍然具有没有充分考虑彩色图象的向量特征方面的缺点。
现有技术的时域噪声过滤技术依赖于一个仅仅根据亮度(即，强度)来检测彩色图象中对象运动的方案。
由于相邻对象间的强度差级在低能级照度下不充分，因此根据亮度差检测运动的传统技术具有对低能级照度下的DVR应用的技术局限。
此外，现有技术还具有这样一个缺点即使在该现有技术被应用于时域的情况下可以有效消除颜色模糊，那么也不可能消除存在于强度区域的泊松噪声。
此外，由于传统的空间过滤技术依赖于一个固定模型，因此当消除噪声时，难于保持对象的边缘边界。
换句话说，在执行空间过滤，以便消除高频噪声的情况下，甚至连两个对象间的边界上的边缘线也被混合成乳白色。
这是因为边缘线具有高频成分。为了克服上述缺点，可以利用边缘自适应过滤技术。
然而，传统的边缘自适应过滤技术具有不能消除颜色模糊的的缺点。
由于空间域的颜色模糊在邻近象素、颜色模糊的象素之中具有大相关，因此按邻近象素处理在过滤情况下被视作噪声的颜色模糊。所以，该过滤的图象还包括颜色模糊。
作为合并时间过滤方案与空间过滤方案的一种建议，人们提出了一种时空过滤技术。传统的时空域中的噪声过滤技术仅仅是在时域中对空间过滤技术的扩展。
因此，它具有这样一种缺点即使自适应地涉及了运动和边缘边界，但仍然不能消除颜色模糊。
本发明的另一个目的是提供一种方法及设备，用于消除噪声和恢复低能级照度下被模糊的图象，其中，所述的消除噪声自适应于时空域中的运动和边缘边界。
本发明的再一个目的是提供一种用于图象恢复的噪声过滤技术，它通过过滤颜色模糊和与信号相关的噪声来提高数据压缩率以及图象质量。
本发明公开了一种消除低能级照度下所捕获的图象中的颜色模糊和与信号相关的噪声的技术，包括以下步骤(a)通过计算所处理的一帧的象素与基准帧的象素之间的亮度和色度的差值，检测运动的等级；(b)依据步骤(a)的所计算的强度差值，计算一个强度的加权函数，然后依据步骤(a)的所计算的色度差值估算一个色度加权函数；(c)仅对预定数量的象素执行时间过滤，其中在步骤(b)计算的运动的等级分别小于R、G、B通道的每一个通道上一个预定阈值；(d)把RGB图象转换成YUV格式；(e)通过估算构成图象一帧的中央象素与预定数量的相邻象素之间的差值，检测边缘清晰度的等级；(f)根据在步骤(e)上从中央象素与相邻象素之间的强度的差值得到的边缘清晰度的等级，计算强度加权函数；(g)采用步骤(f)的强度加权函数计算局部平均和/或局部方差，以便仅仅利用位于与边缘线相同侧上的象素，而不使用与中央象素较小相关的相对侧的象素；(h)通过利用步骤(g)的局部平均值和/或方差，执行图象的亮度分量的LLMMSE过滤；(i)通过合并经历了步骤(h)的空间过滤的强度分量与未经历步骤(h)空间过滤的在前步骤的色度分量，将已处理得的图象转换成RGB格式。
在附图中图1是说明现有技术的由于低能级照度下生成的噪声导致恶化质量的一个示范性图象的示意图；图2是说明本发明的在时空域中消除噪声和恢复图象的方法的示意图；图3A至图3D是说明本发明的时空域噪声消除方法的示意图。
本发明的噪声消除方法可以有效地消除颜色模糊和与信号相关的噪声，同时保持极低能级照度下的图象的边缘清晰度和细节。
本发明公开一种时轴的运动自适应时间过滤技术，用于消除颜色模糊以及过滤泊松噪声，同时保持边缘边界。
本发明的一个特征是，把时间过滤步骤放在空间过滤步骤之前，以致力于有效消除颜色模糊。
此外，本发明的噪声消除和图象恢复方法的再一个特征是，为R、G、B通道的每一个执行过滤处理，而现有技术对于颜色图象过滤则仅仅依赖于强度分量。
换言之，本发明对于R、G、B通道的每个通道执行独立的过滤处理，以便考虑强度和色度两个方面。
这是因为，如果将过滤的强度分量与未过滤的色度分量结合，则色度域失真引起的颜色模糊不可能被消除。
图2是说明本发明的时空域中的自适应噪声消除技术和图象恢复方法的示意图。
参见图2，运动自适应时间过滤120开始于作为象素单位的诸多帧中的运动检测，该检测是通过颜色图象的向量序列(vector-order)统计进行的。由于对象的亮度(即，光强度)的差值不足以用于低能级照度下的运动检测，因此现有技术在实际应用时具有缺点。
因此，本发明的一个特征是采用强度和色度重的差值，以便精确检测对象的运动。
在图2的用于时间过滤100的强度加权函数单元100和色度加权函数单元130上执行运动检测。WI(i,j,t2)=f(|YR(i,j,t1)+YG(i,j,t1)+YB(i,j,t1)3-YR(i,j,t2)+YG(i,j,t2)+YB(i,j,3---(1)]]>Wc(i,j,t2)=f(cos-1(y(i,j,t1)·y(i,j,t2)|y(i,j,t1)||y(i,j,t2)|))---(2)]]>其中，WI是强度加权函数，而WC是色度加权函数。此外，Y10、11、12是被恶化的向量颜色图象。
此外，YR10是被恶化的R通道图象，而YG11和YB12分别是被恶化的G通道和B通道图象。
此外，t1是基准帧，t2是时间过滤中的另一个帧。此外，函数f(·)是具有0和1之间的函数值的单调递减函数。
作为本发明的一个优选实施例，f(·)具有0至1之间一个间隔内的小值，因此如果在处理中的一个帧与一个基准帧之间存在相对较大的强度或者色度的差值，则指定一个小的加权。
此外，如果存在强度或者色度方面的大的差值，则函数值f(·)变大，并且具有大的加权。
作为本发明的单调递减函数f(·)的一个优选实施例，可以利用S形函数和开关函数。f(x)=(1-11+e-x-Tτ)---(3)]]>其中，T是确定运动等级的阈值，τ是确定函数斜率的系数。
当在公式3中使τ非常小时，本发明的函数f(·)成为开关函数。如果x大于T时，f(·)为零，反之亦然。
现有技术的具有运动补偿的时空过滤技术依赖于精确地跟踪运动以及根据运动的轨迹估算平均。
在这一方面，本发明公开了采用加权函数110和130检测对象运动以及在运动未被检测的诸多象素上执行R、G、B过滤的技术。
由于空间域中的颜色模糊可以在时间域中由作为象素单位的附加白高斯噪声来表示，因此可以采用下列的自适应加权平均处理消除该颜色模糊XR(i,j,t1)=Σt=TsWI(i,j,t2)Wc(1,j,t2)YR(i,j,t2)---(4)]]>XG(i,j,t1)=Σt=TsWI(i,j,t2)Wc(1,j,t2)YG(i,j,t2)---(5)]]>XB(i,j,t1)=Σt=TsWI(i,j,t2)Wc(1,j,t2)YB(i,j,t2)---(6)]]>其中，Ts是时间过滤器中的支持(support)，作为优选实施例，可以是3～9个帧。本发明的加权过滤有效地消除了运动造成的噪声，而(R，G，B)通道过滤可以消除颜色模糊。
这里仍然保留强度域中的与信号相关的泊松噪声，尽管已经在时域100的步骤中消除了颜色模糊。
为了既消除与信号相关的噪声又保持图象的边缘清晰度，可以在图象的强度分量(Y分量)中利用LLMMSE(局部线性最小均方误差)过滤器。
本发明的空间过滤700通过依据图象的不固定性特征估算合适的局部平均400和局部方差500，有效地消除了泊松噪声并保持了边缘清晰度。
上述处理可以通过空间过滤单元700中空间加权函数300的局部平均400和局部方差500估算来表示。X‾Y(i,j,t)=1Σk,l=TNWI(i,j,t)Σk,l=TNWI(|XY(i,j,t)-XY(k,l,t)|)XY(k,l,t)---(7)]]>VX(i,j,t)=1Σk,l=TNWI(i,j,t)Σk,l=TNWI(k,l,t)[XY(k,l,t)-X‾Y(i,j,t)]2.---(8)]]>其中，TN是空间域中的支持，以及WI是强度域中的加权函数，用于表示边缘清晰度。
可以对大相关的诸多象素(位于与边缘相同侧上的诸多象素)而不是对小相关的那些象素(位于边缘相反侧上的诸多象素)，执行依据本发明的加权函数对局部平均的估算。
因此，根据本发明，能够避免模糊效应。本发明的局部方差的估算能够有效地保持图象的高清晰度。
更具体地说，局部平均的估算恢复了具有良好边缘边界的图象，而通过加权函数的局部方差估算，能够消除边缘区域上的噪声，并保持图象中保存的清晰区域(fine region)。
本发明的用于局部统计的LLMMSE过滤器可以被设计成，使它可适用于泊松噪声的估算。X^Y(i,j,t)=X‾Y(i,j,t)+α(i,j,t)(XY(i,j,t)-X‾Y(i,j,t))---(9)]]>α(i,j,t)=max[VX(i,j,t)-X‾(i,j,t)VX(i,j,t),0]---(10)]]>其中，α取泊松噪声的方差特征值。
在空间过滤之前，将经历了强度域的空间过滤的图象的强度分量与原始色度分量相结合，然后转换成RGB格式。
图3A至图3D是说明本发明的优选实施例与现有技术比较的示意图。
参见图3A，图中描绘了一个CCD摄像机捕获的图象，用于说明颜色模糊和泊松噪声。
图3B描绘了现有技术的通过消除噪声恢复的一个示范性图象。由于现有技术仅仅考虑了强度分量，因此不能有效消除颜色模糊。
此外，图3B展现了存在于强度区域的泊松噪声没有被消除，颜色模糊也没有消除的情况。
图3C是通过用传统空间过滤技术消除噪声而恢复的图象的照片。
参见图3C，需要注意的是，即使在某种程度上已经消除了泊松噪声，现有技术也不能有效消除颜色模糊。此外，图3C显示图象边缘边界已经被严重地破坏。
图3D是说明图象的一个照片，其中通过本发明的时空过滤技术消除了噪声。图3D显示了根据本发明有效消除低能级照度下生成的颜色模糊和泊松噪声的情况。
尽管已经就本发明的优选实施例说明和解释了本发明，但是本领域的熟练技术人员将会明白，在不背离本发明的精神和范围的前提下，可以对上述优选实施例进行各种变化、省略和增加。
因此，本发明不应当被理解为被限制到上述的具体实施例，而是应当理解为包括了所有可能的实施例，只要它们可以在附带的权利要求所述特征和其等同物所包含的范围内实施。
工业应用性本发明能够通过估算颜色模糊和泊松噪声，把低能级照度下捕获的图象恢复到高图象质量的图象，同时保持对象的边缘清晰度。
因此，当本发明的图象处理技术被应用于数字摄像机(DVR)时，能够克服现有技术的缺点，比如由于把颜色模糊错误地识别为对象的运动而造成的较差的数据压缩率。
权利要求
1.一种消除低能级照度下所捕获的图象中的颜色模糊和与信号相关的噪声的方法，包括以下步骤(a)通过计算所处理的一帧的象素与基准帧的象素之间的强度(亮度)差和色度差，检测一个对象的运动等级；(b)根据从所处理的一帧的象素与基准帧的象素之间的强度差估算的运动等级，计算一个强度加权函数，以及根据从处理中的一帧的象素与基准帧的象素之间的色度差估算的运动等级，计算一个色度加权函数；(c)对于R、G、B通道的每一个通道上的预定数量的帧，仅对步骤(b)中确定的运动等级小于一个预定阈值的那些象素执行时间过滤；(d)把RGB格式的图象转换成YUV格式的图象；(e)依据所处理的一个帧的每个象素(中央象素)与所述中央象素周围的相邻象素之间色度差的计算，来检测边缘清晰度；(f)根据从所处理的一个帧的每个象素(中央象素)与所述中央象素周围的相邻象素之间强度差感知的边缘清晰度的等级，计算强度加权函数；(g)从仅位于与边缘边界相同侧和具有大于阈值的相关的那些象素中，计算局部平均和/或方差；(h)用步骤(g)的所述局部平均和/或局部方差，对图象的强度分量执行LLMMSE过滤；(i)把经历了步骤(h)的空间过滤的强度分量与在所述空间过滤之前的色度分量进行合并，以把已处理的图象转换成RGB格式。
2.根据权利要求1所述的方法，其中步骤(b)所述的强度加权函数包括WI(i,j,t2)=f(|YR(i,j,t1)+YG(i,j,t1)+YB(i,j,t1)3-YR(i,j,t2)+YG(i,j,t2)+YB(i,j,t2)3|)]]>。
3.根据权利要求1所述的方法，其中步骤(b)所述的色度加权函数包括Wc(i,j,t2)=f(cos-1(y(i,j,t1)·y(i,j,t2)|y(i,j,t1)||y(i,j,t2)|)).]]>
4.根据权利要求1所述的方法，强度加权函数或者色度加权函数包括一个单调递减函数。
5.根据权利要求1所述的方法，其中强度加权函数或者色度加权函数包括f(x)=(1-11+e-x-Tτ).]]>
6.根据权利要求1所述的方法，其中步骤(c)所述的时间过滤包括对规定数量的被恶化的帧(YR，YG，YB)的强度加权函数与色度加权函数的乘积求和的步骤，以产生没有颜色模糊的已恢复的信号(XR，XG，XB)。
7.根据权利要求1所述的方法，所述预定数量的帧为3至9的范围内。
8.根据权利要求1所述的方法，其中步骤(g)所述的局部平均包括X‾Y(i,j,t)=1Σk,l=TNWI(i,j,t)Σk,l=TNWI(|XY(i,j,t)-XY(k,l,t)|)XY(k,l,t).]]>
9.根据权利要求1所述的方法，其中步骤(g)的局部方差包括VX(i,j,t)=1Σk,l=TNWI(i,j,t)Σk,l=TNWI(k,l,t)[XY(k,l,t)-X‾Y(i,j,t)]2.]]>
10.根据权利要求1所述的方法，其中所述的执行LLMMSE过滤的步骤包括采用与边缘清晰度的等级相一致的加权系数执行LLMMSE过滤，该加权系数来自以下关系式X^Y(i,j,t)=X‾Y(i,j,t)+α(i,j,t)(XY(i,j,t)-X‾Y(i,j,t))]]>α(i,j,t)=max[VX(i,j,t)-X‾(i,j,t)VX(i,j,t),0].]]>
11.一种消除低能级照度下所捕获的图象中的颜色模糊和与信号相关的噪声的图象处理设备，包括一个强度处理模块，该模块依据所处理的一帧的象素与基准帧的象素之间的强度(亮度)差的计算来计算一个强度加权函数；一个色度处理模块，该模块依据所处理的一帧的象素与基准帧的象素之间的色度差的计算来计算一个色度加权函数；一个时间过滤器，根据强度加权函数和色度加权函数计算预定数量帧的运动等级，并且在R、G、B通道的每个通道上仅过滤其运动等级小于阈值的那一部分象素；一个第一转换器，把来自所述时间过滤器的RGB信号转换成YUN信号；一个空间加权处理模块，根据边缘清晰度等级计算强度加权函数，所述边缘清晰度等级依据包括来自所述第一转换器的一个帧的一个任意象素与所述任意象素周围的相邻象素之间的强度差来确定；一个空间过滤器，用以计算诸多象素的局部平均和/或局部方差，所述诸多象素位于边缘边界的相同侧并且具有大于阈值的相关，从而执行LLMMSE过滤；和一个第二转换器，合并来自所述空间过滤器的强度分量和来自所述第一转换器的色度分量，以产生RGB信号。
12.根据权利要求11所述的设备，其中所述设备可按硬件实施或者通过软件程序实施。
13.根据权利要求11所述的设备，其中所述设备被内置于一图象捕获装置中。
14.一种消除运动图象的图象帧上混合的噪声的图象处理设备，包括一个时间过滤器，通过对预定数量的帧进行三项乘积以及对所述乘积连续求和，来执行时域的运动自适应过滤，以便仅得到其运动等级小于一个阈值的一个帧的诸多象素，其中所述三项是代表帧之间的强度(Y信号)差的强度加权函数，代表帧之间的色度(U、V信号)差的一个色度加权函数，和噪声混合的RGV信号；一个空间过滤器，通过用考虑了强度加权函数的局部平均和局部方差进行的空间LLMMSE计算，在空间域执行边缘自适应过滤，以便仅得到其边缘清晰度等级小于一个阈值的一个帧的诸多象素，其中所述强度加权函数是通过对一个帧计算一个任意象素(称为‘一个中央象素’)与所述中央象素周围的相邻象素之间的强度差生成的。
15.根据权利要求13所述的设备，其中所述时间和空间过滤器以硬件或者软件方式实施。
16.根据权利要求13所述的设备，其中所述设备被设置在CMOS传感器、CCD摄像机或者其它图象存储器件中。
17.根据权利要求13所述的设备，其中所述强度加权函数或者所述色度加权函数是单调递减函数，这样，在象素之间的强度差或者色度差明显时，函数值变小，反之亦然；从而控制所述计算，使在时域中具有很小运动的象素或者在边缘边界的相同侧上的象素发挥明显作用。
全文摘要
本发明公开了一种噪声过滤方法，因而是从低能级照度条件下捕获的模糊颜色图象得到高清晰度图象的图象恢复技术，其中在时间域和空间域中顺序地执行噪声过滤。
文档编号G06T5/00GK1466844SQ02802143
公开日2004年1月7日 申请日期2002年6月26日 优先权日2001年6月29日
发明者林燐建, 姜文基, 朴成哲, 林 建 申请人:成津C&C株式会社