专利名称：一种分级降噪系统及方法
技术领域：
本发明涉及一种自适应的降噪处理技术，尤其涉及一种针对数码摄像 头实际应用环境平衡图像细节与降噪效果的系统及方法。
背景技术：
数码摄像头主要由图像CMOS传感器和控制器芯片构成，其中本发明 主要针对的是CMOS图像传感器，这种传感器在应用中不可避免的会带有 噪声。噪声主要来源于电子噪声、光电噪声、元器件材料本身引起的噪 声、成像媒介随机扰动引起的噪声和成像系统机械结构的抖动引起图像抖 动等等。不论噪声的产生机制，可以将噪声大致分为脉冲噪声和高斯噪声。 图像信号在产生、传输过程中，经常受到各种噪声的干扰，严重的影响图 像的视觉效果，因此在进行进一步的图像处理与传输之前，采用适当的方 法尽量减少噪声是一个非常重要的预处理步骤。
目前业界针对以上问题普遍采用的是降噪算法，如中值滤波、均值滤 波等算法，这些算法在起到一定的降噪作用的同时，也破坏了图像的细节 信息。目前，许多降噪算法采用了越来越多的存储行和判断运算来达到保 持细节的目的，然而对于控制器芯片设计来说，这种处理无疑需要消耗很 大的硬件资源成本。
发明内容
本发明为了解决图像细节与降噪效果不平衡的问题，本发明提出一种 分级降噪系统，该系统包括Bayer数据降噪单元、反马赛克模块、RGB 数据降噪单元和自动曝光单元，数字摄像头内的CMOS传感器输出Bayer 格式数据，所述Bayer格式数据依次经过Bayer数据降噪单元、反马赛克 模块和RGB数据降噪单元，其中Bayer格式数据经过反马赛克模块后转换 为RGB格式数据，自动曝光单元对转换后的RGB格式数据进行检测，根 据曝光级别来判断摄像头应用环境光线的明暗，从而控制Bayer数据降噪 单元和RGB数据降噪单元的开关。
该方法包括如下步骤步骤一:在自动曝光单元内设置曝光级别判断参数p、q，且满足Kp<q;
步骤二自动曝光单元对实时RGB格式数据进行检测、判断，并根据 判断结果决定是否发送降噪使能信号；
步骤三对CMOS传感器的质量以及其所处的使用环境光线做判断。
该方法所述步骤二的对实时RGB格式数据进行判断，该判断可分为 以下三种情况
a、 如果曝光级别exp—leveKp，则不向系统中任何降噪单元发出降噪 使能信号；
b、 如果曝光级别p<exp—leveKq，则自动曝光单元向系统内RGB数 据降噪单元发出RGB数据降噪使能信号；
c、 如果曝光级别exp—levd>q,则自动曝光单元分别向系统内Bayer 数据降噪单元和RGB数据降噪单元发出Bayer数据降噪使能信号和RGB 数据降噪使能信号。
所述步骤三还包括如下步骤-
在所述降噪系统中设置三个参数用于判断噪声的差值noise一diff,用 于判断噪声范围的上限值noise—value—up禾口下限值noise—value—down;
当CMOS传感器的质量较差或者摄像头所处的使用环境光线较暗时， CMOS传感器输出图像的噪声较大，此时设置较小的判断噪声的差值 noise一diff，并且设置较大的噪声范围；
当CMOS传感器的质量较好或者摄像头所处的使用环境光线较亮时， CMOS传感器输出图像噪声较小，此时设置较大的判断噪声差值 noise—diff，并设置较小的噪声范围。
当在曝光级别exp—levd〉q的情况下选择如下的降噪模式
当CMOS传感器输出图像中噪点多，且噪点亮度值范围不确定时， Bayer中值滤波和RGB中值滤波无条件进行；
当CMOS传感器输出图像中噪点亮度特别大时，Bayer中值滤波和 RGB中值滤波分别进行，但是在各中值输出之前，采用Bayer中值滤波的 先要计算当前点与隔点的差值U;采用RGB中值滤波的先要计算当前点 与相邻点的差值U;当U>noiSe—diff,则认为其为噪声，输出中值；
当U<noise_diff，则认为其不为噪点，输出原数值；
当CMOS传感器输出图像中噪点亮度值比较明确时，在Bayer中值滤波和RGB中值滤波进行中值输出之前，先确定当前点是否在区间范围内， 若当前点落入区间范围内，则认为是噪点，输出中值；反之，则不认为是 噪点，输出原值；
当CMOS传感器输出图像中噪声较少时，在Bayer中值滤波和RGB 中值滤波进行中值输出之前，采用Bayer中值滤波的要先计算当前点与隔 点的差值U，采用RGB中值滤波的要先计算当前点与相邻点的差值U，当 U>noiSe—diff,且当前点落入区间范围内，则认为是噪点，输出中值；其他 情况皆不认为是噪点，输出原值。
当在曝光级别p<eXp_leVd<q的情况下选择如下的降噪模式-
当CMOS传感器输出图像中噪点多，且噪点亮度值范围不确定时， RGB中值滤波无条件进行；
当CMOS传感器输出图像中噪点亮度特别大时，在中值输出之前，采 用RGB中值滤波的要计算当前点与相邻点的差值U，当U>noiSe—diff，则 认为其为噪声，输出中值；当IKnoise—diff，则认为其不为噪点，输出原 数值；
当CMOS传感器输出图像中噪点亮度值比较明确时，RGB中值滤波 进行中值输出之前，先确定当前点是否在区间范围内，若当前点落入区间 范围内，则认为是噪点，输出中值；反之，则不认为是噪点，输出原值；
当CMOS传感器输出图像中噪声较少时，在RGB中值滤波进行中值 输出之前，采用RGB中值滤波的要先计算当前点与相邻点的差值U，当 U>noiSe—diff，且当前点落入区间范围内，则认为是噪点，输出中值；其他 情况皆不认为是噪点，输出原值。
判断噪声的差值noise一diff是可调节的。
噪声范围是可调节的。
所述参数p、 q的配置与CMOS传感器的质量有关。 本发明从数字摄像头的使用环境与CMOS传感器的噪声特性出发，提 出的一种分级降噪系统及方法，根据CMOS传感器在正常照度下噪声不明 显，在低照度环境下噪声增加的特点，将低照度时与正常照度时的噪声处 理方法区别对待，对于低照度下的图像采用尽可能保持图像细节但降噪效 果好的算法，而在正常照度下，采用尽可能保持图像细节而轻微降噪作用 的降噪算法或者甚至不使用降噪算法，未增加存储行和判断运算来平衡细节与降噪，在平衡图像细节保持和降噪效果的同时，没有增加很多硬件资 源消耗。
图1是本发明所述降噪方案具体实施方式
结构示意图； 图2是本发明所述降噪方案流程图。
具体实施例方式
下面结合附图对本发明的具体实施方式
做详细描述。 本发明从数字摄像头的使用环境与CMOS传感器的噪声特性出发，提 出一种分级降噪的系统，如图3所示，该系统包括Bayer数据降噪单元 101、反马赛克模块102、 RGB数据降噪单元103和自动曝光单元104。 其工作原理如下
数字摄像头内的CMOS传感器输出Bayer格式数据，当前帧数据在系 统默认的情况下经过Bayer数据降噪单元101并不进行中值滤波处理，输 入反马赛克模块102进行反马赛克处理，Bayer格式数据转变为RGB格式 数据，并将转换后RGB格式数据输入RGB数据降噪单元103，同时自动 曝光单元104对转换后的RGB格式数据进行检测，在数码摄像头的实际 设计中，低照度下的图像往往在自动曝光算法的控制下亮度会得到提升， 如果单纯通过亮度来判断则有可能发生偏差，因此本发明在此处设置了自 动曝光单元104，其用于对RGB格式的图像数据进行曝光级别检测，直接 利用自动曝光算法中的当前图像的曝光级别exp一level来判断摄像头应用 环境光线的明暗，从而控制Bayer数据降噪单元101和RGB数据降噪单元 103的开关，对降噪程度进行粗调。
在自动曝光单元104内设置判断参数p、 q，对经过反马赛克处理的 RGB格式数据进行检测，参数p、 q的值可通过寄存器进行配置，其取值 范围不超出曝光级别的范围，如曝光级别为1 10，贝Ul5p〈q^10，当外界 环境光越亮时，图像的曝光级别就越低，当外界环境光越暗时，则图像的 曝光级别就越高。参数p、 q的配置与CMOS传感器的质量有关，若CMOS 传感器的噪声特性较好，即在较暗的情况噪声仍然较小，则参数p取较小 值，参数q取较大值，反之亦然。如图4所示则有
如果曝光级别exp一leveKp，说明摄像头所处应用环境较亮，则自动曝光单元104不向系统中任何降噪单元发出降噪使能信号；
如果曝光级别p<exp—leveKq,说明摄像头所处应用环境较暗，则自 动曝光单元104向系统内RGB数据降噪单元103发出RGB数据降噪使能 信号，开启RGB数据降噪单元103对下一帧从CMOS传感器传输出的 Bayer格式数据直接进行反马赛克处理，并对处理后输出的RGB格式数据 在RGB数据降噪单元103中进行中值滤波处理；
如果曝光级别exp一level〉q,则自动曝光单元104分别向系统内Bayer 数据降噪单元101和RGB数据降噪单元103发出Bayer数据降噪使能信号 和RGB数据降噪使能信号，开启Bayer数据降噪单元101和RGB数据降 噪单元103对下一帧从CMOS传感器传输出的Bayer格式数据进行Bayer 数据中值滤波，然后将经处理后的Bayer格式数据输入反马赛克模块102 中进行反马赛克处理，将Bayer格式数据转换为RGB格式数据，并将其输 入RGB数据降噪单元103进行中值滤波处理。
最后，要对CMOS传感器的质量以及其所处的使用环境光线做判断 本发明所述降噪系统设置了三个参数判断噪声的差值noise—diff，判 断噪声范围的上限值noise一value一up和判断噪声范围的下限值 noise—value—down。当CMOS传感器的质量较差或者摄像头所处的使用环 境光线较暗时，传感器输出图像噪声较大，则要求降噪系统提高降噪程度， 此时设置较小的判断噪声的差值noise一diff,并且设置较大的 [noise_value_down， noise_value_up]区间范围；反之，当CMOS传感器的 质量较好或者摄像头所处的使用环境光线较亮时，传感器输出图像噪声较 小，此时则要求降噪程度降低，此时设置较大的判断噪声的差值noise—diff, 并设置较小的[noise—value—down, noise—value—up]区间范围。
当然判断噪声的差值noise—diff与[noise—value—down, noise—value—up] 区间范围针对不同的传感器在相同亮度级别的设置会有所不同，质量较好 的传感器可能在较暗的环境下其噪声仍然较小，而同样环境下，质量较差 的传感器则可能噪声很大，因此判断噪声的差值noise—diff与 [noise_value_down, noise_value_up]区间范围参数要在实际调试中才能确 定。
为了实现本发明所述降噪方案分级实施下的进一步细分处理，本发明 在上述分级降噪的基础上在曝光级别p<exp一level<q或曝光级别 exp level〉q的情况下分别提供了四种降噪模式(denoise mode)作为微调机制
(一) 当CMOS传感器输出图像中噪点多，且噪点亮度值范围不确定 时，即进入降噪模式denoise—mode=2b00，此时Bayer中值滤波或RGB中 值滤波均无条件进行；
(二) 当CMOS传感器输出图像中噪点亮度特别大时，即进入降噪模 式denoise—mode=2b01，进行中值滤波处理，但是在中值输出之前，如果 是采用Bayer中值滤波的要先计算当前点与隔点的差值U，如果是采用 RGB中值滤波的要先计算当前点与相邻点的差值U，当U>noiSe—diff,则 认为其为噪声，输出中值；当IKnoise一diff，则认为其不为噪点，输出原 数值。通过调节noise—diff的大小则可以调节中值滤波的降噪程度，当 noise—diff越大，则降噪程度越小，图像细节保持越好；noise—diff越小， 则降噪程度越大，图像细节保持越差；
(三) 当CMOS传感器输出图像中噪点亮度值比较明确时，即进入降 噪模式denoise—mode=2bl0，此时在Bayer中值滤波或RGB中值滤波进行 中值输出之前，先确定当前点是否在[noise—value—down, noise—value—up] 区间范围内，若当前点落入[noise—value—down, noise—value—up]区间范围内， 则认为是噪点，输出中值；反之，则不认为是噪点，输出原值。当区间范 围越大，则降噪程度越大，细节保持越差；反之，降噪程度越小，细节保 持越好；
(四) 当CMOS传感器输出图像中噪声较少时，进入降噪模式 denoise—mode=2bll，要求此时Bayer中值滤波或RGB中值滤波在进行中 值输出之前，采用Bayer中值滤波的要先计算当前点与隔点的差值U，采 用RGB中值滤波的要先计算当前点与相邻点的差值U,当U>n0iSe—diff， 且当前点落入[noise—value—down, noise—value—up]区间范围内，贝U认为是噪 点，输出中值；其他情况皆不认为是噪点，输出原值。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说 明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术 领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若 干简单推演或替换，都应当视为属于本发明的保护范围。
权利要求
1、一种分级降噪系统，该系统包括Bayer数据降噪单元(101)、反马赛克模块(102)、RGB数据降噪单元(103)和自动曝光单元(104)，数字摄像头内的CMOS传感器输出Bayer格式数据，所述Bayer格式数据依次经过Bayer数据降噪单元(101)、反马赛克模块(102)和RGB数据降噪单元(103)，其中Bayer格式数据经过反马赛克模块(102)后转换为RGB格式数据，自动曝光单元(104)对转换后的RGB格式数据进行检测，根据曝光级别来判断摄像头应用环境光线的明暗，从而控制Bayer数据降噪单元(101)和RGB数据降噪单元(103)的开关。
2、 如权利要求1所述系统的一种分级降噪方法，其特征在于，该方法 包括如下步骤步骤一在自动曝光单元(104)内设置曝光级别判断参数p、 q，且 满足l^p<q;步骤二自动曝光单元(104)对实时RGB格式数据进行检测、判断， 并根据判断结果决定是否发送降噪使能信号；步骤三对CMOS传感器的质量以及其所处的使用环境光线做判断。
3、 如权利要求2所述一种分级降噪方法，其特征在于，该方法所述步 骤二的对实时RGB格式数据进行判断，该判断可分为以下三种情况a、 如果曝光级别exp—leveKp，则不向系统中任何降噪单元发出降噪 使能信号；b、 如果曝光级别p<exp—leveKq，则自动曝光单元(104)向系统内 RGB数据降噪单元(103)发出RGB数据降噪使能信号；c、 如果曝光级别exp—level>q，则自动曝光单元(104)分别向系统 内Bayer数据降噪单元(101)和RGB数据降噪单元(103)发出Bayer 数据降噪使能信号和RGB数据降噪使能信号。
4、 如权利要求2所述一种分级降噪方法，其特征在于，所述步骤三还 包括如下步骤在所述降噪系统中设置三个参数用于判断噪声的差值noise—diff，用 于判断噪声范围的上限值noise—value_up和下限值noise—value_down;当CMOS传感器的质量较差或者摄像头所处的使用环境光线较暗时， CMOS传感器输出图像的噪声较大，此时设置较小的判断噪声的差值noise_diff，并且设置较大的噪声范围；当CMOS传感器的质量较好或者摄像头所处的使用环境光线较亮时， CMOS传感器输出图像噪声较小，此时设置较大的判断噪声差值 noise—diff，并设置较小的噪声范围。
5、如权利要求2所述一种分级降噪方法，其特征在于，当在曝光级 别exp—leVel>q的情况下选择如下的降噪模式当CMOS传感器输出图像中噪点多，且噪点亮度值范围不确定时， Bayer中值滤波和RGB中值滤波无条件进行；当CMOS传感器输出图像中噪点亮度特别大时，Bayer中值滤波和 RGB中值滤波分别进行，但是在各中值输出之前，采用Bayer中值滤波的 先要计算当前点与隔点的差值U;采用RGB中值滤波的先要计算当前点 与相邻点的差值U;当U〉noise—diff，则认为其为噪声，输出中值；当 IKnoise一diff，则认为其不为噪点，输出原数值；当CMOS传感器输出图像中噪点亮度值比较明确时，在Bayer中值滤 波和RGB中值滤波进行中值输出之前，先确定当前点是否在区间范围内， 若当前点落入区间范围内，则认为是噪点，输出中值；反之，则不认为是 噪点，输出原值；当CMOS传感器输出图像中噪声较少时，在Bayer中值滤波和RGB 中值滤波进行中值输出之前，采用Bayer中值滤波的要先计算当前点与隔 点的差值U，采用RGB中值滤波的要先计算当前点与相邻点的差值U，当 U>noiSe—diff,且当前点落入区间范围内，则认为是噪点，输出中值；其他 情况皆不认为是噪点，输出原值。
6、如权利要求2所述一种分级降噪方法，其特征在于，当在曝光级别 p<eXp_leVd<q的情况下选择如下的降噪模式当CMOS传感器输出图像中噪点多，且噪点亮度值范围不确定时， RGB中值滤波无条件进行；当CMOS传感器输出图像中噪点亮度特别大时，在中值输出之前，采 用RGB中值滤波的要计算当前点与相邻点的差值U，当U>noiSe_diff，则 认为其为噪声，输出中值；当IKnoise—diff，则认为其不为噪点，输出原 数值；当CMOS传感器输出图像中噪点亮度值比较明确时，RGB中值滤波 进行中值输出之前，先确定当前点是否在区间范围内，若当前点落入区间 范围内，则认为是噪点，输出中值；反之，则不认为是噪点，输出原值；当CMOS传感器输出图像中噪声较少时，在RGB中值滤波进行中值 输出之前，采用RGB中值滤波的要先计算当前点与相邻点的差值U,当 U>n0iSe—diff，且当前点落入区间范围内，则认为是噪点，输出中值；其他 情况皆不认为是噪点，输出原值。
7、 如权利要求4或5或6所述一种分级降噪方法，其特征在于，判 断噪声的差值noise一diff是可调节的。
8、 如权利要求4或5或6所述一种分级降噪方法，其特征在于，噪 声范围是可调节的。
9、 如权利要求2所述一种分级降噪的方法，其特征在于，所述参数p、 q的配置与CMOS传感器的质量有关。
全文摘要
本发明公开一种分级降噪系统及方法，该系统包括Bayer数据降噪单元、反马赛克模块、RGB数据降噪单元和自动曝光单元，数字摄像头内的CMOS传感器输出Bayer格式数据，所述Bayer格式数据依次经过Bayer数据降噪单元、反马赛克模块和RGB数据降噪单元，其中Bayer格式数据经过反马赛克模块后转换为RGB格式数据，自动曝光单元对转换后的RGB格式数据进行检测。所述方法是自动曝光单元根据曝光级别来判断摄像头应用环境光线的明暗，从而控制Bayer数据降噪单元和RGB数据降噪单元的开关。本发明未增加存储行和判断运算来平衡细节与降噪，在平衡图像细节保持和降噪效果的同时，没有增加很多硬件资源消耗。
文档编号H04N5/217GK101594457SQ20081006753
公开日2009年12月2日 申请日期2008年5月30日 优先权日2008年5月30日
发明者李汉光, 鹏 玉, 岭 石, 罗碧强, 亮 胡 申请人:深圳艾科创新微电子有限公司