图像处理方法及系统的制作方法
【专利摘要】本发明提供了一种图像处理方法及系统，包括自动曝光方法，所述自动曝光方法如下步骤：亮度统计步骤：把图像分成多个区域统计平均亮度；调整曝光判断步骤：根据所述参考亮度和目标亮度判断是否要调整曝光；获取设置的总增益步骤：用曝光比率和当前的总增益得出设置的总增益；获取步骤：使用设置的总增益和曝光策略表得出曝光时间和增益；曝光步骤：将获取步骤中的曝光时间和增益设到图像传感器里进行曝光。本发明的有益效果是本发明的自动曝光方法及单元很好地改善了曝光不稳定的问题，同时通过定制的不同的曝光策略把不同环境下的图像效果达到最优。
【专利说明】图像处理方法及系统
【技术领域】
[0001]本发明涉及摄像【技术领域】，尤其涉及图像处理方法及系统。
【背景技术】
[0002]曝光是图像传感器接收进来的光线形成图像的过程，曝光时间为图像传感器接收光的时间。在摄像过程中，外界光线会发生变化，光线变强时容易造成曝光过度，导致图像过亮，光线变弱时容易造成曝光不足，导致图像过暗。因此就需要在摄像过程中对曝光进行控制，其中自动曝光就是无需手工操作，通过自动调整亮度、曝光时间、增益使得图像获得一个合适的曝光和亮度。
[0003]目前的技术中，曝光不稳定，而且受到外部环境的影响。
【发明内容】
[0004]为了解决现有技术中的问题，本发明提供了一种图像处理方法及系统。
[0005]本发明提供了一种图像处理方法，包括自动曝光方法，所述自动曝光方法如下步骤:
[0006]亮度统计步骤:把图像分成多个区域统计平均亮度，将每个区域按照权重表中指定的权重计算出整帧图像的平均亮度，统计最近若干帧图像的平均亮度作为参考亮度；
[0007]调整曝光判断步骤:根据所述参考亮度和目标亮度判断是否要调整曝光，若要调整曝光，则执行获取设置的总增益步骤；
[0008]获取设置的总增益步骤:用曝光比率和当前的总增益得出设置的总增益，即设置的总增益=曝光比率*当前的总增益；
[0009]获取步骤:使用设置的总增益和曝光策略表得出曝光时间和增益；
[0010]曝光步骤:将获取步骤中的曝光时间和增益设到图像传感器里进行曝光。
[0011]作为本发明的进一步改进，在所述调整曝光判断步骤中:如果参考亮度在目标亮度的上限值和下限值的范围内，则不需要调整曝光；如果参考亮度超出目标亮度的上限值和下限值的范围，则需要调整曝光。
[0012]作为本发明的进一步改进，在所述获取设置的总增益步骤中:
[0013]在所述曝光比率中，根据参考亮度和目标亮度相差的大小来调整曝光比率，曝光比率=F(abs (目标亮度-参考亮度))；
[0014]在当前的总增益中，首先将曝光时间除以曝光增益单位转换为曝光增益，然后将曝光增益*增益得到当前的总增益。
[0015]作为本发明的进一步改进，在所述获取步骤中，所述曝光策略表的表项的项目包括:
[0016]最大曝光增益，用于此段曝光中所能达到的最大曝光增益；
[0017]最大增益，用于此段曝光中所能达到的最大增益；
[0018]最大总增益，用于此段曝光中所能达到的最大总增益，最大总增益=最大曝光增益*最大增益；
[0019]曝光模式，用于此段曝光中所用的曝光模式，分为曝光增益模式和增益模式两种；曝光增益模式，增益保持最大增益不变，曝光增益在O?最大曝光增益之间变化；增益模式，曝光时间增益保持最大曝光增益不变，增益在I?最大增益之间变化；
[0020]在所述获取步骤中，包括执行如下步骤:
[0021]首先从曝光策略表中搜索到第一个最大总增益大于等于要设置的总增益的表项；
[0022]再判断此搜索到的表项的曝光模式:如果为曝光增益模式，则增益=最大增益、最大曝光增益=总增益/增益；如果为增益模式，则曝光增益=最大增益、增益=总增益/曝光增益；
[0023]然后，将曝光增益转换为曝光时间，曝光时间=曝光增益*曝光增益单位。
[0024]作为本发明的进一步改进，该图像处理方法还包括自动白平衡方法，所述自动白平衡方法中包括执行如下步骤:
[0025]A.R、G、B白平衡统计，用于统计出当前图像的绿红比率G/R和绿蓝比率G/R ；
[0026]B.根据统计信息估计当前色温，用于根据统计的绿红比率G/R和绿蓝比率G/R和色温估计函数，估计出当前色温；
[0027]C.根据估计的色温和高、中、低三个色温对应的白平衡红蓝增益与颜色校正矩阵，插值出当前的白平衡红蓝增益和颜色校正矩阵；
[0028]D.设置白平衡红蓝增益和颜色校正矩阵。
[0029]本发明还提供了一种图像处理系统，包括自动曝光单元，所述自动曝光单元包括:
[0030]亮度统计模块:用于把图像分成多个区域统计平均亮度，将每个区域按照权重表中指定的权重计算出整帧图像的平均亮度，统计最近若干帧图像的平均亮度作为参考亮度；
[0031]调整曝光判断模块:用于根据所述参考亮度和目标亮度判断是否要调整曝光，若要调整曝光，则执行获取设置的总增益模块；
[0032]获取设置的总增益模块:用曝光比率和当前的总增益得出设置的总增益，即设置的总增益=曝光比率*当前的总增益；
[0033]获取模块:用于使用设置的总增益和曝光策略表得出曝光时间和增益；
[0034]曝光模块:用于将获取模块中的曝光时间和增益设到图像传感器里进行曝光。
[0035]作为本发明的进一步改进，在所述调整曝光判断模块中:如果参考亮度在目标亮度的上限值和下限值的范围内，则不需要调整曝光；如果参考亮度超出目标亮度的上限值和下限值的范围，则需要调整曝光。
[0036]作为本发明的进一步改进，在所述获取设置的总增益模块中:
[0037]在所述曝光比率中，根据参考亮度和目标亮度相差的大小来调整曝光比率，曝光比率=F(abs (目标亮度-参考亮度))；
[0038]在当前的总增益中，首先将曝光时间除以曝光增益单位转换为曝光增益，然后将曝光增益*增益得到当前的总增益。
[0039]作为本发明的进一步改进，在所述获取模块中，所述曝光策略表的表项的项目包括:
[0040]最大曝光增益，用于此段曝光中所能达到的最大曝光增益；
[0041]最大增益，用于此段曝光中所能达到的最大增益；
[0042]最大总增益，用于此段曝光中所能达到的最大总增益，最大总增益=最大曝光增益*最大增益；
[0043]曝光模式，用于此段曝光中所用的曝光模式，分为曝光增益模式和增益模式两种；曝光增益模式，增益保持最大增益不变，曝光增益在O?最大曝光增益之间变化；增益模式，曝光时间增益保持最大曝光增益不变，增益在I?最大增益之间变化；
[0044]在所述获取模块中，包括:
[0045]搜索模块，用于从曝光策略表中搜索到第一个最大总增益大于等于要设置的总增益的表项；
[0046]判断模块，用于判断此搜索到的表项的曝光模式:如果为曝光增益模式，则增益=最大增益、最大曝光增益=总增益/增益；如果为增益模式，则曝光增益=最大增益、增益=总增益/曝光增益；
[0047]转换模块，用于将曝光增益转换为曝光时间，曝光时间=曝光增益*曝光增益单位。
[0048]作为本发明的进一步改进，该图像处理系统还包括自动白平衡单元，所述自动白平衡单元中包括:
[0049]白平衡统计模块，用于R、G、B白平衡统计，统计出当前图像的绿红比率G/R和绿蓝比率G/R ；
[0050]估计当前色温模块，用于根据统计信息估计当前色温，用于根据统计的绿红比率G/R和绿蓝比率G/R和色温估计函数，估计出当前色温；
[0051]插值模块，用于根据估计的色温和高、中、低三个色温对应的白平衡红蓝增益与颜色校正矩阵，插值出当前的白平衡红蓝增益和颜色校正矩阵；
[0052]设置模块，用于设置白平衡红蓝增益和颜色校正矩阵。
[0053]本发明的有益效果是:本发明的自动曝光方法及单元很好地改善了曝光不稳定的问题，同时通过定制的不同的曝光策略把不同环境下的图像效果达到最优。
【专利附图】
【附图说明】
[0054]图1是本发明中自动曝光方法和自动白平衡方法的示意图。
[0055]图2是本发明的自动白平衡方法流程图。
【具体实施方式】
[0056]本发明公开了一种图像处理方法，包括自动曝光方法和自动白平衡方法。如图1所示，本发明中自动曝光方法和自动白平衡方法的示意图，自动曝光模块从图像传感器获得图形数据进行自动曝光，然后把计算得到的曝光时间和增益设进图像传感器进行曝光，自动白平衡模块从图像传感器获得图形数据进行自动白平衡。
[0057]所述自动曝光方法如下步骤:
[0058]亮度统计步骤:把图像分成多个区域统计平均亮度，将每个区域按照权重表中指定的权重计算出整帧图像的平均亮度，统计最近若干帧图像的平均亮度作为参考亮度；
[0059]调整曝光判断步骤:根据所述参考亮度和目标亮度判断是否要调整曝光，若要调整曝光，则执行获取设置的总增益步骤；
[0060]获取设置的总增益步骤:用曝光比率和当前的总增益得出设置的总增益，即设置的总增益=曝光比率*当前的总增益；
[0061]获取步骤:使用设置的总增益和曝光策略表得出曝光时间和增益；
[0062]曝光步骤:将获取步骤中的曝光时间和增益设到图像传感器里进行曝光。
[0063]在所述调整曝光判断步骤中:如果参考亮度在目标亮度的上限值和下限值的范围内，则不需要调整曝光；如果参考亮度超出目标亮度的上限值和下限值的范围，则需要调整曝光。
[0064]在所述获取设置的总增益步骤中:
[0065]在所述曝光比率中，根据参考亮度和目标亮度相差的大小来调整曝光比率，曝光比率=F(abs (目标亮度-参考亮度))；
[0066]在当前的总增益中，首先将曝光时间除以曝光增益单位转换为曝光增益，然后将曝光增益*增益得到当前的总增益。
[0067]在所述获取步骤中,所述曝光策略表的表项的项目包括:
[0068]最大曝光增益，用于此段曝光中所能达到的最大曝光增益；
[0069]最大增益，用于此段曝光中所能达到的最大增益；
[0070]最大总增益，用于此段曝光中所能达到的最大总增益，最大总增益=最大曝光增益*最大增益；
[0071]曝光模式，用于此段曝光中所用的曝光模式，分为曝光增益模式和增益模式两种；曝光增益模式，增益保持最大增益不变，曝光增益在O?最大曝光增益之间变化；增益模式，曝光时间增益保持最大曝光增益不变，增益在I?最大增益之间变化；
[0072]在所述获取步骤中，包括执行如下步骤:
[0073]首先从曝光策略表中搜索到第一个最大总增益大于等于要设置的总增益的表项；
[0074]再判断此搜索到的表项的曝光模式:如果为曝光增益模式，则增益=最大增益、最大曝光增益=总增益/增益；如果为增益模式，则曝光增益=最大增益、增益=总增益/曝光增益；
[0075]然后，将曝光增益转换为曝光时间，曝光时间=曝光增益*曝光增益单位。
[0076]在本发明的自动曝光方法中，把曝光时间、增益统一为一个变量，称为总增益；预先定制不同环境下的曝光策略表；把图像分成多个区域统计平均亮度；将每个区域按照权重表中指定的权重计算出整帧图像的平均亮度；统计最近若干帧图像的平均亮度作为参考亮度；根据参考亮度和目标亮度判断是否要调整曝光；根据参考亮度和目标亮度相差的大小来调整曝光比率；用所述的曝光比率和当前的总增益得出将要设置的总增益；使用要设置的总增益和指定的曝光策略表得出要设置的曝光时间、增益；把得到的曝光时间、增益设进图像传感器进行曝光。
[0077]把曝光时间、增益统一为一个总增益，方法为:
[0078]首先将曝光时间除以曝光增益单位转换为曝光增益:ExposureGain=ExposureTime/ExposureGainUnit;
[0079]然后将增益和曝光增益统一为总增益:TotalGain=ExposureGain*Gain。
[0080]曝光增益单位ExposureGainUnit可以随意指定一个曝光时间，比如，10毫秒。
[0081]预先定制不同环境下的曝光策略表，曝光策略表的每个表项代表了一段曝光处理，用一个曝光策略表把一个曝光策略分成多段曝光处理存储起来。
[0082]预先根据不同的环境定制不同的曝光策略表，比如，对于室内环境，由于照明光源会受50Hz/60Hz交流电的影响光强周期性地变化，为了避免闪烁，需要将曝光时间调成光源闪烁周期的整数倍，从而定制室内模式的曝光策略，对于室外环境，由于不存在照明光源，基本都是光强稳定的自然光，更多的问题是室外环境图像亮度过大导致曝光过度，为此应该让曝光时间能尽可能地短，从而定制室外模式的曝光策略。 [0083]曝光策略表的表项的项目，包括:
[0084]最大曝光增益(MaxExposureGain):此段曝光中所能达到的最大曝光增益；
[0085]最大增益(MaxGain):此段曝光中所能达到的最大增益；
[0086]最大总增益(MaxTotalGain):此段曝光中所能达到的最大总增益，其等于MaxExposureGain^MaxGain ;表中的表项按照最大总增益的大小从小到大排列；
[0087]曝光模式(ExposureMode):此段曝光中所用的曝光模式,分为曝光增益模式和增益模式两种；
[0088]曝光增益模式,增益保持MaxGain不变,曝光增益在O~MaxExposureGain之间变化；
[0089]增益模式,曝光时间增益保持MaxExposureGain不变,增益在I~MaxGain之间变化。
[0090]把图像分成多个区域统计平均亮度，区域个数可以随意划分，一般不少于5x5。将每个区域按照权重表中指定的权重计算出整帧图像的平均亮度。统计最近若干帧图像的平均亮度作为参考亮度。权重表中可以给一些想看到更多图像细节逆光区域更大的权重。
[0091]根据参考亮度和目标亮度判断是否要调整曝光，判断方法:
[0092]如果参考亮度在目标亮度的上限值和下限值的范围内，则不需要调整曝光；
[0093]如果参考亮度超出目标亮度的上限值和下限值的范围，则需要调整曝光。
[0094]例如，判断参考亮度refY是否在目标亮度tarY的上限值和下限值的范围内，如，下限值为tarY-5，上限值tarY+5，即判断refY是否在tarY_5~tarY+5范围内，不在此范围内才进行总增益计算和曝光调整。
[0095]根据参考亮度(refY)和目标亮度(tarY)相差的大小来调整曝光比率ExpRate，相差越大调整的曝光比率越大，相差越小调整的曝光比率越小，通过曝光比率函数得出:
[0096]ExpRate=F (abs (tarY-refY))。
[0097]用所述的曝光比率和当前的总增益得出将要设置的总增益:TotalGain=TotalGain*ExpRate0
[0098]使用要设置的总增益和指定的曝光策略表得出要设置的曝光时间、增益，具体包括:
[0099]首先从曝光策略表中搜索到第一个最大总增益MaxTotalGain大于等于要设置的总增益TotalGain的表项；[0100]再判断此搜索到的表项的曝光模式:
[0101]如果为曝光增益模式，则
[0102]Gain=MaxGain ；
[0103]ExposureGain=TotalGain/Gain ；
[0104]如果为增益模式，则
[0105]ExposureGain=MaxGain ；
[0106]Gain=TotalGain/ExposureGain ；
[0107]然后，将曝光增益转换为曝光时间，
[0108]ExposureTime=ExposureGain*ExposureGainUnit。
[0109]把得到的曝光时间、增益设进图像传感器进行曝光。
[0110]该图像处理方法还包括自动白平衡方法，预先使用色温灯箱和标准色卡测定高、中、低三个色温下对应的白平衡红蓝增益和颜色校正矩阵，选定的这三个色温需基本涵盖日常环境中的色温，测定如下:
[0111]高色温下，色温为HColorTemp，白平衡红增益为HRedGain,白平衡蓝增益为HBlueGain,颜色校正矩阵为 HColorMatrix ；
[0112]中色温下,色温为MColorTemp,白平衡红增益为MRedGain,白平衡
[0113]蓝增益为MBlueGain,颜色校正矩阵为MColorMatrix ；
[0114]低色温下，色温为LColorTemp,白平衡红增益为LRedGain,白平衡蓝增益为LBlueGain,颜色校正矩阵为 LColorMatrix ；
[0115]有了这三组预先测定的白平衡红蓝增益和颜色校正矩阵，就可以按照图2的自动白平衡处理流程来进行白平衡。
[0116]如图2所示，所述自动白平衡方法中包括执行如下步骤:
[0117]在步骤SI中，R、G、B白平衡统计，用于统计出当前图像的绿红比率G/R和绿蓝比 G/R ；
[0118]在步骤S2中，根据统计信息估计当前色温，用于根据统计的绿红比率G/R和绿蓝比率G/R和色温估计函数，估计出当前色温；
[0119]在步骤S3中，根据估计的色温和高、中、低三个色温对应的白平衡红蓝增益与颜色校正矩阵，插值出当前的白平衡红蓝增益和颜色校正矩阵；
[0120]在步骤S4中，设置白平衡红蓝增益和颜色校正矩阵。
[0121]在步骤S3中，插值方法可灵活变化，最简易的方法为线性插值，具体如下:
[0122]如果当前色温CColorTemp在高色温和中色温之间，贝U
[0123]当前的白平衡红增益:
[0124]
【权利要求】
1.一种图像处理方法，其特征在于，包括自动曝光方法，所述自动曝光方法如下步骤: 亮度统计步骤:把图像分成多个区域统计平均亮度，将每个区域按照权重表中指定的权重计算出整帧图像的平均亮度，统计最近若干帧图像的平均亮度作为参考亮度； 调整曝光判断步骤:根据所述参考亮度和目标亮度判断是否要调整曝光，若要调整曝光，则执行获取设置的总增益步骤； 获取设置的总增益步骤:用曝光比率和当前的总增益得出设置的总增益，即设置的总增益=曝光比率*当前的总增益； 获取步骤:使用设置的总增益和曝光策略表得出曝光时间和增益； 曝光步骤:将获取步骤中的曝光时间和增益设到图像传感器里进行曝光。
2.根据权利要求1所述的图像处理方法，其特征在于，在所述调整曝光判断步骤中:如果参考亮度在目标亮度的上限值和下限值的范围内，则不需要调整曝光；如果参考亮度超出目标亮度的上限值和下限值的范围，则需要调整曝光。
3.根据权利要求1所述的图像处理方法，其特征在于，在所述获取设置的总增益步骤中: 在所述曝光比率中，根据参考亮度和目标亮度相差的大小来调整曝光比率，曝光比率=F(abs (目标亮度-参考亮度))； 在当前的总增益中，首先将曝光时间除以曝光增益单位转换为曝光增益，然后将曝光增益*增益得到当前的总增益。
4.根据权利要求3所述的图像处理方法，其特征在于，在所述获取步骤中，所述曝光策略表的表项的项目包括: 最大曝光增益，用于此段曝光中所能达到的最大曝光增益； 最大增益，用于此段曝光中所能达到的最大增益； 最大总增益，用于此段曝光中所能达到的最大总增益，最大总增益=最大曝光增益*最大增益； 曝光模式，用于此段曝光中所用的曝光模式，分为曝光增益模式和增益模式两种；曝光增益模式，增益保持最大增益不变，曝光增益在O~最大曝光增益之间变化；增益模式，曝光时间增益保持最大曝光增益不变，增益在I~最大增益之间变化； 在所述获取步骤中，包括执行如下步骤: 首先从曝光策略表中搜索到第一个最大总增益大于等于要设置的总增益的表项；再判断此搜索到的表项的曝光模式:如果为曝光增益模式，则增益=最大增益、最大曝光增益=总增益/增益；如果为增益模式，则曝光增益=最大增益、增益=总增益/曝光增益； 然后，将曝光增益转换为曝光时间，曝光时间=曝光增益*曝光增益单位。
5.根据权利要求1至4任一项所述的图像处理方法，其特征在于，该图像处理方法还包括自动白平衡方法，所述自动白平衡方法中包括执行如下步骤:A.R、G、B白平衡统计，用于统计出当前图像的绿红比率G/R和绿蓝比率G/R; B.根据统计信息估计当前色温，用于根据统计的绿红比率G/R和绿蓝比率G/R和色温估计函数，估计出当前色温； C.根据估计的色温和高、中、低三个色温对应的白平衡红蓝增益与颜色校正矩阵，插值出当前的白平衡红蓝增益和颜色校正矩阵； D.设置白平衡红蓝增益和颜色校正矩阵。
6.一种图像处理系统，其特征在于，包括自动曝光单元，所述自动曝光单元包括: 亮度统计模块:用于把图像分成多个区域统计平均亮度，将每个区域按照权重表中指 定的权重计算出整帧图像的平均亮度，统计最近若干帧图像的平均亮度作为参考亮度；调整曝光判断模块:用于根据所述参考亮度和目标亮度判断是否要调整曝光，若要调整曝光，则执行获取设置的总增益模块； 获取设置的总增益模块:用曝光比率和当前的总增益得出设置的总增益，即设置的总增益=曝光比率*当前的总增益； 获取模块:用于使用设置的总增益和曝光策略表得出曝光时间和增益； 曝光模块:用于将获取模块中的曝光时间和增益设到图像传感器里进行曝光。
7.根据权利要求6所述的图像处理系统，其特征在于，在所述调整曝光判断模块中:如果参考亮度在目标亮度的上限值和下限值的范围内，则不需要调整曝光；如果参考亮度超出目标亮度的上限值和下限值的范围，则需要调整曝光。
8.根据权利要求6所述的图像处理系统，其特征在于，在所述获取设置的总增益模块中: 在所述曝光比率中，根据参考亮度和目标亮度相差的大小来调整曝光比率，曝光比率=F(abs (目标亮度-参考亮度))； 在当前的总增益中，首先将曝光时间除以曝光增益单位转换为曝光增益，然后将曝光增益*增益得到当前的总增益。
9.根据权利要求6所述的图像处理系统，其特征在于，在所述获取模块中，所述曝光策略表的表项的项目包括: 最大曝光增益，用于此段曝光中所能达到的最大曝光增益； 最大增益，用于此段曝光中所能达到的最大增益； 最大总增益，用于此段曝光中所能达到的最大总增益，最大总增益=最大曝光增益*最大增益； 曝光模式，用于此段曝光中所用的曝光模式，分为曝光增益模式和增益模式两种；曝光增益模式，增益保持最大增益不变，曝光增益在O~最大曝光增益之间变化；增益模式，曝光时间增益保持最大曝光增益不变，增益在I~最大增益之间变化； 在所述获取模块中，包括: 搜索模块，用于从曝光策略表中搜索到第一个最大总增益大于等于要设置的总增益的表项； 判断模块，用于判断此搜索到的表项的曝光模式:如果为曝光增益模式，则增益=最大增益、最大曝光增益=总增益/增益；如果为增益模式，则曝光增益=最大增益、增益=总增益/曝光增益； 转换模块，用于将曝光增益转换为曝光时间，曝光时间=曝光增益*曝光增益单位。
10.根据权利要求6至9任一项所述的图像处理系统，其特征在于，该图像处理系统还包括自动白平衡单元，所述自动白平衡单元中包括: 白平衡统计模块，用于R、G、B白平衡统计，统计出当前图像的绿红比率G/R和绿蓝比率G/R； 估计当前色温模块，用于根据统计信息估计当前色温，用于根据统计的绿红比率G/R和绿蓝比率G/R和色温估计函数，估计出当前色温； 插值模块，用于根据估计的色温和高、中、低三个色温对应的白平衡红蓝增益与颜色校正矩阵，插值出当前的白平衡红蓝增益和颜色校正矩阵； 设置模块，用于设置白平衡红 蓝增益和颜色校正矩阵。
【文档编号】H04N9/77GK103546732SQ201310492958
【公开日】2014年1月29日 申请日期:2013年10月18日 优先权日:2013年10月18日
【发明者】段汉文, 叶润源, 茅庆江, 龙中胜 申请人:广州市浩云安防科技股份有限公司