专利名称：基于伽马校正的图像处理方法和装置的制作方法
技术领域：
本发明一般地涉及图像处理，具体地，涉及图像和视频的图像增强的方法和装置。
背景技术：
不同的光照情况处处可见室内、室外、办公室、会议室、超市等等。不良的光照情况、例如偏暗、偏亮、两极化(polarized)情况(例如，人物偏暗而背景偏亮的背光情况以及人物偏亮而背景偏暗的情况)等可能导致图像或者视频的对比度低、动态范围窄以及出现噪声。因此，需要对各种不良的光照情况进行图像增强以使得图像的亮度情况趋于正常。当前，各类图像增强技术正被研究和应用，例如直方图均衡化，局部直方图均衡化，直方图匹配，平滑，锐化，伽马校正等，然而每种方法都有各自的局限性，仅适用于某些特定的应用场景。美国专利申请公开号US2007/0092136A1 (2007年4月洸日公开的Zhao et al. "Methods and Systems for Automatic Digital Image Enhancement，，,其全部内容被引用附于此)提出了一种数字图像对比度增强的方法。首先，其对图像做直方图分析；其次，如果图像包含充分的亮的像素和少量的暗的像素则视为“正常图像”而跳过增强；第三， 它对含有大量很暗像素的图像则视为“暗图像”而扩大暗像素的亮度而压缩其他像素；第四，它对于含有大量中等的像素且含有少量很亮和少量很暗像素的图像则视为“中等图像” 而增加中等像素的亮度而扩大很暗像素的亮度并压缩很亮像素的亮度；第五，它对于含有大量很亮和大量很暗像素的“两极化图像”只增强暗像素而不修改亮像素。在该专利申请中，对于光照类型的划分，它没有划分出含有很多亮像素的亮图像的情况，因此，其划分方式与人眼的视觉感觉不够吻合。对于光照情况的判断，其简单地使用像素个数占总像素数的比率来判定，例如，它定义如果较高亮度的3个bin (bin指的是在亮度空间上均等划分的亮度区间)中包含的像素数目多于所有像素数目的40%，就判定该图像的光照情况属于正常光照类型，这导致判定的结果不够准确。而且在光照情况的判断中，它使用的比率是固定的经验值，不能针对每个不同的图像而自适应地改变，因此，其判断的结果对某些图像来说可能是错误的。对于亮度变换，它在整个亮度空间上混合使用分段线性变换和伽马校正。对于伽马系数，其采用实验给定的固定值，例如对于暗的图像它推荐伽马系数为0.6，不能针对每个不同的图像而自适应地改变。美国专利申请公开号US20090141151A1 (2009年6月4日公开的Park et al. "Dynamic Range Enhancement Method and Apparatus，，,其全部内容被弓|用附于此) 提出了一种动态范围增强的方法和装置。它对图像的亮度信息分别各做一次伽马校正和反伽马校正产生两个图像伽马校正的图像和反伽马校正的图像；它比较两幅校正后的图像对应各点的变化情况；它通过加权和叠加两幅校正后的图像以扩大原图像的动态范围。该专利申请不区分图像的光照情况，它总是同时对图像进行伽马校正和反伽马校正，然后通过加权和叠加两幅校正后的图像得到增强的图像。美国专利号US5473373 (Hwung et al. "Digital Gamma Correction Systemfor Low, Medium and High Intensity Video Signal, with Linear and Non-linear Coreection”，其全部内容被引用附于此)提出了一个数字伽马校正系统，使用线性和非线性变换来处理低、中、高强度的视频信号。对于低强度和高强度的电子信号进行线性校正； 对于中强度的电子型号进行可调节的非线性校正。该专利使用信号强度来区分电子信号的级别是低、中、还是高。对于不同的级别采用不同的伽马。对于低级别，其使用低伽马，即Yi = k*xi ；对于高级别，其使用高伽马，即 Yh = d*k*)(h+b。实际上，低伽马和高伽马都是线性校正，不是真正的伽马校正；对于中级别，它使用了一个真正的伽马校正Ym = G*k*XnT0. 45-C，这里伽马系数是固定值0. 45 (其中，Xl Jh、Xm是变换前的低亮度值、高亮度值和中等亮度值，且YlJh、Ym是变换后的低亮度值、高亮度值和中等亮度值，而k、b、d、G、C为常数)。然而，上述传统技术的图像增强的效果是有局限性的，它们不能针对具体图像的亮度特点自适应地、且很准确地划分与视觉感觉对应的光照类型，从而不能针对不同的光照类型有效地进行适应性图像增强。
发明内容
因此，需要一种自适应地、且准确地划分光照类型，且针对不同的光照类型有效地进行适应性图像增强的图像处理方法和装置。根据本申请的一个方面，提供一种图像处理方法，包括获得步骤，基于图像获得该图像在亮度空间中的像素数分布；划分步骤，将亮度空间划分为至少三个亮度区间；分析步骤，针对图像的至少三个亮度区间中的至少一个亮度区间，将该亮度区间中包含的像素数与对应于该亮度区间的预定阈值相比较，来确定所述图像的光照类型；伽马系数确定步骤，基于所述图像的光照类型和亮度空间的像素数分布，确定所述伽马校正所需的伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域；以及伽马校正步骤，基于伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域，对所述图像进行伽马校正。根据本申请的另一方面，提供一种图像处理装置，包括获得部件，基于图像获得该图像在亮度空间中的像素数分布；划分部件，将亮度空间划分为至少三个亮度区间；分析部件，针对图像的至少三个亮度区间中的至少一个亮度区间，将该亮度区间中包含的像素数与对应于该亮度区间的预定阈值相比较，来确定所述图像的光照类型；伽马系数确定部件，基于所述图像的光照类型和亮度空间的像素数分布，确定所述伽马校正所需的伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域；以及伽马校正部件，基于伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域，对所述图像进行伽马校正。所述图像的光照类型可以包括暗的光照类型、亮的光照类型、两极化的光照类型或者正常的光照类型。所述分析部件可以将所述至少三个亮度区间分别并入低亮度区域、中等亮度区域和高亮度区域中，其中，将其中低亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为队，将其中高亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为Νκ， 将其中中等亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为Nmid，通过H
5Nfflid的关系来确定所述图像的光照类型。当Nk = 0，队兴0时，可以确定所述图像的光照类型为暗的光照类型，当队=0， Ne Φ 0时，可以确定所述图像的光照类型为亮的光照类型，当Nl兴0且Nk兴0且Nmid = 0 时，可以确定所述图像的光照类型为两极化的光照类型，否则，则可以确定所述图像的光照类型为正常的光照类型。所述预定阈值可以与总像素数和亮度区间的个数和各个亮度区间的大小相关。所述伽马系数确定部件可以对于暗的光照类型，使用一个伽马，且伽马系数小于 1 ；对于亮的光照类型，使用一个伽马，且伽马系数大于1 ；对于两极化的光照类型，使用两个伽马系数，其中一个伽马系数小于1，另一个伽马系数大于1 ；对于正常的光照类型，不进行伽马校正。所述伽马系数确定部件可以对于暗的光照类型，基于所述低亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的低亮度加权值来计算暗的伽马系数，该暗的伽马系数对应的伽马校正的定义域为整个亮度空间；对于亮的光照类型，基于所述高亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的高亮度加权值来计算亮的伽马系数，该亮的伽马系数对应的伽马校正的定义域为整个亮度空间；以及对于两极化的光照类型，基于所述低亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的低亮度加权值来计算暗的伽马系数；基于所述高亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的高亮度加权值来计算亮的伽马系数；最后，通过将低亮度加权值和高亮度加权值中的一个除以将低亮度加权值和高亮度加权值相加而得到的和，来得到暗的伽马系数对应的伽马校正的定义域和亮的伽马系数对应的伽马校正的定义域之间的分界位置。可以根据不同的伽马系数构建多个查找表，使用查找表来加速伽马校正。在伽马校正之后，可以对图像进行局部对比度增强。通过本申请提供的图像处理方法和装置，可以自适应地、且准确地划分光照类型， 从而针对不同的光照类型有效地进行适应性图像增强。
图1是说明根据本发明一个实施例的图像处理方法的整体流程图；图2 (a)-2(g)是说明根据本发明一个实施例的确定图像光照模式的示意图；图3 (a)-3(f)是说明根据本发明一个实施例的确定图像光照类型的示意图；图4 (a)-4(d)是说明根据本发明一个实施例的计算伽马个数，伽马系数和伽马定义域的示意图；图5是说明根据本发明一个实施例的示例的局部对比度增强处理的流程图；图6是说明根据本发明一个实施例的图像处理装置的方块图；以及
图7是根据本发明一个实施例的可以实践本发明的示例性计算机系统。
具体实施例方式为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式
对本发明作进一步详细说明。图1是说明根据本发明一个实施例的图像处理方法100的整体流程图。如图1所示，图像处理方法100可以包括获得步骤110，基于图像获得该图像在亮度空间中的像素数分布；划分步骤120，将亮度空间划分为至少三个亮度区间；分析步骤 130，针对图像的至少三个亮度区间中的至少一个亮度区间，将该亮度区间中包含的像素数与对应于该亮度区间的预定阈值相比较，来确定所述图像的光照类型；伽马系数确定步骤 140，基于所述图像的光照类型和亮度空间的像素数分布，确定所述伽马校正所需的伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域；以及伽马校正步骤 150，基于伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域，对所述图像进行伽马校正。下面对各步骤进行具体说明。在步骤SllO中，可以基于图像获得该图像在亮度空间中的像素数分布。例如，可以基于灰度图像的各像素的亮度大小来得到在亮度空间中的像素数分布，例如横轴为亮度轴且纵轴为像素数轴的直方图。对于彩色图像，可以根据应用的类型将彩色图像转换到适合的颜色空间并得到其亮度图像。应用的类型是指不同目标的应用；对于人脸检测，其使用图像增强的目标是提高人脸的检测精度；对于人脸识别，其使用图像增强的目标是提高人脸的识别精度；对于视觉质量提升，其使用图像增强的目标是提高图像和视频帧的视觉质量。对于人脸检测，可以将彩色图像转换到Luv/Lab颜色空间，得到L通道的图像；对于人脸识别，可以将彩色图像转换为灰度图像，得到灰度图像；对于视觉质量提升，可以将彩色图像转换到HSV (Hue-Saturation-Value (色度-饱和度-纯度))颜色空间，得到V通道的图像。如此，可以基于彩色图像的亮度通道的图像来得到在亮度空间中的像素数分布，例如直方图。当然，除此之外，还存在本领域技术人员已知的用于基于图像获得该图像在亮度空间中的像素数分布的其他方法。在步骤S120中，可以将亮度空间划分为至少三个亮度区间。该至少三个亮度区间可以是均等的，也可以不是均等的。根据一个实施例，可以基于直方图，将亮度轴划分为至少三个均等的bin ( —种亮度区间)，例如5个bin。在步骤S130，可以针对图像的至少三个亮度区间中的至少一个亮度区间，将该亮度区间中包含的像素数与对应于该亮度区间的预定阈值相比较，来确定所述图像的光照类型。所述图像的光照类型可以、但不限于包括暗的光照类型、亮的光照类型、两极化的光照类型或者正常的光照类型。所述预定阈值可以与总像素数和亮度区间的个数和各个亮度区间的大小相关。在一个实施例中，对应于一个亮度区间的预定阈值可以例如是总像素数除以各个亮度区间的总大小再乘以该亮度区间的大小而得到的值。具体地，在各个亮度区间是均等(例如，均等的bin)的情况下，对应于每个亮度区间的该预定阈值可以例如是总像素数除以亮度区间的个数而得到的平均值。在各个亮度区间是不均等的情况下，则对应于一个亮度区间的预定阈值可以例如是总像素数除以各个亮度区间的总大小再乘以
7该亮度区间的大小而得到的值。在一个实施例中，可以将所述至少三个亮度区间分别并入低亮度区域、中等亮度区域和高亮度区域中，其中，将其中低亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为队，将其中高亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为 Nk，将其中中等亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为Nmid，可以通过队、Ne, Nfflid的关系来确定所述图像的光照类型。在一个实施例中，当Nk = 0，队兴0时， 可以确定所述图像的光照类型为暗的光照类型，当队=0，Nk兴0时，可以确定所述图像的光照类型为亮的光照类型，当Nl兴0且Nk兴0且Nmid = 0时，可以确定所述图像的光照类型为两极化的光照类型，否则，则确定所述图像的光照类型为正常的光照类型。下面以bin的数量为5为例，参考图2和3来具体地说明上述步骤S120和步骤 S130的示例实施例。图2 (a)-2(g)是说明根据本发明一个实施例的确定图像光照模式的示意图。图2(a)表示一幅图像。图2(b)表示该图像在亮度空间中的像素数的分布情况 (此处，是以直方图的形式呈现的)。图2 (c)表示将像素数分布分成五个亮度区间(此处， 是直方图的五个均等的bin)，可以计算每个亮度区间中的像素数量得到每个bin的Vbin。为了便于计算而不是限制，使用例如公式2. 1和2. 2来归一化得到每个bin的归一化的像素数Vn 和多个bin的归一化的像素数平均值Vavg。其中，Iwidth和Iteight是图像的像素宽和像素高，它们的乘积指示了总像素数。而Bin_Num指的是直方图中bin的数量。
T/ 一 _^bin_y"or - j j
1Widih X 1Aeigf,,(2.1)= Bin l_ Num(2.2)为了更直观地且更好理解地描述光照类型的确定步骤，而不是限制，可以利用例如bin的光照模式的概念来定义针对每个亮度区间的比较步骤的比较结果。可以根据以下公式2. 3计算每个bin的光照模式。图2(d)表示最左边bin的光照模式是‘1’，因为其归一化的bin的像素数大于归一化后的像素数平均值。而左边第二个bin的光照模式是“0”， 因为其归一化的bin的像素数小于归一化后的像素数平均值。图2(e)表示所有的5个bin 的光照模式。
D. D 1，^"or - KivgBin_P = L其中Bin_P是bin的光照模式。以从最暗bin、到暗bin、到正常bin、到亮bin、到最亮bin的顺序合并多个bin 的光照模式，从而得到图像的光照模式。得到的图像模式可以是例如“11000”、“11100”、 11001”、“10001”、“00011”、“00001”等等。例如，图2(f)表示一幅图像和其计算得到的光照模式；图2(g)表示另一幅图像和其计算得到的光照模式。除了 “1”和“0”以外，也可以使用“+”、“-”等其他符号来表示光照模式。当然，本领域技术人员知道，得到每个bin的光照模式和图像的光照模式的步骤仅是为了示例和直观，便于技术人员理解、测试和调试，并非实现本发明所必须的步骤。
为了将至少三个亮度区间分别并入低亮度区域、中等亮度区域和高亮度区域中， 在一个实施例中，可以但不限于使用如下方法。该方法首先得到用于计算图像光照模式的多个bin的数目Nbin。Nbin可能是奇数，也可能是偶数。奇数是指bin的数目Nbin是3、5、7、 9等；偶数是指bin的数目Nbin是4、6、8、10等。如果Nbin是奇数，使用以下公式3. 1计算Np。Np是指低亮度区域或高亮度区域中的bin的数目(也就是说，在该实施例中，为了便于计算，低亮度区域和高亮度区域的大小相同，但是实际上，两者可以不同)。例如，如果Nbin是5，那么计算得到的Np是5/2并向下取整，得到2。
权利要求
1.一种图像处理方法，包括获得步骤，基于图像获得该图像在亮度空间中的像素数分布；划分步骤，将亮度空间划分为至少三个亮度区间；分析步骤，针对图像的至少三个亮度区间中的至少一个亮度区间，将该亮度区间中包含的像素数与对应于该亮度区间的预定阈值相比较，来确定所述图像的光照类型；伽马系数确定步骤，基于所述图像的光照类型和亮度空间的像素数分布，确定所述伽马校正所需的伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域；以及伽马校正步骤，基于伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域，对所述图像进行伽马校正。
2.根据权利要求1所述的方法，其中，所述图像的光照类型包括暗的光照类型、亮的光照类型、两极化的光照类型或者正常的光照类型。
3.根据权利要求2所述的方法，其中，所述分析步骤包括将所述至少三个亮度区间分别并入低亮度区域、中等亮度区域和高亮度区域中，其中，将其中低亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为队，将其中高亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为Nk，将其中中等亮度区域中其像素数大于预定阈值的亮度区间的区间数设置为Nmid，通过队、NK、Nmid的关系来确定所述图像的光照类型。
4.根据权利要求3所述的方法，其中，当Nk= 0，队兴0时，确定所述图像的光照类型为暗的光照类型，当Nl = 0，NK兴0时，确定所述图像的光照类型为亮的光照类型，当NL兴0 且Nk兴0且Nmid = 0时，确定所述图像的光照类型为两极化的光照类型，否则，则确定所述图像的光照类型为正常的光照类型。
5.根据权利要求1所述的方法，其中，所述预定阈值与总像素数和亮度区间的个数和各个亮度区间的大小相关。
6.根据权利要求2所述的方法，其中，所述伽马系数确定步骤包括对于暗的光照类型，使用一个伽马，且伽马系数小于1 ；对于亮的光照类型，使用一个伽马，且伽马系数大于 1 ；对于两极化的光照类型，使用两个伽马系数，其中一个伽马系数小于1，另一个伽马系数大于1 ；对于正常的光照类型，不进行伽马校正。
7.根据权利要求6所述的方法，其中，所述伽马系数确定步骤包括对于暗的光照类型，基于所述低亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的低亮度加权值来计算暗的伽马系数，该暗的伽马系数对应的伽马校正的定义域为整个亮度空间；对于亮的光照类型，基于所述高亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的高亮度加权值来计算亮的伽马系数，该亮的伽马系数对应的伽马校正的定义域为整个亮度空间；以及对于两极化的光照类型，基于所述低亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的低亮度加权值来计算暗的伽马系数；基于所述高亮度区域中的每个亮度区间内的所有像素数、所有像素亮度的平均数和所有像素亮度的中位数来计算该每个亮度区间的权值，基于用该每个亮度区间的权值加权该每个亮度区间中的像素数而得到的高亮度加权值来计算亮的伽马系数；最后，通过将低亮度加权值和高亮度加权值中的一个除以将低亮度加权值和高亮度加权值相加而得到的和，来得到暗的伽马系数对应的伽马校正的定义域和亮的伽马系数对应的伽马校正的定义域之间的分界位置。
8.根据权利要求1所述的方法，其中，根据不同的伽马系数构建多个查找表，使用查找表来加速伽马校正。
9.根据权利要求1所述图像增强方法，其中在伽马校正步骤之后，对图像进行局部对比度增强。
10.一种图像处理装置，包括获得部件，基于图像获得该图像在亮度空间中的像素数分布；划分部件，将亮度空间划分为至少三个亮度区间；分析部件，针对图像的至少三个亮度区间中的至少一个亮度区间，将该亮度区间中包含的像素数与对应于该亮度区间的预定阈值相比较，来确定所述图像的光照类型；伽马系数确定部件，基于所述图像的光照类型和亮度空间的像素数分布，确定所述伽马校正所需的伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域；以及伽马校正部件，基于伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域，对所述图像进行伽马校正。
全文摘要
提供一种图像处理方法和装置。该方法包括获得步骤，基于图像获得该图像在亮度空间中的像素数分布；划分步骤，将亮度空间划分为至少三个亮度区间；分析步骤，针对图像的至少三个亮度区间中的至少一个亮度区间，将该亮度区间中包含的像素数与对应于该亮度区间的预定阈值相比较，来确定所述图像的光照类型；伽马系数确定步骤，基于所述图像的光照类型和亮度空间的像素数分布，确定所述伽马校正所需的伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域；以及伽马校正步骤，基于伽马系数的个数、各伽马系数的大小和各伽马系数对应的伽马校正的定义域，对所述图像进行伽马校正。
文档编号G06T5/40GK102376082SQ20101024714
公开日2012年3月14日 申请日期2010年8月6日 优先权日2010年8月6日
发明者伊红, 王鑫, 范圣印, 邓宇 申请人:株式会社理光