专利名称：多曝光图像融合方法和装置的制作方法
技术领域：
本发明总体地涉及图像处理领域，更具体地涉及多曝光图像融合方法和装置。
背景技术：
在某些情景下拍摄的图像经常存在高亮或反光区域，如照相机或投影仪-摄像机系统中所拍摄的图像，导致所拍摄的图像高亮区域内的内容不可见或者无法看清。例如，白板图像由于包含较强的镜面反射现象，使得图像的动态范围增大，而普通数码照相及显示器材的动态范围远小于上述情况的值，因此，白板图像中的部分内容(例如，部分笔画信息)将无法被拍摄到。目前，从软件开发的角度，解决数码照相机动态范围局限性的方法主要有两种，两者的处理对象均为一组关于同一场景的曝光程度不同的图像序列。一种是高动态范围(HDR)图像生成技术。这种技术需要已知图像的曝光时间来计算照相机响应函数，进而生成HDR图像，但还需要经过色调映射处理才能将上述结果显示出来。相比之下，另一种方法，SP多曝光融合，则具有更加简便的计算方法。它只需要将输入图像按照一定的权值限定后，融合成为一幅能够直接用于显示的细节增强的合成图像，而不需要经过HDR图像生成及色调映射处理。由于没有生成HDR图像这一中间结果，因此，多曝光图像融合方法的实施过程不需要恢复照相机响应函数，也不需要已知图像的曝光时间。在专利公开CN102063712A中，提出了一种基于子带结构的多曝光图像融合方法。该方法基于子带的架构，利用正交镜像滤波器(Quadrature Mirror Filter7QMF)滤波器组作为分析滤波器组将输入多曝光图像序列分解成一组子带图像；利用QMF滤波器将多曝光的输入图像分解成水平、垂直和对角线的子带信号，以及一个低通带图像；利用增益控制图对新的子带图像进行修饰，避免信号的失真从而保留更多的细节。
·
在美国专利US7492962B2中介绍了一种增强图像的系统和方法，其中利用图像增强系统对原始图内容像进行增强；使用幂函数变换方法生成幂函数变换图像，使用对数变换方法生成对数变换图像；使用阈值方法和蒙版图像加工方法，选择性地对幂函数变换图像和对数变换图像分别进行处理，以及融合两个从幂函数变换图象和对数变换图像获得的拉普拉斯金字塔。在美国专利US7027662B2中介绍了一种去除闪光效果的方法和装置，其中，从有闪光的图像上减去没有闪光的图像；根据图像相减结果的强度直方图调整一个阈值，使得通过阈值方法，仅仅保留图像相减结果中强度差别巨大的部分；从有闪光的图像上减去这个处理后的结果图像，从而去除闪光的影响，例如镜面反射和红眼，该方法可以通过给颜色空间的不同维度(例如R/G/B)分别设置阈值来优化。在美国专利US7457477B2中，介绍了数字图像的闪光和无闪光效果的加工，其中使用一对闪光和无闪光的图像，去除正常环境光下的图像的噪声，利用从闪光图像中获得细节，锐化正常环境光下的图像，还原色彩，去除红眼效应；通过检测亮度值大于传感器输出值95%的方法来检测镜面反射区域；利用图像的形态学处理方法来清理图像上镜面反射的影响，如腐蚀斑点和填充空洞。
发明内容
本发明的一个目的在于提供适于快速改善反光区域内容的装置和方法。根据本发明的一个方面，提供了一种多曝光图像融合装置，可以包括:反光区域提取单元，用于提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及多曝光图像反光区域融合单元，用于融合所述多个反光区域的图像。多曝光图像反光区域融合单元还包括反光区域子图像获取单元，反光区域子图像获取单元可以将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像。其中，反光区域子图像获取单元可以通过利用多尺度滤波器分解多个反光区域图像的每个，获取反映所述每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像；以及反光区域子图像获取单元可以通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。多曝光图像反光区域融合单元可以通过对所述多个反光区域图像进行加权求和来增强所述多个反光区域图像，其中所述反光区域图像的权值可以基于该反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色程度计算得到。多曝光图像反光区域融合单元可以对所述多个反光区域图像的对应粗糙层图像进行加权求和从而得到增强后的粗糙层图像，以及对各个图像的反光区域的对应细节层图像进行加权求和，从而得到增强后的细节层图像；以及基于增强后的粗糙层图像和增强后的细节层图像重构反光区域图像。多曝光图像融合装置还可以包括质量增强单元，用于去除融合获得的反光区域图像中的光源颜色污染。多个曝光程度不同的图像可以包括参考图像和辅助图像，参考图像可以为照相机在自动参数设置下拍摄的图像，辅助图像可以包括曝光过度及不足的图像，以及多曝光图像融合装置还可以包括图像贴回单元，用于通过基于泊松方程求解的方法将融合获得的反光区域图像贴回到参考图像。反光区域提取单元可以利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。根据本发明的另一方面，提供了一种多曝光图像融合方法，可以包括提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及融合所述多个反光区域的图像。融合多个反光区域的图像可以包括反光区域子图像获取。反光区域子图像获取可以包括将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像。其中，可以通过利用多尺度滤波器分解多个反光区域图像的每个，获取反映所述 每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像；以及可以通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。多曝光图像反光区域融合可以包括通过对所述多个反光区域图像进行加权求和来增强所述多个反光区域图像，其中所述反光区域图像的权值可以基于该反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色程度计算得到。多曝光图像反光区域融合可以包括对所述多个反光区域图像的对应粗糙层图像进行加权求和从而得到增强后的粗糙层图像，以及对各个图像的反光区域的对应细节层图像进行加权求和，从而得到增强后的细节层图像；以及基于增强后的粗糙层图像和增强后的细节层图像重构反光区域图像。多曝光图像融合还可以包括去除融合获得的反光区域图像中的光源颜色污染。多个曝光程度不同的图像可以包括参考图像和辅助图像，参考图像可以为照相机在自动参数设置下拍摄的图像，辅助图像可以包括曝光过度及不足的图像，以及多曝光图像融合装置还可以包括通过基于泊松方程求解的方法将融合获得的反光区域图像贴回到参考图像。
反光区域提取可以包括利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。利用本发明实施例的多曝光图像融合装置和方法，提取多曝光图像的反光区域，仅对反光区域进行融合操作，而不是对多个整幅图像进行融合操作，因此显著提高了处理速度，更加适合于实时性要求较高的情况。另外，根据本发明优选实施例的多曝光图像融合中的权值计算方法既考虑了图像内容的可见度也考虑了区域颜色的丰富程度，因此可以更加适当地确定图像的权值图，尤其适用于图像笔画信息丰富的白板图像。另外，根据本发明优选实施例的多曝光图像融合处理中分解得到反映反光区域的不同尺度特征的粗糙层子图像和反映图像内容细节特征的细节层子图像，然后分别对各个反光区域的对应细节层子图像和粗糙层子图像进行融合处理，由此特别增强了反光区域细节特征，尤其适合于对于可能丢失了细节特征的反光区域的内容增强处理。另外，根据本发明优选实施例的质量增强单元可以去除融合后反光区域中的光源颜色污染，进一步提高图像质量。另外，根据本发明优选实施例的基于泊松方程求解的贴回方法可以较高质量实现两幅图像的无缝拼贴。
图1是根据本发明一个实施例的多曝光图像融合装置的总体框图；图2示出了根据一个实施例的反光区域提取单元的配置的示意性框图；图3示出了根据一个实施例的多曝光图像反光区域融合单元的配置的示意性框图；图4示出了其中通过相邻粗糙层子图像相减获取细节层子图像的示例；图5示出了其中粗糙层子图像减去其均值来获取细节层子图像的示例；图6给出了从一个输入图像获得四个粗糙层子图像的示意性视图7给出了从该四个粗糙层子图像获得四个细节层子图像的示意性视图；图8示出了根据本发明实施例的多曝光融合方法的总体流程；图9示出了根据本发明实施例的可由反光区域提取单元执行的示例性反光区域提取方法的流程图；图10示出了根据本发明实施例的可由多曝光图像融合单元执行的示例性多曝光图像融合方法的流程图；图11图示了根据本发明第二实施例的多曝光图像融合装置的总体配置；图12图示了根据本发明第二实施例的多曝光图像融合方法的总体流程；图13图示了根据本发明第三实施例的多曝光图像融合装置的总体配置；图14图示了根据本发明第三实施例的多曝光图像融合方法的总体流程；图15(a)和15(b)示出了根据本发明实施例的白板图像处理前后的对比示意图；以及图16是示出按照本发明实施例的多图像融合系统的总体硬件框图。
具体实施例方式为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式
对本发明作进一步详细说明。将按如下顺序描述本发明的各个实施例:1、第一实施例1.1、多曝光图像融合装置的总体配置1.2、反光区域提取单元的示例性配置1.3、多曝光图像反光区域融合单元的示例性配置1.4、第一多曝光图像融合方法示例1.5、反光区域提取方法示例1.6、多曝光图像反光区域融合方法示例2、第二实施例2.1、第二多曝光图像融合装置的总体配置2.2、第二多曝光图像融合方法示例3、第三实施例3.1、第三多曝光图像融合装置的总体配置3.2、第三多曝光图像融合方法示例4、多曝光图像融合系统的硬件配置5、总结〈1.第一实施例>〈1.1多曝光图像融合装置的总体配置>图1是根据本发明一个实施例的多曝光图像融合装置1000的总体框图。如图1所示，该多曝光图像融合装置1000可以包括:反光区域提取单元1100和多曝光图像反光区域融合单元1200。反光区域提取单 元1100用于提取同一场景的多个曝光程度不同的图像的每个图像的反光区域优选地，该多个曝光程度不同的图像包括曝光过度以及曝光不足的图像。作为示例，反光区域提取单元1100可以利用预定的图像分类器将该多个曝光程度不同的图像分类到各个预定类别，然后利用与各个预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。 更优选地，在某些情况下，例如在处理白板场景的图像的情况下，可以从多个曝光程度不同的图像中选择一个图像，称作参考图像，该参考图像将作为场景归类、以及后续的贴回处理的处理对象。此时，反光区域提取单元1100可以仅对参考图像进行分类，将其分类到预定类别，然后获得与该预定类别相关联的反光区域提取阈值，进而利用此反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。后续将参考图2对此情况下反光区域提取单元的具体配置示例进行详细描述。不过，上述反光区域提取方法仅为优选示例。任何可以提取图像中的反光区域的方法均可以用于本发明。例如，作为替代，另一种示例方法是，计算图像整体平均强度，然后将此平均强度加上预定步长后获得的值作为反光区域划分强度阈值，进而提取反光区域。多曝光图像反光区域融合单元1200用于融合所述多个反光区域的图像。需要说明的是，这里的融合应做广泛意义上的理解。可以直接将该多个反光区域图像进行加权求和来获得一个反光区域图像。也可以对每个反光区域图像进行分解来获得体现不同图像特征的多个反光区域子图像，然后有针对性地对各个反光区域图像的对应反光区域子图像进行组合增强，然后由增强后的反光区域子图像逆向重构获得一个新的反光区域。下面将参考图3来对后一种情况的多曝光图像反光区域融合单元1200的具体配置示例进行详细描述。如此获得的融合后的反光区域图像可以贴回到例如上述参考图像中，或者也可以直接输出给用户，或者提供给后续处理单元进行图像内容识别等进一步处理。
根据此实施例的图像融合方法因为仅融合反光区域，因此处理更加具有针对性，且处理速度更快，更适于实时处理。〈1.2.反光区域提取单元的示例性配置〉下面参考图2描述反光区域提取单元的示例性具体配置。图2示出了根据一个实施例的反光区域提取单元1100的配置的示意性框图。如图2所示，反光区域提取单元1100可以包括类别模型向量生成单元1110、类别模型向量和反光区域提取阈值存储单元1120、匹配向量计算单元1130、类别匹配单元1140、反光区域提取阈值获取单元1150、反光区域位置信息计算单元1160、反光区域图像抽取单元1170。类别模型向量生成单元1110用于根据预定分类器将输入的训练图像分类到各个类别，并基于分类后的结果计算代表各类的类别模型向量。多个曝光程度不同的图像可以表示为IiU, y)，i = 1，...，N，其中N为2或大于
2的整数。用于场景归类的参考图像表示为图像Ir(x，y)，序列中的其余图像lj(x，y)，j =
I,..., N, j ^ r称为参考图像Ijx，y)的辅助图像。作为优选示例，参考图像U，y)为照相机在自动参数设置下拍摄的图像，辅助图像Ι」(χ, y), j = I,..., N, j古r包括曝光过度及不足的图像。
以白板图像处理为例，类别模型向量生成单元1110获得类别模型向量的一种示例性实现方式如下:假设类别个数为S类，S为大于等于2的整数，各类为C(l)，I e [1，S]，各类别之间由图像笔画的不可见度来区分，第I类图像笔画的不可见度范围为[K1+ h]，例如，设最
大不可见度Ks已知，K1可通过公式
权利要求
1.一种多曝光图像融合装置，包括: 反光区域提取单元，用于提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及 多曝光图像反光区域融合单元，用于融合所述多个反光区域的图像。
2.根据权利要求1的多曝光图像融合装置，其中 多曝光图像反光区域融合单元还包括反光区域子图像获取单元， 反光区域子图像获取单元将所述多个反光区域的图像的每个分解以生成粗糙层子图像和细节层子图像； 其中，所述反光区域子图像获取单元通过利用多尺度滤波器分解所述多个反光区域图像的每个，获取反映所述每个反光区域的不同尺度特征的所述反光区域的粗糙层子图像；以及 所述反光区域子图像获取单元通过计算相邻尺度的粗糙层子图像之间的差或者计算每个粗糙层子图像与粗糙层子图像的均值图像之间的差，获取反映所述每个反光区域的进一步图像内容细节特征的所述反光区域的细节层子图像。
3.根据权利要求1的多曝光图像融合装置，所述多曝光图像反光区域融合单元通过对所述多个反光区域图像进行加权求和来增强所述多个反光区域图像，其中所述反光区域图像的权值基于该反光区域图像的反映图像内容的可见程度的可见度和反映区域颜色丰富程度的区域颜色 程度计算得到。
4.根据权利要求2的多曝光图像融合装置，其中， 所述多曝光图像反光区域融合单元对所述多个反光区域图像的对应粗糙层图像进行加权求和从而得到增强后的粗糙层图像，以及对各个图像的反光区域的对应细节层图像进行加权求和，从而得到增强后的细节层图像；以及 基于增强后的粗糙层图像和增强后的细节层图像重构反光区域图像。
5.根据权利要求1的多曝光图像融合装置，还包括: 质量增强单元，用于去除融合获得的反光区域图像中的光源颜色污染。
6.根据权利要求1的多曝光图像融合装置，其中， 所述多个曝光程度不同的图像包括参考图像和辅助图像，参考图像为照相机在自动参数设置下拍摄的图像，辅助图像包括曝光过度及不足的图像，以及 所述多曝光图像融合装置还包括图像贴回单元，用于通过基于泊松方程求解的方法将融合获得的反光区域图像贴回到参考图像。
7.根据权利要求1的多曝光图像融合装置，其中 所述多个曝光程度不同的图像包括参考图像和辅助图像，参考图像为照相机在自动参数设置下拍摄的图像，辅助图像包括曝光过度及不足的图像， 其中所述反光区域提取单元利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域。
8.根据权利要求7的多曝光图像融合装置，其中所述预定的图像分类器通过以下步骤训练得到: (I)输入M幅一组关于同一场景且光照条件不同的图像1\0^，7)，i = I,...，M，其中，完全不包含反光区域的图像Tg (x，y)称为基准图像，序列中的其余图像Tj(^y)，j = 1，...，M, j ^ g称为训练图像，其中M为大于等于2的整数； (2)计算基准图像Tg(X，y)及训练图像TjU,y)的梯度图像，得到基准梯度图像Gg(x，y)及训练梯度图像Gj(X, y)； (3)根据如下公式对基准梯度图像Gg(X，y)进行阈值化处理以生成笔画引导图Ag(X，y)，
9.根据权利要求8的多曝光图像融合装置，其中所述反光区域提取单元利用预定的图像分类器将该参考图像分类到预定类别，然后利用与该预定类别相关联的反光区域提取阈值来提取该多个曝光程度不同的图像的反光区域包括: (1)计算参考图像ijx，y)的匹配向量/f，计算方法为，
10.一种多曝光图像融合方法，包括 提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及 融合所述多个反光区域的图 像。
全文摘要
提供了一种多曝光图像融合装置和方法。该多曝光图像融合装置包括反光区域提取单元，用于提取同一场景的多个曝光程度不同的图像中的每个图像的反光区域；以及多曝光图像反光区域融合单元，用于融合所述多个反光区域的图像。该多曝光图像融合装置和方法仅对反光区域进行融合操作，而不是对多个整幅图像进行融合操作，显著提高了处理速度，适合于实时性要求较高的情况。
文档编号G06T5/50GK103247036SQ201210029200
公开日2013年8月14日 申请日期2012年2月10日 优先权日2012年2月10日
发明者赵颖, 宫卫涛 申请人:株式会社理光