专利名称：图像动态范围压缩系统、方法及程序的制作方法
技术领域：
本发明涉及图像动态范围压缩系统、图像动态范围压缩方法及图像动态范围压缩程序，用于将宽动态范围图像压缩为窄动态范围图像。
背景技术：
关于以下操作的各种技术是已知的转换诸如红外图像之类的宽动态范围(像素值的范围)的图像，并且在窄动态范围的显示设备上显示该图像。例如，假定由可以捕获动态范围是“0至2的14次幂”的图像的红外摄像机所捕获的红外图像。当在可以显示动态范围是“0至255”的图像的显示设备上显示这种红外线图像时，不可能显示具有当前像素值的这种红外图像。在这种情况下，需要执行一些转换，以在显示设备上显示这种红外图像。因此，将具有宽范围像素值的图像转换为具有窄范围像素值的图像被称作“动态范围压缩”。在非专利文献1中，描述了转换原始图像的灰度级的线性缩放(线性转换)。线性缩放将输入图像(在上述示例中，红外图像)的像素值线性映射到可以在显示设备上显示像素值的范围(在上述示例中，0至255)上。图8是示出了用于线性映射(S卩，执行线性缩放)红外图像的像素值的转换功能的说明性视图。根据图8所示的图，水平轴表示红外图像上的像素值，而垂直轴表示转换后的图像的像素值。图8示出了将在范围0至10000的红外图像的像素值转换为范围在0至255的像素值。图9示出了通过线性缩放的图像。通过按照这种方式改变输入图像的灰度级区域，可以在具有类似于图9所示的图像的窄范围像素值的显示设备上显示具有宽范围像素值的图像。此外，非专利文献1还公开了直方图的均衡化(以下为“HE” )。HE是指一种执行转换(直方图转换)以使给定图像中的每个灰度级的(像素数目)频率分布(以下为“直方图”)变得平坦的技术。以下将使用图10和11描述HE。图10是示出了转换前图像的亮度的直方图的说明性视图。此外，图11是示出了转换后(均衡化)图像的亮度的直方图的说明性视图。此外，在下文中，像素值还被称作“亮度值”。根据图10和11所示的图，水平轴表示红外图像上的亮度值，以及垂直轴表示亮度值的表现频率。根据图10所示的图所代表的图像，低亮度值范围内的频率高，而高亮度值范围内的频率低。因此，如图11所示通过对该图像应用HE来均衡化亮度值的分布，以转换图像。图12是通过应用HE转换的图像。 利用HE，均等地使用每个灰度级，从而与处理之前的图像相比，处理后图像的阴影的变化更明显。此外，以局部块为单位应用HE的方法被称作自适应直方图均衡化(下文“AHE”)。例如，通过应用AHE，相对于每局部块具有精细阴影的图像，可以根据每个块的灰度级来调节对比度。在非专利文献2中，描述了 MEAM (根据Aare Mallo的方法)。利用MEAM，将输入图像分离为低频图像和高频图像，对低频图像进行线性缩放，而对高频图像进行增益放大处理，最后将两个图像叠加。以下，使用图13至19来描述MEAM。图13是示出了 MEAM中的处理的流程图。图14至19是示出了通过每个处理转换的图像的说明性视图。以下，将描述将MEAM用于图14所示的宽动态范围(0至2的14次幂)的图像的情况。首先，将低通滤波器用于图14所示的图像f(x，y)(步骤S91)，以提取低频图像f(x，y)lp(图15)。此外，将线性缩放用于所提取的低频图像f(x，y)lp，以提取图像g(x，y)lp(图16)(步骤S92)。另一方面，从图14所示的图像f (X，y)中提取高频图像 f(x, y)hp(图17)(步骤S93)。此外，将增益放大处理用于所提取的高频图像f(x，y)hp，以提取图像g(x，y)hp(图18)(步骤S94)。最后，将所提取的图像g(x，7)1￡)与8(^ y)hp相加 (步骤S95)。相加后的图像是图19所示的图像g(x，y)10此外，根据指定图像的范围调节图像g(x，y)i (步骤S96)。因此，通过使用MEAM，可以提高低频图像和高频图像的图像对比度，从而在保留高频图像中较多包括的边缘信息(示出了亮度比周围变化得更快的位置的信息)的同时压缩了动态图像。引用列表非专利文献NPLl “ Handbook of Image Analysis [Revised Edition] " , TAKAGI, Mikio, SHIMODA, Haruhisa, University of TokyoPress, S印tember，2004，第 1172-1173 页，第 1176-1180 页；NPL2 “ Quantitative analysis of infrared contrastenhancement algorithms" , " Infrared ImagingSystems:Design, Analysis, Modeling,and Testing XVIII(Proc. of SPIE)" , Hoist, Gerald C, (United States)，05/2007，Vol. 6543，65430S
发明内容
技术问题当通过线性缩放压缩动态范围时，将亮度值的表现频率为高的级别区域中的像素与亮度值的表现频率为低的级别区域中的像素以类似的方式压缩，因而损失了整个图像的对比度，并且存在显示的物体变得不清楚的问题。例如，在图9所示的图像中，区域Pl包括由高亮度值表现频率的低频像素表示的低频图像，以及区域P2包括由低亮度值表现频率的高频像素表示的高频图像。根据线性缩放将高频图像的像素值进行线性映射，使得观察者能够辨认区域P2所示的对象。另一方面，根据线性缩放，将具有高亮度值表现频率的低频像素值与低亮度值表现频率的高频像素以类似的方式压缩和映射，从而损失了低频图像的对比度。因此，观察者不能辨认区域Pl 所示的对象。此外，当通过HE压缩动态范围时，尽管可能使阴影的变化清楚，但是却存在不太亮区域的质量下降的问题。例如，尽管当应用线性缩放时已经是黑色的大多数低频图像部分通过应用HE而变得清楚，但是却存在不太亮的亮度区域质量下降的问题。例如，图9所示图像中的区域Pl中已经是黑色的对象通过应用HE而变成如图12的图像中的区域P3所示的可见对象。另一方面，存在以下问题具有低亮度值表现频率的区域(比如，图像中区域P4的对象)质量下降。通过应用MFAM，可以在一定程度上克服上述问题。然而，根据MFAM，转换后的低频图像与高频图像被简单地相加。因此，关键是放大增益的高频图像被混合到低频图像中，因而破坏了合成图像的可见性。以下，使用示出了亮度的图像(以下，“温度信息”)描述示例，其中亮度随与温度记录器类似的对象的温度而变化。当将包括大量边缘信息的高频图像叠加到诸如该温度信息之类的低频图像上时，边缘信息被放大，因而关键是损失了温度信息中叠加了边缘信息的这部分的可见性。例如，类似于图19中区域P5中的对象，当叠加包括大量边缘信息(比如紧密的纹理)的高频图像时，存在以下问题温度信息被藏在了该边缘信息的后方，从而变得不可见。因此，本发明的目的在于提供一种图像动态范围压缩系统、图像动态范围压缩方法及图像动态范围压缩程序，能够压缩动态范围，从而在保留高频图像的同时能够确保低频图像的可见性。问题的解决方案根据本发明的一种图像动态范围压缩系统，包括图像转换装置，将输入图像转换为动态范围窄于输入图像的动态范围的压缩图像；高频图像提取装置，用于从输入图像提取高频图像；以及图像合成装置，用于合成压缩图像和高频图像，以及通过自适应地改变能确保要合成的图像的可见性的合成方法来合成图像。根据本发明的一种图像动态范围压缩方法，包括将输入图像转换为动态范围窄于输入图像的动态范围的压缩图像；从输入图像提取高频图像；以及通过自适应地改变能确保要合成的图像的可见性的合成方法来合成压缩图像和高频图像。根据本发明的一种图像动态范围压缩程序使得计算机执行以下处理图像转换处理，将输入图像转换为动态范围窄于输入图像的动态范围的压缩图像；高频图像提取处理， 从输入图像提取高频图像；以及图像合成处理，合成压缩图像和高频图像，以及通过自适应地改变能确保要合成的图像的可见性的合成方法来合成图像。本发明的有益效果根据本发明，可以压缩动态范围，从而在保留高频图像的同时确保低频图像的可见性。
图1描述了示出了根据第一典型实施例的图像动态范围压缩系统的示例的框图。图2描述了示出了拉普拉斯算子滤波器示例的说明性视图。图3描述了示出了根据第一典型实施例的处理的示例的框图。图4描述了示出了根据第二典型实施例的图像动态范围压缩系统的示例的框图。图5描述了示出了根据第二典型实施例的处理的示例的框图。图6描述了示出了根据第二典型实施例的改型示例的图像动态范围压缩系统的示例的框图。图7描述了示出了本发明最小配置的框图。图8描述了示出了用于执行线性缩放的转换功能的说明性视图。图9描述了示出了通过线性缩放来进行转换的图像的说明性视图。图10描述了示出了转换前的图像的亮度直方图的说明性视图。图11描述了示出了转换后的图像的亮度直方图的说明性视图。图12描述了示出了通过应用HE来进行转换的图像的说明性视图。图13描述了示出了 MFAM中的处理的流程图。
图14描述了示出了输入图像f(x，y)的说明性视图。图15描述了示出了输入图像的低频图像f (X，y)lp的说明性视图。图16描述了示出了从低频图像转换而来的图像g(x，y)lp的说明性视图。图17描述了示出了输入图像的高频图像f (X，y)hp的说明性视图。图18描述了示出了从高频图像转换而来的图像g(x，y)hp的说明性视图。图19描述了示出了相加后的图像S(^y)1的说明性视图。
具体实施例方式以下，将参照
本发明实施例。第一实施例图1是示出了根据本发明第一实施例的图像动态范围压缩系统的框图。根据本发明的图像动态范围压缩系统具有低频图像转换单元11、高频图像提取单元12和图像合成单元13。低频图像转换单元11将输入图像F转换为动态范围窄于该输入图像的动态范围的图像(也被称作“压缩图像”)。同时，图像的转换处理是每像素独立执行的处理。因此， 在下文中，F(x，y)表示图像中坐标(x，y)处的像素值。此外，在下文中，输入图像F被简称为“输入图像”。例如，低频图像转换单元11可以通过将HE应用于输入图像来转换输入图像，从而使得像素值在直方图中的分布变得平坦。然而，转换输入图像的方法并不限于HE。此外，低频图像转换单元11例如可以通过以下方式转换输入图像对输入图像应用低通滤波器，将输入图像转换为具有窄动态范围的图像，以及对转换后的图像应用线性缩放。此外，与通过对输入图像应用HE而获得的图像相比，通过对输入图像应用低通滤波器随后进行线性缩放而获得的图像更模糊。因此，从保证可见性的角度来说，优选地，低频图像转换单元11通过向输入图像应用HE来转换输入图像。在下文中，通过低频图像转换单元11转换的图像被称作“转换后的低频图像”。当低频图像转换单元11执行以上转换处理时，低频图像部分的对比度变得清晰，从而可以提高可见性。高频图像提取单元12从输入图像中提取高频图像。高频图像提取单元12通过将图2所示的拉普拉斯滤波器应用于输入图像来提取高频图像。更具体地，高频图像提取单元12将给定的感兴趣像素周围的上、下、左、右9个像素值与图2所示的系数相乘，并通过将这些计算结果相加来获得数值，作为感兴趣像素的值。高频图像提取单元12对输入图像的每个像素执行这种处理，从而得到高频图像。此外，高频图像提取单元12还对图像应用低通滤波器，并获取原始图像与应用了低通滤波器的图像之间的差异。然而，提取高频图像的方法并不限于这些方法。此外，高频图像提取单元12还对输入图像执行傅立叶变换以从变换后的频率图像中截取低频部分，此外，对图像执行逆傅立叶变换来提取高频图像。此夕卜，高频图像提取单元12从输入图像提取高频图像，因此，高频图像提取单元12可以被称作“高通滤波器”。图像合成单元13合成通过低频图像转换单元11转换的转换后的低频图像和高频图像提取单元12提取的高频图像。图像合成单元13在合成这些图像时自适应地改变能确保转换后的低频图像和高频图像的可见性的合成方法。
同时，对对象具有纹理的情形进行举例说明。在通过低频图像转换单元11转换的转换后的低频图像(例如，HE图像)上叠加通过高频图像提取单元12提取的高频图像，使得HE图像的信息被边缘信息隐藏。例如，假定红外摄像机检测到具有极高温度的目标的区域。然而，当本区域存在大量的边缘信息时，如果照原样叠加了这些边缘信息，则隐藏了高温区域的信息。在这种情况下，即使需要识别高温区域，也存在不能检测到该温度信息的问题。因此，图像合成单元13 对转换后的低频图像和高频图像中的至少一个图像进行转换，并将得到的图像进行叠加， 确保了低频图像的可见性。更具体地，当转换后的低频图像(例如，HE图像)中的像素值超过预定阈值时，图像合成单元13将与该像素匹配的高频图像的高频分量乘以α (0< α < 1)。此外，当转换后的低频图像中的像素值没有超过预定阈值时，图像合成单元13并不改变与该像素匹配的高频图像的高频分量。此外，图像合成单元13合成转换后的图像和低频图像。因此，通过合成根据HE图像的内容来减弱高频分量而获得的高频图像，可以防止HE图像的信息被边缘信息隐藏。此外，根据需要确保可见性的转换后的低频图像的像素值来确定上述阈值。例如， 当将与温度匹配的像素值分配给输入图像时，用户只需要确定与需要确保可见性的温度相匹配的像素值，作为阈值。此外，可以指示高频分量减小程度的值(即α)可以是提前设置的值，或者可以根据用户命令来设置。已经通过以上说明描述了图像合成单元13根据转换后的低频图像的内容来减小高频图像的高频分量的情况。此外，图像合成单元13可以改变合成方法，以在不损失转换后的低频图像和高频图像的信息的情况下执行合成。以下，将描述在不损失两种图像信息的情况下执行合成的方法。图像动态范围压缩系统采用下文描述的合成方法，以根据用户的命令将红外图像转换为伪彩色图像。首先，图像合成单元13通过将HE图像的每个像素转换为根据像素值确定的颜色， 以产生伪彩色图像。此外，图像合成单元13将由RGB彩色空间表示的伪彩色图像转换为亮度分量与颜色分量独立的彩色空间(例如，YCrCb空间)，根据与HE图像相匹配的高频图像的高频分量的强度来改变伪彩色图像的亮度分量(例如，用高频图像的值替代伪彩色图像的亮度分量)，最后将彩色空间转换为原始的RGB彩色空间。更具体地，图像合成单元13对具有更强高频分量的像素设置较高的亮度。通过按照这种方式执行合成，可以提高边缘信息的可见性，从而确保低频图像的可见性。当根据高频分量的强度改变亮度分量时，图像合成单元13可以根据提前设置的亮度上限值和下限值来改变亮度分量。如上所述，图像合成单元13基于亮度的上限值和下限值来改变亮度分量，因此，即使当替换了伪彩色图像的亮度分量且像素具有强高频分量时，也可以防止要替换的伪彩色图像的亮度分量变得太亮。类似地，即使对于弱高频分量的图像，也可以防止要替换的颜色图像的亮度分量变得太暗。此外，上文已经描述了图像合成单元13对具有较强高频分量的像素设置较高亮度的情况。与此相反，图像合成单元13可以对具有更强高频分量的像素设置较低亮度。此夕卜，当合成图像时，图像合成单元13不仅可以只使用上述合成方法，还可以使用多种合成方法来合成图像。
如上所述，图像合成单元13根据要合成的图像来自适应地改变合成方法，使得可以在保留高频图像的同时确保低频图像的可见性。低频图像转换单元11、高频图像提取单元12和图像合成单元13可以由根据程序 (图像动态范围压缩程序)来操作的计算机的CPU实现。例如，将程序存储在图像动态范围压缩设备的存储单元(未示出)中，CPU读取程序，并且可以根据程序来按照低频图像转换单元11、高频图像提取单元12和图像合成单元13的方式操作。此外，可以通过专用硬件分别实现低频图像转换单元11、高频图像提取单元12和图像合成单元13。接下来，将描述操作。图3是示出了根据第一典型实施例的图像动态范围压缩处理的示例的框图。首先，低频图像转换单元11将输入图像F转换为转换后的低频图像 F’(步骤S21)。此外，高频图像提取单元12从输入图像F中提取高频图像H(步骤S22)。 此外，图像合成单元13合成转换后的低频图像F’和高频图像H(步骤S23)。在这种情况下，图像合成单元13通过自适应地改变能确保转换后的低频图像F’和高频图像H的可见性的合成方法，来合成这些图像。如上所述，根据本典型实施例，低频图像转换单元11将输入图像转换为具有窄于该输入图像的动态范围的压缩图像。此外，高频图像提取单元12从输入图像中提取高频图像。此外，图像合成单元13通过自适应地改变能确保要合成的图像的可见性的合成方法， 来合成压缩图像和高频图像。因此，可以压缩其中在保留高频图像的同时能确保低频图像的可见性的动态范围。更具体地，低频图像转换单元11通过将HE应用于输入图像来转换输入图像，因此，即使当压缩动态范围时，也可以使低频图像的对比度清晰，从而可以确保可见性。此外， 图像合成单元13合成由高频图像提取单元12提取的高频图像和压缩图像，从而可以确保输入图像的高频分量的可见性。此外，图像合成单元13自适应地改变能确保要合成的图像的可见性的合成方法，使得可以确保图像的可见性，而在简单合成图像时，图像的可见性可能会损失。此外，当HE图像中的像素值超过预定阈值时，图像合成单元13合成通过减弱与像素匹配的高频图像的高频分量获得的图像和HE图像。因此，可以防止HE图像的信息被边缘信息隐藏。此外，作为提高可见性的方法，可以采用应用了 AHE的方法。然而，AHE具有以下问题不能保留块之间的亮度大小关系。例如，当对应用了 AHE的每个块进行分组时，存在的问题在于每个块之间出现裂缝。然而，根据本实施例，捕获了整个图像中的边缘信息，从而可以避免每个块之间出现裂缝的问题。第二实施例图4是示出了根据本发明第二典型实施例的图像动态范围压缩系统的框图。此夕卜，对于与第一典型实施例相同的配置，分配了与图1相同的参考标记，从而将只对不同之处进行描述。根据本实施例，图像动态范围压缩系统具有低频图像转换单元11、高频图像提取单元12、图像合成单元13a和配准/几何转换单元14。与第一典型实施例类似，高频图像提取单元12从宽动态范围的输入图像Fl (以下，也简称为“输入图像F1”)提取高频图像Hl (以下，也被称作“高频图像ΗΓ’)。此外，除了输入图像Fl之外，高频图像提取单元12还从另一输入图像F2提取高频图像H2，其中通过捕获与输入图像Fl相同的对象的图像来获得所述另一输入图像F2。即，高频图像提取单元12还从通过捕获与输入图像Fl相同的对象的图像而获得的另一输入图像F2中提取高频图像H2。此外，从输入图像Fl提供高频图像Hl的方法与从输入图像F2提供高频图像 H2的方法可以相同或者不同。输入图像F2的示例包括可见光图像。此处，可见光图像是记录了人类可以感知的波长(即，与人类不可感知的红外线不同的波长)的光的图像。可见光图像的示例包括由摄像机(比如，数字摄像机)捕获的图像。此外，输入图像F2并不限于可见光图像。例如， 输入图像F2可以是红外图像(温度信息)，其是与输入图像Fl相同的对象，但是具有不同的温度信息。配准/几何转换单元14通过合成从输入图像Fl提取的高频图像Hl与另一高频图像H2，来产生图像H(以下，也称作“高频图像”)，其中从通过捕获与输入图像Fl相同的对象的图像而获得的图像中提取所述另一高频图像H2。同时，通常通过不同成像设备捕获的图像之间存在差异，因而与对象的相同位置相对应的坐标不匹配。因此，配准/几何转换单元14将从输入图像F2提取的高频图像H2进行几何上的变形，并且将从输入图像Fl提取的高频图像Hl与高频图像H2进行配准(对准位置)。此外，配准/几何转换单元14合成配准后的图像，以产生高频图像H。配准/几何转换单元14使用梯度(gradient)方法，以例如对图像进行几何转换和配准。以下，转换和配准也被称作“配准等”。更具体地，将放大或缩小输入图像F2为具有与输入图像Fl的像素相同的图像并使该图像变形以与输入图像Fl对准的转换参数是M。 在这种情况下，配准/几何转换单元14可以指定M,该M最小化了通过使输入图像F2变形而获得的图像W(F2，Μ)与输入图像Fl在整个图像上的相应像素的像素值之差的绝对值之和。此处，W(X，Y)指的是通过根据转换参数Y使图像X变形而获得的输出图像的函数。此夕卜，执行几何变换和配准的方法并不限于梯度方法。例如，可以使用以下方法通过比较图像的特征点来执行几何转换和配准。此外，梯度方法和通过比较特征点来对准图像的方法是公知的，因此不进行详细描述。如上所述，配准/几何转换单元14合成并非是从输入图像Fl提取的高频图像的图像，因而可以捕获不能从输入图像Fl提取的边缘信息，进而可以提高输入图像Fl的可见性。例如，当输入图像Fl是温度信息且需要被提取作为边缘的部分处的温度与周围的温度相同时，高频图像提取单元12不能从输入图像Fl提取边缘信息。然而，当可以从另一输入图像F2提取边缘信息时，对于输入图像Fl的高频图像，对准/几何转换单元14可以捕获由高频图像提取单元12从输入图像F2提取的边缘信息，使得可以提高输入图像Fl的可见性。如上所述，当叠加多个图像时，通常由于捕获图像及对象的设备的位置而导致差异。因此，当简单叠加图像时，合成的图像是模糊的。然而根据本典型实施例，配准/几何转换单元14执行几何转换和配准，从而可以校正图像的未对准，因而即使在图像上叠加高频图像时，也可以保证该图像的可见性。此处，配准/几何转换单元14基于从可见光图像提取的高频图像来执行配准等， 使得可以根据人眼可见的图像(即对象的轮廓)捕获边缘部分。因此，可以基于人类更易感知的信息(输入图像F2)来捕获边缘部分，从而可以提高输入图像Fl的可见性。
此外，尽管以上描述已经描述了输入图像F2是可见光图像的示例，但是输入图像 F2的内容并非限于可见图像。输入图像F2可以是可以从中提取输入图像Fl的对象的轮廓 (边缘信息)的不同图像。例如，输入图像F2可以是不同的红外图像，具有与输入图像Fl 不同的温度信息。此外，已经在上文中描述了如下情况配准/几何转换单元14基于从输入图像Fl 提取的高频图像和从输入图像F2提取的高频图像执行配准等。用于配准/几何转换单元 14执行配准等的图像数目并不限于两个，可以是三个或更多。同时，配准/几何转换单元14可以计算配准可靠度R(x，y)，其表示对于所产生的高频图像H的每个像素(x，y)，配准的精确程度。例如，配准/几何转换单元14可以计算要配准的图像(例如，高频图像Hl和高频图像H2)的相应像素之差，并且计算差的倒数，以作为该像素的配准可靠度R(x，y)。此外，配准/几何转换单元14用于计算配准可靠度R(x， y)的方法并不限于上述方法。计算配准可靠度R的方法可以是其它方法，只要该方法可以计算配准的精确程度。与第一实施例类似，图像合成单元13a通过自适应地改变能确保转换后的低频图像F1’和高频图像H的可见性的合成方法，来合成这些图像。此外，除了在第一实施例中描述的合成方法之外，图像合成单元13a可以根据配准/几何转换单元14计算的配准可靠度 R来改变合成方法。当基于低配准可靠度R的像素将转换后的低频图像F1’叠加到高频图像H上时， 由于图像没有对准而极可能出现不可分辨之处。因此，图像合成单元13a模糊了例如配准可靠度R小于预定阈值的像素周围的转换后的低频图像F1’，从而使用模糊后的像素值来合成转换后的低频图像F1’和高频图像H。图像合成单元13a可以例如通过应用低通滤波器来模糊转换后的低频图像F1’。此外，模糊转换后的低频图像F1’的方法并不限于应用低通滤波器的方法，并且可以是其它方法。如上所述，通过模糊与低配准可靠度R的区域相匹配的转换后的低频图像F1’的区域，当叠加差异较小的图像时，可能出现图像没有对准的情况。因此，可以防止输入图像 Fl的可见性下降。此外，图像合成单元13a可以使用以下等式1来计算通过模糊转换后的低频图像 Fl，而获得的图像G中的像素值G (X，y)。(等式1)G(x,y) = β (χ, y) -Fl' (x，y) + (1_β (x，y)) · Z(x，y)。同时，图像Z是通过卷积在图像Fl，中预先设置的像素尺寸(例如，11X11)的滤波器矩阵B来模糊的图像。此外，β (x,y)是权重值，变化范围在W，l]，并且随着配准可靠度R(x，y)增大而升高。通过使用等式1产生图像G时，图像合成单元13a可以，随着配准可靠度R(x，y)升高而降低低通滤波器的影响，相反，对于具有较低配准可靠度R(x，y)的像素，可以随着配准可靠度R(x，y)的降低而增大低通滤波器的影响。即，图像合成单元13a 可以通过使用等式1产生图像G，来根据每个像素的配准可靠度R(x，y)来模糊转换后的低频图像F1’。此外，低频图像转换单元11执行的处理与第一典型实施例执行的处理相同，因此不进行详细描述。低频图像转换单元11、高频图像提取单元12、图像合成单元13a和配准/几何转换单元14由根据程序(图像动态范围处理程序)操作的计算机的CPU来实现。此外，低频图像转换单元11、高频图像提取单元12、图像合成单元13a和配准/几何转换单元14可以分别由专用硬件实现。接下来，将描述操作。图5是示出了根据第二实施例的图像动态压缩处理的框图。 首先，低频图像转换单元11将输入图像Fl转换为转换后的低频图像F1’(步骤S31)。此夕卜，高频图像提取单元12从输入图像Fl提取高频图像Hl (步骤S32)。此外，高频图像提取单元12从输入图像F2 (χ’，y’)提取高频图像H2 (步骤S33)。配准/几何转换单元14使高频图像H2在几何上变形，并且相对于高频图像Hl对高频图像H2执行配准等(步骤S34)。 此外，配准/几何转换单元14通过合成已配准的图像，来产生高频图像H。此外，图像合成单元13a合成转换后的低频图像F1’和高频图像H(步骤S35)。鉴于上述描述，根据本典型实施例，除了在第一典型实施例中的处理之外，配准/ 几何转换单元14还产生高频图像H，该高频图像H与将从输入图像F2提取的高频图像H2 进行几何上的转换而获得的图像和从输入图像Fl提取的高频图像Hl相配准，其中输入图像F2通过捕获与输入图像Fl相同的对象的图像而获得。因此，除了第一实施例的有益效果之外，可以使用高频图像H2捕获不能从输入图像Fl提取的边缘信息，因此可以提高输入图像Fl的可见性。此外，配准/几何转换单元14计算配准可靠度R，以及图像合成单元13a根据配准可靠度R改变合成方法。更具体地，图像合成单元13a将以下图像与高频图像H进行合成 根据高频图像H的配准可靠度R，通过减弱与高频图像H相匹配的转换后的低频图像Fl，的高频分量而获得的图像。因此，可能在差异较小的合成中造成未对准的情况。即，可以防止输入图像Fl的可见性下降。此处，配准/几何转换单元14基于从可见光图像中提取的高频图像来执行配准等。因此，可以根据人眼可见的图像(即，对象的轮廓)捕获边缘部分，从而提高输入图像 Fl的可见性。接下来，将描述本实施例的修改示例。图6是示出了根据本发明第二典型实施例的图像动态范围压缩系统的修改示例的框图。此外，对于与第二典型实施例中相同的配置， 将分配与图4相同的参考标记，并且将不再进行描述。根据本修改示例的配准/几何转换单元14a与根据第二实施例的配准/几何转换单元14的不同之处在于针对所接收的输入图像F3执行配准等，而无需高频图像提取单元12。其它配置与第二实施例中的相同。配准/几何转换单元14a接收能够识别对象轮廓的其它边缘信息作为输入图像 F3，并且相对于输入图像Fl的高频图像对输入图像F3执行配准等。例如，配准/几何转换单元14a接收记录了电磁波的图像作为另一边缘图像，所述电磁波表示了对象的轮廓并且是使用声波产生的。此外，配准/几何转换单元14a对该边缘信息与输入图像Fl的高频图像执行配准等。上述方法还使得能够捕获边缘部分，因此可以进一步确保输入图像Fl的可见性。此外，图6示出了 配准/几何转换单元14a相对于从输入图像Fl中提取的高频图像，对从输入图像F2提取的高频图像和输入图像F3执行配准等相关。然而，执行了配准等的图像并不限于从输入图像F2提取的高频图像和输入图像F3。通过配准/几何转换单元14a执行了配准等的图像只需要是从输入图像F2提取的高频图像和输入图像F3中的至少一个，并且可以是两个或多个图像的结合。接下来，描述了本发明的最小配置。图7是示出了本发明最小配置的框图。根据本发明的动态范围压缩系统具有图像转换装置81(例如，低频图像转换单元11)，其将输入图像(例如输入图像F)转换(例如，通过应用HE来转换)为动态范围窄于输入图像的动态范围的压缩图像(例如，HE图像)；高频图像提取装置82 (例如，高频图像提取单元12)， 其从输入图像中提取高频图像(例如，高频图像H)；以及图像合成装置83 (例如，图像合成单元13)，其合成压缩图像和高频图像。图像合成装置83通过自适应地改变能确保要合成的图像(例如，输入图像F和高频图像H)的可见性的合成方法(例如，当HE图像中的像素值超过预定阈值时，将与该像素匹配的高频图像的高频分量与α相乘)，来合成这些图像。根据该配置，可以压缩动态范围，从而在保留高频图像的同时确保低频图像的可见性。此外，至少在以上实施例之一中公开了以下描述的图像动态范围压缩系统。(1)图像动态范围压缩系统包括图像转换装置(例如，低频图像转换单元11)， 将输入图像(例如输入图像F)转换(例如，通过应用HE来转换)为动态范围窄于输入图像的动态范围的压缩图像(例如，HE图像)；高频图像提取装置(例如，高频图像提取单元 12)，从输入图像中提取高频图像(例如，高频图像H)；以及图像合成装置(例如，图像合成单元13)，合成压缩图像和高频图像，并且通过自适应地改变能确保要合成的图像(例如， 输入图像F和高频图像H)的可见性的合成方法(例如，当HE图像中的像素值超过预定阈值时，将与该像素匹配的高频图像的高频分量乘以α )，图像合成装置合成这些图像。(2)图像动态范围压缩系统包括配准装置(例如，配准/几何转换单元14)，该配准装置产生高频图像(例如高频图像H)，其中该高频图像与将从输入图像(例如输入图像 Fl)提取的高频图像(比如高频图像Hl)和从通过捕获与输入图像相同的对象的图像而获得图像(例如输入图像F2)中提取的其它高频图像(例如高频图像Η2)相配准(例如，使用梯度方法进行配准)；以及该配准装置产生高频图像，其中该高频图像与从输入图像提取的高频图像和对其它高频图像进行几何上的转换而获得的图像进行配准；以及图像合成装置合成压缩图像和高频图像。(3)利用图像动态范围压缩系统，配准装置计算对所产生的高频图像的配准精确程度加以表示的配准可靠度R(例如，配准可靠度R)，以及图像合成装置(例如，图像合成单元13a)根据配准可靠度来改变合成压缩图像和高频图像的合成方法(例如，对于配准可靠度R小于预定阈值的区域，产生通过模糊与该区域相匹配的转换后的低频图像F1’的区域来产生图像，从而合成高频图像)。(4)利用图像动态范围压缩系统，图像合成装置(例如，图像合成单元13a)合成通过根据高频图像的配准可靠度减弱与高频对象相匹配的压缩图像的高频分量而获得图像 (例如，使用等式(1)产生的图像G)和高频图像。(5)利用图像动态范围压缩系统，配准装置产生高频图像，其中该高频图像与从输入图像提取的高频图像和从可见光图像提取的其它高频图像相配准，其中通过捕获与输入图像相同的对象的图像来获得可见光图像。(6)利用图像动态范围压缩系统，图像转换装置进行转换(例如，通过应用HE来转换)，使得输入图像的灰度级的分布变得平坦。(7)利用图像动态范围压缩系统，当压缩图像中的像素值大于预定阈值时，图像合成装置合成通过减弱与像素匹配的高频图像的高频分量而获得的图像和压缩图像。(8)利用图像动态范围压缩系统，图像合成装置产生通过以下方法获得的伪彩色图像将压缩图像的每个像素转换为根据像素值确定的颜色，以及根据与压缩图像相匹配的高频图像的高频分量的强度来改变伪彩色图像的亮度分量(例如，对于较高强度的高频分量的像素，设置较高的亮度)。尽管以上已经参考实施例和示例描述了本发明，但是本发明不限于以上实施例和示例。本发明的配置和细节可以包括落在本发明范围内的本领域普通技术人员可以理解的各种变型。本申请要求2009年8月24日提交的日本专利申请No. 2009-193123的优先权，在此并入其全部作为参考。工业适用性本发明适用于将宽范围图像压缩为窄范围图像的图像动态范围压缩系统。参考标记列表11低频图像转换单元12高频图像提取单元13，13a图像合成单元14，14a配准/几何转换单元
权利要求
1.一种图像动态范围压缩系统，包括图像转换装置，将输入图像转换为动态范围窄于输入图像的动态范围的压缩图像； 高频图像提取装置，从输入图像中提取高频图像；以及图像合成装置，用于合成压缩图像和高频图像，其中，图像合成装置通过自适应地改变能确保要合成图像的可见性的合成方法来合成图像。
2.根据权利要求1所述的图像动态范围压缩系统，还包括配准装置，产生与从输入图像中提取的高频图像以及从通过捕获与输入图像相同的对象的图像而获得的图像中提取的另一高频图像相配准的高频图像，其中，配准装置产生与从输入图像中提取的高频图像以及通过对所述另一高频图像进行几何转换而获得的图像相配准的高频图像；以及图像合成装置合成压缩图像和高频图像。
3.根据权利要求2所述的图像动态范围压缩系统，其中配准装置计算对所产生的高频图像的配准的精确程度加以表示的配准可靠度；以及图像合成装置根据配准可靠度来改变用于合成压缩图像和高频图像的合成方法。
4.根据权利要求3所述的图像动态范围压缩系统，其中图像合成装置合成以下图像和高频图像根据配准可靠度，通过减弱与高频图像相匹配的压缩图像的高频分量而获得的图像。
5.根据权利要求2至4中任一项所述的图像动态范围压缩系统，其中配准装置产生与从输入图像中提取的高频图像以及从通过捕获与输入图像相同的对象的图像而获得的可见光图像中提取的另一高频图像相配准的高频图像。
6.根据权利要求1至5中任一项所述的图像动态范围压缩系统，其中图像转换装置转换输入图像，使得输入图像的灰度级的分布变得平坦。
7.根据权利要求1至6中任一项所述的图像动态范围压缩系统，其中当压缩图像中的像素值超过预定阈值时，图像合成装置合成通过减弱与像素匹配的高频图像的高频分量而获得的图像以及压缩图像。
8.根据权利要求1至7中任一项所述的图像动态范围压缩系统，其中图像合成装置产生通过将压缩图像的每个像素转换为根据像素值确定的颜色来获得的伪彩色图像，以及根据与压缩图像相匹配的高频图像的高频分量的强度改变伪彩色图像的亮度分量。
9.一种图像动态范围压缩方法，包括将输入图像转换为动态范围窄于输入图像的动态范围的压缩图像； 从输入图像中提取高频图像；以及通过自适应地改变能确保要合成的图像的可见性的合成方法来合成压缩图像和高频图像。
10.根据权利要求9所述的图像动态范围压缩方法，还包括产生与对从通过捕获与输入图像相同的对象的图像而获得的图像中提取的高频图像进行几何转换而获得的图像以及从输入图像中提取的高频图像相配准的高频图像；以及合成压缩图像和高频图像。
11.一种图像动态范围压缩程序，使得计算机执行以下处理图像转换处理，将输入图像转换为动态范围窄于输入图像的动态范围的压缩图像； 高频图像提取处理，从输入图像中提取高频图像；以及图像合成处理，合成压缩图像和高频图像，其中图像合成处理通过自适应地改变能确保要合成的图像的可见性的合成方法来合成图像。
12.根据权利要求11所述的图像动态范围压缩程序，还使得计算机执行以下处理 配准处理产生与从输入图像中提取的高频图像及从通过捕获与输入图像相同的对象的图像而获得的图像中提取的另一高频图像相配准的高频图像，其中，配准处理产生与从输入图像中提取的高频图像及通过对所述另一高频图像进行几何转换而获得的图像相配准的高频图像；以及图像合成处理合成压缩图像和高频图像。
全文摘要
提供了一种图像动态范围压缩系统，能够压缩动态范围，从而在保留高频图像的同时确保低频图像的可见性。图像转换单元将输入图像转换为具有窄于输入图像的动态范围的压缩图像。高频图像提取单元从输入图像中提取高频图像。图像合成单元合成压缩图像和高频图像。此外，通过自适应地改变能确保要合成图像的可见性的合成方法，图像合成单元合成这些图像。
文档编号G06T5/00GK102484672SQ201080037479
公开日2012年5月30日 申请日期2010年7月5日 优先权日2009年8月24日
发明者池谷彰彦 申请人:日本电气株式会社