图像处理系统及计算机可读记录介质的制作方法

文档序号:11161175阅读:379来源:国知局
图像处理系统及计算机可读记录介质的制造方法与工艺

本发明涉及一种图像处理系统及计算机可读记录介质。本申请在美国是国际申请PCT/JP2014/003131(申请日:2014年6月12日)的部分继续申请,并且是国际申请PCT/JP2015/056086(申请日:2015年3月2日)的部分继续申请。



背景技术:

已知一种基于大气模型去除图像内的雾霾的技术(例如,参照专利文献1)。

现有技术文献

专利文献1:日本专利特开2012-168936号公报



技术实现要素:

发明要解决的问题:

需要一种更恰当地从图像内去除雾霾的技术。

解决问题的方案:

根据本发明的第一方式提供了一种图像处理系统。上述图像处理系统可以具有从动画中包含的多个帧中的一个帧中提取饱和度高于预定阈值的高饱和度像素的高饱和度像素提取部。上述图像处理系统可以具有推导表示上述一个帧中上述高饱和度像素的比例的高饱和度像素率的高饱和度像素率推导部。上述图像处理系统可以具有根据上述一个帧中上述高饱和度像素率是否高于预定阈值,基于不同的标准判断上述动画中是否含有场景变换的场景变换判断部。

上述场景变换判断部当上述高饱和度像素率高于上述阈值时,可以基于上述一个帧的色调和上述一个帧的先前帧的色调判断上述图像中是否含有场景变换。上述场景变换判断部当上述高饱和度像素率为等于或低于上述阈值时,可以基于上述一个帧的高饱和度像素率和上述一个帧的先前帧的高饱和度像素率判断上述图像中是否含有场景变换。上述图像处理系统可以具有:取得上述一个帧的雾霾浓度的估计值的雾霾浓度估计值取得部、基于上述一个帧中的上述高饱和度像素率和上述一个帧的平均亮度值推导上述雾霾浓度的估计值的可靠性的可靠性推导部。上述可靠性推导部当上述估计值高于预定阈值时,可以推导出上述平均亮度值越大则越高的可靠性,且推导出上述高饱和度像素率越低则越高的可靠性。上述可靠性推导部当上述估计值为等于或低于预定阈值时,可以推导出上述平均亮度值越小则越高的可靠性,且推导出上述高饱和度像素率越高则越高的可靠性。

上述图像处理系统可以具有:取得雾霾浓度目标值的目标值取得部、基于上述可靠性推导部推导的上述可靠性、确定是否将上述目标值取得部取得的上述一个帧的先前帧的雾霾浓度目标值、上述雾霾浓度估计值取得部取得的上述雾霾浓度的估计值的任意之一用于调整除雾霾处理所用的参数的目标值确定部。上述图像处理系统可以具有:推导上述目标值取得部取得的雾霾浓度目标值与上述雾霾浓度估计值取得部取得的上述雾霾浓度的估计值之差的绝对值的差分绝对值推导部。上述目标值确定部可以基于上述估计值的可靠性及上述差的绝对值、或者表示上述一个帧是否是进行了场景变换的帧的场景变换标志,确定是否将上述目标值取得部取得的上述雾霾浓度目标值、上述雾霾浓度估计值取得部取得的上述雾霾浓度的估计值的任意之一用于调整除雾霾处理所用的参数。

上述图像处理系统可以具有参数调整部,调整上述一个帧的除雾霾处理所用的参数,从而逐步接近由上述目标值确定部确定的上述雾霾浓度目标值或上述雾霾浓度的估计值对应的值。上述参数调整部可以以由上述目标值确定部确定的上述雾霾浓度目标值或上述雾霾浓度的估计值与上述一个帧的先前帧的除雾霾处理所用的参数之差的绝对值、上述雾霾浓度的估计值的可靠性、及表示上述一个帧是否是进行了场景变换的帧的场景变换标志所对应的调整量,调整上述除雾霾处理所用的参数,从而逐步接近由上述目标值确定部确定的上述雾霾浓度目标值或上述雾霾浓度的估计值对应的值。

根据本发明的第二方式,提供了一种图像处理系统。上述图像处理系统可以具有推导图像的至少一部分区域的亮度的评估值的亮度评估值推导部。上述图像处理系统可以具有推导图像的至少一部分区域的饱和度的评估值的饱和度评估值推导部。上述图像处理系统可以具有推导图像的至少一部分区域的对比度的评估值的对比度评估值推导部。上述图像处理系统可以具有基于上述亮度的评估值、上述饱和度的评估值及上述对比度的评估值推导上述图像的雾霾浓度的估计值的雾霾浓度估计部。

上述图像处理系统可以具体有从上述图像中提取既非平坦也非强边的像素的第一像素提取部,上述雾霾浓度估计部可以基于由上述第一像素提取部提取的上述既非平坦也非强边的像素的亮度的评估值、饱和度的评估值及对比度的评估值推导上述雾霾浓度的估计值。

根据本发明的第三方式,提供一种图像处理系统。上述图像处理系统可以具有从图像中提取既非平坦也非强边的像素的第一像素提取部。而且,上述图像处理系统可以具有基于由上述第一像素提取部提取的上述既非平坦也非强边的像素的亮度的评估值、饱和度的评估值及对比度的评估值的至少两个推导上述图像的雾霾浓度的估计值的雾霾浓度估计部。

上述亮度的评估值可以是上述区域的平均亮度值。上述饱和度的评估值可以是上述区域的平均饱和度值。上述对比度的评估值可以是上述区域的对比度值。上述雾霾浓度估计部可以推导出上述平均亮度值越高则值越高的上述雾霾浓度的估计值。上述雾霾浓度估计部可以推导出上述平均饱和度值越低则值越高的上述雾霾浓度的估计值。上述雾霾浓度估计部可以推导出上述对比度值越低则值越高的上述雾霾浓度的估计值。上述图像可以为包含多个帧的动画,上述图像处理系统可以具有:提取在上述多个帧中的一个帧中饱和度高于预定阈值的高饱和度像素的高饱和度像素提取部、推导表示在上述一个帧中上述高饱和度像素的比例的高饱和度像素率的高饱和度像素率推导部、根据上述高饱和度像素率是否高于预定阈值并基于不同的标准来判断上述图像中是否含有场景变换的场景变换判断部。上述图像处理系统可以具有基于上述一个帧中的上述高饱和度像素率和上述一个帧的平均亮度值推导上述一个帧的上述雾霾浓度的估计值的可靠性的可靠性推导部。上述图像处理系统可以具有基于上述可靠性推导部推导出的上述一个帧的雾霾浓度的估计值的可靠性和表示上述一个帧是否为进行了场景变换的帧的场景变换标志来调整对上述一个帧进行除雾霾处理所用的参数的参数调整部。

上述图像处理系统可以具有:推导上述图像的多个像素的每一个的雾霾浓度所对应的透光率的透光率推导部、基于上述雾霾浓度的估计值及上述透光率对上述图像执行除雾霾处理的除雾霾部。上述图像处理系统可以具有从上述图像中提取既非平坦也非强边的像素的第二像素提取部,上述除雾霾部可以基于由上述第二像素提取部提取的上述既非平坦也非强边的像素在上述图像中的比例,确定是否执行上述除雾霾处理。

根据本发明的第四方式,提供一种图像处理系统。上述图像处理系统可以具有取得图像的雾霾浓度的雾霾浓度取得部。上述图像处理系统可以具有基于上述雾霾浓度对上述图像的反射率成分和上述图像的照明光成分实施除雾霾度各不相同的除雾霾处理的去除处理部。上述图像处理可以具有将实施了上述除雾霾处理的上述反射率成分及上述照明光成分进行合成的合成部。上述去除处理部可以以气辉中所含反射率成分能够近似于没有为前提,使用雾霾图像的大气模型和Retinex理论对上述图像的反射率成分和上述图像的照明光成分实施除雾霾度各不相同的除雾霾处理。上述去除处理部可从进一步地以仅能对上述照明光成分适用上述雾霾图像的大气模型为前提,使用雾霾图像的大气模型和Retinex理论对上述图像的反射率成分和上述图像的照明光成分实施除雾霾度各不相同的除雾霾处理。

根据本发明的第五方式,提供一种计算机可读记录介质,记录有使计算机作为上述图像处理系统而发挥功能的程序。

另外,上述发明内容并未列举出本发明的全部可能特征,所述特征组的子组合也有可能构成发明。

附图说明

图1示意性显示图像处理系统100的功能结构的一例。

图2示意性显示雾霾浓度估计部200的功能结构的一例。

图3为用于说明平坦&强边像素的提取处理的图。

图4A示意性显示加权图240的一例。

图4B示意性显示加权图242的一例。

图5为用于对柱状图值进行说明的图。

图6示意性显示场景控制部300的功能结构的一例。

图7示意性显示场景变换判断部310的功能结构的一例。

图8示意性显示雾霾可靠性估计部330的功能结构的一例。

图9示意性显示加权图352的一例。

图10示意性显示加权图354的一例。

图11示意性显示除雾霾参数调整部360的功能结构的一例。

图12示意性显示除雾霾部400的功能结构的一例。

具体实施方式

以下通过发明实施方式对本发明进行说明,但以下实施方式并不是要限定权利要求书中的所述发明。而且,实施方式中所说明的全部特征组合未必是发明解决方案所必须的。

图1示意性显示图像处理系统100的功能结构的一例。本实施方式所述图像处理系统100可以是去除输入图像中包含的雾霾进行显示的显示装置。雾霾(Haze)包括由微粒子使能见度变差的大气现象的总称。例如,雾霾包含:雾、霭、薄雾、烟、粉尘、砂尘、雨及雪等。显示装置可以为液晶显示器、等离子显示器及有机EL显示器等。

图像处理系统100包括:图像输入部110、显示部120、雾霾浓度估计部200、场景控制部300及除雾霾部400。图像输入部110输入图像。图像可以为动画或静止图,或者是动画中包含的帧。图像输入部110可以输入RGB数据、YUV数据或HSV数据。图像处理系统100可以将所输入的YUV数据转换为RGB数据。

雾霾浓度估计部200推导出所输入的每个图像的雾霾浓度的估计值。图像的雾霾浓度是指图像中包含的雾霾的浓度。例如,当对同一空间进行拍摄时,空间中雾霾浓度较高时与空间中雾霾浓度较低时相比,图像的雾霾浓度更高。

场景控制部300判断所输入的动画中是否含有场景变换。场景控制部300可以基于所输入的动画是否含有场景变换来生成用于除雾霾处理的参数。除雾霾部400从所输入的图像中去除雾霾。除雾霾部400可以使用由场景控制部300生成的参数来从所输入的图像中去除雾霾。显示部120对由除雾霾部400去除了雾霾的图像进行显示。

例如,场景控制部300当在动画中未检测出场景变换时,为了在横跨多个帧上逐步地改变除雾霾的强度而生成用于除雾霾处理的参数。然后,除雾霾部400通过使用场景控制部300生成的参数,当在动画中未检测到场景变换时,在横跨多个帧上逐步地改变除雾霾的强度。从而能够防止由于除雾霾而使图像发生剧烈变化,即能够抑制被称为闪烁现象的发生。

另外,例如,场景控制部300当在动画中检测出场景变换时,为了横跨比在动画中未检测出场景变换时更少数量的帧上逐步地改变除雾霾的强度而生成用于除雾霾处理的参数。然后、除雾霾部400通过使用场景控制部300生成的参数,当在动画中检测出场景变换时,横跨比在动画中未检测出场景变换时更少数量的帧上逐步地改变除雾霾的强度。

需要说明的是,图像处理系统100也可以不具备场景控制部300。此时,除雾霾部400基于由雾霾浓度估计部200推导出的图像的雾霾浓度的估计值从所输入的图像中去除雾霾。据此,基于由雾霾浓度估计部200估计的雾霾浓度能够实现高精度的除雾霾处理。

图2示意性显示雾霾浓度估计部200的功能结构的一例。雾霾浓度估计部200包括:平坦&强边像素提取部202、平均亮度计算部204、平均饱和度计算部206、对比度计算部208、最大饱和度取得部210、权重取得部212、雾霾浓度计算部214、工具图像判断部216及选择器218。

平坦&强边像素提取部202从由图像输入部110输入的图像中提取既非平坦也非强边的像素。平坦&强边像素提取部202例如从图像中提取平坦或强边的像素,通过将所提取的像素从该图像中除外,从而提取既非平坦也非强边的像素。平坦&强边像素提取部202可以为第一像素提取部的一例。

平均亮度计算部204算出既非平坦也非强边的像素的平均亮度值(有时记为AVEY)。平均亮度值可以为亮度的评估值的一例。平均亮度计算部204可以为亮度评估值推导部的一例。

平均饱和度计算部206算出既非平坦也非强边的像素的平均饱和度值(有时记为AVES)。平均饱和度值可以为饱和度的评估值的一例。平均饱和度计算部206可以为饱和度评估值推导部的一例。

对比度计算部208算出既非平坦也非强边的像素的对比度值。对比度值可以为对比度的评估值的一例。对比度计算部208可以为对比度评估值推导部的一例。

对比度计算部208可以生成既非平坦也非强边的像素的柱状图。对比度计算部208可以生成任意组数(bin数)的柱状图。然后、对比度计算部208可以从生成的柱状图的最大值中减去最小值来算出柱状图宽度(有时记为HISTWIDTH)。此时,对比度计算部208可以在多个组中其值超过阈值的组中的最大值中减去最小值。

HISTWIDTH可以为对比度值的一例。对比度计算部208可以将柱状图的组数作为柱状图的最大宽度(有时记为MAXWIDTH)进行输出。

最大饱和度取得部210取得图像处理系统100中的最大饱和度(有时记为MAXS)。权重取得部212取得用于计算图像的雾霾浓度时的加权值(有时记为coef)。权重取得部212例如取得由图像处理系统100的制造者或使用者指定的coef。

雾霾浓度计算部214算出图像的雾霾浓度的估计值(有时记为Strength)。雾霾浓度计算部214可以基于既非平坦也非强边的像素的亮度的评估值、饱和度的评估值及对比度的评估值算出Strength。

雾霾浓度计算部214可以基于由平均亮度计算部204算出的平均亮度值、由平均饱和度计算部206算出的平均饱和度值、由对比度计算部208算出的对比度值算出Strength。雾霾浓度计算部214可以通过将平均亮度值、平均饱和度值、对比度值进行相乘来算出Strength。雾霾浓度计算部214可以将从平均饱和度值和最大饱和度中减去平均饱和度值后的值与从柱状图的最大宽度减去对比度值后的值相乘。

此时,雾霾浓度计算部214可以对平均亮度值进行加权。例如,雾霾浓度计算部214可以进行值越高则值变得越高、值越低则值变得越低的加权。另外,雾霾浓度计算部214也可以对平均饱和度值进行加权。例如,雾霾浓度计算部214可以进行值越高则值变得越高、值越低则值变得越低的加权。

雾霾浓度计算部214例如通过下述公式1计算出Strength。

[式1]

Strength=coef×(MAXWIDTH-HISTWIDTH+1)×(AVEY+1)×(MAXS-AVES+1)

据此,雾霾浓度计算部214能够当平均亮度值越高时推导出高值的雾霾浓度的估计值,能够当平均饱和度值越低时推导出高值的雾霾浓度的估计值,能够当对比度值越低时推导出高值的雾霾浓度的估计值。由于当图像的雾霾浓度高时,图像的对比度低、平均亮度高且平均饱和度低这一假设成立,因此通过雾霾浓度计算部214能够算出反映雾霾的特征的更高精度的雾霾浓度的估计值。

工具图像判断部216判断所输入的图像是否为工具图像。工具图像例如为设定显示部120的显示参数的图像及设定图像的显示参数的图像等。

例如,当显示部120在显示监控摄像机影像期间,在监控摄像机影像内发生雾霾时,优选由除雾霾部400执行除雾霾处理。另一方面,当显示部120在显示监控摄像机影像期间、监控摄像机影像的查看者为改变显示参数的设定而显示工具图像时,对该工具图像执行除雾霾处理的话,使图像过度变暗,从而导致发生闪烁。

因此,本实施方式所述雾霾浓度估计部200当所输入的图像被判断为工具图像时,输出0作为雾霾浓度的估计值,当所输入的图像未被判断为工具图像时,控制输出由雾霾浓度计算部214算出的Strength。

具体地,选择器218接收由雾霾浓度计算部214算出的Strength和由工具图像判断部216得出的工具图像判断结果,当所输入的图像不是工具图像时,将Strength输出给场景控制部300或除雾霾部400,当所输入的图像是工具图像时,将0输出给场景控制部300或除雾霾部400。据此,除雾霾部400能够判别出所输入的图像是工具图像。当所输入的图像是工具图像时,除雾霾部400可以确定不执行除雾霾处理。另外,雾霾浓度估计部200也可以输出较低值的估计值来代替输出0。例如,雾霾浓度估计部200输出比由雾霾浓度计算部214算出的Strength的最小值更低值的估计值。

工具图像判断部216可以基于由平坦&强边像素提取部202提取的既非平坦也非强边的像素来判断所输入的图像是否为工具图像。此处,平坦&强边像素提取部202可以依照与提取对平均亮度计算部204、平均饱和度计算部206及对比度计算部208输出的既非平坦也非强边的像素的第一标准不同的第二标准来提取对工具图像判断部216输出的既非平坦也非强边的像素。第二标准可以是与第一标准相比,难以被判断为既非平坦也非强边的像素的标准。平坦&强边像素提取部202可以为第二像素提取部的一例。

工具图像判断部216可以当从平坦&强边像素提取部202收到的既非平坦也非强边的像素相对于所输入图像的全部像素的比例为等于或低于预定阈值时判断为不是工具图像,当大于预定阈值时判断为是工具图像。

另外,工具图像判断部216可以当依照第二标准所提取的平坦或强边的像素相对于依照第一标准所提取的平坦或强边的像素的比例为等于或低于预定阈值时,判断为是工具图像,当大于预定阈值时判断为不是工具图像。

需要说明的是,并不限于工具图像,当所输入的图像中是既非平坦也非强边的像素的比例为小图像时,也可以由工具图像判断部216判断为其他类型的图像。例如,可以由工具图像判断部216判断所输入的图像是否为显示部120的整个显示区域中图像显示区域以外区域的比例高的图像。工具图像判断部216可以为除雾霾处理对象判断部的一例,判断所输入的图像是否是执行除雾霾处理的对象。

需要说明的是,此处以平均亮度计算部204、平均饱和度计算部206及对比度计算部208计算既非平坦也非强边的像素的平均亮度值、平均饱和度值及对比度值的情形为例进行的举例说明,但并不限于此。平均亮度计算部204、平均饱和度计算部206及对比度计算部208也可以计算所输入图像的整体的平均亮度值、平均饱和度值及对比度值。另外,平均亮度计算部204、平均饱和度计算部206及对比度计算部208也可以计算所输入图像的一部分的平均亮度值、平均饱和度值及对比度值。

图3为用于说明平坦&强边像素的提取处理的一例的图。平坦&强边像素提取部202当判断关注像素230是否为平坦或强边时,首先针对以关注像素230为中心的横竖各七个像素取得像素值的最大值及最小值。

然后,平坦&强边像素提取部202针对竖方向的七个像素及横方向的七个像素中的每个,计算出从最大值中减去最小值后的值。然后,平坦&强边像素提取部202在竖方向及横方向的至少一方上,当从最大值中减去最小值后的值为等于或低于第一阈值以及等于或高于比第一阈值大的第二阈值时,将关注像素230作为平坦或强边的像素。

需要说明的是,竖方向的像素数及横方向的像素数也可以为七个像素以外的像素数。而且,平坦&强边像素提取部202当依照第一标准提取平坦或强边的像素时,可以使用第一阈值及第二阈值;当依照第二标准提取平坦或强边的像素时,也可以使用大于第一阈值且小于第二阈值的第三阈值和大于第三阈值且小于第二阈值的第四阈值。

图4A示意性显示加权图240的一例。而且,图4B示意性显示加权图242的一例。加权图240表示雾霾浓度计算部214对平均亮度值进行加权时使用的加权值的一例。图4A及图4B中例示了输入信号为10bit的情形。雾霾浓度计算部214通过依照加权图240对平均亮度值进行加权,能够进行平均亮度值越高则值变得越高、平均亮度值越低则值变得越低的加权。

雾霾浓度计算部214当在对平均饱和度值进行加权时也可以使用加权图240。雾霾浓度计算部214当在对平均亮度值进行加权时以及在对平均饱和度值进行加权时,既可以使用值相同的加权图240,也可以使用值不同的加权图240。例如,当对平均亮度值的加权比平均饱和度值更重时,如加权图242所示,雾霾浓度计算部214可以使用加权变得更重的加权图242来对平均亮度值进行加权。

图5为用于针对柱状图值进行说明的图。图5例示了柱状图的组数为16时的情形。如图5所示,对比度计算部208可以通过从多个中其值超过阈值的组的最大值中减去最小值来计算HISTWIDTH

图6示意性显示场景控制部300的功能结构的一例。场景控制部300具有场景变换判断部310、雾霾可靠性估计部330及除雾霾参数调整部360。

场景变换判断部310判断由图像输入部110输入的动画中是否包含场景变换。场景变换判断部310可以针对动画中包含的多个帧的每一个关联有表示是否为进行了场景变换的帧的场景变换标志。

雾霾可靠性估计部330针对由图像输入部110输入的动画中包含的帧估计从雾霾浓度估计部200输出的Strength的可靠性。

除雾霾参数调整部360调整对动画中所包含的多个帧进行除雾霾处理所用的参数,输出给除雾霾部400。除雾霾参数调整部360可以根据一个帧与该一个帧的先前帧的关系来调整该一个帧的除雾霾处理所用的参数。除雾霾参数调整部360可以基于雾霾可靠性估计部330估计的可靠性和场景变换判断部310生成的场景变换标志来调整对动画中包含的多个帧进行除雾霾处理所用的参数,输出给除雾霾部400。

图7示意性显示场景变换判断部310的功能结构的一例。场景变换判断部310具有:高饱和度像素提取部312、色调柱状图生成部314、高饱和度像素率测量部316、平坦&强边像素提取部318、平均亮度计算部320、平均饱和度计算部322及判断处理部324。

高饱和度像素提取部312从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取高饱和度像素。高饱和度像素可以是其饱和度高于预定阈值的像素。高饱和度像素提取部312当接收到RGB数据时,可以针对帧中包含的多个像素的每一个,将R成分、G成分及B成分的最大值和最小值之差为等于或高于预定阈值的像素作为高饱和度像素进行提取。而且,高饱和度像素提取部312当接收到HSV数据时,可以针对帧中包含的多个像素的每一个,将S成分为等于或高于预定阈值的像素作为高饱和度像素进行提取。

色调柱状图生成部314针对由高饱和度像素提取部312提取的高饱和度像素生成色调的柱状图(有时记为HueHIST)。需要说明的是,此处以色调柱状图生成部314针对由高饱和度像素提取部312提取的高饱和度像素生成HueHIST的情形为例进行举例说明,但并不限于此。色调柱状图生成部314也可以针对由图像输入部110输入的动画中包含的帧生成HueHIST。

高饱和度像素率测量部316测量表示一个帧中高饱和度像素的比例的高饱和度像素率(有时记为HighSatRate)。高饱和度像素率测量部316可以将光饱和度像素相对于一个帧的全部像素的比例作为HighSatRate。高饱和度像素率测量部316可以为高饱和度像素率推导部的一例,推导出一个帧中高饱和度像素率。

平坦&强边像素提取部318从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取既非平坦也非强边的像素。平坦&强边像素提取部318可以与平坦&强边像素提取部202相同地提取既非平坦也非强边的像素。此时,平坦&强边像素提取部318可以依照第一标准提取既非平坦也非强边的像素,也可以依照第二标准提取既非平坦也非强边的像素。而且也可以依照其他标准提取既非平坦也非强边的像素。

平均亮度计算部320计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVEY。需要说明的是,此处以平均亮度计算部320计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVEY的情形为例进行举例说明,但并不限于此。平均亮度计算部320也可以针对由图像输入部110输入的动画中包含的帧计算AVEY

平均饱和度计算部322计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVES。需要说明的是,此处以平均饱和度计算部322计算由平坦&强边像素提取部318提取的既非平坦也非强边的像素的AVES的情形为例进行举例说明,但并不限于此。平均饱和度计算部322也可以针对由图像输入部110输入的动画中包含的帧来计算AVES

判断处理部324执行判断处理,以判断由图像输入部110输入的动画中是否包含场景变换。判断处理部324生成表示帧是否为进行了场景变换的帧的场景变换标志,输出给除雾霾参数调整部360。

判断处理部324可以根据高饱和度像素率测量部316测量的高饱和度像素率是否高于预定阈值,基于不同的标准来判断动画中是否包含场景变换。

判断处理部324当高饱和度像素率测量部316测量的针对一个帧的高饱和度像素率高于预定阈值时,可以基于该一个帧的色调和该一个帧的先前帧的色调来判断动画中是否包含场景变换。该一个帧的先前帧例如为该一个帧之前的帧。

具体地,判断处理部324可以基于色调柱状图生成部314生成的该一个帧的HueHIST和该一个帧的先前帧的色调柱状图(有时记为HueHIST_dl)的SAD(Sum of Absolute Difference,绝对差之和)(有时记为HueHISTSAD),判断动画中是否包含场景变换。

例如,判断处理部324当HueHISTSAD低于第五阈值、该一个帧的AVEY与该一个帧的先前帧的平均亮度值(有时记为AVEY_dl)之差的绝对值低于第六阈值、该一个帧的AVES与该一个帧的先前帧的平均饱和度值(有时记为AVES_dl)之差的绝对值低于第七阈值时,判断为该一个帧不是进行了场景变换的帧,除此之外的情形,判断为该一个帧是进行了场景变换的帧。判断处理部324当判断为该一个帧不是进行了场景变换的帧时,可以使该一个帧的场景变换标志为False。判断处理部324当判断为该一个帧为进行了场景变换的帧时,可以使该一个帧的场景变换标志为True。

判断处理部324当针对高饱和度像素率测量部316测量的一个帧的高饱和度像素率为等于或低于预定阈值时,基于该一个帧的HighSatRate和该一个帧的先前帧的高饱和度像素率(有时记为HighSatRate_dl)来判断动画中是否包含场景变换。

例如,判断处理部324当HighSatRate与HighSatRate_dl之差的绝对值低于第八阈值、AVEY与AVEY_dl之差的绝对值低于第六阈值、AVES与AVES_dl之差的绝对值低于第七阈值时,判断为该一个帧不是进行了场景变换的帧,在除此之外的情形中,判断为该一个帧是进行了场景变换的帧。

图8示意性显示雾霾可靠性估计部330的功能结构的一例。雾霾可靠性估计部330具有:平坦&强边像素提取部332、平均亮度计算部334、高饱和度像素提取部336、高饱和度像素率测量部338、雾霾浓度估计值取得部340及可靠性计算部342。

平坦&强边像素提取部332从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取既非平坦也非强边的像素。平坦&强边像素提取部332可以与平坦&强边像素提取部202同样地提取既非平坦也非强边的像素。此时,平坦&强边像素提取部332既可以依照第一标准来提取既非平坦也非强边的像素,也可以依照第二标准来提取既非平坦也非强边的像素,并且也可以依照其他标准来提取既非平坦也非强边的像素。

平均亮度计算部334计算由平坦&强边像素提取部332提取的既非平坦也非强边的像素的AVEY。需要说明的是,此处以平均亮度计算部334计算由平坦&强边像素提取部332提取的既非平坦也非强边的像素的AVEY的情形为例进行举例说明,但并不限于此。平均亮度计算部334也可以针对由图像输入部110输入的动画中包含的帧计算AVEY

高饱和度像素提取部336从由图像输入部110输入的动画中包含的多个帧中的一个帧中提取高饱和度像素。高饱和度像素提取部336可以针对帧中包含的多个像素中的每一个,将R成分、G成分及B成分的最大值与最小值之差为等于或高于预定阈值的像素作为高饱和度像素进行提取。

高饱和度像素率测量部338测量一个帧中的HighSatRate。雾霾浓度估计值取得部340取得雾霾浓度估计部200输出的Strength。

可靠性计算部342基于平均亮度计算部334算出的AVEY、高饱和度像素率测量部338测量的HighSatRate,计算雾霾浓度估计值取得部340取得的Strength的可靠性,输出给除雾霾参数调整部360。可靠性计算部342可以是可靠性推导部的一例,基于AVEY和HighSatRate推导出Strength的可靠性。可靠性计算部342可以根据雾霾浓度估计值取得部340取得的Strength是否大于预定阈值,以不同的标准来计算Strength的可靠性。

可靠性计算部342当雾霾浓度估计值取得部340取得的Strength大于预定阈值时,AVEY越大则可以算出越高的可靠性,且HighSatRate越低则可以算出越高的可靠性。而且,可靠性计算部342当雾霾浓度估计值取得部340取得的Strength为等于或低于预定阈值时,AVEY越小则可以算出越高的可靠性,且HighSatRate越高则可以算出越高的可靠性。

作为计算可靠性的处理的具体例,首先,可靠性计算部342对雾霾浓度估计值取得部340取得的Strength、平均亮度计算部334算出的AVEY、及高饱和度像素率测量部338测量的HighSatRate的每一个进行加权。

可靠性计算部342例如对Strength及HighSatRate进行值越高则值变得越高、值越低则值变得越低的加权。另外,可靠性计算部342例如对AVEY进行值越高则值变得越低、值越低则值变得越高的加权。有时将进行了加权的Strength记为StrengthWeight。有时将进行了加权的AVEY记为AVEYWeight。有时将进行了加权的HighSatRate记为HighSatRateWeight。

然后,可靠性计算部342将AVEYWeight及HighSatRateWeight中值大的一方作为EvalMax。然后,可靠性计算部342计算EvalMax与StrengthWeight之差的绝对值作为雾霾浓度的估计值的可靠性。

图9示意性显示加权图352的一例。加权图352表示可靠性计算部342对Strength进行加权时所用的加权值的一例。可靠性计算部342通过依照加权图352对Strength进行加权,从而能够进行Strength越高则值变得越高、Strength越低则值变得越低的加权。加权图352可以用于可靠性计算部342对HighSatRate进行加权的时候。

图10示意性显示加权图354的一例。加权图354表示可靠性计算部342对AVEY进行加权时所用的加权值的一例。可靠性计算部342通过依照加权图354对AVEY进行加权,从而能够进行AVEY越高则值变得越低、Strength越低则值变得越高的加权。

图11示意性显示除雾霾参数调整部360的功能结构的一例。除雾霾参数调整部360具有雾霾浓度目标值计算部362及参数调整部364。

雾霾浓度目标值计算部362计算针对一个帧的雾霾浓度目标值(有时记为TargetDepth)。TargetDepth表示一个帧及该一个帧所接续的多个帧的内容未变化时应收敛的除雾霾参数。

雾霾浓度目标值计算部362当雾霾可靠性估计部330判断出在一个帧中该一个帧的雾霾浓度的估计值不可靠性时,可以将在该一个帧的先前帧的时刻设定的TargetDepth(有时记为TargetDepth_dl)作为针对该一个帧的TargetDepth。雾霾可靠性估计部330例如可以当一个帧的雾霾浓度的估计值的可靠性小于预定阈值时,判断为该估计值不可靠。

雾霾浓度目标值计算部362可以基于该一个帧的先前帧的TargetDepth(有时记为TargetDepth_dl)、从雾霾浓度估计部200接收到的针对该一个帧的Strength、从可靠性计算部342接收到手该Strength的可靠性、从判断处理部324接收到的针对该一个帧に的场景变换标志,来确定针对该一个帧的TargetDepth。

例如,首先,雾霾浓度目标值计算部362计算Strength与TargetDepth_dl之差的绝对值(有时记为DiffDepth)。然后,雾霾浓度目标值计算部362当DiffDepth大于第九阈值且Strength的可靠性大于第十阈值时、以及场景变换标志为True时,将Strength作为TargetDepth,在除此之外的情形,将TargetDepth_dl作为TargetDepth。除此之外的情形可以是指场景变换标志为False且DiffDepth小于第九阈值或者Strength的可靠性小于第十阈值的情形。

参数调整部364调整该一个帧的除雾霾处理所用的参数(有时记为HazeRemovalStrength),从而逐步接近由雾霾浓度目标值计算部362确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。从而能够在横跨多个帧上逐步地改变去除雾霾的强度。

参数调整部364可以根据由雾霾浓度目标值计算部362确定的TargetDepth和该一个帧与该一个帧的先前帧的关系来调整HazeRemovalStrength。参数调整部364调整HazeRemovalStrength,从而该一个帧的先前帧中被调整的参数逐步接近由雾霾浓度目标值计算部362确定的TargetDepth。参数调整部364可以基于该一个帧是否为进行了场景变换的帧来改变逐步接近TargetDepth的步幅。例如,参数调整部364当场景变换标志为True时,即由场景变换判断部310判断出该一个帧是进行了场景变换的帧时,增大逐步接近TargetDepth的步幅。据此,当该一个帧是进行了场景变换的帧时,相比该一个帧不是进行了场景变换的帧时,能够加强去除雾霾的强度。

参数调整部364可以以与由雾霾浓度目标值计算部362确定的TargetDepth与该一个帧的先前帧的除雾霾处理所用的参数(有时记为HazeRemovalStrength_dl)之差的绝对值(有时记为DiffStrength)、Strength的可靠性、场景变换标志相应的调整量来调整HazeRemovalStrength,从而逐步接近由雾霾浓度目标值计算部362确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。

例如,参数调整部364当场景变换标志为True时,以第一调整量来调整HazeRemovalStrength,从而逐步接近由雾霾浓度目标值计算部362确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。而且,参数调整部364当场景变换标志为False、DiffStrength大于第十一阈值且Strength的可靠性大于第十二阈值时,以第二调整量来调整HazeRemovalStrength,从而逐步接近被确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。而且,参数调整部364在除此之外的情形中,以第三调整量来调整HazeRemovalStrength,从而逐步接近被确定作为该一个帧的TargetDepth的Strength或TargetDepth_dl所对应的值。除此之外的情形可以是指场景变换标志为False、DiffStrength小于第十一阈值或Strength的可靠性小于第十二阈值的情形。此处,第一调整量大于第二调整量及第三调整量,第二调整量大于第三调整量。

如上所述,雾霾浓度目标值计算部362可以基于Strength的可靠性及Strength与TargetDepth_dl之差的绝对值、或者场景变换标志来确定是否将TargetDepth_dl和Strength的任一个用于调整除雾霾处理所用的参数。

取得TargetDepth_dl的雾霾浓度目标值计算部362可以为目标值取得部的一例。而且,雾霾浓度目标值计算部362可以为差分绝对值推导部的一例,计算Strength与TargetDepth_dl之差的绝对值。而且,雾霾浓度目标值计算部362可以为目标值确定部的一例,确定针对该一个帧的TargetDepth。

图12示意性显示除雾霾部400的功能结构的一例。除雾霾部400具有照明光分离部402、参数取得部410、去除处理部420及合成部426。

照明光分离部402能够从由图像输入部110输入的图像I中分离出照明光成分IL。只要照明光分离部402能够从图像I中分离出照明光成分IL,进行怎样的处理均可以。

例如,照明光分离部402使用边缘保留型低通滤波器从图像I中分离出照明光成分IL。边缘保留型低通滤波器是指在保留边缘的同时进行平滑化的滤波器。照明光分离部402例如可以使用双边滤波器作为边缘保留型低通滤波器。照明光分离部402可以将照明光成分IL及图像I对参数取得部410进行输出。

参数取得部410取得除雾霾所用的参数。参数取得部410具有气辉计算部412、透光率计算部414及雾霾浓度估计值取得部416。

气辉计算部412计算图像I的气辉A。气辉计算部412只要能够计算图像I的气辉A,进行怎样的处理都是可以的。例如,气辉计算部412首先对图像I的各像素计算包含周边像素的RGB的最小值。然后,气辉计算部412从图像I中对算出的最小值位于前0.1%的像素进行提取。然后,气辉计算部412从提取的像素中将亮度最高的像素的值作为气辉A。

透光率计算部414计算由图像输入部110输入的图像的多个像素的每一个的雾霾浓度所对应的透光率t。透光率计算部414可以为透光率推导部的一例。透光率计算部414只要能够计算透光率t,进行怎样的处理均可。例如,透光率计算部414基于由下述公式2表示的暗原色先验(Dark Channel Prior)(有时记为DCP)来计算透光率t。

[式2]

IC为I的颜色通道,Ω(x)为以x为中心的局部区域。

透光率计算部414可以基于公式2中的DCP表示透光率t这一假设,从DCP的值算出透光率t。例如,透光率计算部414根据通过下述公式3计算透光率t。

[式3]

雾霾浓度估计值取得部416取得雾霾浓度估计部200输出的Strength。

参数取得部410将图像I、照明光成分IL、气辉计算部412算出的气辉A、透光率计算部414算出的透光率t及雾霾浓度估计值取得部416取得的Strength输出给去除处理部。

去除处理部420基于由下述公式4所表示的Retinex理论和由下述公式5所表示的雾霾图像的大气模型,执行针对图像I的除雾霾处理。

[式4]

输入图像I=照明光L×反射率R

[式5]

输入图像I(x)=原图像J(x)×透光率t(x)+气辉A(1-透光率t(x))

将上述公式5变形后成为下述公式6。

[式6]

对上述公式6适用Retinex理论,用反射率成分与照明光成分的积分别进行表示,成为下述公式7。

[式7]

此处,去除处理部420可以以气辉中含有的反射率成分很少或者可以近乎没有为前提,使用雾霾图像的大气模型和视网膜大脑皮层(Retinex)理论执行除雾霾处理。例如,气辉中含有的反射率成分极小时,可以视为下述公式8成立。

[式8]

AR=1

另外,去除处理部420进一步地以针对气辉、原图像、输入图像,仅能对各个照明光成分适用大气模型为前提,可以使用雾霾图像的大气模型和Retinex理论执行除雾霾处理。如果按照这样的前提,则下述公式9成立。

[式9]

通过将上述公式8及公式9适用于上述公式7可以到下述公式10。

[式10]

从上述公式10可以推导出,JR的值为当IR大于1时则大于IR,当IR小于1时则小于IR

通过使用上述公式9及公式10,去除处理部420可以对反射率成分和照明光成分实施除雾霾度各不同的除雾霾处理。例如,去除处理部420可以针对上述公式9及公式10使透光率t不同,从而使除雾霾度不同。而且,去除处理部420也可以通过对上述公式9及上述公式10的结果进行不同的加权,从而使除雾霾度不同。

去除处理部420具有照明光成分处理部422及反射率成分处理部424。照明光成分处理部422对图像的照明光成分实施除雾霾处理。反射率成分处理部424对图像的反射率成分实施除雾霾处理。

照明光成分处理部422可以使用从参数调整部364接收到的HazeRemovalStrength来执行除雾霾处理。例如,照明光成分处理部422可以使用照明光成分IL、气辉A、透光率t、HazeRemovalStrength及上述公式9来计算实施了除雾霾处理的照明光成分JL。照明光成分处理部422可以使用HazeRemovalStrength来调整透光率t。而且,照明光成分处理部422也可以使用HazeRemovalStrength来代替透光率t。而且,照明光成分处理部422可以使用基于HazeRemovalStrength的值来代替透光率t。当照明光成分处理部422使用从参数调整部364接收到的HazeRemovalStrength来执行除雾霾处理时,参数取得部410也可以不具有雾霾浓度估计值取得部416。而且,雾霾浓度估计值取得部416也可以从参数调整部364接收HazeRemovalStrength,并将接收到的该HazeRemovalStrength发送给去除处理部420。

照明光成分处理部422在由图像输入部110输入了静止图的情形以及当图像处理系统100不具有场景控制部300等的情形中,可以使用从参数取得部410接收到的照明光成分IL、气辉A、透光率t、Strength及上述公式9计算实施了除雾霾处理的照明光成分JL。照明光成分处理部422可以将Strength适用于透光率t来计算照明光成分JL。例如,照明光成分处理部422可以在透光率t上乘以Strength。再例如,照明光成分处理部422可以对透光率t进行Strength的值所对应的加权。从而能够使用由雾霾浓度估计部200估计的Strength实现更高精度的除雾霾处理。

反射率成分处理部424可以从参数取得部410接收到的图像I及照明光成分IL计算反射率成分IR。反射率成分处理部424可以使用从参数调整部364接收到的HazeRemovalStrength执行除雾霾处理。例如,反射率成分处理部424可以使用照明光成分IL、反射率成分IR、透光率t、HazeRemovalStrength及上述公式10计算实施了除雾霾处理的反射率成分JR。反射率成分处理部424可以使用HazeRemovalStrength来调整透光率t。而且,反射率成分处理部424可以使用HazeRemovalStrength来代替透光率t。而且,反射率成分处理部424可以使用基于HazeRemovalStrength的值来代替透光率t。当使用反射率成分处理部424从参数调整部364接收到的HazeRemovalStrength执行除雾霾处理时,参数取得部410也可以不具有雾霾浓度估计值取得部416。而且,雾霾浓度估计值取得部416可以从参数调整部364接收HazeRemovalStrength,将接收到的该HazeRemovalStrength发送给去除处理部420。

反射率成分处理部424在由图像输入部110输入了静止图的情形以及图像处理系统100不具有场景控制部300等情形中,可以使用照明光成分IL、反射率成分IR、透光率t、Strength及上述公式10计算实施了除雾霾处理的JR。反射率成分处理部424可能在透光率t上适用Strength来计算JR。例如,反射率成分处理部424在透光率t上乘上Strength。另外,例如,反射率成分处理部424可以对透光率t进行Strength的值所对应的加权。从而能够使用由雾霾浓度估计部200估计的Strength实现更高精度的除雾霾处理。

合成部426将由照明光成分处理部422实施了除雾霾处理的照明光成分JL与由反射率成分处理部424实施了除雾霾处理的反射率成分JR进行合成。合成部426通过将JL与JR进行合成而生成输出图像J。由合成部426生成的输出图像J可以由显示部120进行显示。

本实施方式中,以图像处理系统100为具有雾霾浓度估计部200、场景控制部300及除雾霾部400的显示装置的情形为例进行举例说明,但并不限于此。图像处理系统100也可以为具有雾霾浓度估计部200、场景控制部300及除雾霾部400中的至少一个的显示装置。

另外,图像处理系统100也可以为在场景控制部300所具有的场景变换判断部310、雾霾可靠性估计部330及除雾霾参数调整部360中仅具有场景变换判断部310的显示装置。另外,图像处理系统100也可以为仅具有雾霾可靠性估计部330的显示装置。此时,雾霾浓度估计值取得部340也可以并不取得由雾霾浓度估计部200输出的Strength,而是取得由其他装置等估计的雾霾浓度估计值。

另外,当图像处理系统100为仅具有雾霾浓度估计部200、场景控制部300及除雾霾部400中的除雾霾部400的显示装置时,雾霾浓度估计值取得部416也可以并不取得由雾霾浓度估计部200输出的Strength,而是取得由其他装置等估计的雾霾浓度估计值。

另外,本实施方式中以图像处理系统100为显示装置的情形为例进行了举例说明,但并不限于此。只要是对图像进行处理的装置,其他类型的装置也是可以的。例如,图像处理系统100也可以是智能手机等移动电话、平板电脑终端、个人计算机及信息家电等。另外,图像处理系统100也可以是不具有显示部120,使图像显示到外部显示部的装置。

在以上说明中,图像处理系统100的各部分可以由硬件实现也可以由软件实现。或者也可以由软硬件相结合来实现。而且也可以通过执行程序使计算机发挥图像处理系统100的功能。程序可以从计算机可读媒体或与网络连接的存储装置被安装到构成图像处理系统100的至少一部分的计算机上。

被安装到计算机上并使计算机作为本实施方式所述图像处理系统100而发挥功能的程序驱动CPU等,使计算机分别发挥图像处理系统100的各部分的功能。记录在这些程序中的信息处理被读入计算机,发挥作为软件与图像处理系统100的硬件资源相联动的具体模块的功能。

以上,使用本发明的实施方式进行了说明,但本发明的技术范围不限于上述实施方式所记载的范围。另外,本领域技术人员应当清楚,在上述实施方式的基础上可加以增加各种变更或改进。此外,由权利要求的记载可知,这种加以变更或改进的实施方式也包含在本发明的技术范围内。

应当注意的是,权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序,只要没有特别明示“更早”、“早于”等,或者只要前面处理的输出并不用在后面的处理中,则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程,为方便起见而使用“首先”、“然后”等进行了说明,但并不意味着必须按照这样的顺序实施。

附图标记说明

100图像处理系统、110图像输入部、120显示部、200雾霾浓度估计部、202平坦&强边像素提取部、204平均亮度计算部、206平均饱和度计算部、208对比度计算部、210最大饱和度取得部、212权重取得部、214雾霾浓度计算部、216工具图像判断部、218选择器、230关注像素、240加权图、242加权图、300场景控制部、310场景变换判断部、312高饱和度像素提取部、314色调柱状图生成部、316高饱和度像素率测量部(高饱和度像素率推导部)、318平坦&强边像素提取部、320平均亮度计算部、322平均饱和度计算部、324判断处理部(场景变换判断部)、330雾霾可靠性估计部、332平坦&强边像素提取部、334平均亮度计算部、336高饱和度像素提取部、338高饱和度像素率测量部、340雾霾浓度估计值取得部、342可靠性计算部(可靠性推导部)、352加权图、354加权图、360除雾霾参数调整部、362雾霾浓度目标值计算部(目标值取得部、目标值确定部、差分绝对值推导部)、364参数调整部、400除雾霾部、402照明光分离部、410参数取得部、412气辉计算部、414透光率计算部、416雾霾浓度估计值取得部、420去除处理部、422照明光成分处理部、424反射率成分处理部、426合成部。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1