基于局部SoG的水下图像清晰化方法
【专利摘要】本发明公开了一种基于局部SoG的水下图像清晰化方法，包括以下步骤：设水下图像为原图像，用该原图像的边界值进行边界扩充得到填充后的图像；然后，取一个局部域大小为N×N像素点的窗口，利用该窗口在边界扩充后的图像的各个通道中进行平移，估计每个局部域内的光源颜色，将局部域的光源颜色作为窗口中心像素点的光源颜色eλ；并通过光源颜色eλ与原始光源颜色之间的衰减特性分别求出三个颜色通道的透射率tλ和其对应的方差σλ；最后，对方差σλ最大的透射率进行循环分块操作以获取背景光，从而得到最终的清晰的图像。通过大量实验证明，本发明提出的算法在提高图像清晰度、恢复图像颜色等方面有着非常好的性能。
【专利说明】
基于局部SoG的水下图像清晰化方法
技术领域
[0001] 本发明设及一种计算机图像处理方法，尤其设及一种水下图像清晰化方法。
【背景技术】
[0002] 水下图像在海洋能源勘探、海洋环境监测与保护W及海洋军事等领域扮演着非常 重要的角色W。但因水下环境特殊，难W获取高质量的水下图像。溶解在水中的有机物和悬 浮在水中的颗粒物会对光产生吸收和散射效应，造成图像对比度下降，场景可见范围缩小， 图像质量降低W。因此，水下图像清晰化问题在计算机视觉应用领域和数字图像处理领域 亟待解决W。
[0003] 由于水下图像与雾天图像拥有相似的成像模型和图像特征，不少学者采用基于暗 通道先验的去雾方法来处理水下图像W。但如果在水下环境中直接使用暗通道先验会出现 透射率估计偏大，背景光偏小等问题W。因此，在使用基于暗通道先验的方法处理水下图像 之前，需对水下图像进行颜色失真去除。其中，最常用的颜色恒常性算法为化ade of Gray 算法W。
[0004] 化ade of Gray(SoG)算法应用的前提为均匀光照条件，因此估计的光源颜色在全 局都是一致的。但在水下环境中，由于光在水中的衰减与波长和传播距离相关，估计的光源 颜色应该是衰减的，也就是说场景中各点的光源颜色不相同，运与化ade of Gray算法估计 出的全局唯一的光源颜色结果矛盾。
[0005] [参考文献]
[0006] [IJSchettini 民，Corchs S.Underwater image processing:state of the art of restoration and image enhancement methods.EURASIP Journal on Advances in Signal Processing,2010(1),2010:1-14.
[0007] [2]S.Bazeilie.Vision sous-marine monoculaire pour la reconnaissance objets[Ph.D.thesis].2008,Universe de Bretagne Occidentale.
[0008] [3]J.Mertens，F.民eplogle.Use of point spread and beam spread functions for analysis of imaging systems in water.Journal of the Optical Society of America,1977,67(8):1105-1117.
[0009] [4]J.S.Jaffe.Computer modeling and the design of optimal underwater imaging systems. IEEE Journal of Oceanic Engineering,1990,15(2):101-111.
[0010] [5]Haocheng Wen，Yonghong Tian，Tiejun Huang,et al.. Single underwater image enhancement with a new optical model . In:Proceedings of IEEE International Symposium on Circuits and Systems,Beijing,China,2013:753-756.
[0011] [6]G.Fi打layso打，E.Trezzi.Shades of gray and colour constancy[C]. In: Proceedings of 12th Color Imaging Conference,Scottsdale,USA,2004,2004:37-41.
[0012] [7]Li Fang,Wu Jin-yong，Wang Yi-ke，et al..A color cast detection algorithm of robust performance.In:Proceedings of IEEE International Conference on Advanced Computational Intelligence,Nanjing,China,2012:662-664.
[0013] [8]Yujie Li,Huimin Lu,Lifeng Zhang,et al..Real-time visualization system for deep-sea surveying.Mathematical Problems in Engineering,2014,2014 (1):809-812.
[0014] [ 9 ] Stephan T , Friihberger P , Werl in S , et al . . Mode 1 based image restoration for underwater images.In:Proceedings of SPIE Optical Metrology 2013，Belli^ham，USA，2013:87911F-1-87911F-9.
【发明内容】
[0015] 针对现有技术中由于场景中各点的光源颜色不相同，与采用化ade of Gray算法 估计出的全局唯一的光源颜色结果相矛盾，本发明提出一种基于局部SoG的水下图像清晰 化方法，首先，利用原始图像估计每一个局部域的光源颜色，并将其作为区域中屯、像素点的 光源颜色。然后，利用得到的光源颜色分别计算Ξ个颜色通道的透射率和其对应的方差。最 后，对方差最大的透射率图进行循环分块操作W获取背景光，从而得到最终的复原图像。通 过大量实验证明，本发明提出的算法在提高图像清晰度、恢复图像颜色等方面有着非常好 的性能。
[0016] 为了解决上述技术问题，本发明提出的一种基于局部SoG的水下图像清晰化方法， 包括W下步骤：
[0017] 步骤一、输入水下图像为原图像I(x)，用该原图像I(x)的边界值进行边界扩充得 到填充后的图像lA(X);
[001 引 Ιλ(χ) = ]·"θ(λ)5(χ，λ)Ρ(λ)(1λ (1)
[0019] 式（1)中，ω表示整个可见光波长范围，λ为入射光波长，X为像素点，6(λ)表示入射 光的分布，S (X，λ)为图像山(X)中的某一点对入射光的反射率，Ρ (λ)表示相机对入射光的感 光特性；
[0020] 步骤二、在该图像中取一个大小为ΝΧΝ像素点的窗口，利用该窗口在图像?Α(χ)的 各个通道上逐行的从左到右进行平移，每次移动一个像素形成一局部域Ω，估计每个局部 域Ω的光源颜色，步骤是：
[0021] 设该图像山^)的场景中所有物体表面的任意一个局部域Ω的平均反射是无色差 的，即：
[0022] (2)
[0023] 式(2)中，Ω表示图像?Α(χ)中某个局部域，k为[0，1]之间的一个常数；
[0024] 所W，局部域Ω的光源颜色如下：
[0025] (3)
[0026] 式（3)中，P为常数，取值范围为4~ΙΟ,θΩΑ为局部域Ω的光源颜色，在一个局部域
[0027] Ω中光源颜色的各通道分量为单值;将局部域Ω的光源颜色6ΩΑ作为局部域中屯、像素点的 光源颜色θλ:
(4)
[0028] 式(4)中，CA是入射光在水中的衰减系数，d(X)为景深，6Α是局部域中屯、像素点的光 源颜色，所述光源颜色ΘΑ的元素值中包含了图像Ια(χ)各通道的颜色衰减特征，兩是图像L· (X)的光源颜色，设焉为常数；
[0029] 步骤Ξ:利用局部域中屯、像素点的光源颜色ΘΑ和图像Ια(χ)的光源颜色％之间的颜 色衰减特性求出图像Ιλ( X)的RGBS通道透射率U:
[0030]
[0031 ]选择R通道的透射率tR作为待分块的透射率；
[0032] 步骤四：建立图像山^)像素的索引index;与此同时，选择待分块的透射率tR上半 部分中均值和标准差最小的部分进行循环分块操作，循环4次后得到透射率块，根据图像L· (X)像素索引index,确定该透射率块在图像山^)中对应的图像块，通过求取该对应的图像 块尺68;通道的均值得到该图像lA(X)的背景光化,。〇;根据式(6)得到清晰图像JA(X):
[0033] (6)
[0034] 与现有技术相比，本发明的有益效果是：
[0035] 本发明提出的基于局部SoG的水下图像清晰化方法是通过计算图像中每一个局部 域的光源颜色来获取场景中每一个点的衰减特性，从而得到各通道的透射率及其方差，并 利用透射率估计背景光，最终得到清晰图像。
【附图说明】
[0036] 图1是本发明图像清晰化处理流程图；
[0037] 图2(a)是实施例1的原始图像；
[0038] 图2(b)是对图2(a)所示原始图像经过传统化ade of Gray算法获得的效果图像；
[0039] 图2(c)是对图2(a)所示原始图像经过本发明处理方法估计的光源颜色中R通道分 量；
[0040] 图2(d)是对图2(a)所示原始图像经过本发明处理方法获得的效果图像；
[0041 ]图3(a)是实施例2的原始图像，其中，C=13.48，K = 2.47;
[0042] 图3(b)是对图3(a)所示原始图经过文献[引提出的方法获得的效果图像，其中，C = 13.48，Κ = 2.47;
[0043] 图3(c)是对图3(a)所示原始图经过本发明处理方法获得的效果图像，其中，C = 35.72，Κ = 1.69;
[0044] 图4(a)是实施例3的原始图像，其中，C=10.01，K = 2.44;
[0045] 图4(b)是对图4(a)所示原始图经过文献[9]提出的方法获得的效果图像，其中，C = 12.61，Κ = 1.89;
[0046] 图4(c)是对图4(a)所示原始图经过本发明处理方法获得的效果图像，其中，C = 20.64，Κ = 1.38。
【具体实施方式】
[0047] 下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体 实施例仅对本发明进行解释说明，并不用W限制本发明。
[0048] 水下图像可W看作是在蓝(绿)色灯光下拍摄的图像，图像中的蓝(绿)色基调可认 为是光源颜色，可用颜色恒常性算法去除。Shade of Gray算法是Gray World算法的改进形 式，在处理水下图像时能够获得更好的效果。Gray World假设认为:场景中所有物体表面的 平均反射是无色差的，即
[0049]
[(K)加 ]Gray World算法估计光源e的过程可W表示如下：
[0化1 ]
[0052] Siade of Gray算法利用Minkowski范数代替Gray World算法中简单求平均的操 作，能够获得更好的处理结果。该算法估计光源e的方法如下：
[0化3]
[0054] 其中，P和k为常数。
[0055] Shade of Gray算法应用的前提为均匀光照条件，因此估计的光源颜色在全局都 是一致的。但在水下环境中，由于入射光在水中的衰减与波长和传播距离相关，估计的光源 颜色应该是衰减的，也就是说场景中各点的光源颜色不相同，运与化ade of Gray算法估计 出的全局唯一的光源颜色结果矛盾。
[0056] 如图1所示，本发明提出的一种基于局部SoG的水下图像清晰化方法，包括W下步 骤：
[0057] 步骤一、输入水下图像为原图像I(x)，用该原图像I(x)的边界值进行边界扩充得 到填充后的图像lA(X);
[005引 Ιλ(χ) = ]·"θ(λ)5(χ，λ)Ρ(λ)(1λ (1)
[0059] 式（1)中，ω表示整个可见光波长范围，λ为入射光波长，X为像素点，6(λ)表示入射 光的分布，S(x, λ)为图像^(χ)中的某一点对入射光的反射率，Ρ (λ)表不相机对入射光的感 光特性；
[0060] 步骤二、在该图像中取一个大小为ΝXΝ像素点的窗口，利用该窗口在图像Ιλ(X)的 各个通道上逐行的从左到右进行平移，每次移动一个像素形成一局部域Ω，估计每个局部 域Ω的光源颜色，步骤是：
[0061] 设该图像山^)的场景中所有物体表面的任意一个局部域Ω的平均反射是无色差 的，即：
[0062] 根据上述对于化ade of Gray算法在水下环境使用时出现的弊端，本发明提出基 于局部Gray World假设，即：场景中所有物体表面的任意一个局部域的平均反射是无色差 的
[0063] 処
[0064] 式(2)中，Ω表示图像?Α(χ)中某个局部域，k为[0，1]之间的一个常数；
[0(?日]所W，局部域Ω的光源颜色如下：
[0066] (3)
[0067] 式（3)中，P为常数，取值范围为4~ΙΟ,θΩΑ为局部域Ω的光源颜色，在一个局部域 Ω中光源颜色的各通道分量为单值;将局部域Ω的光源颜色6ΩΑ作为局部域中屯、像素点的 光源颜色θλ:
[006引 (斗）
[0069] 式(4)中，CA是入射光在水中的衰减系数，d(X)为景深，6Α是局部域中屯、像素点的光 源颜色，所述光源颜色ΘΑ的元素值中包含了图像Ια(χ)各通道的颜色衰减特征，馬是图像L· (X)的光源颜色，通过大量实验数据可知，馬为[0.9，1]之间的一个常数；
[0070] 步骤Ξ:利用局部域中屯、像素点的光源颜色6Α和图像^(Χ)的光源颜色瑪之间的颜 色衰减特性求出图像Ιλ( X)的RGBS通道透射率U:
[0071] (5)
[0072] 选择R通道的透射率tR作为待分块的透射率；
[0073] 步骤四：为方便将透射率图与原图像相对应，建立图像^(x)像素的索引index;与 此同时，为了保证尽可能的除去人工光源的影响，选择透射率图和索引的上半部分进行操 作，进一步讲，选择待分块的透射率tR上半部分中均值和标准差最小的部分进行循环分块 操作，循环4次后得到的透射率块，根据图像^(x)像素索引index,确定该透射率块在图像山 (X)中对应的图像块，通过求取该对应的图像块RGBS通道的均值得到该图像山^)的背景 光化,。〇;根据式(6)得到清晰图像JA(X):
[0074]
(6j
[0075] 实施例1:
[0076] 为了验证本发明提出算法的有效性，将本发明算法与化ade of Gray算法进行对 比，图2(a)是实施例1的原始图像。图2(b)是对图2(a)所示原始图像经过传统化ade of Gray算法获得的效果图像，图2(c)是对图2(a)所示原始图像经过本发明处理方法估计的光 源颜色中R通道分量，显然，本发明处理结果符合人们对透射率的认知，即：近景处透射率 大，远景处透射率小;散射程度弱处透射率大，散射严重处透射率小。图2(d)是对图2(a)所 示原始图像经过本发明处理方法获得的效果图像，根据图2(d)可W看出本发明算法明显去 除了图像中后向散射的影响，并且较好的保持了原图像的色调信息，更符合人们对水下图 像的认知经验。实验结果表明，Shade of Gray算法只能实现有限的颜色补偿功能，而本发 明提出的算法可W较好地补偿图像中各点的光源颜色。
[0077] 实施例2
[0078] 为客观评价本发明中所运用的局部SoG，使用文献[7]中提出的一种鲁棒的色偏检 测方法说明彩色图像色偏情况。计算的K值越大，表示图像色偏越严重。
[0079]
[0080] 其中，1116日]1_日，1116日]1_13分别表示Lab颜色空间中a，b两个分量的均值，]VI_a,M_b分别 表示a，b两个分量的平均差，为L分量的方差，Thres为阔值，H，W为图像的分别率。
[0081] 与此同时，使用Lab颜色空间的L分量计算图像的对比度C，C越大说明图像细节越 清晰。
[0082]
[0083] 其中，num表示L分量分块数目，Ni为第i个L分量块的像素数，Lbi(x)表示第i个L分 量块中像素点X的像素值，化1为第i个L分量块的均值。
[0084] 图3(a)是实施例2的一原始图像，其中，C= 13.48，Κ = 2.47;图3(b)是对图3(a)所 示原始图经过文献[引提出的使用一种结合暗通道先验与导向Ξ角双边滤波估计透射率的 方法获得的效果图像，其中，C=13.48，K = 2.47;图3(c)是对图3(a)所示原始图经过本发明 处理方法获得的效果图像，其中，C = 35.72，K = 1.69。
[0085] 图4(a)是实施例2的另一原始图像，其中，C=10.01，K = 2.44;图4(b)是对图4(a) 所示原始图经过文献[9]提出的利用暗通道先验得到一个类景深函数，并通过该景深函数 求得景深的方法获得的效果图像，其中，C=12.61，Κ=1.89;图4(c)是对图4(a)所示原始图 经过本发明处理方法获得的效果图像，其中，C = 20.64，K = 1.38。
[0086] 综上，由实施例2中两组图像可知，本发明图像清晰化处理方法在提高水下图像清 晰度的同时，减弱了原始图像中的色偏问题，较好的保持了水下图像的主色调，视觉效果更 加自然。从客观指标上来看，本发明方法也在图像对比度和色偏问题上优于文献[引和文献
[9]的算法。
[0087]尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方 式，上述的【具体实施方式】仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发 明的启示下，在不脱离本发明宗旨的情况下，还可W作出很多变形，运些均属于本发明的保 护之内。
【主权项】
1. 一种基于局部SoG的水下图像清晰化方法，其特征在于，包括以下步骤： 步骤一、输入水下图像为原图像I(x)，用该原图像I(x)的边界值进行边界扩充得到填 充后的图像Ιλ(χ); Ιλ(χ)=Ιωθ(λ)8(χ,λ)Ρ(λ)?λ (1) 式（1)中，ω表示整个可见光波长范围，λ为入射光波长，χ为像素点，e(A)表示入射光的 分布，S (X，λ)为图像L· (X)中的某一点对入射光的反射率，P (λ)表示相机对入射光的感光特 性； 步骤二、在该图像中取一个大小为Ν XΝ像素点的窗口，利用该窗口在图像Ιλ(X)的各个 通道上逐行的从左到右进行平移，每次移动一个像素形成一局部域Ω，估计每个局部域Ω 的光源颜色，步骤是： 设该图像IUx)的场景中所有物体表面的任意一个局部域Ω的平均反射是无色差的， 即：式⑵中，Ω表示图像Ιλ(χ)中某个局部域，k为[0，1]之间的一个常数； 所以，局部域Ω的光源颜色如下：式(3)中，p为常数，取值范围为4~10,θΩλ为局部域Ω的光源颜色，在一个局部域Ω中光 源颜色的各通道分量为单值;将局部域Ω的光源颜色ecu作为局部域中心像素点的光源颜 色θλ:式(4)中，(^是入射光在水中的衰减系数，d(x)为景深，以是局部域中心像素点的光源颜 色，所述光源颜色以的元素值中包含了图像Ιλ(χ)各通道的颜色衰减特征，馬是图像Ιλ(χ)的 光源颜色，设巧为常数； 步骤三:利用局部域中心像素点的光源颜色α和图像Ιλ(χ)的光源颜色毛之间的颜色衰 减特性求出图像Ιλ (X)的RGB三通道透射率U:选择R通道的透射率tR作为待分块的透射率； 步骤四：建立图像IUx)像素的索引index;与此同时，选择待分块的透射率tR上半部分 中均值和标准差最小的部分进行循环分块操作，循环4次后得到透射率块，根据图像Ιλ(χ) 像素索引index，确定该透射率块在图像Ιλ(X)中对应的图像块，通过求取该对应的图像块 RGB三通道的均值得到该图像Ιλ(χ)的背景光队。〇;根据式(6)得到清晰图像JUx):
【文档编号】G06T5/00GK105825481SQ201610137128
【公开日】2016年8月3日
【申请日】2016年3月9日
【发明人】杨爱萍, 曲畅, 郑佳, 王建
【申请人】天津大学