去除包含在静止图像中的雾的图像处理装置及其方法
【专利摘要】本发明公开了用于去除包含在静止图像中的雾的图像处理装置和方法。所述装置包括：雾亮度测量单元，所述雾亮度测量单元被构造成测量包含雾的图像中的雾亮度；透射量估计单元，所述透射量估计单元被构造成基于由所述图像的对比度和图像损失所导致的最终成本函数值来估计块单元透射量并且基于所述块单元透射量来估计像素单元透射量；以及图像恢复单元，所述图像恢复单元被构造成使用所述雾亮度和所述像素单元透射量来恢复所述图像。
【专利说明】去除包含在静止图像中的雾的图像处理装置及其方法
【技术领域】
[0001] 本公开内容在一个或更多个实施方式中涉及用于去除包含在静止图像中的雾的 图像处理装置和方法。更具体地，本公开内容涉及用于通过以下步骤来去除包含在静止图 像中的雾的图像处理装置和方法：基于各个块代表值来测量雾的亮度；基于由图像中的对 比度和图像损失所计算的最终成本函数值来估计按块（blockwise)透射；基于按块透射来 估计按像素（pixelwise)透射；以及通过使用雾亮度和按像素透射来重建图像。
【背景技术】
[0002] 雾是以冷凝液滴的形式漂浮的水蒸气的大气现象。有雾环境通常对不到1km的能 见度的视觉引起遮断。这样的有雾天气引入进而引起光的散射的特定水液滴。光的散射表 不当它与空中微粒碰撞时行进光的方向改变。光散射因光的波长和微粒尺寸而不同。
[0003] 光散射能够通常划分为瑞利（Rayleigh)散射和米氏（Mie)散射。瑞利散射在引起 散射的微粒的尺寸小于光的波长时适用，其中散射能量与波长的四次幂成反比。这由在空 气分子通过比红色使更多蓝色散射来使光散射时晴天里的天空的蓝色调举例说明。然而， 米氏散射理论在负责微粒的尺寸大于光的波长时适用于光散射。雾遵循米氏散射理论，因 为雾的微粒遍及可见光的400nm?700nm的波长具有和几个μπι至几十个μπι-样大的直 径。根据米氏散射理论，在大气中像水液滴这样的较大散射微粒情况下，散射的量不太受波 长影响以引起可见光区域中的所有光的更近散射（near-even scattering)。因此，当条件 是有雾的时，对象展示模糊图像。这时，生成称作空气光的新的光源。
[0004] 通过雾度失真的校正的图像质量改善可以解决能见度遮断并且锐化模糊图像。另 夕卜，这样的图像改善作为用于通过恢复由于雾而对字母、对象等导致的损坏信息而辨识主 体的预处理步骤是重要的。
[0005] 常规去雾技术可以粗略地分类为非模型方法和模型方法。
[0006] 前者的示例可以包括直方图均衡。直方图均衡是用于分析图像的直方图以调整分 布的方法。直方图均衡容易实现并且提供改善的效果，但是不适合于具有非均匀深度的有 雾图像。另外，直方图均衡适合于改善一般图像质量但是没有令人满意地反映雾对图像的 影响的特性。对于包含厚雾的图像，因此，改善是无意义的。
[0007] 后者是对光由于雾而导致的散射现象对图像的影响进行建模。首先，已公开了用 于比较在不同天气下获得的两个或更多个图像以估计和校正场景深度从而校正由于雾而 导致的失真的技术。然而，在这个技术中，在不同天气之下的至少两个图像的输入是需要 的。对于实时实施方式，因此，有必要监测天气改变并且向其提供相当的图像存储空间。另 夕卜，难以确定存储周期，因为不能够估计天气改变循环。此外，有必要捕获没有误差的相同 场景。因此，移动对象在雾度失真的程度的估计期间频繁地引起误差。
[0008] 接下来，公开了一种用于通过估计并且减去图像的像素值由于雾而导致的改变量 来校正由于雾而导致的失真的技术。这个技术基于雾是均匀的假设，这仅适用于均匀且薄 的雾。然而，大多数真实世界的雾往往是不均匀的。甚至对于均匀雾而言，这个方法也具有 缺点，因为雾影响的程度取决于相机与对象之间的距离。
[0009] 另外，常规图像对比度改善方法（诸如直方图均衡或伽玛校正）可以遍及图像改 善对比度。然而，图像对比度难以在具有因图像的深度信息而不同地降低的对比度的有雾 图像中改善。
【发明内容】
[0010] 技术问题
[0011] 因此，本公开内容已被做出努力有效地解决以上描述的局限性，并且提供用于去 除包含在静止图像中的雾以能够从包含雾的静止图像有效地估计和去除雾成分从而改善 图像质量的图像处理装置和方法。
[0012] 另外，本公开内容提供了用于去除包含在静止图像中的雾以能够基于图像的深度 信息不同地改善对比度的图像处理装置和方法。
[0013] 技术方案
[0014] 根据本公开内容的一些实施方式，用于去除包含在静止图像中的雾的图像处理装 置包括雾亮度测量器、透射估计器和图像重建器。雾亮度测量器被构造成测量包含雾的图 像中的雾亮度。透射估计器被构造成基于由图像的对比度和图像损失所计算的最终成本函 数值来估计按块透射并且构造成通过使用按块透射来估计按像素透射。并且图像重建器被 构造成通过使用雾亮度和按像素透射来重建图像。
[0015] 雾亮度测量器可以包括图像分割模块、代表值计算模块和像素值选择模块。图像 分割模块被构造成将图像分割为预定第一数目的块。代表值计算模块被构造成计算每块的 像素值的平均值和标准偏差并且构造成通过使用在各个块中的平均值和标准偏差方面的 差来计算每块的代表值。像素值选择模块被构造成选择在块中的具有为各个块所获得的代 表值中的最大一个代表值的块，并且，如果所选块具有等于或小于预设面积的面积，则选择 所选块的最亮像素值作为雾亮度。
[0016] 透射估计器可以包括按块透射估计器和按像素透射估计器。按块透射估计器被构 造成将图像分割为预定第二数目的块并且构造成通过使用由每块的对比度和图像损失所 计算的最终成本函数来估计按块透射。按像素透射估计器被构造成通过对保边滤波器应用 按块透射将按块透射转换为按像素透射。
[0017] 按块透射估计器可以包括图像分割模块、成本函数计算模块、最终成本函数计算 模块和按块透射检测模块。图像分割模块被构造成将图像分割为预定第二数目的块。成本 函数计算模块被构造成在按预定比率改变预定范围的透射的同时计算每块的对比度和图 像损失。最终成本函数计算模块被构造成通过使用由对比度和图像损失所生成的最终成本 函数值来计算每块的最终成本函数值。并且按块透射检测模块被构造成检测用于从计算的 最终成本函数值生成最小最终成本函数值的透射作为按块透射。
[0018] 成本函数计算模块可以将从使用各个像素的亮度值所生成的离差乘以-1来获得 对比度（E c)。
[0019] 另外，如果按块透射收敛于'0'，则成本函数计算模块可以通过使用具有小于'0' 或大于'255'的像素值的区域的面积来计算图像损失。
[0020] 最终成本函数计算模块可以生成包括对比度和图像损失的最终成本函数，并且在 改变在0与1之间的任何值作为透射的同时计算最终成本函数值。
[0021] 按像素透射估计器可以获得和定义每块的像素值的平均值作为近似透射，计算用 于生成按块透射与近似透射之间的最小差的可变值，并且将基于所计算的可变值的近似透 射估计作为按像素透射。
[0022] 根据本公开内容的另一方面，由图像处理装置执行以用于去雾和重建包含雾的静 止图像的方法包括：(a)测量包含雾的图像中的雾亮度；(b)基于由图像的对比度和图像损 失所计算的最终成本函数值来估计按块透射并且通过使用按块透射来估计按像素透射；以 及（c)在通过使用雾亮度和按像素透射从图像中去除雾之后重建图像。
[0023] 雾亮度的（a)测量可以包括将图像分割为预定第一数目的块；针对分割块中的每 一个块来计算像素值的平均值和标准偏差；通过使用平均值和标准偏差来计算每块的代表 值；选择在块中的具有为各个块所计算的代表值中的最大一个代表值的块；确定所选块是 否具有等于或小于预设面积的面积；以及在确定所选块的面积等于或小于预设面积后选择 并且估计所选块的最亮像素值作为雾亮度。
[0024] 按块透射的（b)估计可以包括将图像分割为预定第二数目的块并且通过使用由 每块的对比度和图像损失所计算的最终成本函数来估计按块透射；以及通过对保边滤波器 应用按块透射将按块透射转换为按像素透射。
[0025] 按块透射的估计可以包括将图像分割为预定第二数目的块；在按预定比率改变预 定范围的透射的同时计算每块的对比度和图像损失；通过使用由对比度和图像损失所生成 的最终成本函数来计算每块的最终成本函数值；以及检测用于从计算的最终成本函数值生 成最小最终成本函数值的透射作为按块透射。
[0026] 按块透射的转换可以包括计算和定义每块的像素值的平均值作为近似透射；计算 用于生成按块透射与近似透射之间的最小差的可变值；以及将基于所计算的可变值的近似 透射估计作为按像素透射。
[0027] 有益效果
[0028] 根据如以上所描述的本公开内容，可以从静止图像有效地估计和去除雾成分，从 而改善图像质量。
[0029] 另外，可以基于图像的深度信息不同地改善对比度。
[0030] 另外，每像素的雾的浓度可以通过透射的计算来估计并且可以按照像素不同地去 除雾，从而从图像中有效地去除雾，而不管雾如何分布在图像中。
【专利附图】
【附图说明】
[0031] 图1是根据至少一个实施方式的用于去除包含在静止图像中的雾的图像处理装 置的构造的框图。
[0032] 图2是图1中所示出的雾亮度测量器的详细构造的框图。
[0033] 图3是图1中所示出的按块透射估计器的详细构造的框图。
[0034] 图4是用于例示图像损失最小化的构思的图。
[0035] 图5是由根据至少一个实施方式的图像处理装置所执行的用于重建包含雾的静 止图像的方法的流程图。
[0036] 图6是示出了根据至少一个实施方式在保边滤波器应用情况下的示例画面的图。
[0037] 图7是由根据至少一个实施方式的图像处理装置所执行的用于测量雾亮度的方 法的流程图。
[0038] 图8是由根据至少一个实施方式的图像处理装置所执行的用于检测按块透射的 方法的流程图。
【具体实施方式】
[0039] 在下文中，将参照附图详细地描述本公开内容的至少一个实施方式。
[0040] 在本公开内容中，雾可以是大气薄雾或浓雾。另选地，雾可以是黄沙、灰尘或与薄 雾或浓雾相似的空中物质。
[0041] 图像处理装置使用等式1重建包含雾的图像。
[0042] Ip = Jptp+(l-tp) * A 等式 1
[0043] 这里，Ip是在像素位置p处获得的图像（受雾影响的图像）的亮度值，Jp是在像 素位置P处所获得的图像（不受雾影响的图像）的原始亮度值，t p是在像素位置P处所获 得的图像的透射（深度信息和图像与对应点之间的距离），而A是雾亮度值。
[0044] 这时，图像处理装置考虑对比度和可能在改善对比度时引发的图像损失^基于成 本E。来生成成本函数，计算最小成本函数由其生成的透射't'，并且通过使用等式1来重建 包含雾的图像。
[0045] 在下文中，将参照附图描述由图像处理装置使用等式1所执行的包含雾的静止图 像的重建。
[0046] 图1是根据至少一个实施方式的用于去除包含在静止图像中的雾的图像处理装 置的构造的框图。图2是图1中所示出的雾亮度测量器的详细构造的框图。图3是图1中 所示出的按块透射估计器的详细构造的框图。图4是用于例示图像损失最小化的构思的 图。
[0047] 参照图1，用于去除包括在静止图像中的雾的图像处理装置100包括雾亮度测量 器110、按块透射估计器120、按像素透射估计器130和图像重建器140。
[0048] 雾亮度测量器110将包含雾的图像分割为预定数目的块以为各个块获得代表值， 选择具有所获得的代表值中的最大一个的块，并且重复以将所选块分割为预定数目的块直 到所选块的面积变得等于或小于预设面积为止并且以获得代表值以及从而获得雾亮度。包 含雾的图像可以是包括雾的静止图像。
[0049] 为了获得雾亮度，假定了"雾是从太阳到达的大气光进而具有非常高的亮度值"和 "受雾影响的像素值近似雾亮度"。另外，参照等式1，可以看到获得的图像受雾影响与透射 (深度信息和图像与对象之间的距离）成比例。因此，因为受雾大大地影响的区域的大多数 值分布在雾度值附近，所以标准偏差减小。
[0050] 当组合上述两个假设时，可以看到雾亮度值在图像中具有非常高的亮度值并且能 够从受雾最大影响的区域获得。一般而言，当可以选择导致问题的白色对象时，雾度可以由 最亮像素值选择。作为解决方案，块逐渐减小至然后被检测到的较小尺寸，以便于将候选雾 亮度值缩小至最低（具有预设面积的块），其中大多数分量像素值能够被视为受雾亮度值 影响并且然后最亮像素值能够不考虑可能的误差而被选择为雾亮度值。因此，雾亮度测量 器110可以选择最亮像素值作为雾亮度值。
[0051] 参照图2,雾亮度测量器110包括图像分割模块112、代表值计算模块114和像素 值选择模块116。
[0052] 图像分割模块112将包含雾的图像分割为预定数目的块。预定数目的块可以是四 个。
[0053] 为了为各个块获得代表值，图像分割模块112使用各个块中的像素值的标准偏差 和平均亮度，这两者可以取决于各个快的尺寸而不同。例如，为了通过使用具有尺寸20x20 的块来获得代表值，代表值可以被选择为在存在明亮对象时为高的，所述明亮对象诸如无 雾区域中的白色建筑物或白色车辆。增加块的尺寸将渲染待选自更多雾侧的代表值同时使 雾亮度值变得难以在块中找到。由于这个原因，通过将图像分割为块，块逐渐减小至较小尺 寸以缩小候选雾亮度值。
[0054] 代表值计算模块114为由图像分割模块112所分割的块中的每一个获得像素的平 均值和标准偏差，并且基于在各个块中的平均值和标准偏差的差来获得代表值。
[0055] 也就是说，雾亮度值在图像中具有非常高的亮度值并且能够从受雾影响最大的区 域获得。因为受雾大大地影响的区域的大多数值分布在雾度值附近，所以标准偏差减小。为 了获得雾亮度值，因此，代表值计算模块114通过使用每一个块的平均值和标准偏差来计 算代表值。
[0056] 像素值选择模块116从为各个块所获得的那些代表值中选择具有最大代表值的 块，并且，当所选块的面积等于或小于预设面积时，选择块的最亮像素值作为雾亮度。
[0057] 当候选雾亮度值缩小至最终值（具有预设面积的块）时，块中的大多数像素值能 够被视为受雾亮度值影响，这即便在选择最亮像素值作为雾亮度值时也不考虑可能的误 差。因此，当块面积变得等于预设面积或更小时，像素值选择模块116选择最亮像素值作为 雾亮度值。
[0058] 像素值选择模块116选择具有最大代表值的块并且确定所选块的面积是否等于 或小于预设面积。块的预设面积是块的长度乘宽度，其可以是例如200。在确定所选块的面 积变成等于或小于200后，像素值选择模块116选择所选块的最亮像素值并且估计所选像 素值作为雾亮度。
[0059] 在确定所选块的面积大于200后，像素值选择模块116将所选块分割为预定数目 的较小块以为各个块获得代表值，选择在块中的具有最大代表值的一个块，并且确定所选 块的面积是否等于或小于预设面积，这被重复。当这个过程选择具有等于或小于预设面积 的面积的块时，像素值选择模块116估计所选块的最亮像素值作为雾亮度。
[0060] 返回参照图1，按块透射估计器120将包含雾的图像分割为预定数目的块，获得每 块的对比度和每块的图像损失，并且通过使用由对比度和图像损失所计算的最终成本函数 来估计按块透射。
[0061] 参照图3,按块透射估计器120包括图像分割模块122、成本函数计算模块124、最 终成本函数计算模块126和按块透射检测模块128。
[0062] 图像分割模块122将包含雾的图像分割为预定数目的块。如果各个块的尺寸太 小，则对于图像分割模块122来说难以估计透射。由于这个原因，各个块的最小尺寸被设定 为16x16或更多。可以任意地确定块的数目。图像分割被执行以考虑到非均匀雾的效果来 补偿雾成分。可以考虑到硬件复杂性适当地确定基于图像分割的块的数目。
[0063] 另外，等式1用来重建图像。仅关于由雾亮度测量器10所获得的雾亮度值的信息 留下未确定问题，其中等式在针对各个像素计算透射％和原始亮度值1时由未知量过支 配。在块中的透射％是均匀的假设下，因此，对于B(块中像素的数目）个等式，未知量的 数目可以大大地减小至B+1。图像考虑到局部深度信息被分割，因为假定为具有单个均匀透 射't'的整个未分图像根据图像深度信息排除针对图像劣化的自适应补偿。
[0064] 成本函数计算模块124在按预定比率（ratio)改变预定范围的透射的同时针对由 图像分割模块122所分割的块中的每一个块来计算对比度和图像损失。
[0065] 为了计算透射't'，需要满足以下条件：（1)基于透射't'所确定的输出图像对比 度为大的和（2)基于透射't'所确定的输出图像损失为最低的。
[0066] 因此，成本函数计算模块124考虑到考虑对比度的成本E。和可能在改善对比度时 引发的图像损失EL来生成成本函数，并且通过使用各个成本函数来计算对比度和图像损 失。
[0067] 为此目的，成本函数计算模块124包括用于获得对比度的对比度计算模块124a和 用于获得图像损失的图像损失计算模块124b。
[0068] 对比度计算模块124a通过像由等式2所表示的那样使用基于各个像素的亮度值 的离差S 2来获得对比度Ec。
[0069]
【权利要求】
1. 一种用于去除包含在静止图像中的雾的图像处理装置，所述装置包括： 雾亮度测量器，所述雾亮度测量器被构造成测量包含雾的图像中的雾亮度； 透射估计器，所述透射估计器被构造成基于由所述图像的对比度和图像损失所计算的 最终成本函数值来估计按块透射并且构造成通过使用所述按块透射来估计按像素透射；以 及 图像重建器，所述图像重建器被构造成通过使用所述雾亮度和所述按像素透射来重建 所述图像。
2. 根据权利要求1所述的图像处理装置，其中，所述雾亮度测量器包括： 图像分割模块，所述图像分割模块被构造成将所述图像分割为预定第一数目的块； 代表值计算模块，所述代表值计算模块被构造成计算每块的像素值的平均值和标准偏 差并且构造成通过使用在各个块中的平均值和标准偏差方面的差来计算每块的代表值；以 及 像素值选择模块，所述像素值选择模块被构造成选择在所述块中的具有在为各个块所 获得的所述代表值中的最大代表值的块，并且，如果所选块具有等于或小于预设面积的面 积，则选择所选块的最亮像素值作为所述雾亮度。
3. 根据权利要求1所述的图像处理装置，其中，所述透射估计器包括： 按块透射估计器，所述按块透射估计器被构造成将所述图像分割为预定第二数目的块 并且构造成通过使用由每块的对比度和图像损失所计算的最终成本函数来估计按块透射； 以及 按像素透射估计器，所述按像素透射估计器被构造成通过对保边滤波器应用所述按块 透射将所述按块透射转换为按像素透射。
4. 根据权利要求3所述的图像处理装置，其中，所述按块透射估计器包括： 图像分割模块，所述图像分割模块被构造成将所述图像分割为所述预定第二数目的 块； 成本函数计算模块，所述成本函数计算模块被构造成在按预定比率改变预定范围的透 射的同时计算每块的对比度和图像损失； 最终成本函数计算模块，所述最终成本函数计算模块被构造成通过使用由所述对比度 和所述图像损失所生成的最终成本函数值来计算每块的最终成本函数值；以及 按块透射检测模块，所述按块透射检测模块被构造成检测用于从计算的最终成本函数 值生成最小最终成本函数值的透射作为按块透射。
5. 根据权利要求4所述的图像处理装置，其中，所述成本函数计算模块将从使用每一 个像素的亮度值所生成的离差乘以-1以获得对比度（E c)。
6. 根据权利要求4所述的图像处理装置，其中，如果所述按块透射收敛于'0'，则所述 成本函数计算模块通过使用具有小于'0'或大于'255'的像素值的区域的面积来计算所述 图像损失。
7. 根据权利要求4所述的图像处理装置，其中，所述最终成本函数计算模块生成包括 所述对比度和所述图像损失的最终成本函数，并且在将〇与1之间的任何值改变为透射的 同时计算最终成本函数值。
8. 根据权利要求3所述的图像处理装置，其中，所述按像素透射估计器获得每块的像 素值的平均值并将每块的像素值的平均值定义作为近似透射，计算用于生成所述按块透射 与所述近似透射之间的最小差的可变值，并且将基于所计算的可变值的近似透射估计作为 按像素透射。
9. 一种由图像处理装置执行以用于去雾和重建包含雾的静止图像的方法，所述方法包 括以下步骤： (a) 测量包含雾的图像中的雾亮度； (b) 基于由所述图像的对比度和图像损失所计算的最终成本函数值来估计按块透射并 且通过使用所述按块透射来估计按像素透射；以及 (c) 在通过使用所述雾亮度值和所述按像素透射从所述图像中去除所述雾之后，重建 所述图像。
10. 根据权利要求9所述的方法，其中，测量所述雾亮度的步骤（a)包括： 将所述图像分割为预定第一数目的块； 针对分割块中的每一个块来计算像素值的平均值和标准偏差； 通过使用所述平均值和标准偏差来计算每块的代表值； 选择在所述块中的具有为各个块所计算的所述代表值中的最大代表值的块； 确定所选块是否具有等于或小于预设面积的面积；以及 在确定所选块的面积等于或小于所述预设面积后，选择并且估计所选块的最亮像素值 作为所述雾亮度。
11. 根据权利要求9所述的方法，其中，估计所述按块透射的步骤（b)包括： 将所述图像分割为预定第二数目的块并且通过使用由每块的对比度和图像损失所计 算的最终成本函数来估计按块透射；以及 通过对保边滤波器应用所述按块透射将所述按块透射转换为按像素透射。
12. 根据权利要求11所述的方法，其中，估计所述按块透射的步骤包括： 将所述图像分割为预定第二数目的块； 在按预定比率改变预定范围的透射的同时计算每块的对比度和图像损失； 通过使用由所述对比度和所述图像损失所生成的最终成本函数来计算每块的最终成 本函数值；以及 检测用于从计算的最终成本函数值生成最小最终成本函数值的透射作为按块透射。
13. 根据权利要求11所述的方法，其中，转换所述按块透射的步骤包括： 计算并且定义每块的像素值的平均值作为近似透射； 计算用于生成所述按块透射与所述近似透射之间的最小差的可变值；以及 将基于所计算的可变值的近似透射估计作为所述按像素透射。
【文档编号】G06T5/00GK104272347SQ201380023359
【公开日】2015年1月7日 申请日期:2013年5月3日 优先权日:2012年5月3日
【发明者】朴镕燮, 李东学, 金昌洙, 金镇焕, 张源东 申请人:Sk电信有限公司, 高丽大学校产学协力团