一种矿井下高清图像去粉尘烟雾快速恢复方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种矿井下高清图像去粉尘烟雾快速恢复方法。


背景技术：

2.矿井下图像受到粉尘、烟雾、低照度和光照分布不均等影响，造成图像模糊、图像特征淹没、图像质量下降等特点。其中，不同粉尘在尺寸、形状及成分上相差很大，但不论哪种粉尘烟雾都会对入射光线产生散射与吸收作用，从而弱化图像的色彩及对比度，造成图像退化，导致许多有用的特征被遮盖，阻碍依赖图像特征识别的机器视觉在粉尘环境中推广应用。
3.图像去雾的研究算法有很多，但是主要分为两类：基于图像增强的去雾算法和基于图像复原的去雾算法。在实际应用中，如果处理高分辨率图像去粉尘烟雾时，采用基于暗通道先验的图像增强算法去除图像粉尘烟雾处理时，图像处理运算时间大幅度增加，随着相机分辨率的提高，导致原有去粉尘烟雾计算处理流程不适用、不实用、无法用。目前，暗原色先验方法是一种统计结果，主要是对大量户外无雾照片的统计结果，如果目标场景内存在粉尘、烟雾及光线昏暗的情况，那么由于前提条件不成立，将无法获得满意的效果。
4.在实际应用中，如果处理高分辨率图像(高清图960p以上)去粉尘烟雾时，采用基于暗通道先验(暗原色先验) 的图像增强算法去除图像粉尘烟雾处理时，图像处理运算时间大幅度增加，随着相机分辨率的提高，导致原有去粉尘烟雾计算处理流程不适用、不实用、无法用。
5.传统边缘检测方法为利用一阶或者二阶微分算子进行检测，如sobel、prewitt、canny、log等，这些微分算子只考虑局部的急剧变化，尤其是颜色、亮度、梯度的变化，以此来检测边缘，存在低层特征难以反映，较为复杂的场景，如物体存在内部纹理、图像中存在背景干扰等情景效果不好的问题。


技术实现要素：

6.本发明提供一种矿井下高清图像去粉尘烟雾快速恢复方法，有效改善了暗原色先验理论算法在高清图像的运算效率，强化了粉尘烟雾图像部分边缘特征，提高了高清图像去粉尘烟雾处理的实际工作效果。
7.本发明通过下述技术方案实现：一种矿井下高清图像去粉尘烟雾快速恢复方法，包括：获取待处理图像；计算待处理图像的暗原色图像生成粗透射率图；利用hed边缘检测算法对待处理图像进行图像边缘处理，生成边缘加强引导图；将所述边缘加强引导图和所述粗透射率图进行叠加，生成边缘强化透射率图；利用尘雾退化模型对所述边缘强化透射率图进行图像恢复，生成去粉尘烟雾图
像。
8.可选地，所述计算待处理图像的暗原色图像生成粗透射率图包括：对所述待处理图像进行下采样生成缩略图；计算所述缩略图的暗通道图像；对所述暗通道图像进行插值放大复原。
9.可选地，所述利用hed边缘检测算法对待处理图像进行图像边缘处理，生成边缘加强引导图包括：获取待处理图像的灰度图；利用hed边缘检测算法对所述灰度图进行计算生成边缘图；利用引导滤波公式以边缘图作为引导图对所述灰度图进行引导滤波获得边缘加强引导图。
10.可选地，所述将所述边缘加强引导图和所述粗透射率图进行叠加，生成边缘强化透射率图包括：根据边缘加强引导图中每个像素点的灰度计算权值，利用相应权值对粗透射率图中边缘像素点的 r、g、b各通道分量值进行加权放大。
11.可选地，权值计算公式为：（公式一）其中，为灰度图像x，y点的灰度值；所述利用相应权值对粗透射率图中边缘像素点的 r、g、b各通道分量值进行加权放大的公式为：（公式二）其中,是彩色图像i的坐标为x，y的b通道分量值，是彩色图像i的坐标为x，y的g通道分量值是彩色图像i的坐标为x，y的r通道分量值。
12.可选地，所述尘雾退化模型的表达式为：（公式三）其中，i(x)代表有雾图像，j(x)为无雾图像，x是图像像素的空间坐标，a是大气光强，表示坐标空间x处的透射率，，r表示大气散射系数，d代表景物深度，t0代表透射率下限值。
13.可选地，所述对所述待处理图像进行下采样生成缩略图包括将原图缩小至1/16；
所述计算所述缩略图的暗通道图像包括依据公式四求取缩小后图像的暗通道图；（公式四）其中，ω(x)表示以像素x为中心的一个矩形窗口，c表示ｒ/g /b三个通道，a为大气光强，i为有雾图像， 为矩形窗口的像素自变量；所述对所述暗通道图像进行插值放大复原包括采用双三次插值算法进行放大复原。
14.可选地，所述计算所述缩略图的暗通道图像还包括根据暗通道图像计算透射率，透射率计算公式如下：（公式五）其中，为透射率，i为有雾图像，c表示r/g/b三个通道，ω(x)表示以像素x为中心的一个矩形窗口；a为大气光强，w为取值范围在［0，1］之间的因子；根据透射率公式计算得到粗透射率图。
15.可选地，所述大气光强a的估计方法为：获取待处理图像的暗原色图像；提取暗原色图像中亮度值大于第一阈值的像素；在这些位置中寻找最高亮的值或最小值或用这部分像素亮度的平均值作为大气光强a。
16.可选地，所述引导滤波公式为：（公式六）其中，q是输出图的像素值，i，k是图像像素索引，a和b是窗口中心为k点时的线性函数系数，是所有以k为中心，包含像素i的窗口。
17.本发明与现有技术相比，具有如下的优点和有益效果：本技术方案在进行矿井下高清图像去粉尘烟雾恢复过程中，通过缩放图像求暗原色图像，利用双三次插值放大复原图像，获取粗透射图；同时并发使用hed网络算法对原图像进行获取图像边缘处理，从而制作出边缘强化引导图；利用边缘强化引导图细化粗透射图，获取边缘强化透射图；利用尘雾退化模型公式恢复图像，获取去粉尘烟雾图像。通过缩放插值方法解决暗原色先验原理在大分辨率图像上出现运算时间大幅度增加问题，提出一种结合缩放插值、hed网络算法图像边缘强化和引导滤波的高分辨率图像快速去粉尘烟雾处理方法，有效改善了暗原色先验理论算法在高清图像的运算效率，强化了粉尘烟雾图像部分边缘特征，提高了高清图像去粉尘烟雾处理的实际工作效果。
附图说明
18.图1本发明一种矿井下高清图像去粉尘烟雾快速恢复方法第一种实施例的流程
图；图2本发明一种矿井下高清图像去粉尘烟雾快速恢复方法第二种实施例的流程图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
20.实施例1：如图1所示，一种矿井下高清图像去粉尘烟雾快速恢复方法，包括：s1、获取待处理图像；s2、计算待处理图像的暗原色图像生成粗透射率图；s3、利用hed边缘检测算法对待处理图像进行图像边缘处理，生成边缘加强引导图；s4、将所述边缘加强引导图和所述粗透射率图进行叠加，生成边缘强化透射率图；s5、利用尘雾退化模型对所述边缘强化透射率图进行图像恢复，生成去粉尘烟雾图像。
21.本实施例主要针对矿井下产生的粉尘烟雾，由于粉尘烟雾对光线的影响，会弱化图像的色彩及对比度，造成图像退化，从而影响机器视觉对图像特征的识别。
21.在尘雾环境下，通常使用大气散射模型来描述图像，但在实际使用中，当光学厚度大于0.1时，粉尘散射就会给图像造成影响，大于1时，大气散射模型定理不适用，这里使用新的粉尘环境下的尘雾退化模型。
22.鉴于粉尘多散射描述复杂性，采用一级多散射方法近似处理：（1）式中：i(x)为观测图像即尘雾图像，x为二维空间坐标值，j(x)为场景反射强度即无雾图像，a是大气光强（即背景光值），t(x)是透射率。
23.经处理变换为：（2）由公式(2)可知，当透射率t(x)为0时，无雾图像无法恢复，因此将公式(3)改写后，最终得到尘雾退化模型的表达式为：（公式三）其中，i(x)代表有雾图像，j(x)为无雾图像，x是图像像素的空间坐标，a是大气光强，表示坐标空间x处的透射率，，r表示大气散射系数，d代表景物深度，t0代表透射率下限值，一般可取0.1，在该模型下，图像恢复的效果更好。
24.其中，所述大气光强a的估计方法为：获取待处理图像的暗原色图像；提取暗原色图像中亮度值大于第一阈值的像素；在这些位置中寻找最高亮的值或最小值或用这部分像素亮度的平均值作为大气光强a。
25.在煤矿环境中有部分灯光照明存在高亮区域或者灯光反射造成的小块高亮区，环境光值估算使用常规方法，需要设置环境光值的最高限定值，否则会出现偏色，本实施例中设定的大气光强a最高设定为220。
26.优选地，所述引导滤波公式为：（公式六）其中，q是输出图的像素值，i，k是图像像素索引，a和b是窗口中心为k点时的线性函数系数，是所有以k为中心，包含像素i的窗口。
27.本技术采用整体嵌套边缘检测算法hed（holistically-nested edge detection）来获取图像边缘，hed网络是用于边缘检测的一种性能较好的深度学习网络，而且hed对整幅图像进行操作，为高层级信息的获取提供了便利；hed具有多尺度(multi-scale)和多层级(multi-level)特征，通过真值(ground truth) 的映射，在卷积层主干网络上插入多个侧边输出层，在侧边输出层上进行深度监督(deep supervision)，将最终的结果和不同的层连接起来，就可以在不同的尺度得到对应抽象程度的边缘。本技术对图像增强算法的处理运算速度进行了进一步的优化。
28.如图2所示，计算待处理图像的暗原色图像生成粗透射率图包括：对所述待处理图像进行下采样生成缩略图；计算所述缩略图的暗通道图像，具体的，可以依据公式四求取缩小后图像的暗通道图；（公式四）其中，ω(x)表示以像素x为中心的一个矩形窗口，c表示ｒ/g /b三个通道，a为大气光强，i为有雾图像，为矩形窗口的像素自变量。
29.对所述暗通道图像进行插值放大复原，具体的，可以采用双三次插值算法进行放大复原。
30.利用hed边缘检测算法对待处理图像进行图像边缘处理，生成边缘加强引导图包括：获取待处理图像的灰度图；利用hed边缘检测算法对所述灰度图进行计算生成边缘图；利用引导滤波公式以边缘图作为引导图对所述灰度图进行引导滤波获得边缘加强引导图。
31.所述将所述边缘加强引导图和所述粗透射率图进行叠加，生成边缘强化透射率图包括：根据边缘加强引导图中每个像素点的灰度计算权值，利用相应权值对粗透射率图中边缘像素点的 r、g、b各通道分量值进行加权放大。
32.可选地，权值计算公式为：（公式一）其中，为灰度图像x，y点的灰度值；所述利用相应权值对粗透射率图中边缘像素点的 r、g、b各通道分量值进行加权放大的公式为：（公式二）其中,是彩色图像i的坐标为x，y的b通道分量值，是彩色图像i的坐标为x，y的g通道分量值是彩色图像i的坐标为x，y的r通道分量值。
33.所述计算所述缩略图的暗通道图像还包括根据暗通道图像计算透射率，透射率计算公式如下：（公式五）其中，为透射率，i为有雾图像，c表示r/g/b三个通道，ω(x)表示以像素x为中心的一个矩形窗口；a为大气光强，w为取值范围在［0，1］之间的因子；根据透射率公式计算得到粗透射率图。
34.在实际处理过程中，发现处理高分辨率图像（高清图960p以上）时，运算时间大幅度增加。经研究发现，在求窗口暗通道值计算过程中，在大图像上暗原色窗口迭代计算量大幅度增长所导致，这个问题严重影响暗原色先验理论算法在高清图像上的实用性。故本技术为了提高暗原色图获取速度，利用缩放法降低采样率的办法进行处理，将原图缩放至1/16，并采用双三次插值算法进行放大复原。通过缩放插值方法解决暗原色先验原理在大分辨率图像上出现运算时间大幅度增加问题，能有效在图像处理上减少运算时间，提高图像处理方法的实用性。另一方面，利用缩放插值结合hed网络算法图像边缘强化和引导滤波的高分辨率图像快速去粉尘烟雾处理方法，强化了粉尘烟雾图像部分边缘特征，提高了高清图像去粉尘烟雾处理的实际工作效果。
35.随着矿产科学开采理论发展，以无人化、智能化为特点的智能开采不断走向实践。此进程中，作为智能化开采核心技术之一的图像处理技术不断在井下推广和扩展。但是，矿
井下的低光照、高矿尘、复杂的电磁干扰环境，导致井下采集图像对比度低、噪声大，有时甚至出现雾气和矿尘散射模糊。矿井下图像的上述特征，严重阻碍了以图像处理技术为核心的智能检测、智能感知技术的推广应用。
36.同时高清相机和摄像机监控设备的大量应用，有大量高清图片需要进一步的处理，因数据处理量大，导致图像增强去粉尘烟雾流程花费时间过多，甚至达到不可用地步，基于上述行业背景，本技术提供高清图像去粉尘烟雾快速恢复方法及系统。系统至少可以包括服务器和终端。本技术实施例中，所述服务器增强装置服务器可以包括独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
37.本公开实施例中，所述终端可以包括图像识别设备、智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实 (augmented reality，ar) /虚拟现实 (virtual reality，vr)设备、智能可穿戴设备等类型的实体设备。实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本公开实施例中终端上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、windows等。
38.本说明书实施例中，上述终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术对此不作限定。所述终端可以用于提供面向用户的图像增强去粉尘服务。具体的，终端可以基于服务器的图像增强去粉尘烟雾模型实现图像增强处理。需要说明的是，本公开实施例中，终端可以将待增强图像发送至服务器，在服务器中实现待增强图像的去粉尘烟雾恢复处理。此外，在实际应用中，图像增强去粉尘烟雾模型的处理也可以在终端中实现，本公开实施例中，优选在服务器中实现图像增强去粉尘烟雾模型的处理，以便减轻终端的数据处理压力，改善面向用户的终端的设备性能。
39.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
40.本发明是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
41.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
42.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
43.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。