基于bp神经网络的单一图像去雾方法及装置制造方法
【专利摘要】本发明提供一种基于BP神经网络的单一图像去雾方法及装置，该方法包括以下步骤：获取无雾图像信息并计算得到对应的有雾图像；结合有雾图像像素点的RGB值作为输入以及有雾图像像素点的场景深度作为输出，构造BP神经网络模型并生成训练后的BP神经网络模型中有雾图像像素值和深度值之间的映射关系；根据该映射关系，将待去雾的有雾图像输入训练后的BP神经网络模型，计算得到待去雾的有雾图像对应的深度图；根据该深度图计算得到去雾后的无雾图像。通过本发明能够有效提高图像中的天空区域和白色物体区域的去雾效果，获得更为清晰的去雾图像。
【专利说明】基于BP神经网络的单一图像去雾方法及装置
【技术领域】
[0001] 本发明设及计算机视觉领域，特别是设及一种基于BP神经网络的单一图像去雾 方法及装置。
【背景技术】
[0002] 在雾、霸等恶劣的天气条件下，大气中存在着较多的水滴或尘粒，致使光在大气中 传播的过程当中被吸收或发生散射，因此照射在物体表面的光线反射后，其能量不断衰减。 此外，环境光在粒子散射的作用下将会形成空气光。在该种情况下，成像设备在吸收衰减后 的反射光的同时，也吸收了大量的空气光。在衰减和大气光的共同作用下，户外拍摄所得的 图像往往模糊不清，对比度较低，且图像的观赏性丧失。遥感分析、航空摄影、视频监控等多 个领域依赖于户外图像的视觉系统性能急剧下降，甚至无法正常运作。因此，对雾天降质图 像进行清晰化处理具有极其重要的意义。
[0003] 目前，基于大气物理模型的去雾方法是单一有雾图像去雾处理的主流方法，根据 大气散射模型W及特定的先验信息，对有雾图像中的景物进行复原，其中暗原色先验去雾 方法是最为流形的方法。
[0004] 虽然该种方法在大多数情况下能够取得较为理想的去雾效果，但是由于图像中的 天空区域和白色物体区域不存在暗原色先验，实际上对于图像中的大片天空区域，W及比 窗口尺寸更大的大块白色区域，复原后的图像像素值明显偏低，严重降低了去雾效果，因此 不适用于存在大块天空区域或大块白色区域的户外有雾图像。
[0005] BP神经网络炬ack Propagation Neural Network)是指基于误差反向传播方法的 多层前向神经网络，BP神经网络具有良好的非线性函数逼近能力，能够提高计算精度。BP 神经网络的误差反向传播方法的学习过程，由信息的正向传播和误差的反向传播两个过程 组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层 是内部信息处理层，负责信息变换，根据信息变换能力的需求，中间层可W设计为单隐层或 者多隐层结构；最后一个隐含层传递到输出层各神经元的信息，经进一步处理后，完成一次 学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望不符时， 进入误差的反向传播过程，误差通过输出层，按误差梯度下降的方式修正各层权值，向隐含 层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整 的过程，也是神经网络学习训练的过程。此过程一直进行到网络输出的误差减少到可W接 受的程度，或者预先设定的学习次数为止。
[0006] BP神经网络具有W下优点：能够W任意精度逼近任何非线性映射，实现对复杂系 统建模；可W学习和自适应未知信息，如果系统发生了变化可W通过修改网络的联结值而 改变预测效果；分布式信息存储与处理结构，具有一定的容错性，因此构造出来的系统具有 较好的鲁椿性；多输入多输出的模型结构，适合处理复杂问题。如果能够将BP神经网络应 用在有雾图像处理领域，必将能够提高对有雾图像的去雾效果。
【发明内容】
[0007] 本发明的目的是提供一种基于BP神经网络的单一图像去雾方法，用W提高对有 雾图像的去雾效果。
[000引本发明的技术方案是提供一种基于BP神经网络的单一图像去雾方法，具体包括 W下步骤：
[0009] 获取多个无雾图像信息并计算得到对应的有雾图像；
[0010] 结合该些有雾图像的RGB值作为输入W及该些有雾图像的场景深度作为输出，构 造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映 射关系；
[OCm] 根据该个映射关系，利用该个训练后的BP神经网络模型将一待去雾的有雾图像 作为输入，计算得到待去雾的有雾图像的场景深度；
[0012] 根据待去雾的有雾图像的场景深度计算得到去雾后的无雾图像。
[0013] 本发明还提供一种基于BP神经网络的单一图像去雾装置，包括：
[0014] 图像采集模块，用于获取多个无雾图像信息并计算得到对应的有雾图像；
[0015] 神经网络计算模块，与所述图像采集模块连接，用于结合所述有雾图像的RGB值 作为输入W及所述有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后的BP 神经网络模型中建立有雾图像及其场景深度之间的映射关系.
[0016] 图像计算模块，与所述神经网络计算模块连接；根据所述映射关系，利用所述训练 后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到所述待去雾的有雾图像 的场景深度；
[0017] 图像输出模块，与所述图像计算模块连接，用于根据所述待去雾的有雾图像的所 述场景深度计算得到去雾后的无雾图像。
[0018] 通过本发明能够有效对雾天降质图像进行清晰化处理提供啊图像的质量，增加了 图像的观赏性，同时有利于诸如图像识别、自动标注等高层次的图像处理。因此，对雾天图 像清晰化方法的研究具有重大的现实意义。
【专利附图】
【附图说明】
[0019] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据该些附图获得其他 的附图。在附图中：
[0020] 图1所示为本发明实施例单一图像去雾方法的流程示意图。
[0021] 图2所示为本发明实施例单一图像去雾方法的BP神经网络示意图。
[0022] 图3所示为本发明实施例单一图像去雾方法的BP神经网络的训练流程图。
[0023] 图4所示为本发明实施例单一图像去雾方法的使用BP神经网络去雾流程图。
[0024] 图5所示为本发明实施例单一图像去雾装置的结构示意图。
【具体实施方式】
[0025] 为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发 明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并 不作为对本发明的限定。
[0026] BP神经网络炬ack Propagation Neural Network)是一种多层前馈网络，通过使 用梯度下降的学习方法，它可W存储大量的输入输出模式的映射关系。由于大气散射模型 被广泛应用于去雾技术，如果能够将BP神经网络应用在有雾图像处理领域，必将能够提高 对有雾图像的去雾效果。
[0027] 该大气散射模型可表示为：
[002引 I(x) = J(x)t(x)+A[l-t(x)] (1)
[0029] t(x)=e-ed? 似
[0030] 其中，
[0031] I(x)表示有雾图像的强度值，
[0032] J(x)表示对应的无雾条件下的场景光照度，
[0033] A为大气光照度，
[0034] t(x)表示场景光的透射率，
[0035] 0为大气散射系数，
[0036] d(x)表不场景深度。
[0037] 由于I(x)可W通过数字成像设备和软件获得，所W本发明为了达到对有雾图像 进行去雾处理的目的就是要求出A和t (X)，然后通过式（1)求出J (X)，即去雾后的无雾图 像
[003引图1所示为一种基于BP神经网络的单一图像去雾方法的流程示意图，具体步骤包 括如下：
[0039] S101 ;获取多个无雾图像信息并计算得到对应的有雾图像；
[0040] S102 ;结合该些有雾图像的RGB值作为输入W及该些有雾图像的场景深度作为输 出，构造BP神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之 间的映射关系；
[0041] S103 ;根据该个映射关系，利用该个训练后的BP神经网络模型将一待去雾的有雾 图像作为输入，计算得到待去雾的有雾图像的场景深度；
[0042] S104 ;根据待去雾的有雾图像的场景深度计算得到去雾后的无雾图像。
[0043] 在本发明一实施例中，所述训练后的BP神经网络模型中建立有雾图像及其场景 深度之间的映射关系具体包括；设定误差阔值、期望值和训练次数，W训练样本集作为所述 BP神经网络的输入，当输出的所述有雾图像的场景深度与所述期望值之间的误差小于设定 的所述误差阔值或达到所述训练次数，由此建立完成所述映射关系。
[0044] 在本发明一实施例中，通过所述无雾图像计算获得所述无雾图像的随机深度图， 再利用大气散射模型计算生成所述有雾图像，由所述无雾图像、所述随机深度图和生成的 所述有雾图像组成所述训练样本集。
[0045] 在本发明一实施例中，所述根据所述待去雾的有雾图像的场景深度计算得到去雾 后的无雾图像具体步骤为；根据所述待去雾的有雾图像的所述场景深度计算大气光照度， 并且利用大气散射模型计算得到去雾后的无雾图像。
[0046] 通过本发明能够有效对雾天降质图像进行清晰化处理提供啊图像的质量，增加了 图像的观赏性，同时有利于诸如图像识别、自动标注等高层次的图像处理。因此，对雾天图 像清晰化方法的研究具有重大的现实意义。
[0047] 下面结合一个具体的实施例对本发明进行具体描述，然而值得注意的是该具体实 施例仅是为了更好地描述本发明，并不构成对本发明的不当限定。
[0048] 构建BP神经网络
[0049] 步骤1 ;建立一个具有1个输入层、2个隐含层和1个输出层的BP神经网络，该网 络的结构如图2所示。输入层有3个人工神经元，隐含层1和隐含层2均有20个人工神经 元，输出层有1个人工神经元，神经元之间的连线表示连接权值。
[0化0] 步骤2 ;设XI，、x2和x3分别表示输入层中3个神经元的输入，Wy表示输入层中 任意结点i到隐含层1中任意结点j的连接权值，Wj.h表示隐含层1中任意结点j到隐含层 2中任意结点h的连接权值，Whk表示隐含层2中任意结点h到输出层中任意结点k的连接 权值，则输入层任意结点i的输出：
[0化1] 〇i= f(xi+0 i),
[0化引其中，0 i为结点i的偏置量，f(x)为激活函数。
[0化3] -般可用S型函数f(x) = 1/(1-ex)作为激活函数。
[0054] 隐含层1任意结点j的输出0产f (S i E i〇iWu+ 0 J)，
[0化5] 其中，I表示输入层的结点数目，0 j为结点j的偏置量。
[0056] 类似地，隐含层2任意结点h的输出〇h= f (2 J E e h)，其中，J表示隐含层 1的结点数目，0 h为结点h的偏置量。
[0057] 输出层任意结点k的输出〇k= f (S h e H〇hWhk+ 0 k)，其中，H表示隐含层2的结点数 目，0巧结点k的偏置量。
[0化引通过上述方法就可W构建如图2所示的BP神经网络模型。
[0化9] 生成训练样本集
[0060] 步骤3;通过（1)式生成一个随机向量也k，k)作为大气光照度A，其中k为一个 (0. 85, 1]的随机数。
[006U 步骤4 ;输入大量无雾的户外图像J (X)，并生成对应的随机深度图d (X)，而每幅深 度图d(x)中的像素值均为随机数，其取值范围为[0, 255]。
[0062] 步骤5 ;生成BP神经网络的训练样本集。具体方法是：设大气散射系数0为1，根 据大气光照度A、无雾图像J(x)、随机深度图d(x)，通过大气散射模型的（1)式和（2)中，可 W计算生成有雾图像I(x)。由无雾图像J(x)、随机深度图d(x)和生成的有雾图像I(x)共 同组成了 BP神经网络的训练样本集。
[006引训练BP神经网络
[0064] 图3所示为本发明实施例单一图像去雾方法的BP神经网络的训练流程图。
[0065] 步骤6(S301);设上述训练样本集中的训练样本对的数量为n，令心gi、bi分别为 第i对训练样本中有雾图像的3个RGB分量，中为第i对训练样本中的深度图，r U、gy、by 分别表示fi、gi、bi中第j个像素点的值，d u表示d i中第j个像素点的值。
[0066] 步骤7(S302);初始化目标迭代次数t，当前迭代次数C (初始值为0)，学习效率n 和学习误差e，并令i = 1。
[0067] 步骤8 (S303);令j = l，mi为d。的总像素数，重复执行如下操作直到j〉m ; W r U、 gy、by作为BP神经网络的输入值，
[0068] 计算误差；Ej.= s keK(Ok-du)，其中，K为BP网络输出层中神经元的数目，令j+1 赋值给j。
[0069] 步骤9(S304);计算Ei=2：J = (l，2，...mリ町，令i+l赋值给i，如果i<n，跳到步骤8。
[0070] 步骤10做05);计算￡=(2^=(1，2，...，。瓜)/(21=(1，2，...，。卿），令〇+1赋值给(3，
[0071] 如果满足 E〉e 或 c<t 任一条件，将 Wy-TiSE/eWy、Wjh-Ti5E/3Wjh和 W址-响E/3W址分 别赋值给Wu、Wjh和Whk，令Oi-啦E/彿i、0.i-啦E/彿市E/彿1,和Ok-Tl祀/彿k分别赋值给0 1、0 J、 0h和0 k。令i = 1，跳到步骤8。否则，继续，此时即获得了训练后的BP神经网络。
[0072] 利用BP神经网络对单一图像进行去雾处理
[0073] 图4所示为本发明实施例单一图像去雾方法的使用BP神经网络去雾流程图。
[0074] 步骤11 (S401):提供一幅待去雾的有雾图像，设该待去雾的有雾图像的总像素数 为n，RGB分量分别为r。g。bi，令r。、g。、b。分别表示r 1、gi、b冲第j个像素点的值。用 di表示该有雾图像所对应的深度图，d u表示di中第j个像素点的值。令j = 1，执行下列 步骤估计深度图中。
[007引步骤12 640。；^1'^、3^、13^作为8?网络的输入，计算网络的输出(1^，令^'+1赋 值给j，如果j《n，重复本步骤。
[0076] 步骤13 (S403);估计大气光照度A。具体方法是；先找出复原后的深度图中亮度最 大的0.1%像素所在的图像区域，再找出原有雾图像中对应该区域里亮度最高的像素点，并 W该像素RGB S通道的值作为向量A的S通道值。
[0077] 步骤14(S404):设大气散射系数0的值为1，根据（1)式和（2)式，计算出J(x)， 即要复原的无雾图像。
[007引图5所示为本发明实施例单一图像去雾装置的结构示意图。
[0079] 本发明还提供一种基于BP神经网络的单一图像去雾装置，包括：
[0080] 图像采集模块501，用于获取多个无雾图像信息并计算得到对应的有雾图像；
[0081] 神经网络计算模块502,与所述图像采集模块501连接，用于结合所述有雾图像的 RGB值作为输入W及所述有雾图像的场景深度作为输出，构造BP神经网络模型并在训练后 的BP神经网络模型中建立有雾图像及其场景深度之间的映射关系；
[0082] 图像计算模块503,与所述神经网络计算模块502连接，根据所述映射关系，利用 所述训练后的BP神经网络模型将一待去雾的有雾图像作为输入，计算得到所述待去雾的 有雾图像的场景深度；
[0083] 图像输出模块54,与所述图像计算模块503连接，用于根据所述待去雾的有雾图 像的所述场景深度计算得到去雾后的无雾图像。
[0084] 在本发明一实施例中，所述神经网络计算模块还包括；设定误差阔值、期望值和训 练次数，W训练样本集作为所述BP神经网络的输入，当输出的所述有雾图像的场景深度与 所述期望值之间的误差小于设定的所述误差阔值或达到所述训练次数，由此建立完成所述 映射关系。
[0085] 在本发明一实施例中，所述图像计算模块还包括：通过所述无雾图像计算获得所 述无雾图像的随机深度图，再利用大气散射模型计算生成所述有雾图像，由所述无雾图像、 所述随机深度图和生成的所述有雾图像组成所述训练样本集。
[0086] 在本发明一实施例中，所述图像输出模块还包括：根据所述待去雾的有雾图像的 所述场景深度计算大气光照度，并且利用大气散射模型计算得到去雾后的无雾图像。
[0087] 通过上述实施例可知，基于BP神经网络的单一图像去雾方法是一种基于像素级 的去雾处理方法，该方法能很好地处理存在大块天空区域和大块白色区域的图像，对绝大 多数户外有雾图像能够取得理想的去雾效果，去雾后的图像不存在过饱和及块效应的问题 并且图像中景物逼真自然，贴近真实的场景。
[008引 W上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，所应理解的是，W上所述仅为本发明的具体实施例而已，并不用于限定本发明的保 护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。
【权利要求】
1. 一种基于BP神经网络的单一图像去雾方法，其特征在于，具体包括以下步骤： 获取多个无雾图像信息并计算得到对应的有雾图像； 结合所述有雾图像的RGB值作为输入以及所述有雾图像的场景深度作为输出，构造 BP 神经网络模型并在训练后的BP神经网络模型中建立有雾图像及其场景深度之间的映射关 系； 根据所述映射关系，利用所述训练后的BP神经网络模型将一待去雾的有雾图像作为 输入，计算得到所述待去雾的有雾图像的场景深度； 根据所述待去雾的有雾图像的所述场景深度计算得到去雾后的无雾图像。
2. 根据权利要求1所述的单一图像去雾方法，其特征在于，所述训练后的BP神经网络 模型中建立有雾图像及其场景深度之间的映射关系具体包括：设定误差阈值、期望值和训 练次数，以训练样本集作为所述BP神经网络的输入，当输出的所述有雾图像的场景深度与 所述期望值之间的误差小于设定的所述误差阈值或达到所述训练次数，由此建立完成所述 映射关系。
3. 根据权利要求2所述的单一图像去雾方法，其特征在于，通过所述无雾图像计算获 得所述无雾图像的随机深度图，再利用大气散射模型计算生成所述有雾图像，由所述无雾 图像、所述随机深度图和生成的所述有雾图像组成所述训练样本集。
4. 根据权利要求1所述的单一图像去雾方法，其特征在于，所述根据所述待去雾的有 雾图像的场景深度计算得到去雾后的无雾图像具体步骤为：根据所述待去雾的有雾图像的 所述场景深度计算大气光照度，并且利用大气散射模型计算得到去雾后的无雾图像。
5. -种基于BP神经网络的单一图像去雾装置，其特征在于，包括： 图像采集模块，用于获取多个无雾图像信息并计算得到对应的有雾图像； 神经网络计算模块，与所述图像采集模块连接，用于结合所述有雾图像的RGB值作为 输入以及所述有雾图像的场景深度作为输出，构造 BP神经网络模型并在训练后的BP神经 网络模型中建立有雾图像及其场景深度之间的映射关系； 图像计算模块，与所述神经网络计算模块连接；根据所述映射关系，利用所述训练后的 BP神经网络模型将一待去雾的有雾图像作为输入，计算得到所述待去雾的有雾图像的场景 深度； 图像输出模块，与所述图像计算模块连接，用于根据所述待去雾的有雾图像的所述场 景深度计算得到去雾后的无雾图像。
6. 根据权利要求5所述的单一图像去雾装置，其特征在于，所述神经网络计算模块还 包括：设定误差阈值、期望值和训练次数，以训练样本集作为所述BP神经网络的输入，当输 出的所述有雾图像的场景深度与所述期望值之间的误差小于设定的所述误差阈值或达到 所述训练次数，由此建立完成所述映射关系。
7. 根据权利要求6所述的单一图像去雾装置，其特征在于，所述图像计算模块还包括： 通过所述无雾图像计算获得所述无雾图像的随机深度图，再利用大气散射模型计算生成所 述有雾图像，由所述无雾图像、所述随机深度图和生成的所述有雾图像组成所述训练样本 集。
8. 根据权利要求5所述的单一图像去雾装置，其特征在于，所述图像输出模块还包括： 根据所述待去雾的有雾图像的所述场景深度计算大气光照度，并且利用大气散射模型计算 得到去雾后的无雾图像。
【文档编号】G06T5/00GK104504658SQ201410776396
【公开日】2015年4月8日 申请日期:2014年12月15日 优先权日:2014年12月15日
【发明者】朱青松, 麦嘉铭, 王磊, 谢耀钦 申请人:中国科学院深圳先进技术研究院