基于3dlut的图像去雾处理方法、系统及可存储介质
技术领域：
：1.本发明涉及图像处理
技术领域：
：，更具体的说是涉及一种基于3dlut的图像去雾处理方法、系统及可存储介质。
背景技术：
：：2.在雾天环境下，摄像机拍摄的图像对比度和分辨率明显下降，对图像进行去雾处理可以改善雾后图像部分失真严重的问题，得到对比度良好的还原图像。目前，传统的图像去雾方法主要有两类：一种是基于大气光照模型，采用暗通道增强的方法估计雾强度来提升对比度，但是这种方法对于天空等场景往往表现不佳且有明显的不自然边界；另一种是使用卷积神经网络模型达到图像增强和去雾的效果，这种方法往往对算力要求比较高，计算速度也不够快。3.lut（lookuptable，查找表），原理是对图像的每个像素的色彩信息经过lut的重新定位之后，就能得到一个新的色彩值，常用于图像的色彩增强和调整图像的颜色风格等。因此，如何将查找表应用于图像去雾任务，克服传统图像去雾方法存在的不足，取得更明显的去雾效果是本领域技术人员亟需解决的技术问题。技术实现要素：4.有鉴于此，本发明提供了一种基于3dlut的图像去雾处理方法、系统及可存储介质，将lut用于图像去雾任务得到高效算法，节省计算时间，且具有明显的去雾效果。5.为了实现上述目的，本发明提供如下技术方案：一种基于3dlut的图像去雾处理方法，包括以下步骤：准备若干张原始图片，利用大气散射模型对原始图片进行生成雾处理，得到加雾图像（采用固定深度的方法进行均匀加雾）；构建去雾模型，将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。6.可选的，得到加雾图像，具体包括以下步骤：在大气中的雾均匀分布且场景深度已知时，透射率为：；式中：为图像深度，为大气的媒介衰减系数，x为输入图像的rgb像素值；根据大气散射模型得到加雾图像，具体表示为：；式中：表示实际观测到的图像，即加雾图像；表示去雾后的图像，即待恢复的无雾图像；a表示场景的大气光。7.可选的，去雾模型包括生成权重模型和生成查找表模型；生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。8.可选的，生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为最后的预测值，即查找表的混合权重。9.可选的，将加雾图像输入去雾模型中进行模型训练，具体包括以下步骤：将加雾图像分别输入生成权重模型及生成查找表模型中，对于每一张加雾图像来说，生成权重模型输出n个权重，则生成查找表模型相应地初始化n个33×33×33的查找表：，n取决于内存大小；将所有点值设为可训练参数，最终的加权表示为：；则，整个去雾模型的输出为加雾图像经过进行查找表映射的输出，通过端对端的模型训练最终得到生成权重模型和n个固定的33×33×33的3d-lut。10.可选的，还包括对于训练好的去雾模型的查表方法，将加雾图像的值归一化到（0,1），其中，查找表的维度和加雾图像的通道一一对应，查找表在每一维上的元素数为查找表的精度，具体为：对于rgb图的m维查找表，其包含个元素：，每个元素代表一个输入rgb值和其对应的输出；输入值的值域被m等分，等分间隔记为s，则输入在查找表中的位置为：；在查找表中取的最近邻8个在查找表中包含的点并用三次插值得到该点的输出值为：；式中：表示的向下取整的值；，，；表示lut中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素；表示输入对应的输出，m为查找表的维度。11.可选的，通过训练好的去雾模型对待去雾图像进行去雾处理，具体包括以下步骤：将待去雾图像均匀分为m×m的块后输入生成权重模型中，得到m×m组权重，记：；获得n个m×m像素的权重图，m为图像长或高的像素值，将权重图进行高斯模糊，再采用二次插值的方法改变到与输入图同样的大小，得到n个权重图；在生成查找表模型中，分别用n组训练好的基础查找表对输入图进行颜色映射，得到n个输出，最后得到的加权输出为：。12.本发明还公开了一种基于3dlut的图像去雾处理系统，包括：准备模块、加雾模块、构建模块、训练模块、分块推断模块；准备模块，用于准备若干张原始图片；加雾模块，通过大气散射模型对原始图片进行生成雾处理，得到加雾图像；构建模块，用于构建去雾模型；训练模块，用于将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；分块推断模块，通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。13.可选的，去雾模型包括生成权重模型和生成查找表模型；生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为查找表的混合权重；生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。14.本发明还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述基于3dlut的图像去雾处理方法的步骤。15.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于3dlut的图像去雾处理方法、系统及可存储介质，将lut方法用于图像去雾任务得到高效算法，节省计算时间；通过全图训练、分块推断的方式达到更好的去雾效果；去雾模型的大小仅为2.4m，处理1080p图片的时间仅为6ms，在保持亮度的情况下有明显的去雾效果。附图说明16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。17.图1为基于3dlut的图像去雾处理方法的过程示意图；图2为生成权重模型的结构示意图；图3为分块推断的示意图；图4为基于3dlut的图像去雾处理系统的结构图。具体实施方式18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。19.本发明实施例公开了一种基于3dlut的图像去雾处理方法，参照如图1所示的本实施例的去雾过程示意图，包括以下步骤：准备若干张原始图片，利用大气散射模型对原始图片进行生成雾处理，得到加雾图像；构建去雾模型，将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。20.进一步的，本实施例将lut方法应用于图像去雾任务得到高效算法，还通过全图训练、分块推断的方式达到更好的去雾效果。接下来，通过下面的内容对图像去雾处理的过程进行更详细地了解。21.首先，是数据生成的过程，即在一批清晰无雾的原始图片上用大气散射模型进行生成雾的处理，对于该方法中的深度则采用固定深度的方法进行均匀加雾，生成雾图片为输入信号，对应的清晰无雾的图片为监督信号。22.具体的算法是：在大气中的雾均匀分布且场景深度已知时，透射率为：；式中：为图像深度，在本实施例中将这个值设为固定深度；为大气的媒介衰减系数，实际可以测量，在此算法中随机取自（0.04,0.2）；最后将计算得到的截断到（0，1）区间；x为输入图像的rgb像素值，可以理解为一张图像输入；根据大气散射模型得到加雾图像，具体表示为：；式中：表示实际观测到的图像，即加雾图像；表示去雾后的图像，即待恢复的无雾图像；a表示场景的大气光，实际可以测量，在此算法中随机取自（0.8,1.0）。23.进一步地，是模型去雾的过程，其中，去雾模型包括生成权重模型和生成查找表模型；（1）生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络。具体地，为了增加推断速度和训练速度，如图2所示，该网络首先包含一个下采样结构，为两层采样尺度为2的下采样层组成；然后，该网络包含五个卷积层模块，最后使用一个随机失活层和全连接层得到最后的预测值，即查找表的混合权重。24.（2）生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。25.进一步地，将加雾图像输入去雾模型中进行模型训练，具体包括以下步骤：将加雾图像分别输入生成权重模型及生成查找表模型中，对于每一张加雾图像来说，生成权重模型输出2个权重，则生成查找表模型相应地初始化2个33×33×33的查找表：；将其中的所有点值设为可训练参数，最终的加权表示为：；则，整个去雾模型的输出为加雾图像经过进行查找表映射的输出，这样就可以进行端对端的模型训练最终得到生成权重模型和2个固定的33×33×33的3d-lut。26.进一步地，对于这个混合得到的查找表，查表方法是：先将加雾图像的值归一化到（0,1），而查找表的维度和加雾图像的通道一一对应，查找表在每一维上的元素数为查找表的精度，例如：对于rgb图的m维查找表，其包含个元素：，每个元素代表一个输入rgb值和其对应的输出；查找表的维度是对于输入的某一通道来说，输入值的值域被m等分，等分间隔记为s，则输入在lut中的位置为：；在lut中取的最近邻8个在lut表中包含的点并用三次插值得到该点的输出值为：式中：表示的向下取整的值；，，；表示lut中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素，表示查找表中的第个元素；表示输入对应的输出，m为查找表的维度（根据设备的内存大小进行选择）。27.进一步地，是分块推断的过程，如图3所示，分块推断的去雾方法是指在输入图片上进行分块切割，分别作为训练好的去雾模型的输入，最后对训练好的去雾模型的所有输出进行融合。28.具体地，典型的方法是：将待去雾图像均匀分为9×9的块后分别输入生成权重模型中，得到9×9组权重，记：，；将它们组成2个9×9像素的权重图。为了融合的边界过渡自然，将这2张权重图进行高斯模糊，再采用二次插值的方法resize到与输入图同样的大小，得到2个权重图；同时，在生成查找表模型中，分别用2组训练完成的基础查找表对输入图进行颜色映射，得到2个输出，最后得到的加权输出为：。29.本实施例还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述基于3dlut的图像去雾处理方法的步骤。30.在本实施例中公开的只是本方法的其中一种具体情况，除此之外，查找表可以扩展到多维查找表，对应输入的维度即可，例如，对于rgba通道数为4的图像，对应的查找表为四维查找表；生成查找表模型中初始化的基础查找表不局限于2个，同时生成权重模型的输出与之对应，实际上，查找表数越多，对于输入图像的适应性越强，但查找表数量与维度相等时达到去雾效果及算法效率的最优解；分块推断中的插值、分块的大小可以改变、可以使用不同尺度、也可以重叠计算，计算后得到的权重最终resize到输入大小的map的方式也可以是最近邻插值或者其他插值方法；为了不产生分块边界，也可以使用除高斯模糊外其他的模糊方法和其他的融合方法，包括不限于均值模糊、高斯金字塔融合等。31.与图1所述的方法相对应，本发明实施例还提供了一种基于3dlut的图像去雾处理系统，用于对图1中方法的具体实现，本发明实施例提供的一种基于3dlut的图像去雾处理系统可以应用计算机终端或各种移动设备中，其结构示意图如图4所示，具体包括：准备模块、加雾模块、构建模块、训练模块、分块推断模块；准备模块，用于准备若干张原始图片；加雾模块，通过大气散射模型对原始图片进行生成雾处理，得到加雾图像；构建模块，用于构建去雾模型；训练模块，用于将加雾图像输入去雾模型中进行模型训练，得到训练好的去雾模型；分块推断模块，通过训练好的去雾模型对待去雾图像进行去雾处理，将待去雾图像进行分块切割后，作为训练好的去雾模型的输入，并将训练好的去雾模型的所有输出结果进行融合，获得去雾后的图像。32.进一步地，去雾模型包括生成权重模型和生成查找表模型；生成权重模型为以三通道图为输入、以一组权重值为输出的卷积神经网络；生成权重模型包括下采样结构、卷积层、随机失活层和全连接层，且各结构依次相连；下采样结构包括两层采样尺度为2的下采样层，卷积层包括5个卷积层模块；全连接层的输出为查找表的混合权重；生成查找表模型将一组初始化的查找表作为基础查找表，并根据生成权重模型的输出进行加权相加，得到加权查找表。33.传统的图像去雾方法对于天空等场景往往表现不佳且有明显的不自然边界，对算力要求比较高，计算速度也不够快。为克服传统图像去雾方法的不足，本发明将lut方法用于图像去雾任务得到高效算法，节省计算时间；通过全图训练、分块推断的方式达到更好的去雾效果；去雾模型的大小仅为2.4m，处理1080p图片的时间仅为6ms，在保持亮度的情况下有明显的去雾效果。34.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。35.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。当前第1页12当前第1页12