一种基于迁移学习的图像能见度检测方法与流程

本发明属于大气探测中地面气象观测技术领域，尤其涉及一种基于迁移学习的图像能见度检测方法。

背景技术

能见度是指在当时天气下，正常人能从背景中识别出目标物的最大距离，是反映大气透明程度的一个重要指标。目前能见度测量方法主要包括目测法、器测法和基于图像视频的测量方法等。目测法观测值受观测人员主观经验、视力情况和目标物选取影响较大。器测法主要利用透射式能见度仪或散射式能见度仪进行测量，然而检测仪器均以采样空间数据代表大气全程范围的能见度，检测精度易受采样空间的大气质量影响，且普遍比较昂贵，难以满足能见度检测的实际应用需求。

基于图像视频的能见度检测方法主要分为模型驱动和数据驱动两类。模型驱动法结合能见度定义，通过分析光传播过程中大气衰减对图像成像的影响，建立光在大气中传播的物理模型，估计模型中参数，以此反推能见度。模型驱动法的估计精度与物理模型定义、参数设置紧密相关，然而大气中影响光传播的悬浮粒子种类较多，且粒子分布不均匀，因此光传播物理模型通常难以准确定义。数据驱动法主要根据低能见度天气对图像造成的模糊和退化效果，从图像或视频中提取有效的视觉特征，并通过累积的历史数据训练特征与能见度的关系模型，以计算能见度。现有数据驱动法提取一种或多种明确的图像特征进行能见度估计，然而明确的图像特征不能完全表征图像所有的潜在信息，导致图像信息利用不充分，无法进一步提高检测精度。

技术实现要素：

发明目的：本发明所要解决的技术问题是针对现有基于图像的能见度检测方法对图

像信息利用不充分，模型鲁棒性差，提出了一种基于迁移学习的能见度检测模型，

实现利用摄像机对能见度的实时检测，包括以下步骤：

步骤1，训练能见度检测模型：输入训练集图像，对训练集中每幅图像进行子区域图像划分；通过预训练的vgg-16深度神经网络编码，提取各子区域图像对应的n(一般取值为1000)维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，得到能见度检测模型；

步骤2，能见度检测模型测试：输入测试图像，对测试图像进行子区域图像划分；通过预训练的vgg-16深度神经网络编码，提取各子区域图像对应的n维特征向量；将各子区域图像特征向量代入步骤1训练的能见度检测模型，经回归预测得到各子区域能见度估计值；融合各子区域能见度估计值，输出整幅图像能见度检测值。

步骤1包括以下步骤：

步骤1-1，对训练集中每幅图像进行子区域图像划分：将训练集中每幅图像划分为regionnum个子区域，每个子区域分辨率为224×224，其中，imagewidth表示训练集图像的宽度，imageheight表示训练集图像的高度，表示向上取整；子区域region(i,j)的左上角像素横坐标和纵坐标分别为：

i、j分别表示子区域region(i,j)在图像子区域集合中的行数和列数，表示向下取整；子区域region(i,j)的右上角像素横坐标和纵坐标分别为子区域region(i,j)的左下角像素横坐标和纵坐标分别为子区域region(i,j)的右下角像素横坐标和纵坐标分别为

步骤1-2，深度神经网络编码：依次将各子区域图像输入预训练的vgg-16深度神经网络，提取第三个全连接层输出的n维特征向量，作为该子区域图像特征向量vi。

步骤1-3，训练支持向量回归机：利用子区域图像特征向量和对应能见度真值训练支持向量回归机，得到图像特征和能见度的回归模型，即能见度检测模型。

步骤1-3包括以下步骤：

步骤1-3-1：构建样本集：将一幅子区域图像经步骤1-3提取的特征向量vi作为样本特征对应区域的能见度标注值yi作为样本目标值，构成一组样本设定训练集样本图像数量为imagenum，则子区域图像数量为imagenum×regionnum，即共有imagenum×regionnum组训练样本，将训练样本集记为表示训练样本集中第i组训练样本；n为训练样本数量，数值上等于子区域图像总数，即n＝imagenum×regionnum；

步骤1-3-2：建立回归模型：利用样本集数据训练支持向量回归机，得到能见度回归模型，即能见度检测模型；

步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数；

步骤1-3-2包括以下步骤：

步骤1-3-2-1：建立如下优化目标和约束条件：

其中，s.t.表示约束条件，ω为超平面权重系数列向量，ω^t表示其转置，ε为回归函数误差限值，c为惩罚因子，ξi和分别为松弛变量上界和松弛变量下界，是将训练样本映射到高维线性空间的非线性函数，b是超平面的常系数；

步骤1-3-2-2：对偶变换求解：引入lagrange函数，对步骤1-3-2-1建立的优化目标和约束条件作对偶变换求解，变换后等价形式为：

其中，αi和为lagrange乘子，为核函数，γ为核函数参数，j取值范围为1～n；

步骤1-3-2-3：确定含参非线性方程：求解步骤1-3-2-2的等价形式，得到lagrange乘子最优解向量为其中αi和表示第i组训练样本对应的一组对偶lagrange乘子，则有：

其中，sv表示支持向量，即满足|yi-f(xi)|＝ε的nsv为支持向量的数量，表示待测图像的子区域特征向量，故非线性方程f(x)为：

步骤1-3-3包括以下步骤：

步骤1-3-3-1：网络搜索：设定参数ε的取值区间为[εmin,εmax]、c的取值区间为[cmin,cmax]、核函数参数γ的取值区间为[γmin,γmax]，设定参数ε的步长为εstep、c的步长为cstep、核函数参数γ的步长为γstep，顺序算出对应各参数的组合(εmin+uε×εstep,cmin+uc×cstep,γmin+uγ×γstep)，其中uε、uc和uγ为正整数，且εmin+uε×εstep≤εmax,cmin+uc×cstep≤cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε^*,c^*,γ^*]，ε^*为参数ε的最优选择，c^*为参数c的最优选择，γ^*为核函数参数γ的最优选择；

步骤1-3-3-2：确定最终回归模型：将步骤1-3-3-1得到的最优参数组合[ε^*,c^*,γ^*]代入步骤1-3-2-3，确定最终回归模型即得到了能见度检测模型。

步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：

对于一组给定的参数组合：

[εmin+uε×εstep,cmin+uc×cstep,γmin+uγ×γstep]，

其中uε、uc和uγ为正整数，将训练样本集s进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差mse，选取最小的均方误差作为本参数组合的均方误差msei，mse表达式如下所示：

其中，t是每组测试图像的样本个数，yi^*是模型输出能见度值。

步骤2包括以下步骤：

步骤2-1，测试图像区域划分：按照步骤1-1所述方法，将测试图像划分子区域；

步骤2-2，深度神经网络编码：依次将各子区域图像输入预训练的vgg-16深度神经网络，提取第三个全连接层输出的n维特征向量，作为该子区域图像特征向量fc(r,c)；

步骤2-3，回归预测：将各子区域特征向量输入训练得到的回归模型f(x)^*，计算子区域能见度序列；

步骤2-4，子区域能见度融合：将各子区域能见度估计值取平均，作为整幅图像能见度检测值vt。

步骤2-3包括以下步骤：

步骤2-3-1，单一子区域能见度估计：将子区域图像特征向量fc(r,c)输入步骤1-3-3-2获取的回归模型令计算得到子区域能见度估计值f(r,c)^*；

步骤2-3-2，子区域能见度序列估计：将各子区域图像依次执行步骤2-3-1，获得子区域能见度序列。

步骤2-4中通过如下公式计算整幅图像能见度检测值vt：

其中，regionnum为子区域数量，

为充分利用图像潜在信息，将深度卷积神经网络引入能见度检测中。由大规模数据集训练的卷积神经网络，可以提取到相对于明确图像特征更具表征能力的抽象特征。然而，在能见度检测方面难以构建样本分布均衡且样本标注值精确的大规模数据集。这主要是因为：一方面恶劣天气出现频次较低，导致低能见度样本数量较少；另一方面，能见度标注易受观测员主观因素影响，标注精度难以保证,且标注工作量较大。因此，本发明将迁移学习引入能见度检测。迁移学习是运用已有知识对不同但相关领域问题进行求解的一种新兴机器学习方法，迁移已有的知识解决目标领域中仅有少量有标签样本数据的学习问题。考虑到不同能见度天气对图像造成的模糊和退化效果差异显著，本发明将图像识别领域的深度神经网络vgg-16迁移到能见度检测当中，该网络提取的1000维抽象图像特征可以较好地表征图像潜在信息，以构建图像特征和能见度的回归模型。

在模型训练阶段，对训练集图像区域划分；通过预训练的vgg-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，得到能见度的回归模型；

在模型检测阶段，对测试图像区域划分；通过预训练的vgg-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；将各子区域图像特征向量代入步骤1训练的回归模型，经回归预测得到各子区域能见度估计值；融合各子区域能见度估计值，输出整幅图像能见度检测值。

有益效果：基于迁移学习，利用预训练的深度神经网络提取子区域图像特征，构建图像特征和能见度的回归模型，并融合不同子区域能见度估计结果，有效提高了能见度检测的精度，同时降低了模型训练样本数量要求。

具体而言本发明与已有方法相比有以下优点：1.图像信息利用率高，与已有方法提取明确的人工特征相比，本发明利用深度神经网络提取1000维抽象特征，充分利用图像潜在信息；2鲁棒性高，融合一幅图像不同区域能见度估计值，降低因环境遮挡、镜面反射等因素导致的局部估计误差。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为深度神经网络编码图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明包括以下步骤：

步骤1，能见度检测模型训练：输入训练集图像，对训练集图像区域划分；通过预训练的vgg-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；利用各子区域图像特征向量和能见度标注值训练支持向量回归机，得到能见度的回归模型；

步骤2，能见度检测模型测试：输入测试图像，对测试图像区域划分；通过预训练的vgg-16深度神经网络编码，提取各子区域图像对应的1000维特征向量；将各子区域图像特征向量代入步骤1训练的回归模型，经回归预测得到各子区域能见度估计值；融合各子区域能见度估计值，输出整幅图像能见度检测值；

本发明步骤1包括以下步骤：

步骤1-1，图像区域划分：将每一幅训练集图像划分为regionnum个子区域，每个子区域分辨率为224×224，其中，imagewidth表示训练集图像的宽度，imageheight表示训练集图像的高度，表示向上取整；子区域region(i,j)的左上角像素横纵坐标分别为

i、j分别表示子区域region(i,j)在图像子区域集合中的行数和列数，表示向下取整；子区域region(i,j)的右上角像素横纵坐标分别为子区域region(i,j)的左下角像素横纵坐标分别为子区域region(i,j)的右下角像素横纵坐标分别为

步骤1-2，深度神经网络编码：依次将各子区域图像输入预训练的vgg-16深度神经网络，提取第三个全连接层输出的1000维特征向量，作为该子区域图像特征向量vi，其中vgg-16深度神经网络的结构如图2所示，其输入为224×224的rgb图像，网络共有13个卷积层、5个下采样层、3个全连接层和1个分类层，其中所有的卷积滤波器大小均为3×3，使用最大池化进行下采样，网络中3个全连接层对应的神经元节点个数分别为4096、4096和1000，网络参数见引用文献：simonyank,zissermana.verydeepconvolutionalnetworksforlarge-scaleimagerecognition[j].computerscience,2014。

步骤1-3，支持向量回归机训练：利用子区域图像特征向量和对应能见度真值训练支持向量回归机，得到图像特征和能见度的回归模型；

本发明步骤1-3包括以下步骤：

步骤1-3-1：样本集构建：将一幅子区域图像经步骤1-3提取的特征向量vi作为样本特征对应区域的能见度标注值yi作为样本目标值，构成一组样本设定训练集样本图像数量为imagenum，则子区域图像数量为imagenum×regionnum即共有imagenum×regionnum组训练样本，将训练样本集记为n为样本数量，数值上等于子区域图像总数，即n＝imagenum×regionnum；

步骤1-3-2：回归模型建立：利用样本集数据训练支持向量回归机，得到能见度回归模型；

步骤1-3-3：参数寻优：通过网络搜索和交叉验证，寻找回归模型的最佳参数；

本发明步骤1-3-2包括以下步骤：

步骤1-3-2-1：建立优化目标和约束条件：为求解回归模型，根据支持向量回归机原理，建立如下优化目标和约束条件：

其中，s.t.表示约束条件，ω为超平面权重系数列向量，ω^t表示其转置，ε为回归函数误差限值，c为惩罚因子，其值越大表示对训练误差大于ε的样本惩罚越大，ξi和分别为松弛变量上界和松弛变量下界，是将训练样本映射到高维线性空间的非线性函数，是样本特征向量，yi为样本的能见度标注值，b是超平面的常系数；步骤1-3-2-2：对偶变换求解：步骤1-3-2-1建立的优化目标不可微，直接求解不可行，可通过引入lagrange函数，作对偶变换求解，变换后等价形式为：

其中，αi和为lagrange乘子，为核函数，γ为核函数参数，j取值范围为1～n；

步骤1-3-2-3：含参非线性方程确定：求解步骤1-3-2-2的等价形式，得到lagrange乘子最优解向量为其中αi和表示第i组训练样本对应的一组对偶lagrange乘子最优解，则有：

其中，sv表示支持向量，即满足|yi-f(xi)|＝ε的nsv为支持向量的数量，表示待测图像的子区域特征向量，故非线性方程为：

本发明步骤1-3-3包括以下步骤：

支持向量回归机的参数选取对检测精度影响较大，不同问题必须确定不同的相关参数才能建立对应的回归模型，需要确定的参数有回归函数误差限值ε，惩罚因子c和核函数参数γ，本发明采用网络搜索和交叉验证确定三个参数值：

步骤1-3-3-1：网络搜索：设定参数的取值区间[εmin,εmax]、[cmin,cmax]和[γmin,γmax]，设定相应步长εstep、cstep和γstep，由计算机顺序算出对应各参数的组合(εmin+uε×εstep,cmin+uc×cstep,γmin+uγ×γstep)，其中uε、uc和uγ为正整数，且εmin+uε×εstep≤εmax,cmin+uc×cstep≤cmax,γmin+uγ×γstep≤γmax，对每一种组合进行交叉验证，逐一比较各种组合的均方误差并择优，从而确定该区间内最优参数组合[ε^*,c^*,γ^*]，本发明设定参数区间ε∈[0,500]、c∈[2^-4,2⁴]、γ∈[10^-3,10^-1]，相应步长εstep＝50、cstep＝2和γstep＝1.1×10^-2；

步骤1-3-3-2：最终回归模型确定：将步骤1-3-3-1得到的最优参数组合[ε^*,c^*,γ^*]代入步骤1-3-2-3，确定最终回归模型

步骤1-3-3-1中所述对每一种组合进行交叉验证，具体包括：对于一组给定的参数组合[εmin+uε×εstep,cmin+uc×cstep,γmin+uγ×γstep]，

其中m、n和q为正整数，将训练样本集s进行随机等分为v份，将其中的v-1份作为训练样本，余下的1份作为测试图像，共得到v组交叉验证所用的训练样本及相应的测试图像，将训练样本作为支持向量回归机的输入，建立回归模型，并用对应的测试图像校验拟合效果，依次轮换进行，得到v个表征拟合效果的均方误差mse，选取最小的均方误差作为本参数组合的均方误差msei，mse表达式如下所示：

其中，t是每组测试图像的样本个数，本发明将v设置为5，yi^*是模型输出能见度值，yi是样本点能见度真值；

本发明步骤2包括以下步骤：

步骤2-1，测试图像区域划分：按照步骤1-1所述方法，将测试图像划分子区域；

步骤2-2，深度神经网络编码：依次将各子区域图像输入预训练的vgg-16深度神经网络，提取第三个全连接层输出的1000维特征向量，作为该子区域图像特征向量fc(r,c)；

步骤2-3，回归预测：将各子区域特征向量输入训练得到的回归模型f(x)^*，计算子区域能见度序列；

步骤2-4，子区域能见度融合：将各子区域能见度估计值取平均，作为整幅图像能见度检测值vt。

本发明步骤2-3包括以下步骤：

步骤2-3-1，单一子区域能见度估计：将子区域图像特征向量fc(r,c)输入步骤1-3-3-2获取的回归模型令计算该子区域能见度估计值f(r,c)^*；

步骤2-3-2，子区域能见度序列估计：将各子区域图像依次执行步骤2-3-1，获得子区域能见度序列。

本发明步骤2-4包括以下步骤：

将子区域能见度序列取平均，作为该幅测试图像能见度检测值vt,公式如下：

其中，regionnum为子区域数量，

实施例

本实施例中，采集一副彩色图像，其分辨率为640×480，按照具体实施方式的步骤1-1划分为9个子区域；然后，将各子区域图像输入预训练的vgg-16网络编码，提取图像特征；接下来，将各子区域图像特征输入本发明训练的回归模型输出子区域能见度估计值[7983.833,9702.297,7989.147,8382.581,8536.543,8524.993,7958.641,8999.577,7966.788]；最后，将各子区域能见度估计值取平均，得到能见度检测结果8449.711。

本发明提供了一种基于迁移学习的图像能见度检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。