一种基于单幅户外彩色图像的天气晴阴分类方法与流程

本发明涉及计算机视觉领域，尤其涉及一种基于单幅户外彩色图像的天气晴阴分类方法。

背景技术：

天气分类一直是天气预测、灾害预警、视频监控、自动驾驶、场景理解以及图像复原等领域重要且困难的课题之一，受到了学者们的广泛关注。

已有天气分类算法主要基于以下三类信息实现：历史天气数据、户外视频和单幅户外彩色图像。近些年天气分类研究通常都基于单幅户外彩色图像，主要原因在于基于历史天气数据的天气分类涉及到对过往历史数据采集与处理，局限性太大，而基于户外视频的天气分类其本质为对每一帧图像进行判断。基于单幅户外彩色图像的天气晴阴分类方法的研究成果如下：roserm和moosmannf在文章“classificationofweathersituationsonsinglecolorimages.intelligentvehiclessymposium.eindhoven:ieeecomputersocietypress,2008:798-803”所提方法中主要是判断由车载设备采集的与道路场景相关图像，故不具普遍性。yanx和luoy在文章“weatherrecognitionbasedonimagescapturedbyvisionsysteminvehicle.internationalsymposiumonneuralnetworks:advancesinneuralnetworks.springer-verlag,2009:390-398”中所提天气特征对于场景结构复杂的户外彩色图像分类效果不明显。luc和lind在文章“two-classweatherclassification.computervisionandpatternrecognition.ieee,2014:3718-3725”所提方法在阴影和雾霾方面的检测性能略低，并且在提取天气特征时，该方法在阴影特征和对比度特征下会对分类结果产生一定的负作用。zhangz和mah在文章“multi-classweatherclassificationonsingleimages.internationalconferenceonimageprocessing.ieee,2015:4396-4400”中所提方法整体的分类效果相对较低。

技术实现要素：

本发明目的在于提供一种利用天空频率直方图特征、阴影能量特征、透射率特征与现有天气特征相结合构造候选天气特征集、并采用fisher-randomforest特征重要性计算方法来计算候选天气特征集中各特征fisher-randomforest特征重要性并进行特征选择的基于单幅户外彩色图像的天气晴阴分类方法。

为实现上述目的，采用了以下技术方案：本发明所述方法包含以下步骤：

步骤1，针对户外彩色图像，提取天空频率直方图特征、阴影能量特征以及引入透射率特征，将此三种特征与已有特征共同组合构成候选天气特征集w；

步骤2，根据fisher-randomforest特征重要性计算方法计算候选天气特征集w中的各天气特征重要性并进行特征选择，构成天气特征向量vw；

步骤3，将天气特征向量vw输入到训练好的随机森林分类器中实现对户外彩色图像的晴阴分类。

进一步的，步骤1中，定义天空频率直方图特征fsk、阴影能量特征fsh以及引入透射率特征ft，分别提取相应特征；结合已有的天气特征，构造候选天气特征集合w＝{天空频率直方图特征fsk，阴影能量特征fsh，透射率特征ft，lab颜色空间特征flab，对比度特征fco，色调特征fhue，反射光特征fre，饱和度特征fsa}。

进一步的，步骤2的具体步骤如下：

步骤2-1，定义fisher-randomforest特征重要性，并计算w中的每种天气特征的fisher-randomforest特征重要性；

步骤2-1-1，提取w中的每种天气特征，将其输入到随机森林分类器中计算得到该特征每个维度的随机森林特征重要性；

步骤2-1-2，根据fisher特征选择方法，计算w中的每种天气特征每个维度的fisher分数；

步骤2-1-3，将每个维度的fisher分数作为权重赋给对应维度的随机森林特征重要性并求和，最终得到该特征的fisher-randomforest特征重要性；

步骤2-2，以fisher-randomforest特征重要性和特征维度为指标，对w中的各天气特征进行特征选择，最终选择天空频率直方图特征fsk、阴影能量特征fsh、透射率特征ft、对比度特征fco以及饱和度特征fsa联合构成天气特征向量vw。

进一步的，步骤3中，首先从数据集中随机抽取80％的户外彩色图像作为训练样本集，并令晴天户外图像为正样本，阴天户外图像为负样本，其余20％作为测试样本集；然后分别计算训练样本集中每幅户外彩色图像的天空频率直方图、阴影能量、透射率、对比度以及饱和度特征，归一化后联合构成天气特征向量vw；将每个样本的天气特征向量vw及其类别标签作为输入数据训练随机森林分类器，训练完成后即可利用训练好的随机森林分类器对天气进行分类；从测试样本集中抽取一幅户外彩色图像i，提取该幅户外彩色图像的联合特征vw；将vw输入到训练好的随机森林分类器，实现天气晴阴分类。

进一步的，步骤1中所述的天空频率直方图特征fsk、阴影能量特征fsh以及透射率特征ft，按如下步骤进行：

天空频率直方图特征fsk的计算公式如下：

其中，pij为色区的像素频率，nij为像素个数，n为色区个数，σij为对应的标准差，m为计算σij时所选取的户外彩色图像的数量，pijk为第k幅户外彩色图像的像素频率，μij为m幅图像的平均像素频率，γ为阈值；

阴影能量特征fsh的计算公式如下：

其中，se为阴影能量值，α、β为待定参数，以确保se均匀有效地分布到0-1之间，labelenergy为运用图割算法求得的每个被标记为阴影像素点的图割能量值，maxenergy和minenergy分别为labelenergy的最大值和最小值；

根据暗通道先验公式可知j^dark＝0，再结合雾图像形成模型，可得透射率特征ft的计算公式如下：

其中，ω(x)为以像素x为中心的像素块集合，y为ω(x)中的一个像素块，j^c(y)为无雾图像中c通道的y像素块，i^c(y)为输入图像中c通道的y像素块，a^c为c通道的全球大气光成分。

进一步的，步骤2中所述的fisher特征选择方法，按如下方法计算：

其中，fr为第r维特征向量的fisher分数，μr为第r维特征向量的均值，c为天气类别的个数，nω为第ω类天气样本的个数，μωr为第ω类天气第r维特征向量的均值，为第ω类天气第r维特征向量的方差。

进一步的，步骤2中所述的fisher-randomforest特征重要性计算方法，按如下方法计算：

其中，im为第m种特征的fisher-randomforest特征重要性，fmr为第m种特征第r维的fisher分数，rmr为利用随机森林计算得到的第m种特征第r维的重要性，n为第m种特征的维数。

与现有技术相比，本发明方法具有如下优点：

1、将所提天空频率直方图特征、阴影能量特征以及透射率特征，与已有特征共同组合构成候选天气特征集w，通过fisher-randomforest特征重要性计算方法从中选出鲁棒性强的特征作为天气特征vw。

2、本发明所用的户外彩色图像无需特定的图像采集设备采集，不需要对图像进行预处理工作，且适用于不同场景下的户外彩色图像。

3、利用随机森林实现对单幅户外彩色图像的天气晴阴分类，训练速度快、可以处理高维数据并且对噪声的容忍度高。

附图说明

图1是本发明方法的流程图。

图2是筛选前后的天空频率直方图特征示意图。

图3是各天气特征的fisher-randomforest特征重要性及其维度示意图。

图4是部分实验结果示意图。

具体实施方式

下面结合附图对本发明做进一步说明：

图1是本发明方法的流程图，所述方法包括以下步骤：

步骤1，针对户外彩色图像，提取天空频率直方图特征、阴影能量特征以及透射率特征，将此三种特征与已有特征共同组合构成候选天气特征集。

步骤1-1，在对天气相关特征深入分析和研究的基础上，定义了天空频率直方图特征fsk、阴影能量特征fsh以及引入透射率特征ft，分别提取相应特征；

步骤1-1-1，对于天空频率直方图特征fsk，首先应用天空检测算法，将带有天空区域的户外彩色图像的天空区域检测出来，然后逐像素对天空区域提取rgb三通道像素值，以一定的区间间隔统计每个通道每个色区的像素个数，并分别统计rgb三通道的像素频率直方图。由于晴天天空的颜色主要为蓝色，阴天天空的颜色主要为灰白色，故统计之后有许多色区的像素频率为0，所以本发明用标准差σ大于某一阈值作为约束条件筛选像素分布比较集中的色区，从而构成天空频率直方图特征fsk。对于户外彩色图像的第i个通道的第j个色区，标准差约束下的像素频率计算公式定义为：

为了尽可能多地筛选出非0区域，取σij＞10^-4(γ＝10^-4)的rgb三通道所有色区的像素频率作为天空频率直方图特征的特征向量，构成230维天空频率直方图特征fsk。

筛选前后的天空频率直方图特征示意图如图2所示。

步骤1-1-2，对于阴影能量特征fsh，首先，应用阴影检测方法分别对晴天户外图像和阴天户外图像提取阴影部分，并计算阴影部分各像素点的图割能量值。其次，以像素点为单位，定义阴影能量公式计算归一化后的阴影能量值。最后，对各阴影像素点的阴影能量值进行排序，提取前50个阴影能量值作为特征向量，构成50维阴影能量特征fsh。阴影能量值计算公式定义为：

步骤1-1-3，对于透射率特征ft，由暗通道先验理论可知，在无雾的户外彩色图像中，绝大多数的局部像素块里某一些像素总会有至少一个颜色通道具有很低的值。根据暗通道先验公式可知j^dark＝0，再结合雾图像形成模型，可得透射率特征ft的计算公式如下：

计算透射率特征时首先将图像大小调整为x×x，然后将户外彩色图像以像素块k×k为单位分割，分别计算每个像素块的平均透射率，最终构成x²/k²维的透射率特征ft。本发明将图像大小调整为135×135，像素块大小设置为15×15，构成81维的透射率特征ft。

步骤1-2，为了使最终用于天气分类的特征具有较好的分类性能和较强的鲁棒性，综合考虑所提天气特征和已有天气特征的特征重要性进行特征选择。目前基于单幅户外彩色图像的天气特征主要包括天空颜色对特征fsc、lab颜色空间特征flab、k近邻阴影特征fknn、对比度特征fco、色调特征fhue、反射光特征fre和饱和度特征fsa。其中，天空颜色对特征利用sift算法和hsv通道，以字典编码的形式对天空区域提取相关特征，构成256维特征向量。lab颜色空间特征通过统计天空区域的lab颜色空间l通道和a通道的直方图，构成200维特征向量。k近邻阴影特征利用knn算法计算阴影区域相似性，从而构成10维特征向量。对比度特征以图像亮度标准差的形式得到1维特征向量。色调特征以roi为单位，统计hsv颜色空间中的h通道的直方图，构成120维特征向量。反射光特征通过提取图像的前景白色像素点和绘制背景闭合曲线，运用动态规划最终构成100维特征向量。饱和度特征通过统计饱和度直方图以及计算图像的平均饱和度值，构成22维特征向量。结合已有的天气特征，最终构造候选天气特征集合w＝{天空频率直方图特征fsk，阴影能量特征fsh，透射率特征ft，lab颜色空间特征flab，对比度特征fco，色调特征fhue，反射光特征fre，饱和度特征fsa}。没有选择天空颜色对特征fsc和k近邻阴影特征fknn的原因在于：天空颜色对特征需要进行预处理，过程复杂且速度较慢，并且经过颜色对字典编码后的特征向量维度较高；而k近邻阴影特征没有考虑阴天情况下，将建筑物边界、纹理线等误检为阴影边界而影响准确性的问题。

步骤2，根据fisher-randomforest特征重要性计算方法计算候选天气特征集w中的天气特征重要性并进行特征选择，构成天气特征向量vw：

步骤2-1，定义fisher-randomforest特征重要性，并计算w中的每种天气特征的fisher-randomforest特征重要性；

步骤2-1-1，提取w中的每种天气特征，将其输入到随机森林分类器计算得到该特征每个维度的随机森林特征重要性；

步骤2-1-2，根据fisher特征选择方法，计算该特征每个维度的fisher分数，fisher特征选择方法利用了样本的类别信息，其基本思想是：如果某一特征类内相似性较大，类间相似性较小，则认为该特征是好的特征；反之，如果该特征类内相似性较小，而类间相似性较大，则认为该特征不是好的特征。基于此思路，本发明利用fisher分数加权随机森林特征重要性来增强类内相似性。fisher分数计算公式定义为：

步骤2-1-3，最后，得到该特征每个维度的fisher分数之后，将每个维度的fisher分数作为权重赋给随机森林中相应维度的特征重要性，从而得到fisher-randomforest特征重要性，fisher-randomforest特征重要性的计算公式为：

步骤2-2，计算出w中各天气特征的fisher-randomforest特征重要性后，即可对天气特征进行分析，并根据分析结果选择合适的天气特征用于分类。特征分析主要涉及两方面的指标：fisher-randomforest特征重要性和特征维度。候选天气特征集合w中各天气特征的fisher-randomforest特征重要性以及特征维度如图3所示。w中各天气特征的特征重要性为fsa＞fsk＞fco＞fsh＞ft＞fhue＞flab＞fre，特征维度为fsk＞flab＞fhue＞fre＞ft＞fsh＞fsa＞fco。在选择天气分类特征时，秉着高特征重要性、低特征维度优先的原则，并兼顾到户外彩色图像的场景结构、固有属性以及天气特征的通用性，最终选择天空频率直方图特征fsk、阴影能量特征fsh、透射率特征ft、对比度特征fco和饱和度特征fsa构成230+50+81+1+22＝384维的天气特征向量vw＝(fsk,fsh,ft,fco,fsa)用于天气分类。

步骤3，考虑到随机森林分类器具有训练速度快、可以处理高维数据并且对噪声的容忍度较高的特点，本发明采用随机森林分类器作为天气分类器判断户外彩色图像的天气类别。将天气特征向量vw输入到训练好的随机森林分类器中实现对户外图像的晴阴分类：

步骤3-1，从数据集中随机抽取80％的户外彩色图像作为训练样本集，并令晴天户外图像为正样本，阴天户外图像为负样本，其余20％作为测试样本集；

步骤3-2，输入训练样本集中的图像以及对应的样本标签，训练随机森林分类器作为天气分类器，再从测试样本集中选取一幅户外彩色图像输入到天气分类器中，实现天气晴阴分类；其具体步骤是：

步骤3-2-1，分别计算训练样本集中每幅户外彩色图像的天空频率直方图、阴影能量、透射率、对比度以及饱和度特征，归一化后联合构成天气特征向量vw；

步骤3-2-2，将每个样本的天气特征向量vw及其类别标签作为输入数据训练随机森林分类器，训练完成后即可利用训练好的随机森林分类器对天气进行分类；

步骤3-2-3，从测试样本集中抽取一幅户外彩色图像i，提取该幅户外彩色图像的联合特征vw，并将vw输入到训练好的随机森林分类器实现天气分类。

至此，已实现户外彩色图像的天气晴阴分类。

图4给出了部分实验结果。图4中，第一列为行号，第二列为待分类图像，第三列至第七列分别为待分类图像的天空频率直方图特征、阴影能量特征、透射率特征、饱和度特征折线图及对比度特征值，第八列为待分类图像的分类结果。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。