基于深度学习的复杂光照成像下的图像分类方法

1.本发明涉及一种分类方法，具体为基于深度学习的复杂光照成像下的图像分类方法，属于计算机视觉和数字图像处理技术领域。


背景技术：

2.在现代生产条件的要求下，为保证施工的安全性，许多室外施工场所都被要求安装摄像头，这使得摄像头成像受到太阳光照和阴雨天气的影响，成像的亮度复杂，常有过曝光的现象，过曝光的部分图像信息严重丢失，这使得神经网络在一部分提取不到特征，传统的检测和分类算法的准确率受到严重影响；其次，由于强光照的影响，图像中会有丁达尔效应，这会进一步模糊图像特征，尤其在夜间成像的情况下，有强光照射摄像头时该现象尤为明显，传统的分类方法在处理这类数据时会先进行图像增强处理，但图像增强后的数据无法填补过曝光部分的特征，且由于监控是24小时都在进行的，白天与夜间成像的亮度差别巨大，普通的数据增强方法无法适应，由此，传统的分类网络并不适用于此类场景。
3.现有的方法，中国专利cn202110266753.7公开了一种复杂海洋环境下船舶检测分类方法，该方法的步骤包括：通过对船舶样本的数据集训练得到深度卷积神经网络模型；通过训练好的深度卷积神经网络模型对船舶的类别和位置信息进行预测；深度卷积神经网络模型包括：主干特征提取网络，用于生成四个不同尺度的特征层；多尺度特征融合网络，用于增加小船舶的接受野；检测网络，用于生成船舶的预测图片，连接于多尺度特征融合网络，该专利采用了多尺度特征融合的方法对目标进行检测，但缺少对特征的增强处理，在光照条件复杂的数据上准确率有所下降；
4.中国专利cn202010522217.4公开了一种基于改进yolov3算法的海上船舶检测方法，该方法步骤包括：步骤一，设计多尺度特征融合的网络结构；步骤二，设计特征信息交互网络结构；步骤三，优化模型损失函数；步骤四，数据集平衡化处理和先验框聚类；步骤五，模型训练：所述模型包括数据预处理模块和改进yolov3网络结构；步骤六，对目标图像使用已训练好的模型预测船舶的类别和位置信息，该方法的不足之处在于没有针对光照因素的特征增强，网络无法适应复杂光照下的检测任务；
5.中国专利cn201910514333.9公开了一种昼夜图像中的船舶检测和识别方法，该方法的具体步骤如下：步骤一，利用光感元件探测不同时段船舶图像的照度，根据船舶图像的不同照度范围将其分成白天图像和夜间图像两类；步骤二，针对白天图像，首先对所有出现在探测范围内的物体进行检测，然后从中筛选出船舶类物体；步骤三，针对夜间图像，首先检测夜间图像中的显著目标，从中筛选出船舶类物体；步骤四，基于筛选出的船舶类物体，获取当前视频帧中的所有船舶的实时位置和所属类别信息，该方法的局限在于，处理不同照度的图片时是手工将图片分开，手工处理的方法不够智能，不同光照条件下的数据集分类标准不同，当改变算法使用场景时，需要重新挑选数据，这增加了算法使用的成本。
6.有鉴于此特提出基于深度学习的复杂光照成像下的图像分类方法来帮助解决上述问题。


技术实现要素：

7.本发明的目的就在于提供一种基于深度学习的复杂光照成像下的图像分类方法，能够构建适应复杂光照场景的局部图像类网络，能够构建基于位置信息和类别概率信息的决策网络，以解决在复杂光照条件下图像特征丢失严重或特征模糊而导致的分类准确率低下问题。
8.本发明通过以下技术方案来实现上述目的，基于深度学习的复杂光照成像下的图像分类方法，包括收集模块和处理模块，所述收集模块包括如下步骤：
9.s1、利用光感原件对不同时段的所需物体图像的照度，并对所需物体图像的不同照度范围进行分类；
10.s2、对第一范围的图像，通过基于深度卷积神经网络的目标检测算法faster r-cnn处理；
11.s3、对第二范围的图像，通过基于区域协方差引导的卷积神经网络算法处理；
12.s4、基于筛选出来的所需物体，获取当前视频帧中的全部所述物体的实时位置和类别信息；
13.s5、使用auc和mae评价检测结果，
14.所述处理模块与所述收集模块对应。
15.进一步的，所述步骤s1具体包括：
16.s11、收集大量不同时间段的同一场景的图片，统计分析各个时间段的照度范围，制作照度范围参考对照表；
17.s12、通过光感原件探测摄像头传输的所需物体图像的照度，对比所述照度范围参考对照表，判断图像的类别使第一范围的图像还是第二范围的图像，通过船体图像的不同照度对图像进行分类，方便后续对不同范围的图像进行不同的处理，提高分类质量和效果。
18.进一步的，所述步骤s2具体包括：
19.s21、计算待检测第一范围的第一卷积特征图；
20.s22、对所述第一卷积特征图进行处理；
21.s23、对所述第一卷积特征图提取特征并分类，通过对第一范围的图像，即日间图像使用基于深度卷积神经网络的目标检测算法处理，方便后续的分类工作。
22.进一步的，所述步骤s3使用基于区域协方差引导的卷积神经网络算法处理第二范围的图像，具体包括：
23.s31、以像素为单元提取第二范围图像的低级特征；
24.s32、以多维特征向量为基础构造区域协方差；
25.s33、以协方差矩阵为训练样本构造卷积神经网络模型；
26.s34、基于局部和全局对比度原则计算图像显著性；
27.s35、框出显著的船舶目标，获取船舶位置，通过通过对第二范围的图像，即夜间图像使用基于区域协方差引导的卷积神经网络算法处理，方便后续的分类工作，提高分类效果。
28.进一步的，所述处理模块包括源图像预处理、图像切片、分类网络分类、决策网络决策和输出结果，具体包括如下步骤：
29.a、源图像预处理：源图像尺寸为2160*3840，根据算法的需要先将感兴趣区域裁剪
出来，得到2160*1720的图片，在将其resize成1080*860的图片以备后续使用；
30.b、图像切片：将1080*860的图片切分成357(21*17)个50*50的小片图片；
31.c、分类网络分类，并得到分类张量：将小片图片输入分类网络中，得到每张小片图片的分类结果，并将分类结果组成21*17的分类张量；
32.d、决策网络决策：将21*17的分类张量输入决策网络中，得到最终的决策结果；
33.e、输出结果：将决策结果输出，通过源图像预处理、图像切片、分类网络分类、决策网络决策和输出结果方便对源图像进行处理、分类和输出，将图像信息在输出时更加丰富，通过这些信息指导最终的决策结果，提高分类效果。
34.进一步的，所述收集模块收集处理过的图像作为所述处理模块的源图像，通过收集模块和处理模块的配合使用方便对收集的源图像进行处理，有效避免了因局部过曝光造成的干扰。
35.进一步的，所述步骤c中进行分类网络训练数据时，具体包括：
36.c11、每张图片大小为50*50，标记四个值，对应图片时对应类别的概率；
37.c12、分类网络损失函数使用kl散度损失，其计算公式如下所示：对离散概率分布的kl散度计算公式：
[0038][0039]
通过将源图像进行切分处理，对分片后的图像进行分类处理，分类后将输出该图像对应类别的概率，由此，分类网络将输出更丰富的图像信息，这些信息将指导最终的决策结果，图片分片处理，避免目标与背景之间相似部分的干扰，提高分类的准确率。
[0040]
进一步的，所述步骤d中进行决策网络训练数据时，具体包括：
[0041]
d11：每张图片大小为1080*860，标签表示该图片是否有船；
[0042]
d12：训练决策网络时，先将数据切分成50*50的图片，输入分类网络中，得到21*17个1*4的张量，并将这些张量拼接成21*17*4的张量，作为决策网络的输入；
[0043]
d13：将21*17*4的张量输入网络中进行训练，使用交叉熵损失作为损失函数，其计算公式如下所示：
[0044][0045]
通过将分片后的图片输入分类网络中，得到每个小片图像对应的概率，将得到的结果组成结果矩阵，并输入决策网络中，决策网络学习到了关于源图像不同位置的概率信息，有效避免了因局部过曝光造成的干扰，小片图片分类网络输出四个类别的概率，有效避免了不均匀的光照对图片分类的影响。
[0046]
本发明的技术效果和优点：
[0047]
1、本发明提出将源图像进行切分处理，对分片后的图像进行分类处理，分类后将输出该图像对应类别的概率，由此，分类网络将输出更丰富的图像信息，这些信息将指导最终的决策结果，图片分片处理，避免目标与背景之间相似部分的干扰，提高分类的准确率。
[0048]
2、本发明提出将源图像进行切分处理，将分片后的图片输入分类网络中，得到每
个小片图像对应的概率，将得到的结果组成结果矩阵，并输入决策网络中，决策网络学习到了关于源图像不同位置的概率信息，有效避免了因局部过曝光造成的干扰，小片图片分类网络输出四个类别的概率，有效避免了不均匀的光照对图片分类的影响。
附图说明
[0049]
图1为本发明的基本流程示意图；
[0050]
图2为本发明中收集模块的基本流程示意图；
[0051]
图3为本发明中处理模块的基本流程示意图；
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
请参阅图1-3所示，基于深度学习的复杂光照成像下的图像分类方法，包括收集模块和处理模块，收集模块包括如下步骤：
[0054]
s1、利用光感原件对不同时段的所需物体图像的照度，并对所需物体图像的不同照度范围进行分类；
[0055]
s2、对第一范围的图像，通过基于深度卷积神经网络的目标检测算法faster r-cnn处理；
[0056]
s3、对第二范围的图像，通过基于区域协方差引导的卷积神经网络算法处理；
[0057]
s4、基于筛选出来的所需物体，获取当前视频帧中的全部物体的实时位置和类别信息；
[0058]
s5、使用auc和mae评价检测结果，
[0059]
处理模块与收集模块对应。
[0060]
步骤s1具体包括：
[0061]
s11、收集大量不同时间段的同一场景的图片，统计分析各个时间段的照度范围，制作照度范围参考对照表；
[0062]
s12、通过光感原件探测摄像头传输的所需物体图像的照度，对比照度范围参考对照表，判断图像的类别使第一范围的图像还是第二范围的图像，
[0063]
步骤s2具体包括：
[0064]
s21、计算待检测第一范围的第一卷积特征图；
[0065]
s22、对第一卷积特征图进行处理；
[0066]
s23、对第一卷积特征图提取特征并分类，
[0067]
步骤s3使用基于区域协方差引导的卷积神经网络算法处理第二范围的图像，具体包括：
[0068]
s31、以像素为单元提取第二范围图像的低级特征；
[0069]
s32、以多维特征向量为基础构造区域协方差；
[0070]
s33、以协方差矩阵为训练样本构造卷积神经网络模型；
[0071]
s34、基于局部和全局对比度原则计算图像显著性；
[0072]
s35、框出显著的船舶目标，获取船舶位置，第一范围的图像即为日间图像，第二范围的图像即为夜间图像，通过基于船体图像的不同照度对图像进行分类，并对分类后的白天图像和夜间图像分别使用不同的处理策略，提高分类效果。
[0073]
处理模块包括源图像预处理、图像切片、分类网络分类、决策网络决策和输出结果，具体包括如下步骤：
[0074]
a、源图像预处理：源图像尺寸为2160*3840，根据算法的需要先将感兴趣区域裁剪出来，得到2160*1720的图片，在将其resize成1080*860的图片以备后续使用；
[0075]
b、图像切片：将1080*860的图片切分成357(21*17)个50*50的小片图片；
[0076]
c、分类网络分类，并得到分类张量：将小片图片输入分类网络中，得到每张小片图片的分类结果，并将分类结果组成21*17的分类张量；
[0077]
d、决策网络决策：将21*17的分类张量输入决策网络中，得到最终的决策结果；
[0078]
e、输出结果：将决策结果输出，
[0079]
收集模块收集处理过的图像作为处理模块的源图像。
[0080]
步骤c中进行分类网络训练数据时，具体包括：
[0081]
c11、每张图片大小为50*50，标记四个值，对应图片时对应类别的概率；
[0082]
c12、分类网络损失函数使用kl散度损失，其计算公式如下所示：
[0083]
对离散概率分布的kl散度计算公式：
[0084]
将源图像进行切分处理，对分片后的图像进行分类处理，分类后将输出该图像对应类别的概率，由此，分类网络将输出更丰富的图像信息，这些信息将指导最终的决策结果，图片分片处理，避免目标与背景之间相似部分的干扰，提高分类的准确率，
[0085]
步骤d中进行决策网络训练数据时，具体包括：
[0086]
d11：每张图片大小为1080*860，标签表示该图片是否有船；
[0087]
d12：训练决策网络时，先将数据切分成50*50的图片，输入分类网络中，得到21*17个1*4的张量，并将这些张量拼接成21*17*4的张量，作为决策网络的输入；
[0088]
d13：将21*17*4的张量输入网络中进行训练，使用交叉熵损失作为损失函数，其计算公式如下所示：
[0089]
将分片后的图片输入分类网络中，得到每个小片图像对应的概率，将得到的结果组成结果矩阵，并输入决策网络中，决策网络学习到了关于源图像不同位置的概率信息，有效避免了因局部过曝光造成的干扰，小片图片分类网络输出四个类别的概率，有效避免了不均匀的光照对图片分类的影响。
[0090]
首先进行图像的收集工作，通过收集模块进行收集，先利用光感原件对不同时段的船体图像的照度，并对船体图像的不同照度范围进行分类，收集大量不同时间段的同一场景的图片，统计分析各个时间段的照度范围，制作照度范围参考对照表，通过光感原件探
测摄像头传输的所需物体图像的照度，对比所述照度范围参考对照表，判断船体图像的类别是第一范围的图像还是第二范围的图像，对第一范围的图像，通过基于深度卷积神经网络的目标检测算法faster r-cnn处理，对第二范围的图像，通过基于区域协方差引导的卷积神经网络算法处理，在对第一范围的图像进行处理时，计算待检测第一范围的第一卷积特征图，对第一卷积特征图进行处理，对第一卷积特征图提取特征并分类，通过船体图像的不同照度对图像进行分类，方便后续对不同范围的图像进行不同的处理，提高分类质量和效果，通过对第一范围的图像，即日间图像使用基于深度卷积神经网络的目标检测算法处理，方便后续的分类工作，在对第二范围的图像进行处理时，以像素为单元提取第二范围图像的低级特征，以多维特征向量为基础构造区域协方差，以协方差矩阵为训练样本构造卷积神经网络模型，基于局部和全局对比度原则计算图像显著性，框出显著的船舶目标，获取船舶位置，通过通过对第二范围的图像，即夜间图像使用基于区域协方差引导的卷积神经网络算法处理，方便后续的分类工作，提高分类效果，基于筛选出来的所需物体，获取当前视频帧中的全部所述物体的实时位置和类别信息，使用auc和mae评价检测结果，把收集模块收集的图像作为源图像，对源图像进行预处理，源图像尺寸为2160*3840，根据算法的需要先将感兴趣区域裁剪出来，得到2160*1720的图片，在将其resize成1080*860的图片以备后续使用，然后把图像切片，将1080*860的图片切分成357(21*17)个50*50的小片图片，对分片后的图像进行分类处理，将小片图片输入分类网络中，得到每张小片图片的分类结果，并将分类结果组成21*17的分类张量，每张图片大小为50*50，标记四个值，对应图片时对应类别的概率，分类后将输出该图像对应类别的概率，将21*17的分类张量输入决策网络中，每张图片大小为1080*860，标签表示该图片是否有船，训练决策网络时，先将数据切分成50*50的图片，输入分类网络中，得到21*17个1*4的张量，并将这些张量拼接成21*17*4的张量，作为决策网络的输入，得到最终的决策结果，由此，分类网络将输出更丰富的图像信息，这些信息将指导最终的决策结果，图片分片处理，避免目标与背景之间相似部分的干扰，提高分类的准确率，将决策结果输出，将源图像进行切分处理，将分片后的图片输入分类网络中，得到每个小片图像对应的概率，将得到的结果组成结果矩阵，并输入决策网络中，决策网络学习到了关于源图像不同位置的概率信息，有效避免了因局部过曝光造成的干扰，小片图片分类网络输出四个类别的概率，有效避免了不均匀的光照对图片分类的影响。
[0091]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0092]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。