一种基于改进VGG16卷积网络的排烟视频检测方法与流程

本发明属于目标检测技术领域，具体涉及一种基于改进vgg16卷积网络的排烟视频检测方法。

背景技术

在快速发展的现代社会中，“安全，快速，方便”已成为现代社会的代名词，生活中各个方面充满了对科技的利用。计算机视觉作为一门研究如何使机器“看”的科学，它利用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使图像更适合人眼观察或仪器检测。目前，计算机视觉成为科学领域中一个富有挑战性、重要且热门的研究领域。

我国化工厂发展迅速，烟囱排烟现象复杂，而且造成空气污染较为严重。随着国内环保法规的日益严格，对化工厂排烟情况监测更加重视。为了人类的可持续发展，空气污染是必须解决的重大问题。虽然目前在有些场景中使用了摄像机对排烟进行监控，但是仍然需要有人对监控画面进行看守，这样不仅耗时费力，而且也无法保证准确、实时地对排烟情况做出反应。

为了满足实际应用的需要，针对目前烟囱排烟监管和检测出现的各种不足，对排烟情况的智能化检测进行了研究，随着深度学习的不断发展、应用领域不断扩大，对烟囱排烟进行自动化、智能化实时监控、检测成为可能，因而设计了一种基于改进vgg16卷积网络的烟囱排烟视频实时检测方法。

技术实现要素：

本发明采用改进vgg16卷积网络，对烟囱排烟视频及图像进行排烟检测，能有效满足实时性和精度要求。

本发明的技术方案如下：

一种基于改进vgg16卷积网络的排烟视频检测方法，步骤如下：

步骤1：生成烟囱排放图像数据集；

步骤1.1爬取烟囱排烟图像

从网页上下载烟囱排烟视频，截取图片帧；将烟囱排烟图像和图片帧整合生成数据集。

步骤1.2数据增强

对步骤1.1中整合生成的数据集进行数据增强。

所述的数据增强包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换。数据增强增加数据集内图像个数，提高神经网络识别能力和泛化能力，从而提高训练精度。

步骤1.3特征标记

对增强后的数据集中的排烟图像的烟雾部分用矩形框进行特征标记，得到矩形框的坐标信息(x，y，w，h)，(x，y)为矩形框的中心坐标，(w，h)为矩形框的宽和高，将带有矩形框坐标信息的图像生成新的数据集a，该数据集a将用于改进vgg16卷积网络训练。

步骤2：获取最优权重模型；

将数据集a中标记图像分为训练集q1、验证集q2和测试集q3。

进一步的，设置训练集q1占数据集a的60％；验证集q2占数据集a的20％；测试集q3占数据集a的20％。

步骤2.1训练生成多个权重模型

将训练集q1送入到改进vgg16卷积网络中进行训练，得到多个权重模型。

所述的改进vgg16卷积网络的主网络结构是vgg16，最后两个全连接层改成两层卷积层，用于多尺度提取烟囱图像特征，再连接全局均值池化层，生成1×1×n的矩阵用于结果输出，最后输入到损失函数softmax中进行分类，构造完整的网络结构。其中全局池化层在整个特征图上取均值，可大量减少模型的总参数量，提高检测速度。

所述步骤2.1中用改进vgg16卷积网络对训练集q1进行训练的具体步骤如下：

步骤2.1.1得到正负样本用于新网络训练

defaultbox是改进vgg16卷积网络自动标记的烟囱框，defaultbox的面积sk如下：

其中，smin表示最底层的面积，取值为0.2；smax表示最顶层的面积，取值为0.9。

defaultbox的宽为：

其中，δw为宽的偏移量。

defaultbox的高为：

其中，δh为高的偏移量。

defaultbox的长宽比ar有5种，ar＝{1,4/3,16/9,3/4,9/16}。

defaultbox在不同的特征层有不同的大小，在同一个特征层又有不同的长宽比，能覆盖输入排烟图像中的各种形状和大小的烟雾。

将defaultbox的面积与训练集q1中特征标记的矩形框进行比较，defaultbox的面积与训练集q1中特征标记的矩形框的重叠面积大于0.5时，图像标记为正样本，小于0.3时标记为负样本，产生的正样本和负样本比为1：3。

步骤2.1.2获取defaultbox的类别的置信度和坐标值

将步骤2.1.1得到的正样本和负样本放入改进vgg16卷积网络训练，得到三层特征层；用两个不同的3×3的卷积核对三层特征层进行卷积，得到两个1×1×n的矩阵输出，其中一个输出为分类用的置信度，即生成的每个defaultbox的类别的置信度；另一个输出为回归用的定位，即每个defaultbox的坐标值(x,y,w,h)。

步骤2.1.3模型调整

将三层特征层和训练集q1送到改进vgg16卷积网络中，使用smoothl1函数进行拟合，输出坐标向量。

将输出坐标向量、步骤2.1.2中得到的defaultbox的类别的置信度和defaultbox的坐标值使用concat方法合并，然后用损失函数softmax进行模型调整，得到多个的defaultbox。

步骤2.1.4生成多个权重模型

使用非极大值抑制算法对2.1.3中的多个defaultbox进行筛选得到defaultboxa，由defaultboxa生成多个权重模型。

步骤2.2验证集调参

验证集q2的作用是用来调整模型参数。当训练集q1训练出多个权重模型后，为了能找出效果最佳的权重模型，使用各个权重模型对验证集q2进行预测，并记录权重模型的准确率。选出准确率最大的权重模型所对应的参数，用该参数生成最优权重模型。

2.3衡量网络性能

使用测试集q3对步骤2.2得到的最优权重模型进行预测，衡量改进vgg16卷积网络性能。

步骤3：对烟囱排放视频和图像进行测试；

将视频监控设备与计算机相连接，利用步骤2中生成的训练模型对监控的烟囱视频或图像进行检测，实时监控烟囱排烟状况，对有排烟视频进行矩形框标记并在计算机上显示。

本发明的有益效果：

(1)该改进vgg16卷积网络在多尺度的特征图下提取defaultbox，使得检测精度很高。

(2)该改进vgg16卷积网络将传统的全连接层改为卷积层加全局均值池化层的网络结构，使得检测的速度得到了很大的提升。

(3)使用不同长宽比的defaultbox，使得多个defaultbox可以适应不同物体的不同形状和尺寸。

附图说明

图1是本发明提供的方法流程图。

图2是本发明提供的改进vgg16卷积网络的网络框架。

图3是本发明提供的改进vgg16卷积网络的流程图。

具体实施方式

下面结合技术方案和附图对本发明的具体实施例详细说明。

一种基于改进vgg16卷积网络的排烟视频检测方法，步骤如下：

步骤1：生成烟囱排放图像数据集；

步骤1.1爬取烟囱排烟图像

通过python代码从网页上下载烟囱排烟视频，截取图片帧；将烟囱排烟图像和图片帧整合生成数据集。

步骤1.2数据增强

对步骤1.1中整合生成的数据集进行数据增强。

所述的数据增强包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换。数据增强增加数据集内图像个数，提高神经网络识别能力和泛化能力，从而提高训练精度。

步骤1.3特征标记

对增强后的数据集中的排烟图像的烟雾部分用矩形框进行特征标记，得到矩形框的坐标信息(x，y，w，h)，(x，y)为矩形框的中心坐标，(w，h)为矩形框的宽和高，将带有矩形框坐标信息的图像生成新的数据集a，该数据集a将用于改进vgg16卷积网络训练。

步骤2：获取最优权重模型；

将数据集a中标记图像分为训练集q1、验证集q2和测试集q3。

进一步的，设置训练集q1占数据集a的60％；验证集q2占数据集a的20％；测试集q3占数据集a的20％。

步骤2.1训练生成多个权重模型

将训练集q1送入到改进vgg16卷积网络中进行训练，得到多个权重模型。

所述的改进vgg16卷积网络的主网络结构是vgg16，最后两个全连接层改成两层卷积层，用于多尺度提取烟囱图像特征，再连接全局均值池化层，生成1×1×n的矩阵用于结果输出，最后输入到损失函数softmax中进行分类，构造完整的网络结构。其中全局池化层在整个特征图上取均值，可大量减少模型的总参数量，提高检测速度。

进一步的，所述步骤2.1中用改进vgg16卷积网络对训练集q1进行训练的具体步骤如下：

步骤2.1.1得到正负样本用于新网络训练

defaultbox是改进vgg16卷积网络自动标记的烟囱框，defaultbox的面积sk如下：

其中，smin表示最底层的面积，取值为0.2；smax表示最顶层的面积，取值为0.9。

defaultbox的宽为：

其中，δw为宽的偏移量。

defaultbox的高为：

其中，δh为高的偏移量。

defaultbox的长宽比ar有5种，ar＝{1,4/3,16/9,3/4,9/16}。

defaultbox在不同的特征层有不同的大小，在同一个特征层又有不同的长宽比，能覆盖输入排烟图像中的各种形状和大小的烟雾。

将defaultbox的面积与训练集q1中特征标记的矩形框进行比较，defaultbox的面积与训练集q1中特征标记的矩形框的重叠面积大于0.5时，图像标记为正样本，小于0.3时标记为负样本，产生的正样本和负样本比为1：3。

步骤2.1.2获取defaultbox的类别的置信度和坐标值

将步骤2.1.1得到的正样本和负样本放入改进vgg16卷积网络训练，得到三层特征层；用两个不同的3×3的卷积核对三层特征层进行卷积，得到两个1×1×n的矩阵输出，其中一个输出为分类用的置信度，即生成的每个defaultbox的类别的置信度；另一个输出为回归用的定位，即每个defaultbox的坐标值(x,y,w,h)。

步骤2.1.3模型调整

将三层特征层和训练集q1送到改进vgg16卷积网络中，使用smoothl1函数进行拟合，输出坐标向量。

将输出坐标向量、步骤2.1.2中得到的defaultbox的类别的置信度和defaultbox的坐标值使用concat方法合并，然后用损失函数softmax进行模型调整，得到多个的defaultbox。

步骤2.1.4生成多个权重模型

使用非极大值抑制算法对2.1.3中的多个defaultbox进行筛选得到defaultboxa，由defaultboxa生成多个权重模型。

步骤2.2验证集调参

验证集q2的作用是用来调整模型参数。当训练集q1训练出多个权重模型后，为了能找出效果最佳的权重模型，使用各个权重模型对验证集q2进行预测，并记录权重模型的准确率。选出准确率最大的权重模型所对应的参数，用该参数生成最优权重模型。

2.3衡量网络性能

使用测试集q3对步骤2.2得到的最优权重模型进行预测，衡量改进vgg16卷积网络性能。

步骤3：对烟囱排放视频和图像进行测试；

将视频监控设备与计算机相连接，利用步骤2中生成的训练模型对监控的烟囱视频或图像进行检测，实时监控烟囱排烟状况，对有排烟视频进行矩形框标记并在计算机上显示。