基于卷积核筛选SSD网络的ROV形变目标与小目标识别方法与流程

本发明涉及基于水下形变目标与小目标检测方法，属于智能信息处理和目标检测与水下机器人技术领域。

背景技术：

水下形变目标与小目标检测是绝大多数视觉系统中不可或缺的环节，在特定的场景应用中(如视频监控等领域)，自动化、快速、高鲁棒性的目标追踪受到关注，其在视频监控、交通检测，智能机器人，海底目标探测追踪等方面具有广阔的应用前景。另外，基于海洋方面的战略意义，必须对海洋加以合理开发、研究和利用。

水下机器人(remoteoperatedvehicle,rov)由于其机动灵活、自主性强等特点，可以代替人类在复杂危险的水下环境中工作，且已经应用于各类海洋调查任务。rov获取的水下图像蕴含了海底环境中的重要信息，比如海洋生物与相关军事目标如蛙人等。为此我们引入了基于树莓派与飞控的水下机器人控制平台，针对目前深度学习中越深层的模型包含了越多的参数，带来了计算量的大幅提高，大计算量需求导致深度学习不能实时的运行在嵌入式设备中，并且功耗增大也难以解决。

技术实现要素：

本发明的目的是提出一种基于卷积核筛选ssd网络的rov水下形变目标与小目标识别方法，以弥补现有技术的不足。

本发明提出了一种基于平均响应值averageresponseenergy(are)的卷积核滤波器筛选策略，其主要是将深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性。又，由于采集过程中受光照、目标的形变、尺度、姿态变化以及快速响应等影响，高精度实时的基于图像目标检测方法是水下信号分析中也是必须直面的难题。为此本发明引入densenet的压缩网络变体与ssd检测结合以不同于原始ssd的方式构建目标检测网络，实现对易发生形变、姿态、尺度变化大及遮挡的图像目标具有良好效果。针对树莓派处理器资源有限问题，我们引入intel神经棒协处理器实时图像计算处理平台。搭建能够快速实时实现目标检测的水下机器人。

为达到上述目的，本发明通过如下技术方案实现：

一种基于卷积核筛选ssd网络的rov水下形变目标与小目标识别方法，包括以下步骤：

(1)搭载rov(水下机器人控制平台)，其中树莓派作为上位机，负责图像的传输与基本计算，intel网络神经棒作为树莓派协处理器，进行深度学习模型计算，飞控作为运动控制平台；

(2)收集通过搭建的水下机器人运动控制平台收集得水下目标图像，将图像进行筛选，数据扩增(包括拉伸，添加椒盐噪声，平滑)，通过人工标注得到voc2007格式符合神经网络训练的数据集；

(3)利用caffe搭建densenet的变体模型，网络有两个子网络，backbone网络用来特征提取图像，front-end子网络用多尺度相应做预测；所述backbone包含stemblock，4个denseblock，3个过渡层，3个无池化层的过渡层；所述stemblock块由3个3×3的卷积层连接一个2×2的最大池化层组成，用于减少信息损失；

(4)对于(3)中的backbone提取的特征图，借鉴densenet思想，将前面层的特征图和后面层的特征图连接到一起，将相邻的检测结果一半一半的结合起来通过稠密连接另一半，每个尺度仅学习半数的特征图，复用之前层的另一半，从而进行多尺度检测(如图2所示)；

(5)搭建完成之后训练数据集，得到深度模型caffemodel；

(6)利用基于平均响应值averageresponseenergy(are)的卷积核滤波器筛选策略，将上述深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性；

(7)将经过(6)处理后的caffemodel放入intel神经棒中，神经棒与树莓派相连，作为树莓派协处理器，摄像头采集数据之后，图像送入卷积神经网络中进行前向传播，得到检测结果。

本发明的有益效果：

本发明基于深度学习搭载在rov的水下形变目标与小目标快速目标检测方法。本发明的目的是考核这些数量众多的卷积核滤波器如何对模型的整体性能产生影响，以及通过模型的压缩，大大减少卷积神经网络的参数。针对目前深度学习模型中参数繁多、运算耗时久、占用体积大的问题，提出了一种基于平均响应值averageresponseenergy(are)的卷积核滤波器筛选策略。

本发明主要是将深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性。在减少模型参数的同时，结合densenet的变体与ssd快速目标检测实现对易发生形变、姿态、尺度变化大及遮挡的图像目标采用基于深度学习模型快速检测方法。

本发明可有效实现对部分遮挡、尺度变化以及小目标的检测任务，为富有挑战性的水下任务完成提供了另外一种可能性，在保证准确率的前提下明显降低了深度模型的参数量和计算需求，显著增加了实时性与可行性。

附图说明

图1是本发明的硬件框图。

图2是本发明的总体流程图。

图3是本发明的检测软体动物效果图。

图4是本发明的检测蛙人效果图。

具体实施方式

为使本发明的目的、实施方案和优点更为清晰，下面结合附图并通过具体实施例来进一步详细说明本发明。

实施例1：以海洋水下环境中的海参为检测对象。

本实施例的具体流程图如图2所示。

以下步骤应当结合附图，以及具体结果进行详细描述，并应当只是发明内容里概况的步骤。

步骤一、搭载rov(水下机器人控制平台)其中树莓派作为上位机，负责图像的传输与基本计算，intel网络神经棒作为树莓派协处理器，进行深度学习模型计算，飞控作为运动控制平台。本发明的硬件框图如图1所示。

步骤二、收集通过搭建在山东省海洋牧场的水下机器人运动控制平台收集得水下海参视频(1920*1080像素，每秒25帧)，将图像进行筛选，数据扩增(包括拉伸，添加椒盐噪声，平滑)，通过人工标注得到voc2007格式符合神经网络训练得数据集。

步骤三、利用caffe搭建densenet的变体模型，网络有两个子网络，backbone用来特征提取，front-end子网络用多尺度相应做预测。backbone包含stemblock，4个denseblock，3个过渡层，3个无池化层的过渡层；stemblock块由3个3×3的卷积层连接一个2×2的最大池化层组成，用于减少信息损失。

步骤四、对每个尺度，传的特征图由之前尺度连接卷积层学习到，我们借鉴densenet思想，通过稠密连接另一半由相邻的高分辨率的特征图下采样得到。下采样块中池化层降低分辨率，卷积层将通道数减半。每个尺度仅学习半数的特征图，复用之前层的另一半，从而达到多尺度的目的。

步骤五、搭建完成之后训练自己的数据集，得到caffemodel。

步骤六、利用基于平均响应值averageresponseenergy(are)的卷积核滤波器筛选策略，将上述深度模型中贡献度低的卷积核滤波器从原模型中移除，可以大量的减少原模型的权重参数，进而减少模型的占用体积与计算量，在不牺牲精度的情况下，能够大幅提升深度学习模型的实时性。

(1)输入r×c尺寸的图像xl，通过第l层k通道的a×b大小的卷积核滤波器xs进行卷积计算得到卷积特征映射fl：

fl＝σ(w^lxs+b^l)

其中σ表示sigmoid函数，w^l和b^l表示卷积核滤波器的权重以及偏移值。最后得到的fl就是第l卷积层k×(r-a+1)×(c-b+1)的一个三维卷积特征映射矩阵。

(2)k通道的卷积特征映射矩阵f(x,y)通过如下公式计算每一通道的响应值

公式中，m和n分别代表了一个卷积核滤波器所对应的特征映射的维度，同一个卷积核滤波器对不同图像会产生不同的特征映射。下一层h通道卷积层的特征映射fl+1同样，通过上式推到而来,上一层的输出fl作为下一层卷积层的输入

fl+1＝σ(w^l+1fl+b^l+1)

而l+1层的每一通道响应值可表示为

为了评估每一个卷积核滤波器对卷积模型的贡献度，我们定义了一种评估标准——平均响应值averageresponseenergy(are)，每一个响应值由被测卷积核滤波器计算后

保留高are的卷积核滤波器，而减少低的卷积滤波器。

步骤七、将caffemodel放入intel神经棒中，神经棒与树莓派相连，作为树莓派协处理器，摄像头采集数据之后，图像送入卷积神经网络中进行前向传播，得到检测结果。

检测结果见图3、图4，图3矩形框内为所识别的海参以及图4矩形框内为所识别的蛙人，并在矩形框上方进行了名称的标注，经验证检测识别结果与真实结果大致相同。