一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法与流程

本发明涉及一种漂浮hns目标检测方法，尤其涉及一种结合多光谱图像与深度学习方法的漂浮hns目标检测方法。

背景技术：

hns(hazardsandnoxioussubstances)水上突发泄漏事故给生态环境与公共安全带来了巨大威胁。由于漂浮于水面的hns通常颜色特征不明显，从普通rgb图像上看，其与水体背景差异以及类间差异较小，大大增加了目标快速自动化检测难度。

目前hns的检测研究中，使用较多的是色谱法、分光光度法和电化学法等较为敏感和准确的分析技术。这些方法大多需要精密的仪器、繁琐的抽样过程，这限制了它们应用到泄漏事故现场的应急处理上。hns突发事故的现场应急检测，需要快速确定漂浮hns的区域与类别以采取相应的分级预警及应急处理措施，因而对检测手段的效率提出了较高要求。

自动化成像检测技术是一种快速、灵活和安全可靠的技术，在突发事故应急处理、环境检测上具有巨大的潜力和优势。目前，溢油事故应急检测方面已有采用成像检测技术的报道。中国专利cn106370307a公布了一种利用垂直偏振与水平偏振的差分热红外图像提取边缘的水面溢油成像探测方法与装置；中国专利cn105844298a公开了一种基于fuzzyartmap神经网络的高光谱溢油影像分类方法；中国专利cn103236063a公开一种基于多尺度谱聚类及决策级融合的sar图像溢油检测方法。溢油的成像检测显示了该方法的可行性，深度学习方法的发展更是大大提升了其自动化程度。然而，相对于溢油检测，hns(如苯、甲苯、二甲苯、植物油等)常为高度透明液体与水的颜色差异小，且类间差异更小，难以使用自动化成像方法自动确定泄漏区域，且基于普通图像的hns分类更为困难。

技术实现要素：

本发明旨在针对现有技术的不足，提供一种结合多光谱图像与深度学习方法的漂浮hns目标检测方法。

本发明的目的是通过以下技术方案来实现的：一种结合多光谱图像与深度学习方法的漂浮hns目标检测方法，包括数据库准备、目标检测模型构建与模型应用检测阶段；

(1)数据库准备阶段，需要建立的数据库如下：

(1.1)hns特征反射波段数据库：使用光谱反射率测量设备采集各类待检测hns在自然水体下漂浮时的光谱反射率以及相应水体背景的光谱反射率，通过计算各类待检测hns与水体的光谱反射率差值与夹角余弦计算等方法得到各类待检测hns与水体反射率差异最大的特征波段；

(1.2)hns多光谱图像数据库：使用多光谱成像设备获取各类待检测hns多光谱图像构建其光谱图像数据库，测量的多光谱图像波段需包含步骤(1.1)中的特征反射波段；

(1.3)hns分类优选波段库：从步骤(1.2)中选取各类待检测hns的多光谱图像中对应于步骤(1.1)中的特征反射波段作为区域分割提取波段，进行图像处理分割获取hns区域后，以此区域为依据提取其余各个光谱波段图像的hns区域的光谱数据，利用机器学习方法训练常见hns类别组合的多光谱分类模型，并进一步确定分类的优选波段，优选波段中需包含步骤(1.1)中的特征反射波段；

(2)目标检测模型构建阶段，包含如下步骤：

(2.1)区域检测图像数据集构建：使用多光谱成像设备在太阳半平面下获取待检测区域对应步骤(1.3)中的优选波段图像，并从中选取其对应于步骤(1.1)中的特征反射波段图像构建区域检测图像数据集；

(2.2)图像预处理与标注：对步骤(2.1)中的数据集进行统一的光照校正平滑处理后，对区域检测图像数据集的漂浮hns区域进行区域标注，同时从所有优选波段区域图像选定相应的标注区域分割漂浮hns区域，并提取hns区域的光谱数据构成类别检测图像数据集，对每组类别检测图像数据集对应的hns类别进行分类标签标注；

(2.3)目标区域检测模型训练：将区域检测图像数据集及标注数据输入深度学习神经网络模型中进行模型训练，获得hns深度学习区域检测模型；

(2.4)目标类别检测模型训练：应用类别检测图像数据集及类别标签到机器学习方法中进行分类模型训练，获得hns的机器学习分类模型；

(3)模型应用检测阶段，包含如下步骤：

(3.1)检测图像获取与预处理：使用带gps模块的多光谱成像设备在太阳半平面下同时获取待检测区域对应步骤(1.3)中的优选波段图像以及gps定位信息，并对获取图像进行统一的光照校正平滑处理；

(3.2)目标区域分割：使用步骤(2.3)中获得的hns深度学习目标区域检测模型对检测图像进行目标区域检测，并进一步获取分割的目标区域；

(3.3)目标类别检测：从步骤(3.2)获得的目标分割区域中提取优选波段多光谱图像的光谱数据，并将数据输入步骤(2.4)中获得的机器学习分类模型进行目标hns分类，得到相应hns区域的类别标签；

(3.4)可视化检测：结合步骤(3.1)-(3.3)的检测结果，构建漂浮hns泄漏区域、类别的可视化检测结果图。

进一步地，所述的数据库准备阶段的步骤(1.3)和目标检测模型构建阶段的步骤(2.4)中的机器学习方法可以为偏最小二乘判别分析法(pls-da)、支持向量机法(svm)或人工神经网络(ann)等。

进一步地，所述的目标检测模型构建阶段的步骤(2.3)中的深度神经网络模型可以为rcnn系列、ssd系列或yolo系列等。

进一步地，所述的目标检测模型构建阶段的步骤(2.3)中的深度神经网络模型与(2.4)中的机器学习分类模型可以采用多任务的方式进行一体化训练。

进一步地，该方法通过漂浮hns检测系统来实现，所述漂浮hns检测系统包含无人机平台、多光谱成像系统、电控三维云台、通讯模块、控制模块和地面基站；

所述多光谱成像系统包括成像传感器和多波段滤光片，用于采集多光谱图像；所述电控三维云台用于调节成像的观测几何；所述通讯模块用于传输图像以及地面基站指令；所述控制模块用于根据指令进行成像及系统控制；所述地面基站用于图像处理及系统控制。

进一步地，在进行图像获取时，成像设备始终处于太阳平面内对目标进行成像。

本发明的有益效果是：

1、本发明提供的方法充分利用了高度透明hns与水在不同光谱波段存在的反射率差异不同，选择差异最大的反射波段作为hns图像区域检测波段，创造性地克服了漂浮hns因为高度透明而难以进行成像检测的难题。

2、本发明提供的方法利用多光谱图像包含的丰富光谱信息对hns进行机器学习分类，解决了单一波段图像无法区分类间差异极小的不同hns这一关键问题。

3、本发明提供的方法采用构建数据库方式进行，便于在相应多种hns的运输船发生的泄漏事故中，快速选择相应波段的多光谱成像系统进行，具有针对性强且图像获取效率高的特点。

附图说明

图1为本发明方法流程图；

图2为示例样品的反射光谱曲线示意图；

图3为特征反射波段优选示意图；

图4为漂浮hns样品多光谱图像示意图；

图5为可视化检测结果示意图；

图6为实现本发明方法的一种漂浮hns检测系统示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

以对水上运输常见的高度透明hns(苯、二甲苯、植物油)作为示例hns进行检测为例，来详细说明本发明方法的实现过程(见图1)，具体检测操作步骤如下：

(1)首先，在未发生事故时的数据库准备阶段，进行以下步骤的准备工作：

s1-1、待检测hns与水体的特征反射波段确定：使用asd地物光谱仪对3种样品的反射率采集(见图2)，并将二甲苯与水体背景的反射率差值与波段对比(见图3)，得到365nm可作为特征反射波段，苯与植物油样品也相同。

s1-2、待检测hns多光谱图像数据库采集：采用多光谱成像相机采集包含样品特征反射波段在内的365、410、450、650、700和850nm的多光谱图像(示例图见图4)。

s1-3、三类样品(苯、二甲苯与植物油)的分类优选波段确定：从s1-2中的多光谱图像中选取365nm特征反射波段作为区域分割提取波段，进行图像处理分割获取hns区域后，以此区域为依据提取其余各个光谱波段图像的hns区域的光谱数据。利用pls-da和ls-svm法训练3类样品的多光谱分类模型，在利用365、410、450、500、550、600、650、700和850nm这9个波段的pls-da和ls-svm模型中均取得了100％的分类精度，在利用各个分波段区间的模型中，近紫外波段(365，410和450nm)的分类精度优于其它波段，通过最终的波段优选测试，利用365,410,450和850nm仅这4个波段数据的ls-svm模型可取得100％的分类准确率，因此选定这4个波段作为三类样品的优选分类波段；

(2)在目标检测模型构建阶段，进行以下步骤的准备工作：

s2-1、区域检测图像数据集构建：使用多光谱成像设备在太阳半平面下获取待检测区域365,410,450和850nm这4个波段的多光谱图像，并从中选取365nm图像作为特征反射波段图像构建区域检测图像数据集；

s2-2、图像预处理与标注：对步骤s2-1中的数据集进行统一的光照校正平滑处理后，对区域检测图像数据集的漂浮hns区域进行区域标注，同时从365,410,450和850nm这4个波段的图像选定相应的标注区域分割漂浮hns区域，并提取hns区域的光谱数据构成类别检测图像数据集，对每组类别检测图像数据集对应的hns类别进行分类标签标注，这三类hns的类别数据分别用二进制数字标签(苯-01，二甲苯-10，植物油-11)进行表示，若得到类别标签为“00”的结果，将被视为分类不稳定的情况；

s2-3、目标区域检测模型训练：将区域检测图像数据集及标注数据输入fasterrcnn深度学习神经网络模型中进行模型训练，获得hns深度学习区域检测模型；

s2-4、目标类别检测模型训练：应用类别检测图像数据集及类别标签到ls-svm中进行分类模型训练，获得hns的机器学习分类模型；

(3)模型应用检测阶段，包含如下步骤：

s3-1、检测图像获取与预处理：使用带gps模块的多光谱成像设备在太阳半平面下同时获取365,410,450和850nm这4个波段图像以及gps定位信息，并对获取图像进行统一的光照校正平滑处理；

s3-2、目标区域分割：使用步骤s2-3中获得的hns深度学习目标区域检测模型对检测图像进行目标区域检测，并进一步利用改进的分水岭分割算法获取分割的目标区域；

s3-3、目标类别检测：从步骤s2-3获得的目标分割区域中提取365,410,450和850nm这4个波段的图像光谱数据，并将数据输入步骤s2-4中获得的机器学习分类模型进行目标hns分类，得到相应hns区域的类别标签；

s3-4、可视化检测：结合以上步骤的检测结果，构建漂浮hns泄漏区域、类别的可视化检测结果图(见图5)，根据区域面积与hns类别的危险性确定泄漏事故的危险等级为应急措施提供指引，由步骤s3-1中的图像gps位置的记录引导应急抢救。

如图5所示，本实施例中，采用包含无人机平台、多光谱成像系统、电控三维云台、通讯模块、控制模块和地面基站的漂浮hns检测系统来实现本发明方法，但不限于此。所述无人机平台包括无人机、gps定位模块、imu惯性测量单元和电源系统；所述多光谱成像系统包括成像传感器和365,410,450和850nm这4个波段的滤光片；所述电控三维云台用于调节近紫外成像的观测几何；所述通讯模块用于传输图像以及地面基站指令；所述控制模块用于根据指令进行成像及系统控制；所述地面基站用于图像处理及系统控制。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方案实施本发明。因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护范围。