一种危险船只的识别方法及装置与流程

1.本发明涉及图像识别技术领域，尤其涉及一种危险船只的识别方法及装置。


背景技术：

2.现阶段大型船只因为桅杆高度难以适应初期设计的输电线路的弧垂预留空间，所以导致大型船只靠近输电线路时，可能出现由于安全间距不足而导致发生放电导致线路跳闸，甚至挂断导线导致大面积停电的情况发生，在抢险复电所需要的时间较长，需要花费大量人力物力的情况下，会带来巨大的经济损失，造成社会的负面影响。
3.要解决由于安全间距不足而出现的问题，必须提前对目标船只通航时的安全性进行实时且准确的评估并提前预警，在评估的步骤中，危险船只的识别显得尤为重要。但传统的危险船只识别至少存在如下缺点：基于灰度统计的图像识别方法在识别复杂海面背景时效果较差；基于船只尾迹的图像识别方法具有较差的尾迹稳定性并且识别率低；基于形状特征的图像识别方法在识别复杂海面背景时效果较差并且识别率不高。
4.综上所述，提供一种能够在不同识别场景都具备高精度的危险船只识别方法，具有重要意义。


技术实现要素：

5.本发明提供了一种危险船只的识别方法及装置，用于解决传统的危险船只不能在不同识别场景均保持高精度识别的问题。
6.第一方面，本发明提供的一种危险船只的识别方法，包括：
7.获取航道光学遥感图像数据集；
8.将所述航道光学遥感图像数据集划分为图像训练集和图像测试集；
9.将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；
10.将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到目标全卷积网络；
11.获取待测航道船只图像；
12.将所述待测航道船只图像输入所述目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果用于确定所述待测航道船只图像中的待测船是否能够通过所述待测航道船只图像中的输电线路。
13.可选地，获取航道光学遥感图像数据集之后，还包括：
14.对所述航道光学遥感图像数据集中的遥感图像数据进行预处理。
15.可选地，将所述航道光学遥感图像数据集划分为图像训练集和图像测试集，包括：
16.将第一图像集中的遥感图像按照预定尺寸进行统一裁剪，得到裁剪后的遥感图像；所述第一图像集从所述航道光学遥感图像集中任意获取得到；
17.对所述裁剪后的遥感图像中的危险船只进行标识，并将所述危险船只以矩阵最小
包围框进行标注，得到所述图像训练集；
18.定义所述航道光学遥感图像数据中，除所述图像训练集外的图像集为所述图像测试集。
19.可选地，对所述航道光学遥感图像数据集中的遥感图像数据进行预处理，包括：
20.对所述航道光学要搞图像数据集中的所有遥感图像数据进行图像降噪及灰度直方图增强；
21.对于所述航道光学要搞图像数据集中的黑夜遥感图像数据及浓雾遥感图像数据，采用多尺度retinex算法进行图像增强。
22.可选地，将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到所述目标全卷积网络，包括：
23.s1，通过所述训练后的全卷积网络，确定所述图像测试集中的遥感图像数据的船只识别结果；
24.s2，遍历除置信度最高的最小包围框外的所有剩余最小包围框，依次计算任意选中的目标最小包围框与所述剩余最小包围框的iou值；所述置信度最高的最小包围框通过将所有所述船只识别结果的置信度排序得到；
25.s3，剔除低于预设iou值的所有iou值对应的剩余最小包围框；
26.s4，判断是否存在新的最小包围框，若有则返回步骤s2，若无，则得到所述目标全卷积网络。
27.第二方面，本发明还提供了一种危险船只的识别装置，包括：
28.数据集获取模块，用于获取航道光学遥感图像数据集；
29.数据集划分模块，用于将所述航道光学遥感图像数据集划分为图像训练集和图像测试集；
30.网络训练模块，用于将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；
31.目标网络生成模块，用于将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到所述目标全卷积网络；
32.船只图像获取模块，用于获取待测航道船只图像；
33.识别结果确定模块，用于将所述待测航道船只图像输入预选构建的目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果确定所述待测航道船只图像中的待测船能够通过所述待测航道船只图像中的输电线路。
34.可选地，还包括：
35.预处理模块，用于对所述航道光学遥感图像数据集中的遥感图像数据进行预处理。
36.可选地，所述数据集划分模块包括：
37.裁剪子模块，用于将第一图像集中的遥感图像按照预定尺寸进行统一裁剪，得到裁剪后的遥感图像；所述第一图像集从所述航道光学遥感图像集中任意获取得到；
38.标注子模块，用于对所述裁剪后的遥感图像中的危险船只进行标识，并将所述危险船只以矩阵最小包围框进行标注，得到所述图像训练集；
39.测试集确定子模块，用于定义所述航道光学遥感图像数据中，除所述图像训练集
外的图像集为所述图像测试集。
40.可选地，所述预处理模块包括：
41.预处理子模块，用于对所述航道光学要搞图像数据集中的所有遥感图像数据进行图像降噪及灰度直方图增强；
42.图像增强子模块，用于对于所述航道光学要搞图像数据集中的黑夜遥感图像数据及浓雾遥感图像数据，采用多尺度retinex算法进行图像增强。
43.所述识别结果确定模块包括：
44.识别结果确定子模块，用于通过所述训练后的全卷积网络，确定所述图像测试集中的遥感图像数据的船只识别结果；
45.遍历子模块，用于遍历除置信度最高的最小包围框外的所有剩余最小包围框，依次计算任意选中的目标最小包围框与所述剩余最小包围框的iou值；所述置信度最高的最小包围框通过将所有所述船只识别结果的置信度排序得到；
46.剔除子模块，用于剔除低于预设iou值的所有iou值对应的剩余最小包围框；
47.判断子模块，用于判断是否存在新的最小包围框，若有则返回执行所述遍历子模块，若无，则得到所述目标全卷积网络。
48.本技术第三方面提供了一种电子设备，所述设备包括处理器以及存储器；
49.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
50.所述处理器用于根据所述程序代码中的指令执行第一方面所述的危险船只的识别方法。
51.本技术第四方面提供了一种计算机可读存储介质，，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的危险船只的识别方法。
52.从以上技术方案可以看出，本发明具有以下优点：
53.本发明通过获取待测航道船只图像；将所述待测航道船只图像输入预选构建的目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果确定所述待测航道船只图像中的待测船能够通过所述待测航道船只图像中的输电线路；其中，所述目标全卷积网络的构建方法包括：获取航道光学遥感图像数据集；将所述航道光学遥感图像数据集划分为图像训练集和图像测试集；将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到所述目标全卷积网络。解决传统的危险船只不能在不同识别场景均保持高精度识别的问题。
附图说明
54.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
55.图1为本发明的一种危险船只的识别方法实施例一的步骤流程图；
56.图2为本发明的一种危险船只的识别方法实施例二的步骤流程图；
57.图3为本发明实施例中的参残差网络resnet的示意图；
58.图4为本发明实施例的残差网络新结构示意图；
59.图5为本发明实施例的全卷积神经网络结构流程图；
60.图6为本发明的一种危险船只的识别装置实施例的结构框图。
具体实施方式
61.本发明实施例提供了一种危险船只的识别方法及装置，用于解决传统的危险船只不能在不同识别场景均保持高精度识别的问题。
62.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
63.请参阅图1，图1为本发明的一种危险船只的识别方法实施例一的步骤流程图，具体可以包括如下步骤：
64.步骤s101，获取待测航道船只图像；
65.步骤s102，将所述待测航道船只图像输入预选构建的目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果确定所述待测航道船只图像中的待测船能够通过所述待测航道船只图像中的输电线路；其中，所述目标全卷积网络的构建方法包括：获取航道光学遥感图像数据集；将所述航道光学遥感图像数据集划分为图像训练集和图像测试集；将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到所述目标全卷积网络。
66.本发明实施例通过获取待测航道船只图像；将所述待测航道船只图像输入预选构建的目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果确定所述待测航道船只图像中的待测船能够通过所述待测航道船只图像中的输电线路；其中，所述目标全卷积网络的构建方法包括：获取航道光学遥感图像数据集；将所述航道光学遥感图像数据集划分为图像训练集和图像测试集；将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到所述目标全卷积网络。解决传统的危险船只不能在不同识别场景均保持高精度识别的问题。
67.请参阅图2，为本发明的一种危险船只的识别方法实施例二的步骤流程图，具体包括：
68.步骤s201，获取航道光学遥感图像数据集；
69.步骤s202，对所述航道光学遥感图像数据集中的遥感图像数据进行预处理；
70.在一个可选实施例中，对所述航道光学遥感图像数据集中的遥感图像数据进行预处理，包括：
71.对所述航道光学要搞图像数据集中的所有遥感图像数据进行图像降噪及灰度直方图增强；
72.对于所述航道光学遥感图像数据集中的黑夜遥感图像数据及浓雾遥感图像数据，
采用多尺度retinex算法进行图像增强。
73.在本发明那个，通过安装在杆塔处的图像识别装置分别在白天、黑夜，以及重雾三种情况下对航道学遥感图像进行取样，组成航道光学遥感图像数据集，并对航道光学遥感图像数据集进行降噪以及灰度直方图增强，同时，对于航道光学遥感图像数据集中的黑夜图像及重雾图像，采用多尺度retinex 算法进行增强，即对一幅图像在不同的尺度上利用高斯进行滤波，然后在对不同尺度上的滤波结果进行平均加权，获得所估计的照度图像，其公式如下所示：
[0074][0075]
其中，n是尺度参数的个数，n取3即使用三个不同尺度的高斯滤波器对原始图像进行滤波处理；ωk是第k个尺度在进行加权的时候的权重系数，它需要满足下面的公式：
[0076][0077]
最后，fk(x,y)是在第k个尺度上的高斯滤波函数，即：
[0078][0079]
步骤s203，将第一图像集中的遥感图像按照预定尺寸进行统一裁剪，得到裁剪后的遥感图像；所述第一图像集从所述航道光学遥感图像集中任意获取得到；
[0080]
步骤s204，对所述裁剪后的遥感图像中的危险船只进行标识，并将所述危险船只以矩阵最小包围框进行标注，得到所述图像训练集；
[0081]
在本发明实施例中，划分航道光学遥感图像数据集中的部分图像为训练集。
[0082]
在具体实现中，对训练集中的遥感图像裁剪成统一尺寸，使图像中仅有目标物而没有其他干扰物，然后对裁剪后的遥感图像进行危险船只进行标识，将挖沙船等超高船只标识为危险船只，并将船只的以矩阵最小包围框进行标注。
[0083]
步骤s205，定义所述航道光学遥感图像数据中，除所述图像训练集外的图像集为所述图像测试集；
[0084]
在本发明实施例中，图像训练集中的遥感图像数量与图像测试集中的遥感图像数量之比为3:1。
[0085]
步骤s206，将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；
[0086]
请参阅图3，图3为本发明实施例中的参残差网络resnet的示意图，在本发明实施例中，残差块机构具有两层，表达式如下所示：
[0087]
f＝w2σ(w1x)，
[0088]
然后通过图2旁路shortcut和第二个relu获得输出y：
[0089]
y＝f(x，{wi})+x；
[0090]
为了节约计算成本，将卷积层替换成1
×
1+3
×
3+1
×
1，如图4所示，图4 为本发明实施例的残差网络新结构示意图，该结构的中间3
×
3的卷积层首先基于激活函数在一个降
维1
×
1卷积层下减少了计算，然后基于另外一激活函数在另一个1
×
1的卷积层下做了还原，既保持了精度又减少了计算量。
[0091]
在本发明实施例中，为了提高特征提取的效果，所构建的初始全卷积网络网络采用区域全卷积网络(r-fcn)，通过resnet残差网络提取图像特征，然后基于所得多尺度的特征图计算船只候选框，再得到候选框内的显著性特征图，取显著性区域的矩形最小包围作为检测结果。
[0092]
请参阅图5，图5为本发明实施例的全卷积神经网络结构流程图，在具体实现时，图像先经过resnet残差网络提取图像特征，卷积层conv输出作为 rpn的输入来提取出感兴趣区域rols，同时conv输出将经过特征图像产生一个k 2(c+1)维的位置敏感评分图position-sensitive score map，然后再结合之前提取的rols进行pooling(池化)，之后再为每一个rol得到分类结果。
[0093]
同时，为了更容易得到end-to-end的r-cfn网络，在训练过程中，使用预训练的resnet网络和预先计算好的候选区域。
[0094]
此外，为了得到一个高泛化能力的全卷积网络，可以对训练集中的遥感图像进行一系列的图像增广操作，包括随机缩放及随机翻转等。具体实施时，可以预先设置合适的批大小(batch size)、学习率(learning rate)等关键超参数。在硬件允许的情况下，一般尽量设置较大的batch-size，但是batch-size越大，模型越有可能陷入局部最优点(local minimal)或者是鞍点。学习率过大，每次迭代后网络参数修改幅度更改过大，将会导致损失函数震荡无法收敛；而学习率设置的过小，则会使模型收敛速度过慢，显著增加训练时间。
[0095]
步骤s207，通过所述训练后的全卷积网络，确定所述图像测试集中的遥感图像数据的船只识别结果；
[0096]
步骤s208，遍历除置信度最高的最小包围框外的所有剩余最小包围框，依次计算任意选中的目标最小包围框与所述剩余最小包围框的iou值；所述置信度最高的最小包围框通过将所有所述船只识别结果的置信度排序得到；
[0097]
步骤s209，剔除低于预设iou值的所有iou值对应的剩余最小包围框；
[0098]
步骤s210，判断是否存在新的最小包围框，若有则返回步骤s208，若无，则得到所述目标全卷积网络；
[0099]
在本发明实施例中，将测试集图像输入步骤206的全卷积网络，可得到网络识别出船只的置信度和经过显著性特征图修正后的最小包围框，置信度阈值取0.6，即舍去置信度小于0.6的识别结果。
[0100]
在具体实现中，为了避免网络对同一目标的多次检测，采用非极大值抑制算法确保只对每个对象得到一个检测。非极大值抑制算法步骤如下：(1) 将所有船只识别结果的置信度排序，选中置信度最高的最小包围框；(2)遍历剩余最小包围框，依次计算选中的最小包围框与之的交并比(iou)，删除iou 大于设置阈值的最小包围框；(3)按照置信度排序从高到低继续选择最小包围框，循环(1)(2)步骤，直至没有新的最小包围框被删除，停止循环。
[0101]
步骤s211，获取待测航道船只图像；
[0102]
步骤s212，将所述待测航道船只图像输入预选构建的目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果确定所述待测航道船只图像中的待测船能够通过所
述待测航道船只图像中的输电线路。
[0103]
在本发明实施例所提供的一种危险船只的识别方法，通过获取待测航道船只图像；将所述待测航道船只图像输入预选构建的目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果确定所述待测航道船只图像中的待测船能够通过所述待测航道船只图像中的输电线路；其中，所述目标全卷积网络的构建方法包括：获取航道光学遥感图像数据集；将所述航道光学遥感图像数据集划分为图像训练集和图像测试集；将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到所述目标全卷积网络。解决传统的危险船只不能在不同识别场景均保持高精度识别的问题。本发明实施例涉及的目标全卷及网络采用r-fcn网络结构并采用resnet作为特征提取网络加快了提高了学习速度，并且在网络增深的情况下也能够保证避免发生梯度爆炸的情况，同时也避免了网络退化；同时，为了避免网络对同一目标的多次检测，采用非极大值抑制算法确保只对每个对象得到一个检测；此外，对黑夜以及重雾情况下的图像采用多尺度retinex算法进行图像增强，极大提高了黑夜以及重雾情况下危险船只的识别率，解决传统的危险船只不能在不同识别场景均保持高精度识别的问题。
[0104]
请参阅图6，示出了一种危险船只的识别装置实施例的结构框图，包括如下模块：
[0105]
数据集获取模块401，用于获取航道光学遥感图像数据集；
[0106]
数据集划分模块402，用于将所述航道光学遥感图像数据集划分为图像训练集和图像测试集；
[0107]
网络训练模块403，用于将所述图像训练集中的所有遥感图像数据输入初始全卷积网络中进行训练，得到训练后的全卷积网络；
[0108]
目标网络生成模块404，用于将所述图像测试集中的所有遥感图像数据输入所述训练后的全卷积网络中，结合非极大值抑制算法，得到所述目标全卷积网络；
[0109]
船只图像获取模块405，用于获取待测航道船只图像；
[0110]
识别结果确定模块406，用于将所述待测航道船只图像输入预选构建的目标全卷积网络，得到危险船只识别结果；所述危险船只识别结果确定所述待测航道船只图像中的待测船能够通过所述待测航道船只图像中的输电线路。
[0111]
在一个可选实施例中，还包括：
[0112]
预处理模块，用于对所述航道光学遥感图像数据集中的遥感图像数据进行预处理。
[0113]
在一个可选实施例中，所述数据集划分模块402包括：
[0114]
裁剪子模块，用于将第一图像集中的遥感图像按照预定尺寸进行统一裁剪，得到裁剪后的遥感图像；所述第一图像集从所述航道光学遥感图像集中任意获取得到；
[0115]
标注子模块，用于对所述裁剪后的遥感图像中的危险船只进行标识，并将所述危险船只以矩阵最小包围框进行标注，得到所述图像训练集；
[0116]
测试集确定子模块，用于定义所述航道光学遥感图像数据中，除所述图像训练集外的图像集为所述图像测试集。
[0117]
在一个可选实施例中，所述预处理模块包括：
[0118]
预处理子模块，用于对所述航道光学要搞图像数据集中的所有遥感图像数据进行
图像降噪及灰度直方图增强；
[0119]
图像增强子模块，用于对于所述航道光学要搞图像数据集中的黑夜遥感图像数据及浓雾遥感图像数据，采用多尺度retinex算法进行图像增强。
[0120]
在一个可选实施例中，所述识别结果确定模块406包括：
[0121]
识别结果确定子模块，用于通过所述训练后的全卷积网络，确定所述图像测试集中的遥感图像数据的船只识别结果；
[0122]
遍历子模块，用于遍历除置信度最高的最小包围框外的所有剩余最小包围框，依次计算任意选中的目标最小包围框与所述剩余最小包围框的iou值；所述置信度最高的最小包围框通过将所有所述船只识别结果的置信度排序得到；
[0123]
剔除子模块，用于剔除低于预设iou值的所有iou值对应的剩余最小包围框；
[0124]
判断子模块，用于判断是否存在新的最小包围框，若有则返回执行所述遍历子模块，若无，则得到所述目标全卷积网络。
[0125]
本技术还提供了一种电子设备，设备包括处理器以及存储器；
[0126]
存储器用于存储程序代码，并将程序代码传输给处理器；
[0127]
处理器用于根据程序代码中的指令执行上述方法实施例中的危险船只的识别方法。
[0128]
本技术还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述方法实施例中的危险船只的识别方法。
[0129]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0130]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0131]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0132]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：random accessmemory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0133]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。