一种低分辨广域序列遥感影像船动目标实时检测算法的制作方法

1.本发明涉及光学遥感影像数据处理技术领域，更具体的说是涉及一种低分辨广域序列遥感影像船动目标实时检测算法。


背景技术：

2.以海上船目标检测识别为代表的光学遥感影像数据处理技术，已经成为当前星地一体化智能应用的核心关键，在渔业管理、海上救援、区域监测得到了广泛的应用。长期以来，船目标实时检测主要依赖于高分系列遥感卫星，但存在任务需求单位多、成像位置时间差异大、卫星任务规划难的问题，成像过程受到昼夜、云层、晨昏光暗因素干扰，一些实时观测需求难以满足。
3.近些年涌现出的一批民用遥感小卫星，有效填补了成像应用任务的缺口。相比于大平台高分系列卫星，小卫星成像分辨率较低、平均清晰度不高、平台稳定度性能一般，导致了所产生的原始图像产品质量不高。但考虑到时间-空间覆盖率，以及紧急情况下的应用需求，低分辨广域海域的遥感影像能够有效展示目标周边状态，且序列图像能够展现目标自身运动信息，在实时应用场景中受到了广泛关注。
4.米级/十米级分辨率图像中，中小型船只呈现出楔形高斯状灰度分布，目标纹理细节消失只保留船体外观轮廓，从细节特征及目标周边上下文难以具体确认是否为船只。低分辨场景下，海况趋于平缓、船只拖尾痕迹难以识别，碎云所形成的类似船体形状对降低虚警造成了极大的影响。图像序列能够根据运动信息对虚警进行剔除，但需要考虑前后帧稀疏配准信息下的低置信度帧间目标关联如何处理，结合目标自身运动特征形成轨迹信息。
5.以往的遥感船动目标检测算法主要集中于基于机器学习、深度学习的识别分类，然而低分辨率数据难以形成准确的特征或纹理细节训练数据集，同时由于传动目标与虚警统计特性基本趋于一致导致部分虚警很难通过积累数据的方法实现剔除。深度卷积网络能够有效完成遥感图像的目标检测、语义分割及补全生成，但也面临着大幅宽数据无法实时处理、低分辨数据难以准确识别的问题。特别是面临背景碎云较多的场景，低分辨数据仅能依靠轮廓和目标灰度大致分布来区分目标，传统cnn算法往往会得到大量疑似船目标的虚警。
6.因此，如何提高遥感影像船动目标检测效率，有效剔除船只疑似目标虚警是本领域技术人员亟需解决的问题。


技术实现要素：

7.有鉴于此，本发明提供了一种低分辨广域序列遥感影像船动目标实时检测算法，通过船动目标在大数据中的关联以及船只运动状态剔除虚警。
8.为了实现上述目的，本发明采用如下技术方案：一种低分辨广域序列遥感影像船动目标实时检测算法，包括以下步骤：s1、获取低分辨广域图像数据，并对所述低分辨广域图像数据利用形态学重构算
法进行图像增强；s2、对图像增强后的低分辨广域图像数据进行自适应阈值分割，获取分割后的二值图像；s3、对二值图像进行连通域标记，根据连通域标记结果，获取一级疑似目标集合；s4、对一级疑似目标集合中的所有目标，进行灰度特征计算，并根据灰度特征进行基于svm的二分类计算，获取二级疑似目标集合；s5、根据二级疑似目标集合中船动目标前后帧的相关性，获取三级疑似目标集合；s6、针对三级疑似目标集合，采用s-yolo算法，进行进一步特征识别，获取四级疑似目标集合，得到最终的遥感影像船动目标。
9.优选的，步骤s1中利用形态学重构算法进行图像增强，具体包括，根据低分辨广域图像数据，获取大小为m
×
n的图像矩阵i并进行迭代top-hat变换： i
m+1 =
(oth
β
(x，y)μ1+cth
β
(x，y)μ2）其中，oth
β
(x，y)=( im‑ꢀ
(imθβ )
⊕
β)(x,y)；cth
β
(x，y)=((im⊕
β )θβ
‑ꢀim
)(x,y)；式中，β代表正方形全1结构元素，x，y分别表示图像矩阵中像素点的横纵坐标，x∈[0, m
ꢀ‑ꢀ
1]，y∈[0, n
ꢀ‑ꢀ
1]，m表示当前迭代次数，m∈[0, r
ꢀ‑ꢀ
1]，r代表迭代总次数，oth和cth分别代表正top-hat变换和逆top-hat变换，
⊕
代表膨胀操作，θ代表腐蚀操作，μ1和μ2分别代表正top-hat变换的权重参数和逆top-hat变换的权重参数。
[0010]
优选的，步骤s2，具体包括，s21、针对图像增强后的低分辨广域图像数据，获取目标窗口tb、保护窗口p和背景窗口b，其中，所述目标窗口tb包括待检测目标的灰度信息；所述保护窗口p包括待检测目标与背景过度之间的灰度信息，用于保护待检测目标弥散部分不被统计到背景窗口；所述背景窗口涵盖海面噪声信息；s22、根据目标窗口tb的均值μ
tb
和背景窗口b的均值μb进行阈值分割，获取二值图像:,式中，t
thr
为二值化比较阈值。
[0011]
优选的，步骤s21中，目标窗口tb检测到目标的判断依据是目标区域重构增强结果的均值信噪比δe满足：优选的，步骤s3具体包括：s31、对二值图像yb(x,y)进行连通域标记得到连通域集合其中，g表示连通域集合中的区域个数，表示第i个区域x坐标的序列集合，表示第i个区域y坐标的序列集合；s32、根据连通域集合中每个连通区域的面积大小进行筛选，获取一级疑似目标集
合：其中，φ表示空，s
low
=5和s
high
=100分别表示面积阈值的下限和上限，areai代表一级疑似目标集合中第i个目标区域ai的面积大小。
[0012]
优选的，步骤s4中对一级疑似目标集合中的所有目标，进行灰度特征计算，具体包括：s411、对任一一级疑似目标集合中的目标区域，以区域质心为中心，提取长度为52像素的正方形切片，进行s-hog特征计算；s412：将每个正方形切片分割成若干大小为13*13像素cell，将分割的每个cell的梯度方向分为8个方向，计算每个cell位于同一方向梯度的梯度幅值，获取8维的cell特征向量；s413：将每相邻4个cell的特征向量组合成一个block的特征向量；s414：将每个block的特征向量进行合并获取每个正方形切片的特征向量，并获取每个正方形切片的特征向量对应的特征值。
[0013]
优选的，步骤s4中根据灰度特征进行基于svm的二分类计算，获取二级疑似目标集合，具体包括：s421、输入待训练的特征值，及类别集合v
i ={0,1}，0代表干扰目标，1代表船目标；s422、构造求解最优化公式，及约束条件：，式中，g'表示一级疑似目标集合中目标区域的个数，c是损失参数，ai和aj是拉格朗日乘子，k(u
i ,
uj)为径向基核函数，γ》0，ui为每个正方形切片的特征向量中第i个特征值，uj为每个正方形切片的特征向量中第j个特征值，γ为核参数；s423、根据求解最优化公式及约束条件，求解拉格朗日乘子最优解a
*
，并计算阈值b，s424、根据阈值b获取最终决策函数：
并根据最终决策函数得到二级疑似目标集合，u表示决策函数中的变量，则二级疑似目标集合使用公式 进行表示；优选的，步骤s5具体包括：定义连续拍摄的序列图像中第q帧图像为fq，第q帧中的目标标记为d
q,g
，其中g∈[0,g''-1]，g''表示二级疑似目标集合中目标区域的个数；第q+1帧图像为f
q+1
，以第q帧的目标d
q,g
的坐标为圆心，以r为半径在第q+1帧图像进行搜索，搜索圆内区域的目标，获取第q帧三级疑似目标集合，其中，r∈[5,30]，r∈z
+
，z
+
表示正整数。
[0014]
优选的，步骤s6具体包括：s61、根据三级疑似目标集合获取序列图像中目标obj的s个序列集合；s62、利用s-yolo网络对序列集合中的目标进行鉴别，所述s-yolo网络包括三个卷积层、三个maxpool层以及一个yolo预测层，如果序列集合中有效目标判断结果超过判别阈值thry，则认为所述序列集合中的目标为有效目标，得到第四级疑似目标集合，具体公式如下：式中，φ表示空集合，y（）表示yolo预测层计算函数，表示需要计算求取累加值的三级疑似目标集合中第i个子集。经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种低分辨广域序列遥感影像船动目标实时检测算法，首先，针对低分辨广域图像数据（低分辨暗弱目标）进行显著性增强计算，经过形态学迭代重建处理提高目标灰度与周边背景的对比度，去除小像素干扰灰度噪声及边缘弥散造成的特征不平滑，提升目标提取的完整性；然后，采用目标与周边噪声的对比度实现前后景的自适应分割计算，获取疑似目标像素级对应位置（一级疑似目标）；再根据简化hog特征结合支持向量机，剔除大部分虚警目标得到二级疑似目标结果，并根据序列图像的局部预测搜索获得目标序列并剔除非序列虚警目标（包括静止船目标，得到三级疑似目标结果）；最后，采用轻量化cnn网络s-yolo对目标序列进行识别，实现剩余目标的最终鉴别（获取四级疑似目标结果）。由于采用了多级鉴别，计算量较大的目标随着疑似目标逐渐减少总计算量依次降低，在有效满足准确率的同时保障了计算的实时性。同时相比于传统yolo tiny v2/v3系列网络，本方法具有更快的计算速度和更好的检测性能。
附图说明
[0015]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0016]
图1为本发明提供的方法步骤流程示意图；图2 为本发明提供的切片di中s-hog特征值及集合示意图。
具体实施方式
[0017]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0018]
如图1所示，本发明实施例公开了一种低分辨广域序列遥感影像船动目标实时检测算法，包括以下步骤：s1、获取低分辨广域图像数据，并对所述低分辨广域图像数据利用形态学重构算法进行图像增强；这一步的主要目的在于针对采集到的低分辨广域图像数据（低分辨暗弱目标）进行显著性增强计算，经过形态学迭代重建处理提高船动目标灰度与周边背景的对比度，去除小像素干扰灰度噪声及边缘弥散造成的特征不平滑，提升船动目标提取的完整性。
[0019]
具体可采用以下步骤：针对采集到的低分辨广域图像数据，获取大小为m
×
n的图像矩阵i并进行迭代top-hat变换： i
m+1 =
(oth
β
(x，y)μ1+cth
β
(x，y)μ2）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，oth
β
(x，y)=( im‑ꢀ
(imθβ )
⊕
β)(x,y)；cth
β
(x，y)=((im⊕
β )θβ
‑ꢀim
)(x,y)；其中，β代表正方形全1结构元素，x，y分别表示图像矩阵中像素点的横纵坐标，x∈[0, m
ꢀ‑ꢀ
1]，y∈[0, n
ꢀ‑ꢀ
1]，m表示当前迭代次数，m∈[0, r
ꢀ‑ꢀ
1]，r代表迭代总次数，oth和cth分别代表正top-hat变换和逆top-hat变换，
⊕
代表膨胀操作，θ代表腐蚀操作，μ1和μ2分别代表正top-hat变换的权重参数和逆top-hat变换的权重参数（默认μ1、μ2均为1）迭代top-hat变换，采用较小的结构元素β（比如3*3）进行top-hat变换（包括正top-hat变换和逆top-hat变换）计算，计算结果作为输入图像再次进行top-hat变换，经过多次迭代变换计算之后，相当于采用了较大的结构元素进行直接计算。由于此过程采用较小的结构元素，能够减小在工程实现过程中的缓存大小，例如3*3结构元素下，只需要开辟3行图像缓存，如果是15*15的结构元素，需要开辟15行图像缓存，因此有5倍缓存资源差异，同时也节省了并行流水比较过程比较起和寄存器的占用，提高了数字逻辑设计中最大可执行频率。
[0020]
形态学重构结果为ir，重构前后船目标的灰度分布以及重构前后碎云目标的灰度
分布中，重构后船目标能量更加集中，轮廓边缘相对于背景噪声更加容易区分，同时有效抑制了背景干扰噪声。碎云目标在经过重构后，其外围轮廓同样更加清晰，能够通过轮廓剔除掉大部分虚警目标。重构过程中，需要根据目标的大小进行重构迭代次数设置，如果迭代次数太小起不到增强效果，次数太多会增加计算量。
[0021]
s2、对图像增强后的低分辨广域图像数据进行自适应阈值分割，获取分割后的二值图像；这一步的目的在于采用目标与周边噪声的对比度实现前后景的自适应分割计算，得到二值图像。
[0022]
具体包括以下步骤：s21、针对图像增强后的低分辨广域图像数据，获取目标窗口tb、保护窗口p和背景窗口b，（目标窗口tb、保护窗口p和背景窗口b所对应的长度参数分别为r
tb
、r
p
和rb）其中，所述目标窗口tb包括待检测目标的灰度信息；所述保护窗口p包括待检测目标与背景过度之间的灰度信息，用于保护待检测目标弥散部分不被统计到背景窗口；所述背景窗口涵盖海面噪声信息；目标窗口tb检测到待检测目标的判断依据是目标区域重构增强结果的均值信噪比δe满足：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）s22、根据目标窗口tb的均值μ
tb
和背景窗口b的均值μb进行阈值分割，获取二值图像:
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）式中，t
thr
为二值化比较阈值。
[0023]
步骤s2的自适应分割计算过程体现在公式（2）和（3），公式（3）是自适应分割的过程，就是在整个图像范围内进行以公式（3）为判断标准的滑窗判断，如果超过阈值则像素置为1，否则为0。由于在不同区域，采用目标区域与周边噪声区域比较的方式，而且在不同区域比较的数值只跟该区域有关，而且最终生成了二值图像，所以是自适应分割计算，经过自适应阈值分割后，根据对比度提取暗弱目标，既降低了后续需要处理的图像数据量，又消除了背景噪声对疑似暗弱目标的干扰。
[0024]
s3、对二值图像进行连通域标记，根据连通域标记结果，获取一级疑似目标集合；这一步的目的在于对二值图像进行连通域标记，获取一级疑似目标集合。
[0025]
具体包括：s31、对二值图像进行连通域标记得到连通域集合，其中，g表示连通域集合中的区域个数，表示第i个区域x坐标的序列集合，表示第i个区域y坐标的序列集合；s32、根据连通域集合中每个连通区域的面积大小进行筛选，获取一级疑似目标集合：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中，φ表示空，s
low
=5和s
high
=100分别表示面积阈值的下限和上限,areai代表一级疑似目标集合中第i个目标区域ai的面积大小。
[0026]
在步骤s1-s3过程中，考虑船目标宽度在3个像素左右，形态学重构采用的正方形全1结构元素β大小为3
×
3，即；重构迭代次数r与目标区域重构结果的均值信噪比δe相关，与光照条件、成像侧摆角、目标海况等条件相关，在实际应用中考虑工作模式往往在同一时间段观测相同区域，因此对区域内大量目标进行处理后的均值信噪比δe观察，在一个具体实施例中，对80组数据进行统计，迭代次数为3时δe达到最优，得到最优重构迭代次数r
optimal
=3；自适应阈值分割中的阈值t
thr
，主要与成像区域海况、海面背景灰度均值/方差相关，考虑到在低分辨率下经过重构后海面灰度分布趋于统一，对80组数据进行统计，得到t
thr =1.2；连通域标记并计算疑似目标面积，通过面积剔除较大、较小目标，面积上下限数值分别为s
low
=5和s
high
=100。
[0027]
s4、对一级疑似目标集合中的所有目标，进行灰度特征计算，并根据灰度特征进行基于svm的二分类计算，获取二级疑似目标集合；这一步骤主要包括灰度特征计算和基于svm的二分类计算两个步骤；经过步骤s1-s3之后已经对船目标的边缘及灰度分布实现了增强，伽马增强反而会增加噪声对目标的干扰，因此灰度特征计算主要包括以下步骤：s411、对任一一级疑似目标集合中的目标区域（也就是一级疑似目标集合a' i的任意一个），以区域质心为中心，提取长度为52像素的正方形切片di，进行s-hog特征计算。
[0028]
区域质心可表示为s412：将每个正方形切片分割成若干大小为13*13像素cell，将分割的每个cell的梯度方向分为8个方向（0
°
、45
°
、90
°
、135
°
、180
°
、225
°
、270
°
、315
°
），计算每个cell位于同一方向梯度的梯度幅值，获取8维的cell特征向量；s413：将每相邻4个cell的特征向量组合成一个block的特征向量；s414：将每个block的特征向量进行合并获取每个正方形切片的特征向量，并获取每个正方形切片的特征向量对应的特征值。
[0029]
如图2所示，每个合成的block的特征值可表示为：每个正方形切片切片共计有9个block，每个block有32个特征值，每个正方形切片共计有288个特征值。如此设计能够提高特征值对图像区域的覆盖，防止边缘处特征不够强导致特征量较小的现象出现。
[0030]
基于svm的二分类计算，获取二级疑似目标集合主要包括：对单个正方形切片图像di的特征值进行基于svm的二分类计算，考虑特征维度较高，采用非线性svm，训练及决策计算分为以下几个步骤：s421、输入待训练的特征值，及类别集合vi={0,
1}，0代表干扰目标，1代表船目标；s422、构造求解最优化公式，及约束条件：，式中，g'表示一级疑似目标集合中目标区域的个数，c是损失参数，ai和aj是拉格朗日乘子，k(u
i ,
uj)为径向基核函数，γ》0，ui为每个正方形切片的特征向量中第i个特征值，uj为每个正方形切片的特征向量中第j个特征值，γ为核参数，k函数就是对特征向量中的任意两个特征值进行计算；s423、根据求解最优化公式及约束条件，求解拉格朗日乘子最优解a
*
，并计算阈值b，s424、根据阈值b获取最终决策函数：并根据最终决策函数得到二级疑似目标集合，u表示决策函数中的变量，则二级疑似目标集合使用公式 进行表示。
[0031]
即将特征向量中的每个特征值带入最终决策函数f(u)，按照公式即可得到二级疑似目标集合。
[0032]
s5、根据二级疑似目标集合中船动目标前后帧的相关性，获取三级疑似目标集合；这一步骤目的在于根据序列图像的局部预测搜索获得目标序列并剔除非序列虚警目标。通过前后帧中目标的相关性排除干扰虚警目标，假设前提是认为在短观测时间内认为目标匀速运动，相邻帧之间目标位置差等于移动距离与帧间姿轨误差之和。考虑到在轨相邻帧之间像素级误差的随机性，在帧间搜索过程中采用保守的圆搜索方法，搜索半径r与移动距离与帧间姿轨误差之和成正比。因此步骤s5主要包括：定义连续拍摄的序列图像中第q帧图像为fq，第q帧中的目标标记为d
q,g
，其中g∈[0,g''-1]，g''表示二级疑似目标集合中目标区域的个数；第q+1帧图像为f
q+1
，以第q帧的目标d
q,g
的坐标为圆心，以r为半径在第q+1帧图像进行搜索，搜索圆内区域的目标，获取第q帧三级疑似目标集合，其中，r∈[5,30]r∈z
+
，z
+
表示正整数，即第q帧三级疑似目标集合可表示为：
ꢀꢀꢀꢀꢀꢀꢀ
（5）其中， i,j,k∈[0,p''-1]，| |m表示两个坐标点的马氏距离。d
q,i
表示第q帧第 i个目标的坐标，d
q+1,j
表示第q+1帧第 j个目标的坐标，d
q+2，k
表示第q+2帧第 k个目标的坐标，φ表示空集合，半径r可在取值范围内根据实际情况进行调整。
[0033]
当连续三帧都出现半径范围内目标时认为目标存在，否则认为该目标不存在。在实际应用中，可以根据实时性需求增加三级疑似目标集合公式中的多帧关联序列个数，用以提高目标鉴别的置信度。经过关联鉴别后，干扰目标特别是碎云造成的虚警得到了较好剔除，但也要考虑到序列关联过程中目标收到云层遮挡、海况干扰造成某一帧漏检，适当增加容忍度以提高关联鉴别的适应性。
[0034]
s6、针对三级疑似目标集合，采用s-yolo算法，进行进一步特征识别，获取四级疑似目标集合，得到最终的遥感影像船动目标。
[0035]
经过三次鉴别虚警剔除，仍然会有碎云干扰具有类似船目标的移动关联特征，此时需要考虑采用图像的细节特征进行进一步虚警剔除。同时，此时数据以切片形式保留，目标及虚警数据量急剧下降，可以考虑采用cnn方法进行目标精细化特征识别。
[0036]
步骤s1-s3过程中前后景分割造成目标质心定位精度不够，hog特征对于低分辨率云船边缘、拖尾痕迹等精细化特征很难有效描述，因此本发明采用简化版yolo算法(s-yolo)，以yolo v2 tiny[10]为基线设计轻小化网络，用以对三级疑似目标集合a''' q,i进行进一步特征识别。
[0037]
本发明实施例中s6具体包括以下步骤：s61、根据三级疑似目标集合获取序列图像中目标obj的s个序列集合；s62、利用s-yolo网络对序列集合中的目标进行鉴别，所述s-yolo网络包括三个卷积层、三个maxpool层以及一个yolo预测层，如果序列集合中有效目标判断结果超过判别阈值thry，则认为所述序列集合中的目标为有效目标，得到第四级疑似目标集合，具体公式如下：式中，φ表示空集合，y（）表示yolo预测层计算函数，表示需要计算求取累加值的三级疑似目标集合中第i个子集。
[0038]
本实施例中s-yolo网络如表1所示
表1 用于船目标切片检测识别的s-yolo网络表中s-yolo网络输入为52
´
52的图像数据，总的参数为23296个，s-yolo输出目标为52
´
52的切片图像上的位置、类别及长宽。
[0039]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0040]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。