基于马尔科夫决策过程的水下声呐小目标检测方法与流程

本发明属于声呐图像处理领域，涉及一种基于马尔科夫决策过程的水下声呐小目标检测方法。

背景技术：

1、合成孔径声呐(synthetic aperture sonar，sas)作为新式一种水下声成像设备，主要优点是它的空间分辨能力和测绘效率高。合成孔径声呐的水下目标识别率比传统声呐大大提高，可以减少探测平台出动的次数和探测的时间。同时，sas可以在更低频段进行工作，大范围扫测效率高，可以探测出传统侧扫声呐难以发现的掩埋物。因此许多民用和军事船舶系统正广泛使用合成孔径声呐执行水下目标探测任务。随着大数据和人工智能相关技术的发展，目标检测算法在可见光图像上取得了杰出的效果。然而合成孔径声呐成像机理与彩色相机大为不同，且探测的目标相对于整张图像的面积占比微小，增大了目标检测的难度。

2、传统的声呐图像目标检测方法以手工提取特征为主。palomeras等人提出了基于模板匹配的方法，利用人工设计的目标模板特征分别进行目标物的定位与分类；dura等人提出了一种基于前景-阴影区域匹配对的方法，通过设计区域匹配对，有效地利用了声呐图像中前景目标与背景区域的纹理特征，能够在斑点噪声较小的条件下对声呐图像中的前景目标进行有效检测。除此之外还有通过边缘特征检测、hsv颜色分布直方图特征、梯度直方图特征、局部二值模式特征等进行声呐图像特征提取的方法。然而，以人工设计特征作为目标物判定标准的传统方法，无法利用声呐图像的深层语义特征进行识别。同时，传统的声呐图像目标检测方法的鲁棒性较低，容易受到斑点噪声的影响，对图像质量、目标尺度大小的要求较高，不具备泛化能力，难以适用于水下声呐小目标检测任务。

3、近年来，基于深度学习的目标检测算法迅速发展，可见光图像中的小目标检测问题在一定程度上得到了解决。深度神经网络提取层级特征，其中浅层的空间特征由于具有较小的感受野，更适用于目标的定位；深层的语义特征由于具有较大的感受野和更深层的语义信息，更有利于目标的分类。每一个层级的特征均对目标检测任务有重要意义，因此lin等人设计了特征金字塔网络(feature pyramid network，fpn)，将高层特征的语义信息逐级融合至底层特征，构造的金字塔特征用于多尺度目标检测。fpn提升了检测模型对小尺度目标的检测精度，已经成为了多尺度目标检测的模型范式。然而，直接将多尺度目标检测模型应用于水下合成孔径声呐图像小目标检测任务难以取得良好的效果。因此目前迫切需要提出一种方法，提升深度学习模型在水下声呐小目标检测任务中的精度。

技术实现思路

1、有鉴于此，本发明提供了一种基于马尔科夫决策过程的水下声呐小目标检测方法，能够利用深度神经网络直接提取声呐图像的相关特征进行自主目标检测，对目标背景的对比度和图像质量的要求不高，有助于提高检测精度，同时节省人力物力，所述方法包括：

2、步骤1：构建基于深度学习的目标检测模型，加载预训练模型和声呐图像数据集，初始化模型训练的初始参数；

3、步骤2：定义所述目标检测模型的状态空间s、状态转移概率p、奖励值r；

4、步骤3：定义动态特征融合的动作集合a和策略π，策略π依据概率决定在当前状态执行何种动作更新特征融合的参数；

5、步骤4：定义补偿尺度训练的动作集合a′和策略π′，策略π′依据概率决定在当前状态执行何种动作更新损失函数中各尺度的权重；

6、步骤5：开始模型训练，对每一次迭代输入的训练集图像进行处理，在每一次迭代区间σ内；统计多尺度损失值，按照所述步骤2中的定义为每个时刻的状态st和奖励赋值；

7、步骤6：根据所述奖励值r按照步骤3和步骤4的公式计算策略π和策略π′，并根据所得概率选择对应的动作ak和a′k，对当前时刻的特征融合权重与多尺度损失值权重进行更新；

8、步骤7：计算总体损失，进行反向传播更新模型参数，直到训练达到迭代次数。

9、特别地，所述步骤1包括：所述基于深度学习的目标检测模型采用atss模型进行构建；其中特征金字塔网络(fpn)层数为5，生成金字塔特征的过程如下所示：

10、

11、其中表示各个特征级别的1×1卷积，↑2×表示最邻近插值2倍上采样；对特征融合引入权重因子后的表达式如下：

12、

13、其中为特征融合时的权重值，是一个随着时刻t变化的实数，表示权重值向量：

14、补偿尺度训练对多尺度损失进行加权，各尺度的权重为wi，t；wt表示权重值向量：[w2，t，w3，t，w4，t，w5，t，w6，t]；引入权重后的总体损失值如下：

15、

16、特别地，所述步骤2包括：在检测器训练期间，随着训练的进行，固定迭代区间内所产生的损失值之和形成一个按时间排序的序列，如下所示：

17、

18、其中n为当前迭代，t为总迭代次数，i表示金字塔各尺度级别的索引；为了避免损失序列中产生异常值，引入了迭代区间超参数σ对固定区间内的损失值做平均处理；更进一步，对每一个尺度的损失值做标准化处理，选择线性标准化，如下所示：

19、

20、状态空间s＝{s1，s2，s3，…，st′}，其中t′为训练结束的时刻。每一个时刻的状态反映训练过程中目标检测模型的归一化损失值状态，即检测器在训练开始时每个状态的值是未知的，随着训练进行每个状态才会被赋值。并且状态st在下一时刻必定为st+1，转移概率即智能体执行的动作不影响状态转移，只会改变状态的值；

21、根据每一时刻最大奖励值来进行强化学习智能体的动作执行，代表智能体在st-1时做出了动作at-1后，在st时反馈的奖励值，计算公式如下：

22、

23、相邻两个时刻的总体损失值下降的比例越大，奖励值就越大，而对于总体损失上升的情况，奖励值为0。

24、特别地，所述步骤3包括：动态特征融合的动作集合a＝{a1，a2，a3}，每一个动作元素ak都代表更新特征融合权重的一种方式；其中a1代表以新生成的权重替换上一时刻使用的权重；a2代表继续沿用上一时刻的权重系数；a3代表以历史最优的权重更新当前权重；γ(t)代表衰减系数，新生成权重的公式如下：

25、

26、

27、brelu(x)＝min(max(x，βmin)，βmax)

28、其中brelu函数是为了防止权重值出现异常而限定了一个取值范围，此处简单地设置为[0.1，10]；迭代区间σ取值为50，为了使多尺度损失值状态更稳定且具有差异；γ(t)是衰减系数，取值范围是[0，1]；

29、更新特征融合权重过程中，a1：执行赋值操作；a2：执行赋值操作；a3：执行赋值操作；策略π为每一个动作ak分配概率pk，在每一个时刻t依据奖励值进行更新。

30、特别地，为了防止某一组始终贯穿整个训练周期，引入遗忘概率遗忘现有的即采用更新其过程如下所示：

31、

32、其中pd取值为10％，只在满足条件时才对是否触发更新进行判定策略π为每一个动作ak分配概率pk，在每一个时刻t依据奖励值进行更新,它们满足p1+p2+p3＝1；在每一个时刻t依据奖励值更新概率值，计算公式如下：p1＝0.5γ(t)；

33、特别地，所述步骤4包括：按照如下公式计算各尺度损失在总体损失中的占比：

34、

35、其中，将损失值占比最小的两个尺度进行向上加权，损失越小的尺度；所设置的权重值就越大，而损失值大的尺度则保持1不变。；计算方式如下所示：

36、

37、补偿尺度训练的动作集合a′＝{a′1，a′2，a′3，a′4}；每一个动作元素a′k都代表更新多尺度损失的一种方式，补偿尺度训练的动作集合a′＝{a′1，a′2，a′3，a′4}。每一个动作元素a′k都代表更新多尺度损失的一种方式，具体定义如下：a′1：执行wi，t：＝w′i，t赋值操作；a′2：执行wt：＝wt-1赋值操作；a′3：执行wt：＝wbest赋值操作；a′4：执行wt：＝1赋值操作；策略π′为每一个动作a′k分配概率p′k。

38、特别地，策略π′为每一个动作a′k分配概率p′k具体包括：策略π′为每一个动作a′k分配概率p′k，满足p′1+p′2+p′3+p′4＝1。在每一个时刻t依据奖励值更新概率值，计算公式如下：p′1＝0.5γ(t)；p′4＝0.5(1-γ(t))。

39、特别地，所述步骤7中具体包括：进行反向传播更新模型参数。如果未达到设置的迭代次数，返回步骤5继续训练；若已达到，训练结束，所生成的目标检测模型可直接用于水下声呐小目标检测任务。

40、特别地，所述基于深度学习的目标检测模型还可采用yolo、fcos、retinanet或faster r-cnn模型进行构建。

41、有益效果：

42、1)、本发明不需要手工设计图像特征，而是利用深度神经网络直接提取声呐图像的相关特征进行自主目标检测，对目标背景的对比度和图像质量的要求不高，有助于提高检测精度，同时节省人力物力。

43、2)、本发明弥补了将适用于可见光图像的多尺度目标检测算法应用于声呐图像小目标检测任务的跨域精度损失，提升了水下小目标的检测精度。

44、3)、本发明所生成的端到端模型可直接部署于计算机系统，进而为无人船舶的反潜、扫雷、信息作战、侦查监视、搜救支援等任务提供良好的技术支撑。

45、4)本发明中在模型训练过程中引入遗忘概率，使得模型训练的更加快速，准确。

46、5)本发明中补偿尺度训练的定义了在当前状态执行何种动作更新损失函数中各尺度的权重，使得损失估计更加准确。

47、6)本发明中的模型可采用atss、yolo、fcos、retinanet、faster r-cnn等，所有特征网络金字塔的所有深度学习多尺度目标检测模型均可用于本发明适用范围广。