对基于深度学习SAR图像目标旋转框检测的数据增强方法与流程

本发明属于卫星遥感信息智能处理领域，特别是涉及sar遥感数据处理，具体涉及对基于深度学习sar图像目标进行旋转框检测的数据增强方法。

背景技术：

1、目前，当训练一个深度学习模型的时候，神经网络的工作就是通过学习输入数据的特征，之后不断调整网络的参数，不断对网络参数进行优化，从而追求模型损失较低的最佳点。主流的神经网络经过成千上万的图像数据训练后才能获得较好的输出结果，但是当所拥有的数据量有限或者图像数据集过小的时候，直接使用这些有限的数据对网络进行训练的效果往往会造成网络过拟合，或者网络由于无法通过有限的数据学习到充足的特征，这些都会导致网络对于测试数据的输出无法达到理想的效果。

2、在没有很多原始训练数据的情况下，数据增强就是可以在一定程度上有效解决数据量不足的解决方案，对于计算机的深度学习模型来说，同一张图像经过一些变动后对于计算机而言就是一张新图像，是可以对其中的特征继续进行学习的，数据增强的本质是通过引入先验知识来增加数据，从而提高模型的泛化能力。

3、专利“基于数据驱动的异源多目标智能检测方法及系统”(cn202110000652.5)，就涉及到了数据增强方法，但是其数据增强方法仅包括了常规的对图像尺度和色彩的变换，如旋转、缩放、平移、对比度调整，这些方法都是对一幅图像在整体层面进行相应变换，图像中的目标并没有在形态方面进行相应变化，图像中的目标分布也没有变化，神经网络在上述数据增强过程中学习的较多的是关于图像整体的相关特征，对目标个体学习到的特征很有限。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提出对基于深度学习sar图像目标旋转框检测的数据增强方法，充分对sar图像中的目标在形态分布上进行扩充，丰富神经网络对目标个体学习的特征，为后续进行高精度sar图像目标检测奠定基础。

2、本发明解决技术的方案是：

3、第一方面，本发明提供对基于深度学习sar图像目标旋转框检测的数据增强方法，该方法的步骤包括：

4、s1：在原始图像中，获取目标标定框中心点坐标(x,y)及标定框的长度h和宽度w；

5、s2：将标定框的外接圆范围内的图像取出，记为cutcircle；

6、s3：将cutcircle以圆心为旋转中心，随机旋转任意角度得到图像cutcircle_r；

7、s4：将cutcircle_r的圆心和(x,y)对齐，将cutcircle_r放置到原标定框的外接圆范围内，得到针对当前目标的增强后的图像；

8、s5：针对单张原始图像中的每一个目标，重复s1—s4，获得针对每一个目标的数据增强图像；

9、s6：对原始数据集中的所有图像均执行s5，获得经过数据增强操作后的新数据集；

10、s7：利用数据增强操作后的数据集对基于深度学习的目标检测模型进行训练，利用训练好的模型对sar图像中的目标进行检测。

11、优选的，所述步骤s2中，通过h,w计算标定框所对应的外接圆的半径，结合(x,y)获得外接圆的圆心，进而获得外接圆范围。

12、优选的，所述步骤s1中，利用目标的标注信息文件获取目标标定框中心点坐标(x,y)及标定框的长度h和宽度w。

13、优选的，所述目标的标注信息文件为yaml或者xml文件。

14、第二方面，对基于深度学习sar图像目标旋转框检测的数据增强方法，该方法的步骤包括：

15、s1：在原始图像中，获取目标标定框中心点坐标(x,y)及标定框的长度h、宽度w；

16、s2：将标定框范围内的图像取出，取出的图像为包含单个目标的矩形区域，记为cutrectangle；

17、s3：将cutrectangle沿着其长轴或短轴分别进行翻转，对应得到cutrectangle_x或cutrectangle_y；其中长轴是指过cutrectangle的中心与其长边平行的轴，短轴是指过cutrectangle的中心与其短边平行的轴；

18、s4：将cutrectangle_x或cutrectangle_y的中心与原标定框中心点坐标(x,y)对齐，将cutrectangle_x或cutrectangle_y放回原位置；

19、s5：针对单张原始图像中的每一个目标，重复s1-s4，获得针对每一个目标的数据增强图像；

20、s6：对原始数据集中的所有图像均执行s5，获得经过数据增强操作后的新数据集；

21、s7：利用新数据集对基于深度学习的目标检测模型进行训练，利用训练好的模型对sar图像中的目标进行检测。

22、优选的，所述步骤s1中，利用目标的标注信息文件获取目标标定框中心点坐标(x,y)及标定框的长度h和宽度w。

23、优选的，所述目标的标注信息文件为yaml或者xml文件。

24、第三方面，一种终端设备，包括：

25、存储器，用于存储至少一个处理器所执行的指令；

26、处理器，用于执行存储器中存储的指令执行上述第一方面或第二方面的方法。

27、第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行上述第一方面或第二方面的方法。

28、本发明与现有技术相比的有益效果是：

29、(1)本发明方法不同于常规的对整幅图像进行相关尺度变换或者色彩变换，而是对图像中的单个目标的形态和位置方向进行变换，相比于传统数据增强方法，本发明可以有效扩充样本的多样性，因为旋转角度和翻转具有随机性，因此可以扩充大量的数据样本，对目标形态和目标分布进行变化扩充，尽可能的丰富神经网络对目标个体学习到的特征，为后续进行高精度sar图像目标检测奠定了基础。

30、(2)本发明提出的数据增强方法，可以在sar图像数据不足的情况下有效的对原始数据集进行扩充，所提出的方法针对基于深度学习的旋转框目标检测，可以有效提升相关目标检测神经网络如fast r-cnn、retinanet等网络在sar图像目标检测上的检测精度。

技术特征：

1.对基于深度学习sar图像目标旋转框检测的数据增强方法，其特征在于该方法的步骤包括：

2.根据权利要求1所述的对基于深度学习sar图像目标旋转框检测的数据增强方法，其特征在于：所述步骤s2中，通过h,w计算标定框所对应的外接圆的半径，结合(x,y)获得外接圆的圆心，进而获得外接圆范围。

3.根据权利要求1所述的对基于深度学习sar图像目标旋转框检测的数据增强方法，其特征在于：所述步骤s1中，利用目标的标注信息文件获取目标标定框中心点坐标(x,y)及标定框的长度h和宽度w。

4.根据权利要求3所述的对基于深度学习sar图像目标旋转框检测的数据增强方法，其特征在于：所述目标的标注信息文件为yaml或者xml文件。

5.对基于深度学习sar图像目标旋转框检测的数据增强方法，其特征在于该方法的步骤包括：

6.根据权利要求5所述的对基于深度学习sar图像目标旋转框检测的数据增强方法，其特征在于：所述步骤s1中，利用目标的标注信息文件获取目标标定框中心点坐标(x,y)及标定框的长度h和宽度w。

7.根据权利要求6所述的对基于深度学习sar图像目标旋转框检测的数据增强方法，其特征在于：所述目标的标注信息文件为yaml或者xml文件。

8.一种终端设备，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7任一项所述的方法。

技术总结
对基于深度学习SAR图像目标旋转框检测的数据增强方法，首先对单张图像中的每一个目标进行任意角度随机旋转或进行随机翻转，获得数据增强后的单张图像，之后对数据集中的所有图像都执行上述操作，即可获得经过数据增强操作后的数据集，利用数据增强后的数据集对神经网络进行训练，之后利用训练好的神经网络对SAR图像中的目标进行检测，输出最终的检测结果。本发明在样本有限的条件下为同一场景下的样本图像扩充样本的数量，从而让神经网络学习到更多的关于目标的特征，最终提升检测的精确度。

技术研发人员：孙天旭,刘文政,魏骁,叶葆巍,刘祥健,刘宇曦,刘明珍,罗列峰,蒋向前
受保护的技术使用者：上海宇航系统工程研究所
技术研发日：
技术公布日：2024/1/12