融合深度数据增强和迁移学习的珊瑚分类方法

本发明涉及水下场景识别与分类，具体为一种融合深度数据增强和迁移学习的珊瑚分类方法。

背景技术：

1、珊瑚礁生态系统在维持海洋生态系统健康与稳定、实现海洋资源可持续性发展、保护海岸线、提供资源和支持国防建设等方面起着关键作用。造礁石珊瑚作为珊瑚礁生态系统的主要构建者，其生存状况与珊瑚礁生态系统密切相关。但由于气候变化、人类活动以及珊瑚疾病和敌害等因素的威胁，约36％的造礁石珊瑚物种面临着灭绝的风险。因此，准确了解造礁石珊瑚物种类别对于监测珊瑚礁生态系统的健康状况至关重要。近年来随着图像采集技术的发展，如遥控无人潜水器(remotely operated vehicle,rov)和自主式水下航行器(autonomous underwater vehicles,auv)，极大地增加了水下原位采集珊瑚图像的数量，为珊瑚分类研究提供了数据基础。传统的珊瑚分类方法主要是依靠珊瑚生态学专家根据当地生态系统的知识借助相关软件手动来完成。首先，这种方法繁琐且耗时，需要大量的人力资源和时间。其次，在识别分类过程中不可避免的会引入一定主观因素，缺乏一致性和客观性。最后，大量珊瑚图像数据没有被利用，造成信息流失。因此，对于自动化珊瑚分类识别技术的需求日益增加。

2、传统珊瑚分类方法通常采用基于浅层机器学习的图像分类方法。该类方法通过设计适应数据集特点的特征提取函数，利用提取的特征来训练分类器，实现图像分类。然而，这种方法存在几个问题：首先，特征提取函数只适用于特定数据集，导致分类模型的泛化能力较弱且鲁棒性差；其次，提取的特征只能表示具体的物理意义，如颜色、纹理和形状等，无法表示更高级的语义信息；最后，所设计的函数虽然基于视觉神经理论，但仍受限于人为经验。因此，基于传统浅层机器学习的自动化方法在珊瑚分类方面表现不佳。

3、虽然深度学习在图像分类方面表现出了优越的性能，但在珊瑚分类研究中仍存在一些挑战。一方面，现有数据集中不同珊瑚种类的样本数量间存在不平衡，这对于图像分类效果有着极大的影响。分类模型试图在训练过程中最小化总体分类误差，并且隐式地为所有类分配了相同的错误分类代价，导致模型倾向于正确分类样本数较多的类，这种情况下，样本数较少的类的特征无法被充分学习，容易导致错分。然而，在现实世界中，某些情况下更关注数量较少的类。例如，在加勒比海域，濒危物种acropora palmata(鹿角珊瑚属的一种)的生态角色难以被取代。由于该海域内鹿角珊瑚属的多样性相对较低，当acroporapalmata数量减少时，很难有其他物种能够快速繁殖和重新生长，从而使生态恢复平衡。另一方面，现有深度学习算法对于珊瑚分类识别的能力有待提高。首先，珊瑚具有类内多样性和类间相似性的特点。这是珊瑚为适应不同环境和生态压力的一种表现。通过类内多样性，同一种珊瑚能够根据不同环境的需求发展出多种形态和特征，增强其适应能力；而类间相似性则使得不同种类的珊瑚能够在共享资源的环境中相互竞争和共存。其次，研究人员在对珊瑚进行拍摄时，其拍摄的角度(仰角、俯角、左、右等)以及相机镜头距离珊瑚的远近都有所不同，导致照片中珊瑚呈现的角度和轮廓有所差异。最后，受到诸如海水浑浊度、光照度、海水折射等环境因素[11]以及相机自身性质的影响，所拍摄的照片质量不高，图像中的珊瑚细节不够清晰。这些因素使得现有珊瑚数据集不足以完全覆盖现实世界中珊瑚的多样性特征。因此，深度学习算法无法充分学习到珊瑚的各种特征，导致其分类识别精度不足。

技术实现思路

1、针对现有技术的不足，本发明提供了一种融合深度数据增强和迁移学习的珊瑚分类方法。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种融合深度数据增强和迁移学习的珊瑚分类方法，包括以下步骤：s01：网络结构搭建，对resnet-50结构进行修改并作为模型的骨干网络；

3、s02：图像预处理，将珊瑚图像大小调整为128×128像素，并对图像进行归一化处理；

4、s03：计算原始训练集上各类别的f1-score，

5、在训练集上对未经参数初始化的网络进行训练，并计算各个类的f1-score；

6、

7、s04：利用deepsmote-f1对原始训练集进行深度数据增强得到新样本；

8、s05：使用迁移学习初始化网络参数，得到珊瑚分类的预训练模型；

9、s06：在原始样本和新生成样本上对预训练模型的参数重新训练，得到珊瑚分类的最终模型；

10、s07：模型测试及结果分析。

11、优选地，在s01中，将原有的全连接层替换为两个不同结构的全连接层，并分别在其后面连接激活函数，具体结构为，第一个全连接层包含512个神经元，并连接一个relu激活函数，第二个全连接层的神经元个数与数据集的类数相同，最后，该层再连接一个softmax激活函数，激活函数的引入可以增加网络的非线性拟合能力。

12、优选地，s04中，deepsmote-f1采用生成对抗网络(generative adversarialnetworks,gan)的骨干网络作为编码器和解码器，结合人工少数类过采样方法(syntheticminority over-sampling technique,smote)，实现对图像数据的深度增强。

13、优选地，s04中，首先通过编码器将图像映射到高维特征空间中，然后利用smote对图像的特征进行采样，最后利用解码器将这些新的特征向量解码为新图像；图像特征采样的具体步骤如下：首先，对于某一类中的每一个样本x，以欧氏距离为标准计算它到该类样本集中所有样本的距离，并得到其k近邻；然后，对于样本x，从其k近邻中随机选择1个样本作为近邻最后，根据公式(2)构建新的样本xnew，其中公式(2)的系数被称为比例因子，其值是随机的，介于0和1之间，用于决定新样本xnew与x和的相似程度

14、

15、优选地，s04中，尽可能同时避免将该类珊瑚错误地归类为其他类(fn)以及将其他类珊瑚错误地归类为该类(fp)，f1-score通过赋予召回率(recall)和精确率(precision)同等权重，综合考虑了fn和fp这两种情况，见公式(2)-(3)，

16、

17、

18、其中recall表示被正确分类的正样本占实际正样本的比例，precision表示被正确分类的正样本占所预测的正样本的比例，两者从不同维度描述了模型的性能；

19、为解决deepsmote采样数量难以确定的问题，提出了一种f1-score敏感的采样数量计算公式(5)。该公式可以为每个类‘量身定做’其需要增加的样本数量，从而最大效能的兼顾每个类的分类效果；

20、

21、其中，num表示每一类需采样的数量，i代表类别，n为数据集的类别数，为每一类的f1-score，则表示类i的错误率，n为原始数据集的总样本数量，公式(5)中，n前面的系数表示类i的错误率与所有类错误率总和的比值，通过比较类i的错误率与总错误率，可以确定类i需调整的样本数量的比例，将该比值乘以原始数据集中的样本总数n，即可得到类i需采样的数量，由于式子中所有项都为正，因此不存在欠采样导致信息丢失的情况发生，将公式(5)与deepsmot相结合，称为deepsmot-f1，利用它有针对性的对训练集中每一类进行深度数据增强。

22、优选地，s05中，使用迁移学习初始化网络参数，得到珊瑚分类的预训练模型过程中，使用在imagenet上训练好的参数，用于初始化结构更后的resnet-50的网络参数，这里并未初始化全连接层，然后在新样本和原始样本上对网络的参数重新训练，包括两个全连接层，使网络更适用于珊瑚分类任务。

23、优选地，s06中，采用来自大型公共数据集imagenet的迁移学习，将除全连接层外其他层的参数迁移至更改结构后的resnet-50中，实现网络参数的初始化，得到珊瑚分类的预训练模型；然后，在扩充后的训练集上对预训练模型的参数进行训练，包括两个全连接层，从而得到最终的珊瑚分类模型。

24、本发明的有益效果是：针对数据集不平衡的问题，本发明根据原始数据集上各类别的f1-score，通过修正采样数量定义公式，提出了一种深度数据增强方法deepsmote-f1。deepsmote-f1通过考虑样本之间的相似度，并利用深度学习模型自动生成新样本，确保生成的图像既能保留原始图像的属性，又具有高视觉质量和丰富的信息，满足深度学习模型对于多样化数据的需求。同时，deepsmote-f1根据分类算法中的综合指标f1-score为每个类‘量身定做’其需要增加的样本数量，使模型充分学习各个类的特征，从而最大效能的兼顾每个类的分类效果。此外，针对数据集小、样本多样性不足而导致模型分类准确率低的问题，本发明使用来自imagenet的迁移学习初始化网络参数。利用imagenet数据集的庞大规模和多样性，可以将其预训练的网络参数应用于珊瑚分类任务中，从而加快模型的收敛速度，缓解数据集小、多样性而导致的模型分类识别能力有待提高的问题。