一种有毒生物图像分类识别方法、装置、设备及存储介质

本发明涉及图像识别，特别涉及一种有毒生物图像分类识别方法、装置、设备及存储介质。

背景技术：

1、基于深度神经网络的有毒生物图像分类识别方法，在模型构建设计上可分为特征提取阶段（backbone）和分类器阶段（classifier）两阶段，两阶段结合可以实现代替人工进行目标图像的特征提取和选择。通过应用人工构建有毒生物图像数据集的监督训练，实现深度神经网络backbone和classifier参数运算结果与图像真实标签（truth label）之间的拟合，或是完成对新增目标类别的泛化。在过往已有的方法中，基于卷积神经网络（convolutional neural networks，cnn）的端到端框架成为了主流技术，例如resnet、googlenet等网络模型。而随着多头自注意力机制（multi-head self attention，msa）在自然语言处理领域中的应用，由于其自带的前后文关联性学习能力，逐渐在计算机视觉领域中得到了广泛重视及应用，并设计了相关backbone，例如vit、transfg。

2、当前尚未有针对有毒生物构建的公开图像数据集，仅有包含多数常见父类别的大型图像数据集，例如ms coco、imagenet等，暂无大型包含大量有毒生物类别的公开图像数据集。

3、在深度神经网络算法模型的训练过程中，训练数据集的样本结构和质量会对模型的参数训练结果造成影响。对于未经人工修正采样的数据集，通常会呈现自然的类别间样本数量不均衡长尾趋势，使用长尾分布的数据集进行算法模型训练，会影响模型的泛化能力及整体性能。

4、有鉴于此，提出本技术。

技术实现思路

1、本发明公开了一种有毒生物图像分类识别方法、装置、设备及存储介质，旨在提高对有毒生物的识别率。

2、本发明第一实施例提供了一种有毒生物图像分类识别方法,包括:

3、获取图像样本,调用基于均衡采样策略和逆向采样策略交叉训练过的分类模型基于所述图像样本的分辨率进行分割成多组切块;

4、基于特征提取的阶段调整所述多组切块的数量以及采样频率进行特征提取,以生成不同阶段的多尺度特征图;

5、对所述不同阶段的多尺度特征图进行融合后通过融合特征分类器进行预测,以生成所述图像样本的预测结果。

6、优选地,所述均衡采样策略对模型的训练过程为：

7、随机选择s个不重复且未被选择过的类别标签，在属于被选择类别标签的图像样本集中随机采样其中一个样本，构成一组训练样本，从而使用均衡采样策略进行采样的分类模型训练，在每一轮训练轮次中，会进行次参数权重更新，其中，k为数据集的总样本数量，为每个小批量中包含的样本数量；

8、所述逆向采样策略对模型的训练过程为：

9、计算所有类别图像样本在该数据集中的不均衡占比权重，以及各个类别在逆向采样策略采样区间，其中，每个采样区间包含一个或多个待采样区段，根据各个类别的采样区间大小进行训练，以使得分类模型能够倾向于选择样本数较少的类别进行训练。

10、优选地,还包括：在完成第一次图像分类算法模型训练后，根据验证集的测试计算结果，获得对应的分类结果二维混淆矩阵先验知识信息，再根据混淆矩阵计算二维的代价敏感正则化矩阵，矩阵中的元素wij表示属于i类别的图像样本被识别为j类别时，为损失函数添加的代价敏感正则化权重；

11、当时，对应类别的代价敏感正则化权重为0；

12、当时，代价敏感正则化矩阵会根据分类标签结果的映射，为损失函数进行代价敏感正则化加权，此时的损失函数，其中为代价敏感矩阵l2范数的计算结果，为调节参数,为i类别的图像样本被识别为a类别的样本数量,为i类别的图像样本被识别为j类别的样本数量,为损失函数,为综合损失函数。

13、优选地,所述对所述不同阶段的多尺度特征图进行融合后通过融合特征分类器进行预测,以生成所述图像样本的预测结果，具体为：

14、对所述不同阶段的多尺度特征图进行融合后进行全局平均池化生成融合特征向量；

15、调用融合特征分类器对所述融合特征向量进行预测，以生成所述图像样本的预测结果，其中，所述融合特征分类器的计算公式为：

16、

17、其中，为预测结果，为融合特征分类器对融合特征向量的计算结果，的计算公式为：

18、)；

19、其中，为不同阶段的多尺度特征图进行融合的结果，为不同阶段的多尺度特征图；

20、模型为每个特征提取阶段输出的特征图匹配了对应的分类器模块mlp2～4，以利用多尺度的特征信息计算输入图像样本的分类结果r2～4，其计算过程为：

21、

22、

23、其中，为s2、s3、s4三个阶段特征图经过对应分类器模块的计算结果，为三阶段对应分类器，r2～4为三阶段对应分类结果，为三阶段经全局平均池化得到的特征向量。

24、本发明第二实施例提供了一种有毒生物图像分类识别装置,包括:

25、分割单元，用于获取图像样本,调用基于均衡采样策略和逆向采样策略交叉训练过的分类模型基于所述图像样本的分辨率进行分割成多组切块;

26、多尺度特征图生成单元，用于基于特征提取的阶段调整所述多组切块的数量以及采样频率进行特征提取,以生成不同阶段的多尺度特征图;

27、预测结果生成单元，用于对所述不同阶段的多尺度特征图进行融合后通过融合特征分类器进行预测,以生成所述图像样本的预测结果。

28、优选地,所述均衡采样策略对模型的训练过程为：

29、随机选择s个不重复且未被选择过的类别标签，在属于被选择类别标签的图像样本集中随机采样其中一个样本，构成一组训练样本，从而使用均衡采样策略进行采样的分类模型训练，在每一轮训练轮次中，会进行次参数权重更新，其中，k为数据集的总样本数量，为每个小批量中包含的样本数量；

30、所述逆向采样策略对模型的训练过程为：

31、计算所有类别图像样本在该数据集中的不均衡占比权重，以及各个类别在逆向采样策略采样区间，其中，每个采样区间包含一个或多个待采样区段，根据各个类别的采样区间大小进行训练，以使得分类模型能够倾向于选择样本数较少的类别进行训练。

32、优选地,还包括：在完成第一次图像分类算法模型训练后，根据验证集的测试计算结果，获得对应的分类结果二维混淆矩阵先验知识信息，再根据混淆矩阵计算二维的代价敏感正则化矩阵，矩阵中的元素wij表示属于i类别的图像样本被识别为j类别时，为损失函数添加的代价敏感正则化权重；

33、当时，对应类别的代价敏感正则化权重为0；

34、当时，代价敏感正则化矩阵会根据分类标签结果的映射，为损失函数进行代价敏感正则化加权，此时的损失函数，其中为代价敏感矩阵l2范数的计算结果，为调节参数,为i类别的图像样本被识别为a类别的样本数量,为i类别的图像样本被识别为j类别的样本数量,为损失函数,为综合损失函数。

35、优选地,所述预测结果生成单元具体用于：

36、对所述不同阶段的多尺度特征图进行融合后进行全局平均池化生成融合特征向量；

37、调用融合特征分类器对所述融合特征向量进行预测，以生成所述图像样本的预测结果，其中，所述融合特征分类器的计算公式为：

38、

39、其中，为预测结果，为融合特征分类器对融合特征向量的计算结果，的计算公式为：

40、；

41、其中，为不同阶段的多尺度特征图进行融合的结果，为不同阶段的多尺度特征图；

42、模型为每个特征提取阶段输出的特征图匹配了对应的分类器模块mlp2～4，以利用多尺度的特征信息计算输入图像样本的分类结果r2～4，其计算过程为：

43、

44、

45、其中，为s2、s3、s4三个阶段特征图经过对应分类器模块的计算结果，为三阶段对应分类器，r2～4为三阶段对应分类结果，为三阶段经全局平均池化得到的特征向量。

46、本发明第三实施例提供了一种有毒生物图像分类识别设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种有毒生物图像分类识别方法。

47、本发明第四实施例提供了一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述的一种有毒生物图像分类识别方法。

48、基于本发明提供的一种有毒生物图像分类识别方法、装置、设备及存储介质，先通过获取图像样本,调用基于均衡采样策略和逆向采样策略交叉训练过的分类模型基于所述图像样本的分辨率进行分割成多组切块;接着，基于特征提取的阶段调整所述多组切块的数量以及采样频率进行特征提取,以生成不同阶段的多尺度特征图;最后，对所述不同阶段的多尺度特征图进行融合后通过融合特征分类器进行预测,以生成所述图像样本的预测结果，其中，预测结果为所述图像样本是否为有毒生物，通过使用自适应样本平衡采样训练策略，缓解训练集类别样本数量不均衡造成的影响，有效的提高了在对有毒生物识别时的识别率。