基于语义特征的分类筛选方法及系统与流程

本技术一般地涉及图像分类领域，尤其涉及一种基于语义特征的分类筛选方法及系统。

背景技术：

1、随着人工智能技术的飞速发展，图像分类广泛应用于智慧农业领域。在智慧农业中，涉及到作物质量筛选、作物成熟度判断等分类任务，分类任务的准确性直接影响作物质量以及生产效率。

2、目前，公开号为cn116385795a的专利文件公开了一种图像分类方法，将待分类图片输入预先训练的判别性区域学习双分支注意力网络进行细粒度图像分类，得到分类结果；其中，在双分支注意力网络的框架中，对其中一分支进行注意力擦除显著区域特征，从而更好地学习另一分支语义互补信息；最终通过特征融合将双分支挖掘的多个判别性区域特征进行特征融合，从而得到待分类图片的最终图像分类的分类结果。

3、然而，上述方法通过擦除的方式学习到待分类图像中影响分类结果的判别性特征，但待分类图像中每一个像素点不同尺度的语义特征对分类结果的显著性不同，直接多个判别性区域的特征进行特征融合，会淹没对分类结果显著性较高的语义特征，导致分类结果不准确。

技术实现思路

1、为了解决现有技术中的上述技术问题，本技术提供了一种基于语义特征的分类筛选方法及系统，从而提高分类结果的准确性。

2、本发明提供了一种基于语义特征的分类筛选方法，包括：获取训练完毕的分类网络，所述分类网络包括分类器和多个卷积层；将待分类图像输入训练完毕的分类网络，得到每个卷积层输出的特征图和所述分类器输出的第一分类结果，其中所述待分类图像中的一个像素点在特征图中对应多个目标像素点，不同目标像素点的像素值用于反映所述像素点在所述待分类图像中不同尺度的语义特征；基于所述第一分类结果获取所述特征图和所述待分类图像中每个像素点的分类贡献度；对于所述待分类图像中的任意像素点，选取分类贡献度最大值对应的目标像素点作为所述像素点的分类显著性点；将所述待分类图像中所有像素点的分类显著性点组成的融合分类特征输入所述分类器，得到第二分类结果。

3、在一些实施例中，所述分类器包括1×1×n卷积层、全局池化层和softmax层；所述1×1×n卷积层用于将任意尺寸的特征图的通道数转化为n，n为类别种类的数量；所述全局池化层用于对所述1×1×n卷积层的输出结果进行全局平均池化操作，输出1行n列的特征向量；所述softmax层对所述特征向量进行归一化处理以输出类别向量，所述类别向量包括特征图属于每个类别种类的概率。

4、在一些实施例中，所述第一分类结果包括待分类图像属于每个类别种类的第一概率，所述基于所述第一分类结果获取所述特征图和所述待分类图像中每个像素点的分类贡献度之前，所述方法还包括：计算所述第一分类结果的信息熵；响应于所述信息熵小于设定熵值，将所述第一分类结果作为第二分类结果；响应于所述信息熵不小于所述设定熵值，基于所述第一分类结果筛选至少两个候选类别。

5、在一些实施例中，所述基于所述第一分类结果筛选至少两个候选类别包括：将所述第一分类结果中所有第一概率按照从大到小的顺序进行排列后，依据设定判断条件确定候选类别的数量，所述设定判断条件满足关系式：

6、

7、其中，p1(1)和p1(m)分别为排列在第一位和第m位的第一概率，n为所有第一概率的数量，φ为设定阈值，满足所述设定判断条件的m即为所述候选类别的数量；将排列在前m个第一概率对应的类别种类作为候选类别。

8、在一些实施例中，所述基于所述第一分类结果获取所述特征图和所述待分类图像中每个像素点的分类贡献度包括：将所述待分类图像或一个特征图作为目标图像，所述目标图像包括至少一个图像通道；计算一个候选类别的第一概率对图像通道的梯度图像，所述梯度图像包括所述图像通道中每一个像素点的梯度值；将所述梯度图像中梯度值的均值作为对应图像通道的权重系数；依据权重系数对所有图像通道的梯度图像进行加权求和，得到所述候选类别对所述目标图像的贡献子图，所述贡献子图满足关系式：

9、

10、其中，j代表所述目标图像，num(j)为所述目标图像j中图像通道的数量，为所述目标图像j中图像通道k的权重系数，为所述目标图像j中图像通道k的梯度图像，为候选类别a对所述目标图像j的贡献子图；基于所有候选类别对所述目标图像的贡献子图确定所述目标图像的分类贡献图，所述分类贡献图包括所述目标图像中每个像素点的分类贡献度，所述分类贡献图满足关系式：

11、

12、其中，m为所有候选类别的数量，p1(a)为候选类别a对应的第一概率，sum(p1)为所有候选类别对应的第一概率的总和，为候选类别a对所述目标图像j的贡献子图，lj为所述目标图像j的分类贡献图。

13、在一些实施例中，所述第二分类结果包括所述待分类图像属于每个类别种类的第二概率，所述得到第二分类结果后，所述方法还包括：在所有候选类别中，将第二概率最大值对应的候选类别作为所述待分类图像所属的类别种类。

14、在一些实施例中，所述分类网络的训练方法包括：采集带有类别标签的图像信息，所述类别标签为对应图像信息所属的类别种类；搭建初始分类网络，所述初始分类网络包括初始分类器和初始编码器，所述初始编码器包括多个初始卷积层；将一个图像信息输入所述初始分类网络以获取多个特征图和第一分类结果；获取所述图像信息中每个像素点的分类显著性点，并将所有分类显著性点组成的融合分类特征输入所述初始分类器，得到第二分类结果；基于所述第二分类结果和所述类别标签计算损失函数值，利用梯度下降法更新所述初始分类器和多个初始卷积层的网络参数，以降低所述损失函数值；迭代的更新所述初始分类器和多个初始卷积层的网络参数，直至所述损失函数值小于设定损失，或迭代次数大于设定次数，得到训练完毕的分类网络。

15、在一些实施例中，所述融合分类特征的获取方法包括：在所述待分类图像中，将每个像素点替换为对应分类显著性点的像素值，得到融合分类特征。

16、在一些实施例中，所述融合分类特征的获取方法包括：对于所述待分类图像或一个特征图，将分类显著性点处的像素值保留，将除分类显著性点之外的像素点的像素值置为0，得到所述待分类图像或所述特征图对应的分类显著图；将所有分类显著图调整至预设大小后，将对应位置处的像素值相加，得到融合分类特征。

17、本技术还提供了一种基于语义特征的分类筛选系统，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据本技术第一方面所述的基于语义特征的分类筛选方法。

18、本技术实施例提供的上述基于语义特征的分类筛选方法，首先将待分类图像输入训练完毕的分类网络，得到不同尺寸的特征图以及第一分类结果，进一步依据第一分类结果的梯度信息得到待分类图像和每一个特征图中像素点的分类贡献度；对于待分类图像中的任意像素点，依据分类贡献度从待分类图像和特征图中筛选出该像素点对分类最有效的语义特征，作为该像素点分类显著性点，依据所有分类显著性点的特征得到第二分类结果，通过融合待分类图像中的每个像素点对分类贡献度最大的语义特征，从而提高分类结果的准确性。

19、进一步地，待分类图像中每一个像素点对应的多个目标像素点，不同目标像素点位于不同卷积层输出的特征图上，且不同目标像素点的像素值可用于表征像素点在待分类图像中不同尺度的语义特征；依据目标像素点的分类贡献度确定待分类图像中每个像素点的分类显著性点，分类显著性点的像素值可用于表征对应像素点对分类结果最有效的语义特征。