技术特征：
1.一种零样本图像分类方法，通过预先训练好的零样本分类模型执行，所述零样本分类模型包括第一神经网络层、基准神经网络层、全卷积神经网络层和第二神经网络层，所述方法包括：通过所述第一神经网络层将多个未见类别的属性向量映射到图像特征空间，以得到所述多个未见类别的语义嵌入向量；通过所述基准神经网络层提取输入图像的全局特征；通过所述全卷积神经网络层，基于注意力机制对所述全局特征进行学习，以得到多个特征掩码；对于所述多个特征掩码中的每个特征掩码，确定该特征掩码的各个元素值中的最大值作为该特征掩码的最大掩码值，以得到分别与所述多个特征掩码对应的多个最大掩码值；基于所述多个最大掩码值中的最大值和预设的自适应因子，计算自适应阈值；基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征；对于所述多个未见类别中的每个未见类别，通过所述第二神经网络层计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，以得到分别与所述多个未见类别对应的多个相容性得分；确定所述多个相容性得分中的最大值作为最高相容性得分，并输出与所述最高相容性得分对应的所述未见类别作为对所述输入图像的类别预测结果。2.根据权利要求1所述的方法，其中，基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征，具体包括：通过下列操作对所述多个特征掩码进行自适应阈值处理：对于所述多个特征掩码中的每个特征掩码，响应于确定该特征掩码的最大掩码值小于所述自适应阈值，将该特征掩码的每个元素值重置为零；以经过自适应阈值处理后的所述多个特征掩码作为注意力权重对所述全局特征进行加权，以得到所述加权全局特征。3.根据权利要求1所述的方法，其中，基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征，具体包括：通过下列操作对所述多个特征掩码进行自适应阈值处理：对于所述多个特征掩码中的每个特征掩码，响应于确定该特征掩码的最大掩码值小于所述自适应阈值，将该特征掩码的每个元素值进行平方处理；以经过自适应阈值处理后的所述多个特征掩码作为注意力权重对所述全局特征进行加权，以得到所述加权全局特征。4.根据权利要求1所述的方法，其中，基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征，具体包括：通过下列操作对所述多个特征掩码进行自适应阈值处理：对于所述多个特征掩码中的每个特征掩码，响应于确定该特征掩码的最大掩码值小于所述自适应阈值，将该特征掩码的每个元素值与自衰减权值相乘，所述自衰减权值为预设权值因子与所述多个特征掩码的数量的比值；以经过自适应阈值处理后的所述多个特征掩码作为注意力权重对所述全局特征进行加权，以得到所述加权全局特征。
5.根据权利要求1所述的方法，其中，通过所述第二神经网络层计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，具体包括：通过所述第二神经网络层，将所述语义嵌入向量的类别元素映射为相容性类别元素，所述相容性类别元素的数量与所述加权全局特征的特征元素的数量相同；将所有所述相容性类别元素与所述特征元素作为一个元素整体，基于所述预设相容性函数，计算该元素整体的线性组合，以得到所述加权全局特征与该未见类别的语义嵌入向量的相容性得分。6.根据权利要求1所述的方法，其中，在进行所述零样本分类模型训练时，基于平滑标签来构建图像类别标签的真实概率分布，并采用最小化交叉熵损失来更新所述零样本分类模型的参数，以使预测概率分布接近于所述真实概率分布。7.根据权利要求1所述的方法，其中，在通过所述基准神经网络层提取输入图像的全局特征之前，所述方法还包括：对所述待分类图像进行数据增广，所述数据增广包括图像尺度归一化、图像随机裁剪、图像数值归一化、图像翻转、图像缩放、图像旋转、图像倾斜中的一种或多种。8.一种图像分类系统，通过预先训练好的零样本分类模型执行，所述零样本分类模型包括第一神经网络层、基准神经网络层、全卷积神经网络层和第二神经网络层，所述系统包括：语义模块，通过所述第一神经网络层将多个未见类别的属性向量映射到图像特征空间，以得到所述多个未见类别的语义嵌入向量；全局特征模块，通过所述基准神经网络层提取输入图像的全局特征；注意力模块，通过所述全卷积神经网络层，基于注意力机制对所述全局特征进行学习，以得到多个特征掩码；掩码确定模块，对于所述多个特征掩码中的每个特征掩码，确定该特征掩码的各个元素值中的最大值作为该特征掩码的最大掩码值，以得到分别与所述多个特征掩码对应的多个最大掩码值；自适应阈值模块，基于所述多个最大掩码值中的最大值和预设的自适应因子，计算自适应阈值；加权模块，基于所述自适应阈值与所述多个最大掩码值得到加权全局特征；相容性模块，对于所述多个未见类别中的每个未见类别，通过所述第二神经网络层计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，以得到分别与所述多个未见类别对应的多个相容性得分；预测模块，确定所述多个相容性得分中的最大值作为最高相容性得分，并输出与所述最高相容性得分对应的所述未见类别作为对所述输入图像的类别预测结果。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一所述的方法。
技术总结
本公开提供一种零样本图像分类方法、系统、电子设备及存储介质，该方法先提取输入图像的全局特征，然后基于注意力机制对所述全局特征进行学习，以得到多个特征掩码，基于所述多个最大掩码值中的最大值和预设的自适应因子，计算自适应阈值；基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征；计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，确定所述多个相容性得分中的最大值作为最高相容性得分，并输出与所述最高相容性得分对应的所述未见类别作为对所述输入图像的类别预测结果，从而通过阈值自适应的注意力机制，抑制冗余特征的同时提高了特征的鲁棒性，进一步提高了分类的准确度。进一步提高了分类的准确度。进一步提高了分类的准确度。
技术研发人员：李硕豪 王风雷 张军 练智超 雷军 李小飞 蒋林承 何华 李千目
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2021.07.07
技术公布日：2021/9/24