知识蒸馏方法、绿化区域检测方法、电子设备及存储介质与流程

本发明涉及人工智能，尤其涉及知识蒸馏方法、绿化区域检测方法、电子设备及存储介质。

背景技术：

1、随着人工智能的发展，模型在数据处理，图像识别等应用中越来越重要，例如，通过模型对城镇等地区的绿化区域进行识别。模型训练可以通过知识蒸馏的方式实现，在知识蒸馏领域，传统方法通常依赖于在模型的输出层进行教师-学生模型的训练。例如，教师模型的输出(软标签)被用来训练一个更简单的学生模型，但是此种方法使用的教师知识主要集中于模型的最终输出，没有充分利用模型内部层的信息。fitnets等方法扩展了基础知识蒸馏的方法，使用教师模型的输出作为目标的同时还引入了中间层的匹配，但是此种方法中学生模型在模仿教师模型中间层的特征表示时很可能会发生过度学习。

2、现有的大多数现有方法在处理复杂结构时，通常仅关注模型的最终输出而忽视了网络内部层间的丰富信息，导致了教师模型中间层的细粒度信息无法被充分利用，限制了学生模型的学习潜力；或者过度地学习了中间信息，导致学生模型无法充分且平衡地获得模型的所有层次知识；同时，传统方法在计算损失时，通常采用单一的损失计算策略，无法区分网络中不同层或块的重要性，导致学生模型可能在某些关键部分的学习不足。上述原因会导致学生模型精度较低，进而影响图像识别精度。

技术实现思路

1、本发明提供了一种知识蒸馏方法、绿化区域检测方法、电子设备及存储介质，以解决学生网络精度较低导致的图像识别精度较低的问题。

2、根据本发明的一方面，提供了一种知识蒸馏方法，包括：

3、获取训练样本图像，将所述训练样本图像分别输入到预先构建的教师网络和学生网络中，其中，所述教师网络包括至少两个教师块，所述学生网络包括至少两个学生块；

4、获取具有对应关系的教师块和学生块所生成的第一输出结果和第二输出结果，其中，所述第一输出结果为学生块的输出结果，第二输出结果为教师块的输出结果；

5、针对每组具有对应关系的教师块和学生块，根据所述第一输出结果和第二输出结果计算块级损失函数，并根据所述具有对应关系的教师块和学生块所对应的第一权重参数确定块级权重系数；

6、基于各所述块级损失函数及其对应的块级权重系数计算目标损失函数，基于所述目标损失函数对所述学生网络进行反向传播，以实现所述学生网络的蒸馏学习。

7、根据本发明的另一方面，提供了一种绿化区域检测方法，包括：

8、获取待检测图像；

9、将所述待检测图像输入到学生网络中进行检测，所述学生网络采用如本发明任一实施例所述的知识蒸馏方法进行蒸馏学习得到；

10、根据所述学生网络的输出结果确定绿化区域。

11、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

12、至少一个处理器；以及

13、与所述至少一个处理器通信连接的存储器；其中，

14、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的知识蒸馏方法或绿化区域检测方法。

15、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的知识蒸馏方法或绿化区域检测方法。

16、本发明实施例的技术方案，解决了学生网络精度较低导致的图像识别精度较低的问题，预先确定教师块与学生块的对应关系，通过教师网络和学生网络对训练样本图像进行识别时，根据具有对应关系的教师块和学生块的第一输出结果和第二输出结果计算块级损失函数，在网络的每个块中实施知识蒸馏，使得学生网络能够在不同层次学习到教师网络的知识，从而提高了学习的精确度和模型性能，通过具有对应关系的教师块和学生块所对应的第一权重参数确定块级权重系数，指导学生模型有选择性地学习教师模型的块知识，提高了学习效率和模型泛化能力，基于块级权重系数对块级损失函数进行加权，得到目标损失函数，实现损失函数的精细优化，由于目标损失函数中包括网络中不同块级的损失，在基于目标损失函数对学生网络进行反向传播时可以指导学生网络更好的调整参数，训练后得到的学生网络在图像识别时精度更高。

17、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种知识蒸馏方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一输出结果和第二输出结果计算块级损失函数，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一损失函数和所述第二损失函数计算块级损失函数，包括：

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求1所述的方法，其特征在于，所述第一权重参数包括：学习阈值和概率因子；所述根据所述具有对应关系的教师块和学生块所对应的第一权重参数确定块级权重系数，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述差值以及预设的最小阈值和最大阈值确定块级权重系数，包括：

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述教师网络中的教师块的数量与所述学生网络的学生块的数量相同，各所述教师块与各所述学生块一一对应。

8.一种绿化区域检测方法，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的知识蒸馏方法或者权利要求8所述的绿化区域检测方法。

技术总结
本发明公开了一种知识蒸馏方法、绿化区域检测方法、电子设备及存储介质；知识蒸馏方法包括：获取训练样本图像，将训练样本图像分别输入到预先构建的教师网络和学生网络中；获取具有对应关系的教师块和学生块所生成的第一输出结果和第二输出结果；针对每组具有对应关系的教师块和学生块，根据第一输出结果和第二输出结果计算块级损失函数，并根据具有对应关系的教师块和学生块所对应的第一权重参数确定块级权重系数；基于各块级损失函数及其对应的块级权重系数计算目标损失函数，基于目标损失函数对学生网络进行反向传播，以实现学生网络的蒸馏学习；解决了学生网络精度较低导致的图像识别精度较低的问题，提高模型精度。

技术研发人员：林鑫瀚,张宇,彭书俊,代旭,郝培霖,胡杨,韩慧明
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/3/17