一种基于联邦学习的分布式青梅等级分选方法

本申请涉及图像处理，具体而言，涉及一种基于联邦学习的分布式青梅等级分选方法。

背景技术：

1、青梅是一种集多种功能于一体的“万能”亚热带水果，富含蛋白质、无机盐等人体必须的营养物质，对心血管、泌尿、消化系统疾病有明显的预防作用和疗效。随着人们生活水平逐渐提高，对水果质量的要求也更加严格。市场上参差不齐的青梅质量，使得青梅品质等级的划分较为重要，并逐渐成为市场消费的主导因素，相似青梅样本种类繁多，数量大，仅在局部存在细微差异。常规人工分选不仅分级效率较低，且受个人主观因素影响难以实现标准化作业，不能满足市场需求。此外，青梅需经加工后方可食用，采用品质更好的原果进行深加工会产出质量更高的产品。

2、目前主流基于深度学习的分类模型为了追求更高的精度，在模型复杂度方面不断增加，进而提取更多的特征细节，但相应的推理时间也需要更久。在工程应用中，常需要轻量化模型以提高模型的检测速度，如何在保证精度的同时，提高检测速度，为分拣机器人的分拣效率提供支持。

技术实现思路

1、本申请的实施例提供了一种基于联邦学习的分布式青梅等级分选方法，在各客户端持有数据不出本地的情况下，在服务端将各方的数据进行融合，充分挖掘数据之间的特征信息，寻找数据之间的联系，同时采用轻量化模型结构，在保证模型分拣效果的同时，提高模型的分拣能力。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、根据本申请实施例的第一方面，提供了一种基于联邦学习的分布式青梅等级分选方法，包括：

4、根据不同等级的青梅图像数据训练初始模型；

5、基于各个客户端的青梅图像数据训练所述初始模型，得到多个本地更新模型；

6、将多个本地更新模型进行模型权重加密后再进行聚合，得到全局更新模型；

7、基于各个客户端的青梅图像数据训练所述全局更新模型，得到青梅等级分选模型，并判断其是否收敛；

8、选取收敛的青梅等级分选模型分选青梅。

9、在本申请的一些实施例中，基于前述方案，所述根据不同等级的青梅图像数据训练初始模型，包括：

10、服务端基于不同等级的青梅图像数据训练基于0参数注意力机制simam的repvgg模型，得到初始模型。

11、在本申请的一些实施例中，基于前述方案，采用结构重参数化的方式将repvgg模型的训练过程分为模型训练和模型推理。

12、在本申请的一些实施例中，基于前述方案，在模型训练过程中，在repvgg模型的卷积层上分别添加1×1卷积分支和恒等映射的残差分支；在模型推理的过程中，将repvgg模型的卷积层和bn层合并。

13、在本申请的一些实施例中，基于前述方案，所述将repvgg模型的卷积层和bn层合并，包括：

14、将所述1×1卷积分支变成3×3的卷积；

15、将所述残差分支所在通道卷积核参数设置为1，其他通道卷积核参数设置为0，然后将所述残差分支中的1×1卷积变成3×3卷积；

16、将所有的3×3的卷积核和偏差相加，完成合并。

17、在本申请的一些实施例中，基于前述方案，所述基于各个客户端的青梅图像数据训练所述初始模型，得到多个本地更新模型，包括：

18、各个客户端接收服务端分发的初始模型的模型权重，并对初始模型的模型权重进行解密；

19、对各个客户端的青梅图像数据进行预处理；

20、各个客户端基于初始模型的模型权重，利用预处理后的青梅图像数据进行多轮训练，得到各自的本地更新模型。

21、在本申请的一些实施例中，基于前述方案，所述将多个本地更新模型进行模型权重加密后再进行聚合，得到全局更新模型，包括：

22、各个客户端对各自的本地更新模型的模型权重进行加密，并将加密后的模型权重传输至服务端；

23、服务端对各个本地更新模型进行参数聚合后得到全局更新模型，并将所述全局更新模型分发给各个客户端。

24、在本申请的一些实施例中，基于前述方案，所述服务端对各个本地更新模型进行参数聚合后得到全局更新模型，包括：

25、服务端接收各个客户端的本地更新模型；

26、服务端根据测试数据对各个客户端的本地更新模型进行测试，得到不同的等级青梅图像的分类准确率和检测速度；其中，所述分类准确率是指精准率和召回率的加权调和平均，所述检测速度是指每秒内可以处理的图片数量；

27、对不同的分类准确率进行归一化处理，作为本地更新模型的模型权重，对所有本地更新模型的模型权重进行求和，得到全局更新模型。

28、在本申请的一些实施例中，基于前述方案，在对分类准确率进行归一化处理的过程中，若某个分类准确率数值在指定次数内连续低于设置的阈值，则将该分类准确率对应的客户端丢弃。

29、在本申请的一些实施例中，基于前述方案，所述基于各个客户端的青梅图像数据训练所述全局更新模型，得到青梅等级分选模型，包括：

30、各个客户端将接收到的聚合后的全局更新模型的模型权重进行解密，解密后的模型记为预训练模型；

31、各个客户端基于本地的青梅图像数据训练所述预训练模型，得到青梅等级分选模型。

32、根据本申请实施例的第二方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令在计算机上运行时，使得所述计算机执行第一方面所述的方法。

33、根据本申请实施例的第三方面，提供了一种电子设备，包括处理器和存储器；

34、所述存储器，用于存储指令；

35、所述处理器，用于调用所述存储器中的指令，使得所述电子设备执行第一方面所述的方法。

36、申请的技术方案，在不需要将客户端的青梅图像数据传输到服务端的前提下，客户端利用本地的青梅图像数据训练得到青梅等级分选模型，一方面极大的减轻了数据的传输量，另一方面充分利用了青梅图像信息，实现了青梅等级分选。

37、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种基于联邦学习的分布式青梅等级分选方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据不同等级的青梅图像数据训练初始模型，包括：

3.根据权利要求2所述的方法，其特征在于，采用结构重参数化的方式将repvgg模型的训练过程分为模型训练和模型推理。

4.根据权利要求3所述的方法，其特征在于，在模型训练过程中，在repvgg模型的卷积层上分别添加1×1卷积分支和恒等映射的残差分支；在模型推理的过程中，将repvgg模型的卷积层和bn层合并。

5.根据权利要求4所述的方法，其特征在于，所述将repvgg模型的卷积层和bn层合并，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于各个客户端的青梅图像数据训练所述初始模型，得到多个本地更新模型，包括：

7.根据权利要求6所述的方法，其特征在于，所述将多个本地更新模型进行模型权重加密后再进行聚合，得到全局更新模型，包括：

8.根据权利要求7所述的方法，其特征在于，所述服务端对各个本地更新模型进行参数聚合后得到全局更新模型，包括：

9.根据权利要求8所述的方法，其特征在于，在对分类准确率进行归一化处理的过程中，若某个分类准确率数值在指定次数内连续低于设置的阈值，则将该分类准确率对应的客户端丢弃。

10.根据权利要求7所述的方法，其特征在于，所述基于各个客户端的青梅图像数据训练所述全局更新模型，得到青梅等级分选模型，包括：

技术总结
本申请的实施例提供了一种基于联邦学习的分布式青梅等级分选方法，涉及图像处理技术领域，所述方法包括：根据不同等级的青梅图像数据训练初始模型；基于各个客户端的青梅图像数据训练所述初始模型，得到多个本地更新模型；将多个本地更新模型进行模型权重加密后再进行聚合，得到全局更新模型；基于各个客户端的青梅图像数据训练所述全局更新模型，得到青梅等级分选模型，并判断其是否收敛；选取收敛的青梅等级分选模型分选青梅。本方法在不需要将客户端的青梅图像数据传输到服务端的前提下，客户端利用本地的青梅图像数据训练得到青梅等级分选模型，一方面极大的减轻了数据的传输量，另一方面充分利用了青梅图像信息，实现了青梅等级分选。

技术研发人员：王金海,张宗印,廖兰,曾新安,罗陆锋
受保护的技术使用者：佛山科学技术学院
技术研发日：
技术公布日：2024/1/14