云边协同场景下基于深度互学习的卷烟包装缺陷检测方法与流程

1.本发明涉及卷烟制造领域，尤其涉及一种云边协同场景下基于深度互学习的卷烟包装缺陷检测方法。


背景技术：

2.在高速流水线生产卷烟的过程中，生产环境、材质、加工过设备等复杂因素的影响都可能导致卷烟包装破损或出现异物，为了保障卷烟的出厂品质，需要对卷烟包装进行实时缺陷检测。基于人工检测的方案费时费力，难以适应如今流水线上的高速生产方式。
3.近些年来随着计算机视觉技术和监控技术的发展，工业生产智能化监测成为可能。由于卷烟生产过程中可以获得的包装缺陷样本远小于正常样本，这类任务通常采用无监督的设定，也就是仅使用正常样本训练。通过一个深度自编码器，学习正常产品外观的特征分布，在线监测时基于隐空间的特征相似性或者重构误差实现缺陷检测。然而在实际的卷烟生产场景中，不同的卷烟厂之间出于隐私保护的需求，往往不能直接共享卷烟包装图像数据，因此现有的方案基本是每个卷烟厂各自训练模型，这种方式因为训练模型时见到的数据没有涵盖足够多的正常卷烟包装模态，往往精度和泛化性都不高。随着云边协同概念的提出和联邦学习方法的发展，使得在不共享原始卷烟图像数据的前提下对各个卷烟厂的资源进行整合成为可能。云边协同的框架打破了工业领域的数据孤岛，在这个框架下，云服务器承担模型训练和优化等计算密集型任务，而边缘设备提供模型训练和部署，执行实时卷烟包装缺陷诊断。因此，如何结合联邦学习的框架有效整合不同卷烟厂，不同生产线之间的数据，得到更鲁棒的卷烟包装缺陷模型，是值得研究的方向。
4.然而，不同生产线的成像设备安装位置不同，拍摄角度不同，光照条件不同，所以对应的正常卷烟包装的模态分布也不同，直接使用联邦参数平均的方法得到的模型会比仅仅使用边缘端的卷烟包装数据进行训练效果更差。同时，受限于计算能力，联邦训练得到的大模型难以在卷烟厂生产线的边缘设备上实现实时缺陷监测。因此，如何更好地结合联邦学习的方法，解决云边协同场景下各边缘端数据异构的问题的同时得到适合边缘端的轻量模型，实现卷烟包装实时缺陷监测，是一个巨大的挑战。


技术实现要素：

5.鉴于上述，本发明旨在提供一种云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，以解决云边协同场景下各个卷烟厂的原始数据不能共享，各个生产线得到的卷烟包装图像存在数据异构的问题。
6.本发明采用的技术方案如下：
7.本发明提供了一种云边协同场景下基于深度互学习的卷烟包装缺陷检测方法，其中包括：
8.基于不同的边缘端在生产过程中得到的卷烟包装图像样本，构建缺陷检测数据集，并在各个边缘端搭建基于深度自编码器的第一缺陷检测模型和第二缺陷检测模型，以
及在云端构建缺陷检测全局模型；其中，所述第一缺陷检测模型的参数量大于所述第二缺陷检测模型；
9.在云端初始化缺陷检测全局模型的参数，并基于全局模型的初始化后的参数初始化第一缺陷检测模型的参数，以及随机初始化第二缺陷检测模型的参数；
10.利用所述缺陷检测数据集并结合互学习策略训练第一缺陷检测模型、第二缺陷检测模型；且同步交替循环执行：结合云边协同场景下的全局参数更新策略，在云端汇总并优化第一缺陷检测模型的参数；
11.训练完成后，保存各边缘端的第二缺陷检测模型的参数，并得到重构误差阈值；
12.采集待测卷烟包装外观图像；
13.利用所述第二缺陷检测模型处理待测卷烟包装外观图像，得到重构后图像；
14.计算重构后图像的重构误差，并根据所述重构误差与所述重构误差阈值的比对关系，判定待测卷烟包装是否存在外观缺陷。
15.在其中至少一种可能的实现方式中，所述得到重构误差阈值包括：统计重构损失的均值以及方差，融合所述均值和方差得到所述重构误差阈值。
16.在其中至少一种可能的实现方式中，所述得到的卷烟包装图像样本包括：针对各边缘端，采用标注关键区域的方式，裁剪并得到卷烟包装图像样本的有效区域。
17.在其中至少一种可能的实现方式中，基于深度自编码器搭建缺陷检测模型的方式包括：由一个多层二维卷积构成的编码器和一个有多层二维反卷积组成的解码器构成，分别用于将输入的卷烟包装图像映射为隐空间特征，以及利用隐空间特征恢复卷烟包装图像。
18.在其中至少一种可能的实现方式中，所述得到重构后图像包括：对待测卷烟包装外观图像的有效区域进行剪裁和缩放处理后，采用第二缺陷检测模型对待测卷烟包装图像的有效区域进行重构。
19.在其中至少一种可能的实现方式中，所述互学习策略包括：
20.输入所述缺陷检测数据集中的正常卷烟包装图像，分别使用第一缺陷检测模型和第二缺陷检测模型的特征提取器提取特征后，再分别使用第一缺陷检测模型和第二缺陷检测模型的解码器对应得到重构后的卷烟包装图像，并使用第一损失优化第一缺陷检测模型和第二缺陷检测模型对于正常卷烟包装图像样本的重构能力；
21.基于特征蒸馏方法，使第一缺陷检测模型和第二缺陷检测模型相互学习，并使用第二损失约束第一缺陷检测模型和第二缺陷检测模型对于同一张卷烟包装图像所得到的隐空间特征的相似性；
22.其中，边缘端的第一缺陷检测模型和第二缺陷检测模型模型的损失函数包括重构损失和特征蒸馏损失。
23.在其中至少一种可能的实现方式中，所述结合云边协同场景下的全局参数更新策略，在云端汇总并优化第一缺陷检测模型的参数包括：
24.通过联邦参数平均的联邦学习方法，在云端汇总并优化第一缺陷检测模型的参数，以缺陷检测全局模型的参数作为各边缘端的第一缺陷检测模型参数的加权平均，且其中权重系数通过不同边缘端参与训练的卷烟包装图像样本数量确定。
25.本发明的主要设计构思在于，基于不同的边缘端在生产过程中得到的卷烟包装图
像样本，构建缺陷检测数据集，并搭建参数量不同的大小缺陷检测模型及云端的全局模型，在初始化模型参数后，利用缺陷检测数据集并交替循环执行互学习策略及云边协同场景下的全局参数更新策略训练大小缺陷检测模型，固定训练好的各边缘端的小模型参数，并得到重构误差阈值；实际推理阶段，利用边缘端的小模型处理待测卷烟包装外观图像，得到重构后图像，根据重构后图像的重构误差与重构误差阈值的比对关系，判定待测卷烟包装是否存在外观缺陷。本发明结合了云边协同的框架，融合了不同卷烟厂及卷烟生产线之间的信息，打破了工业生产中的信息孤岛，且轻量化的模型结构可良好适用于高速卷烟生产线上实时的包装外观缺陷检测，有效解决了不同卷烟生产线因成像设备拍摄角度不同、背景不同、光照条件不同等因素造成的数据分布差异的问题。
附图说明
26.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
27.图1为本发明实施例提供的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法的流程示意图；
28.图2为本发明实施例提供的云边协同场景下基于深度互学习的卷烟包装缺陷检测方法所基于的系统架构示意图。
具体实施方式
29.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
30.本发明提出了一种云边协同场景下基于深度互学习的卷烟包装缺陷检测方法的实施例，具体来说，其中包括：
31.步骤s1、基于不同的边缘端在生产过程中得到的卷烟包装图像样本，构建缺陷检测数据集，并在各个边缘端搭建基于深度自编码器的第一缺陷检测模型和第二缺陷检测模型，以及在云端构建缺陷检测全局模型；其中，所述第一缺陷检测模型的参数量大于所述第二缺陷检测模型(下文实施例中以大模型指代第一缺陷检测模型，以小模型指代第二缺陷检测模型)；
32.具体地，基于k个边缘端(所述边缘端可来自不同的卷烟厂或不同的生产线)在生产过程中得到的卷烟包装无缺陷样本，构建无监督外观缺陷检测数据集，记作{c1，c2，...，ck}，ci表示第i个边缘端的训练数据，以n(ck)表示样本数量。每个卷烟厂或卷烟生产线必然存在成像设备拍摄角度不一致，背景不同，光照条件不同等干扰。由此，针对每一个边缘端，由于其成像设备的位置固定，可以采用人工标注关键区域的方法，裁剪出卷烟包装的有效区域，减少背景干扰。
33.基于深度自编码器构建最基本的无监督缺陷检测模型，其可以由一个多层二维卷积构成的编码器e和一个有多层二维反卷积组成的解码器d构成，分别用于将输入卷烟包装图像i映射为隐空间特征z，以及利用隐空间特征z恢复卷烟包装图像
34.步骤s2、在云端初始化缺陷检测全局模型的参数，并基于全局模型的初始化后的
参数初始化第一缺陷检测模型的参数，以及随机初始化第二缺陷检测模型的参数；
35.具体地，可在云端初始化模型mg，在每个边缘端初始化大模型m
l
和小模型ms，其中大模型m
l
与云端模型具有相同的参数量和网络结构，而小模型ms的参数量更少。
36.步骤s3、利用所述缺陷检测数据集并结合互学习策略训练第一缺陷检测模型、第二缺陷检测模型；且同步交替循环执行：结合云边协同场景下的全局参数更新策略，在云端汇总并优化第一缺陷检测模型的参数；
37.步骤s4、训练完成后保存各边缘端的第二缺陷检测模型的参数，并得到重构误差阈值；
38.总体来说，将数据集中每个裁剪后的卷烟包装图像样本作为缺陷检测模型的输入，以最小化正常卷烟包装图像的mse重构损失为目标训练模型，使得模型对正常的卷烟包装图像有较小的重构损失，对有缺陷的卷烟包装图像有较大的重构损失。
39.而步骤s3、步骤s4涉及的参数迭代更新循环操作可具体包含以下两个环节：
40.环节(1)基于深度互学习的边缘端参数更新策略，具体为：
41.每个边缘端的数据分布不同，在t时刻，各边缘端的大模型m
l
和小模型ms的参数分别记为和根据让正常卷烟包装图像的重构损失尽可能小的原则，边缘端的参数更新具体过程为：
42.输入正常卷烟包装的图像i，分别使用大模型m
l
和小模型ms的特征提取器，提取特征f
l
和fs，再分别使用两个模型的解码器得到重构的卷烟包装图像和使用mse损失优化两个模型对于正常卷烟包装图像样本的重构能力。重构损失为：
[0043][0044]
大模型会参与下一步全局参数的更新，因此能汇总其他卷烟生产线的信息，对卷烟包装图像有更强的特征表达能力，小模型更适合卷烟包装缺陷在线检测阶段的实时推理任务。同时小模型没有全局参数的更新，包含更多该生产线的卷烟包装缺陷检测相关的信息，所以通过特征蒸馏的方式，使得两个模型相互学习。具体为使用smooth l1损失约束两个模型的隐空间特征尽可能相似，训练的损失函数还包括特征蒸馏损失：
[0045][0046]
边缘端参数更新时，损失函数包括重构损失和特征蒸馏损失两部分：
[0047][0048]
其中λ表示可调节的参数。
[0049]
基于以上方法更新边缘端模型参数和
[0050]
环节(2)云边协同场景下的全局模型更新机制：
[0051]
通过联邦参数平均的联邦学习方法，在云端汇总并优化来自不同卷烟生产线的大模型ml的参数，并下发到各个边缘端。
[0052]
全局模型的参数w
t+1
为各个边缘端模型参数的加权平均，
[0053][0054]
其中权重系数αk由不同边缘端的卷烟包装图像样本训练集的数量n(ck)决定。
[0055][0056]
使用(1)中的方法进行各个边缘端本地参数的更新，使用(2)所述的方法汇总得到全局模型，用于更新大模型。两个步骤循环交替进行，直到模型参数收敛，每个边缘端得到最终的模型参数和
[0057]
在模型训练完成后，固定边缘端小模型的参数，对该边缘端所有的训练样本进行重构，统计重构损失：其中，均值记为μ，方差记为σ，设定重构误差的阈值θ＝μ+3σ。
[0058]
步骤s5、采集待测卷烟包装外观图像；
[0059]
步骤s6、利用所述第二缺陷检测模型处理待测卷烟包装外观图像，得到重构后图像；
[0060]
步骤s7、计算重构后图像的重构误差，并根据所述重构误差与所述重构误差阈值的比对关系，判定待测卷烟包装是否存在外观缺陷。
[0061]
具体地，在线实时检测阶段，采集各边缘端提供的包装外观图像，并对图像有效区域进行剪裁和缩放处理后，使用参数量较小的小模型对待测卷烟包装图像的有效区域进行重构，得到重构之后的图像
[0062][0063]
计算重构误差为：
[0064][0065]
当重构误差大于所设定的阈值θ时，认为该卷烟包装出现外观缺陷。
[0066]
图1即为上述各实施例的综合流程示意图，下文以某卷烟厂的四个边端摄像头拍摄的照片为例，并结合图2示意的本发明架构，对前述云边协同场景中基于深度互学习的卷烟包装缺陷检测方法进行示意性说明。
[0067]
(1)对各个边缘端搜集到的卷烟包装正常图像进行裁剪，去除大部分背景，得到卷烟包装的主体区域。
[0068]
各个边缘端的卷烟图像数据集详情如表一所示，各个边缘端都包含一定数量的正常样本和缺陷样本，随机划分出部分正常样本和所有的异常样本一起组成测试集，剩余的正常样本作为训练集进行模型训练。
[0069]
表1各个边缘端样本数量
[0070][0071]
在训练和测试的过程中，裁剪之后的卷烟包装图像被缩放为长度为448，宽度为256的rgb图像，作为模型的输入。
[0072]
(2)在各个边缘端搭建基于深度自编码器的缺陷检测大模型和小模型。具体的模型结构如表2所示：
[0073]
表2基于深度自编码器的缺陷检测模型结构
[0074][0075][0076]
其中conv(k,s,c)表示卷积核大小为k，步长为s，数量为c的卷积层，dconv(k,s,c)表示卷积核大小为k，步长为s，数量为c的反卷积层。
[0077]
初始化全局模型mg的参数，用该参数初始化边缘端模型m
l
的参数随机初始化ms的参数。
[0078]
(3)在各个边缘端基于互学习的策略训练两个不同参数量的卷烟包装缺陷检测模型，具体通过以下几个子步骤实现：
[0079]
①
利用各个边缘端的裁剪后卷烟包装图像进行训练，设置训练轮次，学习率和优化器等超参数。
[0080]
②
输入裁剪后正常卷烟包装的图像i，分别使用大模型m
l
和小模型ms的特征提取器，提取特征f
l
和fs，再分别使用两个模型的解码器得到重构后的卷烟包装图像和
[0081]
使用mse损失优化两个模型对于正常卷烟包装图像样本的重构能力。重构损失为：
[0082][0083]
③
基于特征蒸馏的方法，使两个模型相互学习，使用smooth l1损失约束两个模型对于同一张卷烟小包图像所得到的隐空间特征尽可能相似，训练的损失函数为特征蒸馏损失
[0084][0085]
边缘端模型进行参数更新时，损失函数包括重构损失和特征蒸馏损失两部分。
[0086][0087]
根据步骤(3.3)得到的加权损失函数采用sgd优化器更新网络权值。
[0088]
(4)通过联邦参数平均的联邦学习方法，在云端汇总并优化大模型m
l
的参数。
[0089]
全局模型的参数w
t+1
为各个边缘端模型参数的加权平均，
[0090][0091]
其中权重系数αk由不同边缘端参与训练的卷烟包装图像数量n(ck)决定.
[0092][0093]
随后更新后模型参数被下发到每个边缘端。
[0094]
(5)使用(3)所述的方法进行各个边缘端本地参数的更新，使用(4)所述的方法汇总得到全局模型，用于更新大模型。两个步骤循环交替进行，直到模型参数收敛，每个边缘端得到最终的模型参数和
[0095]
(6)在模型训练完成后，固定边缘端小模型的参数，对该边缘端所有的训练样本进行重构，统计重构损失：均值记为μ，方差记为σ，设定重构误差的阈值θ＝μ+3σ。
[0096]
(7)在线实时监测阶段，使用参数量较小的模型对卷烟包装图像进行重构，得到重构之后的图像
[0097][0098]
计算重构误差为：
[0099][0100]
当重构误差大于设定的阈值θ时，认为该卷烟的包装出现缺陷。
[0101]
表3给出了不同训练策略下的模型验证效果，采用受试者工作特征曲线下的面积(auroc)指标来评估模型的性能。在以下三种训练策略上进行了缺陷检测实验，分别是：1)本地训练：每个边缘端各自初始化一个模型，并仅仅使用该边端的卷烟图像数据进行本地训练；2)联邦训练：在云端初始化一个全局模型，并分发到每个边缘端，每个边缘端使用各自的卷烟包装图像调整该模型的权重，将调整之后的模型参数上传云端进行模型参数的融合；3)本发明提出的方法。
[0102]
表3不同训练策略下的缺陷检测结果
[0103][0104][0105]
从这组实验中可以看出，由于每个边端存在拍摄角度不同，背景照明情况不同等问题，所以每个边缘端的正常模态不同，直接使用联邦学习算法造成了更差的效果。在每一轮的参数更新中，如果云边协同的目的是为所有设备包括云端和边端学习一个相同参数的模型，势必会造成模态的混乱，导致联邦训练的结果甚至比本地训练的结果更差。而本发明方法通过在边缘端增加额外的模型，并将互学习的策略引入本地参数更新的环节，从而解决了这一问题，有效重构正常样本并得到了更有判别性的异常分数。在维持边端2和边端3的卷包缺陷检测精度依然很高的前提下，两个原来表现一般的边端1和边端4，相比本地训练分别提升了2.38％和4.97％，是很大的提升。
[0106]
综上所述，本发明的主要设计构思在于，基于不同的边缘端在生产过程中得到的卷烟包装图像样本，构建缺陷检测数据集，并搭建参数量不同的大小缺陷检测模型及云端的全局模型，在初始化模型参数后，利用缺陷检测数据集并交替循环执行互学习策略及云边协同场景下的全局参数更新策略训练大小缺陷检测模型，固定训练好的各边缘端的小模型参数，并得到重构误差阈值；实际推理阶段，利用边缘端的小模型处理待测卷烟包装外观图像，得到重构后图像，根据重构后图像的重构误差与重构误差阈值的比对关系，判定待测卷烟包装是否存在外观缺陷。本发明结合了云边协同的框架，融合了不同卷烟厂及卷烟生产线之间的信息，打破了工业生产中的信息孤岛，且轻量化的模型结构可良好适用于高速卷烟生产线上实时的包装外观缺陷检测，有效解决了不同卷烟生产线因成像设备拍摄角度
不同、背景不同、光照条件不同等因素造成的数据分布差异的问题。
[0107]
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
[0108]
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。