基于知识蒸馏的瓷砖色差检测方法及装置

1.本发明涉及人工智能领域，尤其涉及基于知识蒸馏的瓷砖色差检测方法及装置。


背景技术：

2.瓷砖在生产中，由于烧制环节发生化学反应，导致个别瓷砖具有色差。相关生产要求，需要把具有色差的瓷砖进行检测得到对应的色号并按色号归类分拣。
3.现有技术往往分为两种是，一种是通过人工进行分拣，这种方式往往费时费力；另一种是智能分拣，但是目前的瓷砖智能分拣技术往往会面临精度不高、调试困难的问题。


技术实现要素：

4.本发明的目的是为了至少解决现有技术的不足之一，提供基于知识蒸馏的瓷砖色差检测方法及装置。
5.为了实现上述目的，本发明采用以下的技术方案：
6.具体的，提出基于知识蒸馏的瓷砖色差检测方法，包括以下：
7.获取瓷砖样本的图像作为样本数据；
8.将所述样本数据划分为训练集以及测试集；
9.输入训练集的瓷砖的色号以及标签至教师网络，运用梯度下降的方法对所述教师网络进行训练，得到训练完成的教师网络模型；
10.输入瓷砖图像至训练完成的教师网络模型，得到色号软标签，将瓷砖图像、色号的软标签以及色号的硬标签共同输入学生网络，运用梯度下降的方法对瓷砖进行训练，得到训练完成的学生网络模型；
11.获取待检测的瓷砖图像，将待检测的瓷砖图像输入学生网络模型，得到瓷砖色号标签。
12.进一步，上述将所述样本数据划分为训练集以及测试集的过程具体包括以下，
13.对所述数据样本进行k折交叉验证，将所述数据样本平均分成k份，将其中k
‑
1份作为训练集，将其余1分作为测试集，并在完成一次训练后，在训练集中继续抽出1份样本，将测试集放回训练集，重复此过程k次，使训练集样本被选择。
14.进一步，所述方法还包括，
15.瓷砖样本的图像为3维rgb图像，其大小为512x512，在训练过程中使用随机翻转、增加高斯模糊和增加高斯噪声的方法对训练集进行拓展，在测试和预测过程不使用以上拓展。
16.进一步，具体的，教师网络使用vgg19网络并使用预训练权重，以加速模型收敛能力，使用adam梯度下降方法对vgg19网络进行训练，学习率设置为0.001，其损失函数使用交叉熵函数，其公式为：
17.18.其中z
i
为输出层第i个节点的输出值，c为输出节点的个数，即分类的类别个数。
19.进一步，具体的，所述学生网络模型结构包括卷积神经网络，其中卷积使用二维卷积conv2d，卷积核大小为3，卷积步长为1，对边缘使用padding操作，relu函数在卷积后对模型增加非线性化的能力，模型使用2维最大池化maxpool2d，对图像特征进行降维，使用平均池化adaptiveavgpool2d对模型进行压缩，最后使用线性层linear对瓷砖色号进行分类，
20.学生网络使用adam梯度下降方法进行训练，学习率设置为0.001，损失函数由软标签和硬标签的损失线性叠加，其公式其下：
21.loss＝λl
soft
+(1
‑
λ)l
hard
22.其中，λ为蒸馏学习的超参数，设置为0.5，l
soft
为软标签损失，l
hard
为硬标签损失。
23.进一步，软标签损失l
soft
是衡量学生网络输出与教师网络里输出的误差，硬标签损失l
hard
是衡量学生网络输出与真实标签输出的误差，这两个损失函数使用改进的sofimax函数进行计算，其公式其下：
[0024][0025]
其中z
i
为网络最后线性层中第i个节点的输出值，c为输出节点的个数，t为温度参数，设置为2。
[0026]
进一步，上述教师网络以及学生网络训练停止的准则包括以下，
[0027]
通过使用召回率对学生网络以及教师网络模型进行预测，其公式如下：
[0028][0029]
其中，tp是把原来的正类预测成正类的数量，fn是是把原来的正类预测为负类的数量；
[0030]
教师网络训练时，当测试集k折平均召回率高于第一阈值时，停止网络训练，学生网络训练时，当测试集k折平均召回率高于第二阈值时，停止网络训练。
[0031]
进一步，具体的，所述第一阈值为99％，所述第二阈值为97％。
[0032]
本发明还提出基于知识蒸馏的瓷砖色差检测装置，包括以下：
[0033]
样本数据获取模块，用于获取瓷砖样本的图像作为样本数据；
[0034]
数据划分模块，用于将所述样本数据划分为训练集以及测试集；
[0035]
教师网络模块，用于输入训练集的瓷砖的色号以及标签至教师网络，运用梯度下降的方法对所述教师网络进行训练，得到训练完成的教师网络模型；
[0036]
学生网络模块，用于输入瓷砖图像至训练完成的教师网络模型，得到色号软标签，将瓷砖图像、色号的软标签以及色号的硬标签共同输入学生网络，运用梯度下降的方法对瓷砖进行训练，得到训练完成的学生网络模型；
[0037]
检测模块，用于获取待检测的瓷砖图像，将待检测的瓷砖图像输入学生网络模型，得到瓷砖色号标签。
[0038]
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1
‑
8中任一项所述方法的步骤。
[0039]
本发明的有益效果为：
[0040]
本发明采用蒸馏学习的方法训练神经网络模型，可实现对瓷砖色差的快速检测；简化了大规模神经网络的结构，提升瓷砖检测的速度的同时保证检测的精度。
附图说明
[0041]
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
[0042]
图1所示为本发明基于知识蒸馏的瓷砖色差检测方法流程图；
[0043]
图2所示为本发明基于知识蒸馏的瓷砖色差检测方法的训练总架构图；
[0044]
图3所示为本发明基于知识蒸馏的瓷砖色差检测方法的学生网络模型的具体结构示意图；
[0045]
图4所示为本发明基于知识蒸馏的瓷砖色差检测方法的测试过程示意图。
具体实施方式
[0046]
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
[0047]
参照图1，实施例1，本发明提出基于知识蒸馏的瓷砖色差检测方法，包括以下：
[0048]
步骤110、获取瓷砖样本的图像作为样本数据；
[0049]
步骤120、将所述样本数据划分为训练集以及测试集；
[0050]
步骤130、输入训练集的瓷砖的色号以及标签至教师网络，运用梯度下降的方法对所述教师网络进行训练，得到训练完成的教师网络模型；
[0051]
步骤140、输入瓷砖图像至训练完成的教师网络模型，得到色号软标签，将瓷砖图像、色号的软标签以及色号的硬标签共同输入学生网络，运用梯度下降的方法对瓷砖进行训练，得到训练完成的学生网络模型；
[0052]
步骤150、获取待检测的瓷砖图像，将待检测的瓷砖图像输入学生网络模型，得到瓷砖色号标签。
[0053]
其中，色号的硬标签为训练阶段学生网络的输出向量。
[0054]
优选的，在得到色号标签后，结合数据库的记录功能，并使用喷码机在瓷砖上喷码，可以将瓷砖色差参数进行记录，实现产品的生产过程数字化。
[0055]
在本优选实施方式中，主要实现过程如下，
[0056]
1.将采集的色差陶瓷样本随机划分成测试集和训练集，采用k折交叉验证的方法对样本进行随机划分。
[0057]
2.使用经典的vgg19神经网络作为教师网络，输入训练集瓷砖的色号和标签对教师网络，运用梯度下降的方法进行训练，当对测试集的召回率达到设定值，停止训练。
[0058]
3.对学生网络进行训练，其训练架构如图1所示，将瓷砖图像输入训练完成的教师网络，得到色号软标签，将瓷砖图像、色号软标签和色号硬标签共同输入学生网络，运用梯
度下降的方法对瓷砖进行训练，当对测试集的召回率达到最高时，完成学生网络的训练。
[0059]
4.测试阶段，将待检测的未知色号瓷砖图像输入学生网络模型，如图4所示，将3维的瓷砖图像输入训练好的学生网络，在最后一层输出预测的向量，可得出瓷砖色号标签。
[0060]
作为本发明的优选实施方式，上述将所述样本数据划分为训练集以及测试集的过程具体包括以下，
[0061]
对所述数据样本进行k折交叉验证，将所述数据样本平均分成k份，将其中k
‑
1份作为训练集，将其余1分作为测试集，并在完成一次训练后，在训练集中继续抽出1份样本，将测试集放回训练集，重复此过程k次，使训练集样本被选择。
[0062]
参照图2，作为本发明的优选实施方式，所述方法还包括，
[0063]
瓷砖样本的图像为3维rgb图像，其大小为512x512，在训练过程中使用随机翻转、增加高斯模糊和增加高斯噪声的方法对训练集进行拓展，在测试和预测过程不使用以上拓展。
[0064]
作为本发明的优选实施方式，具体的，教师网络使用vgg19网络并使用预训练权重，以加速模型收敛能力，使用adam梯度下降方法对vgg19网络进行训练，学习率设置为0.001，其损失函数使用交叉熵函数，其公式为：
[0065][0066]
其中z
i
为输出层第i个节点的输出值，c为输出节点的个数，即分类的类别个数。
[0067]
作为本发明的优选实施方式，具体的，瓷砖色差检测的学生网络模型结构为如图3所示，所述学生网络模型结构包括卷积神经网络，其中卷积使用二维卷积conv2d，卷积核大小为3，卷积步长为1，对边缘使用padding操作，relu函数在卷积后对模型增加非线性化的能力，模型使用2维最大池化maxpool2d，对图像特征进行降维，使用平均池化adaptiveavgpool2d对模型进行压缩，最后使用线性层linear对瓷砖色号进行分类，
[0068]
学生网络使用adam梯度下降方法进行训练，学习率设置为0.001，损失函数由软标签和硬标签的损失线性叠加，其公式其下：
[0069]
loss＝λl
soft
+(1
‑
λ)l
hard
[0070]
其中，λ为蒸馏学习的超参数，设置为0.5，l
soft
为软标签损失，l
hard
为硬标签损失。
[0071]
作为本发明的优选实施方式，软标签损失l
soft
是衡量学生网络输出与教师网络里输出的误差，硬标签损失l
hard
是衡量学生网络输出与真实标签输出的误差，这两个损失函数使用改进的softmax函数进行计算，其公式其下：
[0072][0073]
其中z
i
为网络最后线性层中第i个节点的输出值，c为输出节点的个数，t为温度参数，设置为2。
[0074]
作为本发明的优选实施方式，上述教师网络以及学生网络训练停止的准则包括以下，
[0075]
通过使用召回率对学生网络以及教师网络模型进行预测，其公式如下：
[0076][0077]
其中，tp是把原来的正类预测成正类的数量，fn是是把原来的正类预测为负类的数量；
[0078]
教师网络训练时，当测试集k折平均召回率高于第一阈值时，停止网络训练，学生网络训练时，当测试集k折平均召回率高于第二阈值时，停止网络训练。
[0079]
作为本发明的优选实施方式，具体的，所述第一阈值为99％，所述第二阈值为97％。
[0080]
本发明还提出基于知识蒸馏的瓷砖色差检测装置，包括以下：
[0081]
样本数据获取模块，用于获取瓷砖样本的图像作为样本数据；
[0082]
数据划分模块，用于将所述样本数据划分为训练集以及测试集；
[0083]
教师网络模块，用于输入训练集的瓷砖的色号以及标签至教师网络，运用梯度下降的方法对所述教师网络进行训练，得到训练完成的教师网络模型；
[0084]
学生网络模块，用于输入瓷砖图像至训练完成的教师网络模型，得到色号软标签，将瓷砖图像、色号的软标签以及色号的硬标签共同输入学生网络，运用梯度下降的方法对瓷砖进行训练，得到训练完成的学生网络模型；
[0085]
检测模块，用于获取待检测的瓷砖图像，将待检测的瓷砖图像输入学生网络模型，得到瓷砖色号标签。
[0086]
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1
‑
8中任一项所述方法的步骤。
[0087]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。
[0088]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0089]
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0090]
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
[0091]
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。