一种轻量级的轮胎花纹分类方法及系统

1.本发明属于图像识别相关技术领域，尤其涉及一种轻量级的轮胎花纹分类方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着机动车数量的迅速增加，我国交通事故率在逐年攀升，比如：肇事逃逸。而事故现场的轮胎花纹往往为这些交通事故的处理，提供非常重要的线索。如，根据轮胎压痕花纹预测轮胎的品牌，并基于轮胎品牌信息进一步缩小机动车搜查的种类和型号，提升案件处理效率。由此可见，开发高效、自动化的轮胎花纹图像分类识别系统，以进一步提高执法部门的工作效率，是非常必要的。据发明人前期调研所知，目前与轮胎花纹图像分类识别相关的研究工作非常稀少。它们的处理流程可总结为以下步骤：1）利用手工特征提取或者特征增强方法，来提取轮胎图片的不同特征；2）将提取的特征输入到svm分类器或者预训练的深度图像分类模型中进行分类预测，如alexnet和vggnet。为了进一步提升分类精准度，一些方法提出多级特征融合以及添加注意力机制的方式。虽然这些方法取得初步成效，但由于内存需求大，计算量大，不能在移动设备上运行，也不能在嵌入式设备上运行。设计一种轻量化的轮胎图像分类模型，使其不仅体积小分类速度快，成为一个亟待解决的挑战性研究问题。


技术实现要素：

4.为克服上述现有技术的不足，本发明提供了一种轻量级的轮胎花纹分类方法及系统，通过约束学生网络的局部特征表示与教师网络的局部特征表示一致，在不影响学生网络分类效率的同时，提升学生网络的分类精准度。
5.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：本发明的第一个方面提供一种轻量级的轮胎花纹分类方法，包括：获取轮胎花纹图像及对应的轮胎类别标签信息输入至学生网络模型中，得到轮胎花纹图像的局部特征表示；所述学生网络模型以shufflenet-v2网络为主干网络；利用局部特征表示输入至教师网络模型中，得到综合判别性增强的局部特征表示，约束局部特征表示和综合判别性增强的局部特征表示使其一致，对所述学生网络模型进行训练，得到训练好的学生网络模型；所述教师网络模型包括高斯字典学习模块和类别记忆模块；利用训练好的学生网络模型对待识别的轮胎花纹图像进行识别，确定待识别的轮胎花纹图像的轮胎类别。
6.本发明的第二个方面提供一种轻量级的轮胎花纹分类系统，包括：特征提取模块：获取轮胎花纹图像及对应的轮胎类别标签信息输入至学生网络模
型中，得到轮胎花纹图像的局部特征表示；所述学生网络模型以shufflenet-v2网络为主干网络；特征提取和模型训练模块：利用局部特征表示输入至教师网络模型中，得到综合判别性增强的局部特征表示，约束局部特征表示和综合判别性增强的局部特征表示使其一致，对所述学生网络模型进行训练，得到训练好的学生网络模型；所述教师网络模型包括高斯字典学习模块和类别记忆模块；识别输出模块：利用训练好的学生网络模型对待识别的轮胎花纹图像进行识别，确定待识别的轮胎花纹图像的轮胎类别。
7.以上一个或多个技术方案存在以下有益效果：1、针对现有轮胎花纹图像分类方法占用运算资源过多的问题，本发明利用shufflenet-v2分类模型作为学生网络，极大地降低了运算资源的消耗，同时提升了分类效率；2、本发明提出基于知识蒸馏的轮胎花纹分类方法训练策略，通过约束学生网络的局部特征表示与教师网络的局部特征表示一致，在不影响学生网络分类效率的同时，提升学生网络的分类精准度。
8.3、本发明引入集成类别记忆模块和高斯字典学习模块的教师网络，用以捕捉综合判别性增强的局部特征表示，提升主干网络特征表示的鲁棒性和判别性，继而提升轮胎花纹图像分类方法的泛化性。
9.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
10.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
11.图1为本发明实施例一中轮胎花纹图像识别流程示意图。
具体实施方式
12.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
13.实施例一如图1所示，本实施例公开了一种轻量级的轮胎花纹分类方法，包括：获取轮胎花纹图像及对应的轮胎类别标签信息输入至学生网络模型中，得到轮胎花纹图像的局部特征表示；所述学生网络模型以shufflenet-v2网络为主干网络；利用局部特征表示输入至教师网络模型中，得到综合判别性增强的局部特征表示，约束局部特征表示和综合判别性增强的局部特征表示使其一致，对所述学生网络模型进行训练，得到训练好的学生网络模型；所述教师网络模型包括高斯字典学习模块和类别记忆模块；利用训练好的学生网络模型对待识别的轮胎花纹图像进行识别，确定待识别的轮
胎花纹图像的轮胎类别。
14.本实施例所提出的一种轻量级的轮胎花纹分类方法，具体为：步骤1：接收轮胎花纹图像数据以及轮胎类别标签信息，将轮胎花纹图像数据输入到学生网络模型中，得到局部特征表示以及交叉熵损失函数。其中，学生网络模型以shufflenet-v2为主干网络。具体包括：步骤1-1：接收轮胎花纹图像数据，记为；接收轮胎花纹类别标签信息，记为；其中，表示轮胎花纹的种类数目。
15.步骤1-2：将轮胎花纹图像数据输入至shufflenet-v2网络中，shufflenet-v2网络中conv5部件输出局部特征表示，记为，本实施例中的r均用来说明维度。
16.步骤1-3：将局部特征表示进行全局池化，得到图像的全局表示，记为。
17.步骤1-4：将图像的全局表示输入到由一个全连接层和softmax激活函数组成的分类网络中，得到轮胎花纹图像的分类概率，记为，其中表示轮胎花纹的种类数目；同时，根据得到轮胎花纹图像的分类概率与真实标签信息计算交叉熵损失。
18.其中，shufflenet-v2网络包括依次连接的conv1、maxpool、stage2、stage3、stage4、conv5和globallpool。
19.步骤2：利用高斯字典学习模块和局部特征表示，得到图像判别性局部特征表示，具体包括：步骤2-1：指定所需高斯函数数目，与轮胎花纹图像局部特征表示中代表性表示数目相关，记为；以及高斯字典学习模块迭代最大次数a；其中，由步骤1可知，轮胎花纹图像的局部特征表示中局部区域数目为49=，因此，指定的高斯函数数目n需要小于局部区域数目49，并且大于1；本实施例所采用的高斯函数形式为:其中为输入特征信息，即轮胎花纹图像局部特征表示进行维度变换得到的为输入特征信息的维度数目，即1024，为后续步骤待学习的高斯函数的均值向量，为单位矩阵，表示转置。
20.步骤2-2：随机初始化所有高斯函数的均值向量并将其拼接在一起，记为；同时固定所有高斯函数的方差为单位矩阵，记为。
21.步骤2-3：将局部特征表示矩阵进行维度变换，得到；同时，将迭代次数索引变量赋值为1，即。
22.步骤2-4：根据和第（）次迭代学习得到的轮胎花纹图像的高斯均值向量矩阵计算不同位置局部特征表示与不同高斯均值向量矩阵间的关联性分数，得到关联性分数矩阵：，为指定的所需高斯函数数目，表示转置。
23.步骤2-5：根据关联性分数矩阵更新高斯函数的均值向量矩阵：；同时，将迭代次数索引变量数值累加1，即表示转置。
24.步骤2-6：重复执行步骤2-4和步骤2-5，直到数值达到最大迭代次数时，便可得到图像判别性局部特征表示矩阵为指定的所需高斯函数数目。
25.步骤3：利用类别记忆模块和图像判别性局部特征表示，获得类别判别性局部特征表示，具体包括：步骤3-1：随机初始化一个类别记忆特征表示矩阵，记为；以及零初始化一个类别记忆特征分数矩阵，类别记忆特征分数矩阵中每一个元素值表示类别记忆特征表示矩阵相应位置向量的置信度分数；其中，表示类别记忆特征表示矩阵中存储的每一个轮胎花纹类别特征表示的数目，取值需要小于步骤2中高斯函数数目n且大于1，表示轮胎花纹的种类数目。
26.步骤3-2：将图像判别性局部特征表示矩阵输入到分类网络中，得到不同局部区域的分类概率值，记为，其中表示第个图像判别性特征表示的分类概率，为指定的所需高斯函数数目，表示轮胎花纹的种类数目；1≤≤n。
27.步骤3-3：对每一个分类概率取最大值，记为并返回最大值所在位置索引值，作为预测的轮胎类别，记为。若且比类别记忆特征分数矩阵的第行中某一数值大，就将该位置分数改为，同时将图像判别性局部特征表示矩阵中的第行数据，记为，存放到类别记忆特征表示矩阵的第行第列中。否则，不对类别记忆特征表示矩阵和类别记忆特征分数矩阵中信息进行修改。
28.本实施例通过引入教师网络模型，其中，教师网络模型包括类别记忆模块和高斯字典学习模块，用以捕捉综合判别性增强的局部特征表示，提升学生网络特征表示的鲁棒性和判别性，继而提升轮胎花纹图像分类方法的泛化性。
29.步骤4：利用图像判别性局部特征表示和类别判别性局部特征表示分别强学生网络的局部特征表示，并将强化后的结果相加，得到综合判别性增强的局部特征表示，具体包括：步骤4-1：计算局部特征表示与图像判别性局部特征表示矩阵间的相关性分数矩阵，记为；然后采用如下公式计算图像判别性加强的局部表示：（1）其中，为预定义的平衡参数，决定图像判别性局部特征表示和局部特征表示融合时，图像判别性局部特征表示所占比重，其取值在[0,1]之间，为图像判别性局部特征表示矩阵，为局部特征表示，t表示转置。
[0030]
步骤4-2：依据标签信息，从类别记忆特征表示矩阵提取相应类别的记忆表示，记为；计算局部特征表示与间的相关性分数矩阵，记为，表示类别记忆特征表示矩阵中存储的每一个轮胎花纹类别特征表示的数目，取值需要小于步骤2中高斯函数数目n且大于1；然后采用如下公式计算记忆特征加强的局部表示：（2）
其中，为预定义的平衡参数，决定类别判别性局部特征表示和局部特征表示表示融合时，类别判别性局部特征表示所占比重，取值在[0,1]之间，为局部特征表示，t表示转置。
[0031]
步骤4-3：将记忆特征加强的局部表示和图像判别性加强的局部表示相加，得到综合判别性增强的局部特征表示矩阵，记为。
[0032]
步骤5：将综合判别性增强的局部特征表示与局部特征表示同时输入分类网络中，得到它们的类别概率结果后，输入到一致性损失函数中；将步骤1得到的交叉熵损失函数和一致性损失函数相加，得到最终的优化函数，利用最终的优化函数训练分类网络。具体包括：步骤5-1：将综合判别性增强的局部特征表示矩阵和局部特征表示分别输入到分类网络中，得到分类概率预测分数记为和。
[0033]
步骤5-2：采用下式计算一致性损失；（3）其中，表示的第i行，为的第i行，i的取值为[1,49]。
[0034]
步骤5-3：将一致性损失和交叉熵损失相加，得到最终优化的函数，用于网络训练，从而得到训练好的学生网络模型。
[0035]
在本实施例中，在学生网络训练期间，一共接收b组轮胎花纹图像数据和轮胎花纹类别标签信息，记为,这里和分别表示第组轮胎花纹图像数据和轮胎花纹类别标签信息。任意一组轮胎花纹图像数据和轮胎花纹类别标签信息均会经过步骤1-步骤2的流程，得到相应的图像判别性局部特征表示矩阵。这里将第个轮胎花纹图像数据的判别性局部特征表示矩阵记为。随后，这些图像判别性局部特征表示矩阵会依次经历步骤3-2和步骤3-3操作，依次对类别记忆特征表示矩阵和类别记忆特征分数矩阵进行更新。由此可见，类别记忆模块中记忆了历史训练数据中的全部代表性判别特征表示信息，即类别记忆特征表示矩阵和类别记忆特征分数矩阵会随着学生网络的训练不断更新，各个类别的判别性特征表示会变得越来越多样化且越来越具有代表性，故而可提升学生网络的泛化性和鲁棒性。
[0036]
本技术的所提出的模型与其他模型的实验数据的对比：mobilenetv2模型：百万次浮点运算/每秒：43；gpu批图像处理数/每秒：333；arm图
像处理数/每秒：33.2；densenet模型：百万次浮点运算/每秒：42；gpu批图像处理数/每秒：366；arm图像处理数/每秒：39.7；xception模型：百万次浮点运算/每秒：40；gpu批图像处理数/每秒：384；arm图像处理数/每秒：52.9；本实施例所提出的模型：百万次浮点运算/每秒：41；gpu批图像处理数/每秒：417；arm图像处理数/每秒：57.0；其中，gpu显卡配置：nvidia geforce gtx 1080ti，arm配置：高通骁龙810，批处理大小设置为8。由上面可以看出本实施例所提出的模型在执行浮点运算次数较少情况下，无论在gpu还是arm环境下每秒处理图像数据均最多，本实施例的所提出的分类方法体积小分类速度快。
[0037]
实施例二本实施例的目的是提供一种轻量级的轮胎花纹分类系统，包括：特征提取模块：获取轮胎花纹图像及对应的轮胎类别标签信息输入至学生网络模型中，得到轮胎花纹图像的局部特征表示；所述学生网络模型以shufflenet-v2网络为主干网络；特征提取和模型训练模块：利用局部特征表示输入至教师网络模型中，得到综合判别性增强的局部特征表示，约束局部特征表示和综合判别性增强的局部特征表示使其一致，对所述学生网络模型进行训练，得到训练好的学生网络模型；所述教师网络模型包括高斯字典学习模块和类别记忆模块；识别输出模块：利用训练好的学生网络模型对待识别的轮胎花纹图像进行识别，确定待识别的轮胎花纹图像的轮胎类别。
[0038]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。