一种基于标签关系的布料材质识别方法及系统

本发明属于布料识别相关，更具体地，涉及一种基于标签关系的布料材质识别方法及系统。

背景技术：

1、布料在人类生活的各个方面都具有重要作用，布料内部的纤维材质成分的识别有利于布料的性质了解、比较和循环利用。因此，布料的材质识别在制造业、时尚设计、居家场景和法医学等应用广泛。

2、针对布料材质的识别方法，可以分为传统方法和智能方法两类。传统的方法主要包括物理与化学方法，近红外光谱方法等，这类方法需要较长的检测周期，依赖于专家的经验和昂贵复杂的设备，并且往往对布料具有破坏性，因此，这类方法存在普适性不足的问题。随着人工智能技术的迅速发展，智能布料材质识别方法可以在海量的布料图片数据中学习其纹理特征与更深层次的语义特征，以此进行准确的材质识别，目前，智能识别方法如深度学习方法可以成为一种发展趋势，它能有效解决传统方法的局限性，具有更大的优势。

3、一个布料往往包含着多个纤维材质，因此，布料的材质识别是一个多标签识别任务。目前，在布料材质识别领域，大量的深度学习方法都是将多标签的识别问题转化为多个二元分类问题或一个多分类问题以便于求解，但这种方法没有考虑不同的纤维材质标签之间的联系性。而不同材质标签之间的联系是普遍存在的，例如，由棉和涤纶两种材质制成的布料是常见的，而皮革材质往往不与它们出现在同一个布料中。因此，亟需设计一种基于标签关系的布料材质识别方法，以提高布料材质识别的准确率。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于标签关系的布料材质识别方法及系统，本技术考虑了不同布料之间的联系性，显著提升了布料材质的识别准确率。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于标签关系的布料材质识别方法，包括：s1：采集待测布料的表面图像，获得待测样本集；s2：将所述待测样本输入深度卷积神经网络模型获得待测样本集中每个样本的语义特征和各样本的原始分类分数；s3：获得待测样本集中每种布料的标签向量，并将每种布料的标签向量作为初始节点特征构建初始关系图；s4：将所述初始关系图输入第一图注意力网络，获得各节点的浅层关系表征；s5：将所述语义特征与各节点的浅层关系表征进行联结操作，以进行特征融合获得各节点的联合特征；s6：将所述联合特征输入第二图注意力网络，并进行节点特征更新，更新后的节点特征构成标签编码；s7：采用所述标签编码将所述原始分类分数映射成与样本材质一一对应的材质分类分数；s8：将各节点的浅层关系表征输入第三图注意力网络，获得各节点的深层关系表征，并提取材质分类分数最高的材质类别所对应的深层关系表征作为标签补偿向量；s9：采用所述标签补偿向量对所述材质分类分数进行补偿，获得目标分类分数，将目标分类分数与正负样本阈值比较确定材质信息。

3、优选的，步骤s2具体为：利用所述深度卷积神经网络模型中的多个卷积层对所述待测样本进行逐层卷积，并将最后输出的特征图输入全局平均池化层获得一维语义特征；将所述语义特征输入线性分类器获得各样本的原始分类分数。

4、优选的，步骤s3具体为：利用嵌入层将待测样本集中每种布料的标签单词映射成为标签向量，每种布料材质标签唯一地获得一个标签向量。

5、优选的，步骤s4具体为：针对关系图中的节点初始特征，采用第一图注意网络中的图注意力机制为各节点计算其邻居节点的注意力系数，以建模不同材质之间的浅层全局联系性，并进行节点特征更新，更新后的节点特征构成所述浅层关系表征。

6、优选的，步骤s5中进行联结操作之前还包括，通过线性层将语义特征的长度变换至与每个浅层关系表征的长度一致，按照相同的特征长度进行联结。

7、优选的，步骤s6具体为：针对各个节点的联合特征，采用第二图注意网络中的图注意力机制为各节点计算其邻居节点的注意力系数，并进行节点特征更新，更新后的节点特征构成标签编码；由于所述联合特征不仅仅包含超越图像的全局标签信息，还包含图像内部的语义信息(局部)，在图注意力机制的关系建模中使得两者进行深层次的融合，因此，所述标签编码蕴含全局与局部的联系性。

8、优选的，步骤s8具体为：针对各个节点的浅层关系表征，采用第三图注意网络中的图注意力机制为各节点计算其邻居节点的注意力系数，以建模不同节点之间的深层全局联系性，并进行节点特征更新，更新后的节点特征构成所述深层关系表征。

9、优选的，步骤s9中所述采用所述标签补偿向量对所述材质分类分数进行补偿具体为：将所述标签补偿向量与材质分类分数进行叠加获得目标分类分数。

10、本技术另一方面提供了一种基于标签关系的布料材质识别系统，包括：图像采样模块：用于采集待测布料的表面图像，获得待测样本集；图像特征提取模块：用于将所述待测样本输入深度卷积神经网络模型获得待测样本集中每个样本的语义特征和各样本的原始分类分数；图构建模块：用于获得待测样本集中每种布料的标签向量，将每种布料的标签向量作为初始节点特征构建初始关系图；第一全局关系建模模块：用于将所述初始关系图输入第一图注意力网络，获得各节点的浅层关系表征；特征融合模块：用于将所述语义特征与各节点的浅层关系表征进行联结操作，以进行特征融合获得各节点的联合特征；联合关系建模模块：用于将所述联合特征输入第二图注意力网络，并进行节点特征更新，更新后的节点特征构成标签编码；标签编码映射模块：用于采用所述标签编码将所述原始分类分数映射成与样本材质一一对应的材质分类分数；第二全局关系建模模块：用于将各节点的浅层关系表征输入第三图注意力网络，获得各节点的深层关系表征，并提取材质分类分数最高的材质类别所对应的深层关系表征作为标签补偿向量；识别模块：用于采用所述标签补偿向量对所述材质分类分数进行补偿，获得目标分类分数，将目标分类分数与正负样本阈值比较确定材质信息。

11、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的一种基于标签关系的布料材质识别方法及系统主要具有以下有益效果：

12、1.本技术采用深度卷积神经网络对待测样本进行特征提取后，进行关系建模，考虑不同材质标签之间的全局和局部联系性，再经过标签补偿后，材质分类分数的全局关系信息被进一步增强，输出更加完备的识别结果。相比于现有的智能材质识别方法，本发明考虑了不同材质标签之间的联系性，能够更充分地考虑各种材质的共现可能性和相互独立性，显著提高了布料材质识别的准确率。

13、2.本发明首先利用图像特征提取模块的深度卷积神经网络模型对待测布料的原始表面图像进行语义特征提取，然后再通过第一全局关系建模模块、第二全局关系建模模块、联合关系建模模块为设备赋予了关系建模能力，考虑不同的材质标签之间的全局与局部联系性。在图像特征提取模块中，输出的原始分类分数只蕴含图像内部的局部信息；而经过标签编码映射模块后，输出的材质分类分数不仅仅蕴含局部特征信息，同时还包含了联合全局与局部的关系信息；再经过标签补偿模块后，材质分类分数的全局关系信息被进一步增强，输出更加完备的识别结果。相比于现有的智能材质识别系统，本发明考虑了不同材质标签之间的联系性，能够更充分地考虑各种纤维材质的共现可能性和相互独立性，使得布料的材质识别的准确率得到提升。