基于卷积和自注意机制神经网络的织物颜色识别方法

本发明属于图像识别，具体涉及基于卷积和自注意机制神经网络的织物颜色识别方法。

背景技术：

1、色彩是视觉传达的重要组成部分。它也是几个研究领域的相关主题，随着服装行业的发展，对款式的需求越来越多元化，市场上的面料颜色种类也越来越繁杂，传统的织物颜色识别方法已经难以适应织物销售行业的发展要求，颜色识别在纺织工业中非常重要。在这种情况下，颜色是最重要在制造商和客户之间传递的信息的之一。在纺织品背景下使用深度学习进行颜色识别的研究仍然很少，我们希望通过提出一种新的基于深度学习的织物颜色识别方法来对此做出贡献。

2、深度学习是近几年机器学习的热门领域，也是目前最接近人工智能这个目标的学习方法。以视觉感知为例，机器学习方法解决问题的过程可以概括为以下几个步骤：

3、层信息感知：根据问题的特点和数据的属性，选择合适的机器学习算法，并设置相关超参数。

4、预处理：对原始数据进行清洗、去除噪声、填补缺失值、归一化等预处理操作，以保证数据的可靠性。

5、特征抽取：从原始数据中提取出具有代表性的特征，用于训练模型，这些特征可能是数值、类别、文本或图像等。

6、特征筛选：根据数据的实际情况，通过特征工程等方法对提取的特征进行筛选，以减少特征数量、降低噪声影响、提高模型的泛化能力。

7、建模(预测、识别)：使用训练数据训练机器学习模型，并使用测试数据验证和评估模型的性能，最终应用模型进行预测或识别等任务，进而解决问题。

8、总之，机器学习方法解决问题时，需要经过数据预处理、特征提取、特征筛选等多个步骤，才能训练出效果良好的模型，并对新的数据进行预测或识别等操作。但是现有市面上的图像识别技术依旧使用着较为落后的神经网络模型，其模型还不够完善并且识别的准确率并不高，并且只能够相应的数据进行处理，并不能够采用注意力的机制进一步提高神经网络模型的学习能力。

9、机器学习的两个基本方面——泛化和模型容量中.卷积层由于其强的归纳偏差先验，往往具有更好的泛化和更快的收敛速度，而注意层具有更高的模型容量，可以受益于更大的数据集。本发明鉴于调查发现将卷积层和注意层结合起来可以获得更好的泛化和容量；此外，本发明提出的csam神经网络颜色预测模型不仅具有良好的可扩展性，而且收敛速度更快，从而提高了效率。当仅使用数据进行训练时，本发明提出的csam模型的准确率达到86.0％，在相似的计算资源和训练条件下，与市面上现有的.技术nfnet相当。

10、目前，进行织物颜色识别的方案主要有三种：第一种是通过专业的颜色识别人员对成分进行检测。第二种是通过手机拍照的方式，通过图像颜色匹配的方式，对织物颜色进行识别。

11、这两种颜色识别的方法都存在着较大的弊端，通过专业的颜色检测人员来鉴别织物的颜色虽然识别成功率和准确率较高，但这对人员的技术和经验要求相对较高，目前此类专业人员缺失，地域分布极不均匀，专门聘请此类人员也会有较高的成本；手机拍照识别的方式受外界干扰和硬件水平的影响较大。在拍摄的过程中，收到环境光的影响较大并且仅仅通过手机摄像头的条件难以捕捉织物的细节特征，在匹配的过程也仅仅采用了过时的颜色匹配方式。最终匹配的准确率不高，并不能达到准确匹配织物颜色的目的。

12、目前市面上关于织物颜色识别的论文与专利，如multi-label clothing colorrecognition based on mobile devices、clothing color classification usingstatistical background model and deep features等，这些方法在实际应用中，也存在着一定的问题。例如，对于某些特殊材质和颜色的衣物，模型的准确性可能受到很大影响。此外，在复杂场景下，在衣物与背景颜色相近时，算法也容易产生误判。此外，这些模型需要大量标注数据进行训练，训练难度较大。

13、衣物颜色识别的准确性和实用性仍有待提高。针对这些问题，由此可见，发明一种新的织物颜色识别方法的市场前景非常广泛，也能精准的解决面料行业辨色难的痛点。

技术实现思路

1、针对现有技术中存在的上述问题，本发明的目的在于提供一种基于卷积和自注意机制神经网络的织物颜色识别方法，能够提高面料识别对于成分检测的准确识别率以及识别速率。

2、本发明提供如下技术方案：

3、基于卷积和自注意机制神经网络的织物颜色识别方法，包括以下步骤：

4、s1、使用智能终端获取织物图像信息(亮度、色温、饱和度等方面的数据，同时也包括了纹理、图案、光泽度等其他关键信息。)；

5、s2、结合卷积网络与transformer注意力机制，构建深度学习模型csam；

6、s3、对获取的图像信息进行图像预处理；

7、s4、对图像进行差分拼接，为深度学习模型创建相应的输入；

8、s5、将步骤s4中创建的输入数据作为训练集对深度学习模型csam进行训练；

9、s6、输入测试数据通过训练完成的深度学习模型csam对织物颜色进行分类预测。

10、进一步的，所述步骤s1的具体过程如下：

11、将原始图像映射到差分域，并且在色差域对输入图像进行rgb编码，提取织物图像中的颜色识别特征。

12、进一步的，所述深度学习模型csam架构中，深度卷积和自注意力结合在一个计算模块内，将不同类别的计算模型垂直的堆叠在一起，形成一个完整的网络；深度卷积和自注意力表示为一个预先定义好的感受野内的数值加权和。

13、进一步的，所述深度学习模型csam的构建过程如下：

14、2.1、将深度卷积神经网络与自注意机制融合；具体过程如下：

15、2.1.1)将深度卷积核自注意力都表示为一个在预定义的感受野中所有值的加权和操作；

16、2.1.2)通过归一化得到最终输出；

17、2.1.3)在softmax归一化之前或者之后将全局的静态卷积核与attention注意力矩阵进行相加，将卷积和注意力有效结合；

18、2.2、将卷积和注意力有效结合后，堆叠搭建一个完整的网络，网络选用卷积层和自注意力层混合层叠结构。

19、进一步的，所述步骤2.1.1中，卷积为在一个预定义好的感受野中提取特征，具体表达式如下：

20、

21、其中，yi和xi分别表示i位置的输入输出；

22、自注意机制表达式如下：

23、

24、其中，q，k，v是输入的query、key和value向量，softmax是softmax函数，dk是query和key的关联度；

25、进一步的，所述网络中采用多段式的架构，每段包含了一个卷积层和一个transformer层，卷积层采用两个3×3内核和stride 2，transformer包括一个rel-attention和ffn；

26、卷积层和自注意力层混合层叠结构后拼接有全局池化层和fc层，最终经过softmax进行归一化得到该段的输出，每个输出为一个概率向量；最终通过soft-voting函数计算分类概率的平均值，然后识别出由此得到的最高值，最后返回相应的类作为最终输出。

27、进一步的，所述步骤s3的具体过程如下：

28、采用超采样技术和基于快速双边滤波算法的细节增强技术对图像进行去噪和细节增强突出面料的细微结构，再进行图像的缩放和归一化操作将图像转换为张量。

29、进一步的，所述步骤s4中，在得到颜色图像的相应信息后，将颜色空间映射到差分域，计算输入图像的颜色和一组参考颜色之间的距离，具体过程如下：

30、4.1、选择一组p个参考颜色，并确定相应的rgb编码；

31、4.2、计算输入图像的颜色与参考颜色之间的差异，得到p张图像，使用rgb编码表示；

32、4.3、本发明将得到的所有p张图像拼接起来，为深度学习模型创建相应的输入。

33、进一步的，所述步骤s6的具体过程如下：

34、对输入图像进行rgb编码，提取织物图像中的颜色识别特征，然后采用深度学习模型csam，通过多个卷积层和池化层的特征计算降维后，通过softmax激活函数的密集层，对织物颜色进行有效的分类预测。

35、通过采用上述技术，与现有技术相比，本发明的有益效果如下：

36、本发明基于卷积和自注意机制神经网络的织物颜色识别方法，通过考虑原始输入图像与一组参考彩色图像之间的差异，并在色差域对输入图像进行rgb编码，提取织物图像中的颜色识别特征；采用一种集成了自注意机制的深度卷积神经网络模型csam，最后通过多个卷积层和最大池化层的特征计算降维后通过softmax激活函数的密集层，对织物颜色进行有效的分类预测；提高了面料识别对于成分检测的准确识别率以及识别速率，极大地提高了新型面料成分检测方法在商用领域的普及性，提高了用户的体验度。