一种衣物颜色识别方法、系统、设备及存储介质

1.本发明属于图像处理领域，涉及一种衣物颜色识别方法、系统、设备及存储介质。


背景技术：

2.在侦查和安防领域，需要使用衣物的颜色、图案信息对场景中穿某件衣物的人进行分析，为异时、异地、异景下识别出这个人体提供检索特征；在网上购物系统中，同样可以通过搜索颜色特征对衣物进行实时检索。
3.在相关技术中，识别人体衣物颜色的方法包括：获取衣物图像，确定衣物图像中各个像素的颜色；统计各个颜色的像素数量，并将像素数量最多的颜色作为衣物的颜色。但是，当某中颜色的色度在两种颜色之间时，导致识别误差大，无法满足侦查和安防领域的搜索要求。


技术实现要素：

4.本发明的目的在于解决现有技术中衣物颜色识别准确率低的缺陷性技术问题，提供一种衣物颜色识别方法、系统、设备及存储介质。
5.为达到上述目的，本发明采用以下技术方案予以实现：
6.本发明提出的一种衣物颜色识别方法，包括如下步骤：
7.获取衣物图像，对衣物图像进行预处理得到数据集，将三分之二的数据集的衣物颜色进行标注形成训练集，将三分之一的数据集作为测试集；
8.将金字塔池化模块和坐标注意力机制加入resnet网络模型中，形成优化的resnet网络模型；
9.采用训练集训练优化的resnet网络模型，采用训练好的优化的resnet网络模型判断测试集衣物颜色，实现衣物颜色识别。
10.优选地，获取优化的resnet网络模型的具体步骤如下：
11.步骤1、从resnet网络模型中选取resnet18作为基层网络，对衣物图像进行全局特征提取；
12.步骤2、将步骤1得到的特征通过金字塔池化模块对不同尺寸特征进行融合获得空间信息；
13.步骤3、将通过金字塔池化模块提取特征输入坐标注意力机制模块，对通道间的色彩信息进行统计，同时关注衣物的位置信息；
14.步骤4、根据空间信息和衣物的位置信息获取优化的resnet网络模型。
15.优选地，采用训练集训练优化的resnet网络模型的具体操作步骤如下：
16.设置优化的resnet网络模型训练参数，将训练集输入优化的resnet网络模型进行训练。
17.优选地，将测试集输入训练好的优化的resnet网络模型中进行预测，判断测试集衣物颜色。
18.优选地，预处理方法包括数据增强、数据归一化处理和数据压缩；
19.数据集中包括12种衣物颜色，训练集中各种衣物颜色图像的数量均匀分布。
20.优选地，至少两种衣物颜色图像的数量级不同时，或者，当所有衣物颜色图像数量级相同，且至少两种衣物颜色图像的数量之差大于一个数量级时，将所有衣物颜色图像的数量的公倍数作为目标数量。
21.优选地，衣物颜色图像的数量与目标数量之差大于一个数量级时，通过数字图像处理方法扩充衣物颜色图像的数量，直到衣物颜色图像的数量与目标之差小于一个数量级。
22.本发明提出的一种衣物颜色识别系统，包括：
23.数据集获取模块，所述数据集获取模块用于获取衣物图像，对衣物图像进行预处理得到数据集，将三分之二的数据集的衣物颜色进行标注形成训练集，将三分之一的衣物数据集作为测试集；
24.模型优化模块，所述模型优化模块用于将金字塔池化模块和坐标注意力机制加入resnet网络模型中，形成优化的resnet网络模型；
25.衣物颜色识别模块，所述衣物颜色识别模块用于采用训练集训练优化的resnet网络模型，再采用训练好的优化的resnet网络模型判断测试集衣物颜色，实现衣物颜色识别。
26.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现衣物颜色识别方法的步骤。
27.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现衣物颜色识别方法的步骤。
28.与现有技术相比，本发明具有以下有益效果：
29.本发明提出的一种衣物颜色识别方法，用三分之二的数据集进行训练可以提高网络的泛化性能，用三分之一的数据集进行测试则能够更精确的衡量网络性能；将金字塔池化模块和坐标注意力机制加入resnet网络模型中，形成优化的resnet网络模型，通过在优化的resnet网络模型中加入金字塔池化模块和坐标注意力机制，从而提高颜色识别准确率；最后再采用训练集训练优化的resnet网络模型来判断测试集衣物颜色，从而实现衣物颜色识别。
30.进一步地，以resnet18网络为基础，设计金字塔池化模块提取特征以捕获图像中不同尺寸的物体信息，融合坐标注意力机制以关注人体衣物色彩信息，融入空洞卷积以提升网络效率。
31.进一步地，用测试集对优化后的resnet网络进行测试，可以看出识别方法的有效性。
32.进一步地，将原始数据进行图像变换以实现对图像的扩充，此操作可提升网络的泛化性能。
33.进一步地，若至少两种衣物颜色图像的数量级不同时对于衣物数量较少的颜色识别率较低，当对图像进行扩充至所有衣物颜色图像数量级相同时，识别结果差距较小。
34.进一步地，对各种颜色衣物进行图像变换，扩充颜色较少的衣物图像以达到各种颜色衣物数量的均匀分布，能够提升对各种颜色识别的准确率。
35.本发明提出的一种衣物颜色识别系统，通过将预估系统划分为数据集获取模块、
模型优化模块和衣物颜色识别模块，采用模块化思想使各个模块之间相互独立，方便对各模块进行统一管理。
附图说明
36.为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
37.图1为本发明提出的衣物颜色识别方法流程图。
38.图2为本发明的resnet网络模型的识别衣物颜色的结构示意图。
39.图3为本发明的坐标注意力模块的结构图。
40.图4为本发明的colorresnet训练过程图。
41.图5为本发明的实施例提供的衣物识别结果对比图。
42.图6为本发明提出的衣物颜色识别系统图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
44.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
46.在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
47.此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
48.在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
49.下面结合附图对本发明做进一步详细描述：
50.在侦查和安防领域，先利用布置在不同区域的监控设备实施拍摄图像，再用图像处理设备从监控设备拍摄的图像中搜索出特定人物，以满足侦查和安放的需要，搜多特定人物中，通常从图像中识别出人脸，穿衣风格等人体特征，若识别出的人物特征符合特定人物特征，则搜索出特定人物。
51.本发明提出的一种衣物颜色识别方法，如图1所示，包括如下步骤：
52.获取衣物数据集，将三分之二的衣物数据集的衣物颜色进行标注形成训练集，将三分之一的衣物数据集作为测试集；
53.将金字塔池化模块和坐标注意力机制加入resnet网络模型中，形成优化的resnet网络模型；
54.采用训练集训练优化的resnet网络模型，再采用训练好的优化的resnet网络模型判断测试集衣物颜色，实现衣物颜色识别。
55.本发明提出的一种衣物颜色识别方法，该方法具体包括如下步骤：
56.步骤s1：获取来自网络公开人物街拍图像，对该图像进行预处理，将预处理图像作为数据集；
57.预处理方法包括数据增强、数据归一化处理和数据压缩。
58.步骤s2：标记三分之二的数据集中衣物颜色，形成训练集。
59.其中，衣物颜色包括：红色、橙色、黄色、绿色、青色、蓝色、紫色、棕色、灰色、粉色、白色和黑色。
60.采用0～11依次标记红色、橙色、黄色、绿色、青色、蓝色、紫色、棕色、灰色、粉色、白色和黑色。
61.步骤s3：如图2所示，在resnet网络模型中加入金字塔池化模块和坐标注意力机制，形成优化的resnet网络模型，采用训练集训练优化的resnet网络模型。
62.在实际应用中，可以先随意设置深度学习模型的参数值，再将训练集中的衣物图像分批次输入深度学习网络模型中得到衣物颜色信息，并根据得到衣物颜色与标记衣物颜色之间的误差构造损失函数，反向传播以调整网络模型参数值，直到损失值降为最低，如得到的衣物图像与标记的衣物颜色一致。
63.获取优化的resnet网络模型的具体步骤如下：
64.步骤1、首先从深度学习网络resnet系列中选取resnet18作为基层网络，对图像进行全局特征提取；
65.步骤2、将步骤1得到的特征通过金字塔池化模块对不同尺寸特征进行融合，从而获得更多的空间信息；
66.步骤3、将通过金字塔池化模块提取特征输入坐标注意力机制模块，从而对通道间的色彩信息进行统计，同时关注衣物的位置信息；
67.步骤4、由前三步网络连接得到优化的resnet网络。
68.采用训练集训练优化的resnet网络模型的具体操作步骤如下：
69.步骤1、得到划分的训练数据集。
70.步骤2、设置网络训练参数，包括学习率、迭代次数、优化方法等
71.步骤3、将训练数据集输入优化的resnet网络模型进行训练。
72.步骤s4：将三分之一的数据集作为测试集。
73.步骤s5：采用优化的resnet网络模型判断衣物测试集中衣物颜色，即可实现衣物颜色的识别。
74.采用训练好的优化的resnet网络模型判断测试集衣物颜色的具体操作步骤如下：
75.步骤1、获取划分好的测试数据集；
76.步骤2、将测试数据集输入训练好的网络模型中进行预测。
77.优选地，训练集中各种衣服颜色的衣物图像的数量均匀分布，且训练集中两种衣物颜色的衣物图像的数量均匀分布。通过均衡各个衣物颜色的训练图像数量，可以较好地学习各种颜色地衣物图像之间地区别，有利于从衣物图像中准确识别衣物颜色，提高识别准确率。
78.实施例：
79.本发明通过采用网络公开人物街拍图像，训练街拍图像中人体衣物颜色识别的优化的resnet网络模型，优化的resnet网络模型的识别和训练的图像来源相同，优化的resnet网络模型可以学会分辨介于两种色度之间的颜色更接近与哪一种颜色，从而提高识别的准确率。
80.在训练集中，红色的衣物图像的数量可以为2000件，橙色的衣物图像的数量可以为2010件，黄色的衣物图像的数量可以为2030件，绿色的衣物图像数量可以为2000件，青色的衣物图像的数量可以为2001件，蓝色的衣物图像数量可以为2002件，紫色的衣物图像数量可以2003件，棕色的衣物图像数量可以为2002件，灰色的衣物图像数量可以为2020件，粉色的衣物图像数量可以为2022件，白色的衣物图像数量可以为2012件，黑色的衣物图像数量可以为2022件。12中衣物颜色的衣物图像的数量级均为103且两种衣物图像的数量之差小于103。
81.图2是本次设计的优化的resnet网络模型图，它包括resnet18模块、pyconv模块以及坐标注意力模块。本发明输入优化resnet模型中的图像大小为600x400，首先将图像输入resnet18网络中，其次将得到的特征输入金字塔池化模块，金字塔池模块融合了n个尺度的特征，为了保持全局特征的权重，使用1
×
1卷积核将每个金字塔级别降低维度为输入的1/n。金字塔池模块由8个的特征块组成，大小分别设计为1
×
1、2
×
2、3
×
3、4
×
4、5
×
5、6
×
6、7
×
7和8
×
8，经过池化后，紧接着对特征图进行卷积，本发明采用空洞率为2的卷积进行进一步的特征提取。其次输入坐标注意力模块，其模块如图3所示，它包括并行的两个平均池化层，其次在通道维度进行连接，紧接着对特征进行归一化、非线性过滤，将输出的特征输入两个并行卷积核大小为1
×
1的卷积并用sigmoid函数对特征进行激活。最后将得到的数据输入分类器，分类器的构成包括一个3
×
3的卷积、归一化函数、relu层、dropout层和卷积核为1
×
1的卷积层。通过分类器处理的图像特征大小为75
×
50，因此，最后再通过一个上采样函数得到与原始图像大小相同的特征图。
82.优化的resnet网络模型，其训练过程图如图4所示，图4显示了colorresnet在训练过程中，随着训练轮数的增加，网络精度和收敛过程的变化情况，可以很明显的看出，在前60轮训练过程中，训练平均交并比提升迅速，之后训练损失逐渐收敛，而平均交并比也基本稳定在76％；从图4中损失函数以及平均交并比的变化可以看出本文模型是有效的。
83.图5是本发明与现有经典网络在对衣物颜色识别中的准确度的对比图，从图中可
以发现，本方法在12种颜色的识别上均优于相关技术1和相关技术2，且对每一种颜色的识别准确率都可达到90％以上。
84.本发明提出的一种衣物颜色识别系统，如图6所示，包括：
85.数据集获取模块，所述数据集获取模块用于获取衣物图像，对衣物图像进行预处理得到数据集，将三分之二的数据集的衣物颜色进行标注形成训练集，将三分之一的衣物数据集作为测试集；
86.模型优化模块，所述模型优化模块用于将金字塔池化模块和坐标注意力机制加入resnet网络模型中，形成优化的resnet网络模型；
87.衣物颜色识别模块，所述衣物颜色识别模块用于采用训练集训练优化的resnet网络模型，再采用训练好的优化的resnet网络模型判断测试集衣物颜色，实现衣物颜色识别。
88.本发明一实施例提供的终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
89.所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
90.所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
91.所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
92.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
93.所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
94.本发明提出的一种衣物颜色识别方法，首先获取公开人物街拍图像数据集；标记
人体衣物颜色，形成训练集；采用训练集训练深度学习模型；获取随机人物街拍图像，形成测试数据集；采用训练好的深度学习模型势识别测试数据集中的衣物颜色。本公开通过采用公开人物街拍数据集训练人体衣物颜色识别深度学习模型，深度学习模型的识别和训练的图像来源相同，通过在resnet中加入金字塔池化模块和坐标注意力机制，从而提高颜色识别准确率。
95.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。