基于图像识别的通用着装识别方法、系统及处理设备与流程

1.本发明涉及着装识别技术领域，尤其涉及基于图像识别的通用着装识别方法、系统及处理设备。


背景技术：

2.人员的着装规范是标准化生产、生活的重要手段，一般是要求工作人员等穿着统一制式的服装，与相应的着装类型对应。着装类型是不同人群划分的一个重要标志，便于规范生产生活，在客流分析、视频理解等领域均有大量应用。
3.由于通过人眼观看视频进行特定着装人群的识别费时费力，由此产生了基于图像识别技术的着装类型识别。如提取图像的特定区域并再次训练以得到识别模型，基于该识别模型进行着装类型识别；针对电力作业人员，设计不同身体部分分别进行识别最后组合起来进行判断，以得到着装情况；利用人体关键点进行区域划分，然后分别提取各区域特征，最后判断是否符合预设着装规范。
4.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
5.现有的着装类型识别方法适用场景单一，需要反复进行识别模型的训练，难以在不同的场景中通用。


技术实现要素：

6.本发明的目的在于提供一种基于图像识别的通用着装识别方法、系统及处理设备，以解决现有技术中存在的着装类型识别方法适用场景单一，需要反复进行识别模型的训练，难以在不同的场景中通用技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
7.为实现上述目的，本发明提供了以下技术方案：
8.本发明提供的一种基于图像识别的通用着装识别方法，包括以下步骤：
9.s100：通过公共数据集训练基础模型，得到通用着装识别的第一特征提取器；s200：从待识别图像中获取第一行人着装图像；s300：调用所述第一特征提取器，提取所述第一行人着装图像的第一特征向量；s400：将所述第一特征向量与特征库进行比对，根据比对结果输出所述第一行人着装图像的着装识别结果。
10.优选的，所述s400步骤中，所述特征库通过以下方法得到：
11.s410：获取多张不同类型的第二行人着装图像，处理后得到样本着装图像；s420：通过第二特征提取器提取全部所述样本着装图像的第二特征向量；s430：将每张所述第二行人着装图像与所述第二特征向量相互关联，得到所述特征库。
12.优选的，所述s400步骤具体包括：
13.s410’：通过余弦相似度将所述第一特征向量与全部的所述第二特征向量的进行比对；s420’：当所述余弦相似度大于或等于设定阈值时，选出所述余弦相似度最大值所对应的第二特征向量作为目标特征向量，将所述目标特征向量关联的所述第二行人着装图像
所对应的着装类型作为着装识别结果；s430’：当所述余弦相似度小于所述设定阈值时，输出未知着装类型作为识别结果。
14.优选的，所述s430’之后还包括：
15.s440’：获取所述未知着装类型所对应的所述第一行人着装图像，对所述特征库进行更新。
16.优选的，所述s200步骤具体包括：
17.s210：从所述待识别第一行人着装图像中获取至少一个行人的行人 patch；s220：通过所述行人patch对人体图像进行分割，得到行人mask； s230：根据所述行人mask去除背景干扰，得到所述第一行人着装图像。
18.优选的，所述s220步骤中，通过deeplabv3plus、fcn、pspnet、 ddrnet、bisenet或bisenetv2算法进行人体图像分割。
19.优选的，所述s100步骤中，通过通用的行人重识别方法训练所述基础模型，所述基础模型采用开源训练框架fast-reid进行训练。
20.优选的，所述s100步骤中，所述公共数据集为market1501、 dukemtmc、msmt17_c、cuhk03中的一个或多个。
21.一种基于图像识别的通用着装识别系统，通过以上任一项所述的一种基于图像识别的通用着装识别方法运行，包括第一特征提取器和特征库；所述第一特征提取器通过公共数据集训练得到，能够得到所述第一行人着装图像的第一特征向量；所述特征库通过所述第一特征提取器获取第二行人着装图像的第一特征向量，并与相应的第二行人着装图像进行关联。
22.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行以上任一项所述的一种基于图像识别的通用着装识别方法。
23.实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：
24.本发明通过公共数据集训练基础模型，公共数据样本量大，场景丰富，从而不需根据每次的着装识别结果反复进行模型训练，而且适用场景更广，可实现不同着装识别通用，大大降低了成本，同时，通过训练基础模型使第一特征提取器提取特征精准，与待识别图像中的第一行人着装图像比对后，可实现对着装的精准识别。
附图说明
25.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：
26.图1是本发明实施例一中基于图像识别的通用着装识别方法的流程图；
27.图2是本发明实施例一中得到特征库的流程图；
28.图3是本发明实施例一中s400步骤的具体流程图；
29.图4是本发明实施例一中s200步骤的具体流程图。
具体实施方式
30.为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
31.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
32.为了说明本发明的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。
33.实施例一：
34.如图1所示，本发明提供了一种基于图像识别的通用着装识别方法，包括以下步骤：s100：通过公共数据集训练基础模型，得到通用着装识别的第一特征提取器，第一特征提取器可以快速精准提取人体图像的特征向量，便于基于该特征向量得到着装识别结果，通过基础模型的训练，可提高第一特征提取器提取精度。s200：从待识别图像中获取第一行人着装图像，待识别图像即为现实场景中的监控视频得到的图像，或工作图像，或工作抓拍照片等，第一行人着装图像即为本技术所关注的去除背景等干扰后的第二行人着装图像。s300：调用第一特征提取器，提取第一行人着装图像的第一特征向量，通过第一特征向量便于得到第一行人着装图像的边缘、轮廓、颜色、方向、线条等特征，实现对第一行人着装图像的特征抓取，从而便于对着装类型进行识别。s400：将第一特征向量与特征库进行比对，根据比对结果输出着装识别结果。本发明通过公共数据集训练基础模型，公共数据样本量大，场景丰富，从而不需根据每次的着装识别结果反复进行模型训练，而且适用场景更广，可实现不同着装识别通用，大大降低了成本，同时，通过训练基础模型使第一特征提取器提取特征精准，与待识别图像中的第一行人着装图像比对后，可实现对着装的精准识别。
35.作为可选的实施方式，如图2所示，s400步骤中，特征库为多种不同着装类型及相应的特征向量进行关联后得到的数据库，通过与输入特征向量比较，输出对应的着装类型。特征库通过以下方法得到：s410：获取多张不同类型的第二行人着装图像，处理后得到样本着装图像，样本着装图像用于得到样本着装类型，第二行人着装图像应包括不同场景不同类型的着装，且同一着装类型也应包括多个不同的第二行人着装图像，从而提高对着装类型识别的通用性和准确性；s420：通过第二特征提取器提取全部样本着装图像的第二特征向量，第二特征提取器为现有的图像特征提取器即可，得到第二特征向量便于与待识别对象的第一特征向量进行比较匹配； s430：将每张第二行人着装图像与第二特征向量相互关联，关联时还进行编号，得到特征库，相互关联编号后，当第二特征向量与第一特征向量匹配成功，便能输出待识别图像对应的着装类型，实现着装识别。
36.作为可选的实施方式，如图3所示，s400步骤具体包括：s410’：通过余弦相似度将
第一特征向量与全部的第二特征向量的进行比对，余弦相似度是通过计算两个向量的夹角余弦值来评估他们的相似度，该余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，第一特征向量与全部的第二特征向量的进行比对确保了比对的完整性，避免遗漏影响最后的着装识别结果。s420’：当余弦相似度大于或等于设定阈值时，可根据大多数场景下的比对结果设定阈值，如0.9、0.95等，以确保大多数情形下都有高于设定阈值的比对结果，也可根据实际运行情况对阈值进行调整，从中选出余弦相似度最大值所对应的第二特征向量作为目标特征向量，将目标特征向量关联的第二行人着装图像所对应的着装类型作为着装识别结果。s430’：当余弦相似度小于设定阈值时，输出未知着装类型作为识别结果，此时第二特征向量中没有一个与第一特征向量的相似度达到阈值，即特征库中还没有该待识别图像的着装类型。优选的，s430’之后还包括 s440’：获取未知着装类型所对应的第一行人着装图像，通过提取该第一行人着装图像，使用第二特征提取器提取第二特征向量后并关联，就可以得到一个新的特征库样本，输入特征库后就可实现对特征库的更新，从而进一步完善了特征库中的样本，提高了本发明的通用性。
37.作为可选的实施方式，如图4所示，s200步骤具体包括：s210：从待识别第一行人着装图像中获取至少一个行人的行人patch，显然本发明也适用于有多个行人的场景，获取行人patch采用现有技术直接进行标注即可得到。s220：通过行人patch对人体图像进行分割，得到行人mask；s230：根据行人mask去除背景干扰，得到第一行人着装图像。通过对行人patch 进行人体分割，只保留人体本身的特征，去掉了背景的干扰，然后再进行第一行人着装图像的特征提取，得到的特征更具判别力。第一行人着装图像去除了背景，因此提取的特征仅包含所关心的人体着装特征，从而避免了复杂环境下的背景干扰，鲁棒性更高。
38.作为可选的实施方式，s220步骤中，通过deeplabv3plus、fcn、pspnet、 ddrnet、bisenet或bisenetv2算法进行人体图像分割，deeplabv3plus、 fcn、pspnet、ddrnet、bisenet或bisenetv2是当前主流的深度学习语义分割模型，便于快速识别出精准的人体轮廓得到人体mask，较边缘识别等分割算法精度更高。当然，也可以根据需要选择其他的人体图像分割算法，以达到更快速准确的人体图像分割效果。其中，deeplabv3plus是一个用于语义分割的模型，采用deeplabv3作为编码器模块，并使用一个简单而有效的解码器模块，可通过atrous卷积(空洞卷积)来控制所提取的编码器特征的分辨率，从而权衡精度和运行时间；bisenetv2包括细节分支和语义分支，其中细节分支提取到分辨率大的特征表示，语义分支提取到分辨率小的特征表示，将细节分支使用小感受野提取到的特征和语义分支使用大感受野提取到的特征融合，从而快速实现人体图像分割。
39.作为可选的实施方式，s100步骤中，通过通用的行人重识别方法训练基础模型，基础模型采用开源训练框架fast-reid进行训练。相比利用固定场景的着装数据进行训练分类器的方法，本发明仅训练一个基础模型即可在所有场景通用，不需要在特定场景进行模型训练，因此本发明的第一特征提取器通用性更强，不受场景的约束。行人重识别即行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，本发明中的行人着装类型通过行人重识别处理后更易实现。fast-reid是一种目标重识别reid开源库，由京东ai研究院将现有行人重识别基础模型进行整理，对常用的技巧也进行整合形成的一个重识别工具箱，目的是利用各种智能算法在图像数据库中找到与要搜索的目标相似的对象，在获取目标对象(本发明中为行人)的轮廓特征时会比一般的训练框架更加准
确。当然，可以随着技术发展、数据集的日益丰富也可将fast-reid替换为其他训练算法，以达到更好的训练效果，fast-reid仅为当前的一种较佳方案。s100 步骤中，公共数据集为market1501、dukemtmc、msmt17_c、cuhk03 中的一个或多个，通过公共数据集训练降低了训练图像收集的成本和时间，这四个公共数据集为不同场景下的第一行人着装图像集，行人有各种类型的着装，从而训练后的基础模型包含有丰富的着装类型，便于提高本发明的通用性和识别准确性。market 1501的行人图片采集自清华大学校园的6 个摄像头，一共标注了1501个行人；dukemtmc数据集是一个大规模标记的多目标多摄像机行人跟踪数据集，它提供了一个由8个同步摄像机记录的新型大型高清视频数据集，具有7000多个单摄像机轨迹和超过2700 多个独立人物；msmt17_c数据集采用了安防在校园内的15个摄像头网络，在一个月里选择了不同天气条件的4天，每天采集3个小时的视频，涵盖了早上、中午、下午三个时间段，总共的原始视频时长为180小时； cuhk03是第一个可以进行深度学习的大规模行人重识别数据集，该数据集的图像采集于中国香港中文大学校园，含有1467个不同的行人，由5对摄像头采集。
40.实施例仅是一个特例，并不表明本发明就这样一种实现方式。
41.实施例二：
42.一种基于图像识别的通用着装识别系统，通过实施例一的一种基于图像识别的通用着装识别方法运行，包括第一特征提取器和特征库；第一特征提取器通过公共数据集训练得到，能够得到第一行人着装图像的第一特征向量；特征库通过第一特征提取器获取第二行人着装图像的第一特征向量，并与相应的第二行人着装图像进行关联。本系统通过公共数据集训练基础模型，公共数据样本量大，场景丰富，从而不需根据每次的着装识别结果反复进行模型训练，而且适用场景更广，可实现不同着装识别通用，大大降低了成本，同时，通过训练基础模型使第一特征提取器提取特征精准，使本系统对着装识别的准确性更高。
43.实施例三：
44.本发明还提供一种处理设备实施例，包括一个或多个处理器及存储器；其中，所述存储器用于存储一个或多个计算机程序，所述一个或多个处理器用于执行存储器存储的一个或多个计算机程序，以使处理器执行上述的基于图像识别的通用着装识别方法实施例的特征/步骤。
45.以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明的保护范围。