用于衣物识别的方法及装置、设备与流程

1.本技术涉及智能设备技术领域，例如涉及用于衣物识别的方法及装置、设备。


背景技术：

2.随着科学技术的进步和人工智能的发展，衣物的归纳、洗涤、以及推荐等都可实现自动化和智能化，而衣物的各种应用一般都是建立在衣物的识别基础上。
3.目前，衣物的识别有多种方式，例如：通过电子标签的读取和识别，还可通过提取衣物图像上特征属性点，来进行识别等等，但是，通过图像识别进行识别的方式还存在精度差，识别准确性不高的问题。


技术实现要素：

4.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
5.本公开实施例提供了一种用于衣物识别的方法、装置和设备，以解决衣物识别准确性不高的技术问题。
6.在一些实施例中，所述方法包括：
7.获取包含一件或多件衣物的待检测图片；
8.在卷积神经网络中，通过衣物专用锚框对所述待检测图片进行目标检测，得到与所述待检测图片中每件衣物对应的目标框信息；
9.将每个所述目标信息输入深度残差网络中，获得了每件衣物的属性类别信息。
10.在一些实施例中，所述装置包括：
11.获取模块，被配置为获取包含一件或多件衣物的待检测图片；
12.检测模块，被配置为在卷积神经网络中，通过衣物专用锚框对所述待检测图片进行目标检测，得到与所述待检测图片中每件衣物对应的目标框信息；
13.识别模块，被配置为将每个所述目标信息输入深度残差网络中，获得了每件衣物的属性类别信息。
14.在一些实施例中，所述设备包括：上述用于衣物识别的装置。
15.本公开实施例提供的用于衣物识别的方法、装置和设备，可以实现以下技术效果：
16.可通过智能算法中的衣物专用锚框，对获取的包含衣物的图像进行目标检测，检测出图片中每件衣物对应的目标框信息，然后，继续通过智能算法，根据目标框信息进行识别，识别出每件衣物的属性类别信息，由于采用衣物专用锚框进行目标检测，提高了衣物定位的精确度以及检测的速度，进一步提高了衣物识别的准确率。
17.以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
附图说明
18.一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
19.图1是本公开实施例提供的一种用于衣物识别方法的流程示意图；
20.图2是本公开实施例提供的一种用于衣物识别方法的流程示意图；
21.图3是本公开实施例提供的一种用于衣物识别装置的结构示意图；
22.图4是本公开实施例提供的一种用于衣物识别装置的结构示意图；
23.图5是本公开实施例提供的一种用于衣物识别装置的结构示意图。
具体实施方式
24.为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
25.本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
26.除非另有说明，术语“多个”表示两个或两个以上。
27.本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
28.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
29.本公开实施例中，在衣物识别的智能算法中，采用衣物专用锚框进行衣物目标检测，提高了衣物定位的精确度以及检测的速度。并且，还可在衣物属性识别过程中，采用knn最大类间距离进行聚类的方式，增大衣服属性之间的区分性，得到了较好的检测和识别效果，从而，进一步提高了衣物识别的准确率。
30.图1是本公开实施例提供的一种用于衣物识别方法的流程示意图。如图1所示，用于衣物识别的过程包括：
31.步骤101：获取包含一件或多件衣物的待检测图片。
32.目前，随着智能化技术的发展，很多设备，例如：电视、冰箱、投影仪等等设备都是智能化设备，这些设备都具有图像识别的能力，本实施例中的衣物识别，就包括了这些设备对包含衣物的待检测图片进行图像识别的过程。因此，需先获取待检测图片，而待检测图片中可包括：一件、两件或多件衣物，即待检测图片中包括了一件或多件衣物的图像。
33.可通过设备上配置的图像采集设备，获取包含一件或多件衣物的待检测图片，或者，通过数据传输，获取包含一件或多件衣物的待检测图片，例如：通过usb接口，从外接存储器上获取待检测图片，或者，通过互联网通讯，获取待检测图片，具体就不一一例举了。
34.步骤102：在卷积神经网络中，通过衣物专用锚框对待检测图片进行目标检测，得
到与待检测图片中每件衣物对应的目标框信息。
35.随着人工智能的发展，目前很多图像识别过程都是基于卷积神经网络(convolutional neural networks，cnn)，本实施例中也采用cnn网络来进行图像识别。
36.由于目标是衣物，因此，本实施例中，可在cnn网络中，通过衣物专用锚框对待检测图片进行目标检测，得到与待检测图片中每件衣物对应的目标框信息。
37.可见，在进行图像识别之前，还需配置衣物专用锚框，在一些实施例中，可根据每个样本衣物图片中衣物尺寸信息，生成衣物专用锚框。当然，不同的cnn网络，生成衣物专用锚框的过程不同。例如：针对vgg-16卷积神经网络，可将每个样本衣物图片预处理后，进行vgg-16特征信息提取，从而，得到每个样本衣物图片的包含衣物尺寸信息的特征信息，从而，可根据这些特征信息，生成vgg-16卷积神经网络的衣物专用锚框。
38.生成了vgg-16卷积神经网络的衣物专用锚框后，得到与待检测图片中每件衣物对应的目标框信息可包括：将待检测图片进行预处理后输入vgg-16卷积神经网络进行卷积处理，得到特征图片；通过衣物专用锚框对特征图片进行目标检测，得到目标特征图，其中，目标特征图中每个目标框与待检测图片中每件衣物对应；根据目标特征图中每个目标框的位置信息，得到每个目标框的目标框信息，目标框信息包括回归值和大类属性值。
39.例如：待检测图片进行预处理后，vgg-16网络中的cnn层对图片进行卷积，对卷积后得到的特征图片，用衣物专用锚框anchor对特征图片进行目标框生成，叠加特征图片后即可生成目标特征图，目标特征图中每个目标框与待检测图片中每件衣物对应；然后，计算目标特征图片中每个目标框的回归值和softmax值，即根据目标特征图中每个目标框的位置信息，得到了每个目标框的目标框信息，目标框信息包括回归值和大类属性softmax值。
40.步骤103：在卷积神经网络中，通过衣物专用锚框对待检测图片进行目标检测，得到与待检测图片中每件衣物对应的目标框信息。
41.得到了与待检测图片中每件衣物对应的目标框信息后，即可进行基于深度学习算法的识别处理，得到每件衣物的属性类别信息。
42.深度学习算法的算法模型是根据获取的样本进行机器学习后，配置并保存的，因此，在一些实施例中，获得了每件衣物的属性类别信息之前，还包括：将包括衣物的样本图片进行图片预处理，然后，基于深度残差网络resnet，对样本图片进行训练，得到resnet深度学习算法模型。
43.配置了resnet深度学习算法模型，将得到的目标检测的检查结果，包括：目标框信息，输入resnet深度学习算法模型中，即可获得每件衣物的属性类别信息，包括：衣物种类，颜色，款式等等中一种或多种。
44.当然，本公开实施例也不限于resnet深度学习算法模型，其他基于卷积神经网络cnn的图像识别算法也可应用于此，不再一一列举了。
45.通过resnet深度学习算法模型的识别，可得到每件衣物的类别信息，例如：上衣，下衣，袜子等等。但是，上衣中还可分：衬衣、夹克、棉衣等等，下衣还可包括：短裤、长裤、背带裤等等。这些同类别的衣物中很多特征比较相近，在识别的过程需要进行细致区别。因此，在本公开一些实施例中，可在目标信息输入深度残差网络中，对每个目标框的大类属性值进行knn最大类间距进行聚类处理，得到至少一个属性分类概率值；根据每个目标框的属性分类概率值，以及回归值，获得与每个目标框对应的每件衣物的属性类别信息。
46.例如：已得到了每个目标框的回归值和softmax值，输入resnet深度学习算法模型，可对softmax值，通过knn最大类间距离进行聚类，即可得到属性分类概率，然后，可将属性分类概率最大的值对应的类别信息，确定为目标框的识别结果，即得到每件衣物的类别信息。当然，还可结合回归值以及属性分类概率的得到每件衣物的属性信息。
47.由于softmax值用knn聚类的方法来增大每个类间的距离，从而增大种类间的区分度，从而，更好的区分细分种类之间的差距，得到更加准确的识别结果
48.可见，本实施例中，在衣物识别的智能算法中，采用衣物专用锚框进行衣物目标检测，提高了衣物定位的精确度以及检测的速度。并且，还可在衣物属性识别过程中，采用knn最大类间距离进行聚类的方式，增大衣服属性之间的区分性，得到了较好的检测和识别效果，从而，进一步提高了衣物识别的准确率。
49.下面将操作流程集合到具体实施例中，举例说明本发明实施例提供的用于衣物识别过程。
50.本公开一实施例中，卷积神经网络为vgg-16卷积神经网络，并根据每个样本衣物图片中衣物尺寸信息，生成vgg-16卷积神经网络的衣物专用锚框。并且，也将衣物的样本图片进行基于深度残差网络resnet，的训练，得到resnet深度学习算法模型。
51.图2是本公开实施例提供的一种用于衣物识别方法的流程示意图。结合图2，用于衣物识别的过程包括：
52.步骤201：通过配置的摄像头，获取包含一件或多件衣物的待检测图片。
53.步骤202：将待检测图片进行预处理后输入vgg-16卷积神经网络进行卷积处理，得到特征图片。
54.步骤203：通过用衣物专用锚框anchor对特征图片进行目标检测，得到目标特征图。
55.目标特征图中每个目标框与待检测图片中每件衣物对应。
56.步骤204：计算目标特征图片中每个目标框的回归值和softmax值。
57.步骤205：将回归值和softmax值输入resnet深度学习算法模型，进行knn最大类间距进行聚类处理，得到至少一个属性分类概率值。
58.步骤206：根据每个目标框的属性分类概率值，以及回归值，获得与每个目标框对应的每件衣物的属性类别信息。
59.其中，可将属性分类概率最大的值对应的类别信息，确定为每件衣物的类别信息。当然，根据回归值以及属性分类概率还可得到衣物的尺寸位置等属性信息。
60.可见，本实施例中，通过智能算法中的衣物专用锚框，对获取的包含衣物的图像进行目标检测，检测出图片中每件衣物对应的目标框信息，然后，继续通过智能算法，根据目标框信息进行识别，识别出每件衣物的属性类别信息，由于采用衣物专用锚框进行目标检测，提高了衣物定位的精确度以及检测的速度，并且，还可在衣物属性识别过程中，采用knn最大类间距离进行聚类的方式，增大衣服属性之间的区分性，得到了较好的检测和识别效果，进一步提高了衣物识别的准确率。
61.根据上述用于衣物识别的过程，可构建一种用于衣物识别的装置。
62.图3是本公开实施例提供的一种用于衣物识别装置的结构示意图。如图3所示，用于衣物识别装置包括：获取模块310、检测模块320、以及识别模块330。
63.获取模块310，被配置为获取包含一件或多件衣物的待检测图片。
64.检测模块320，被配置为在卷积神经网络中，通过衣物专用锚框对待检测图片进行目标检测，得到与待检测图片中每件衣物对应的目标框信息。
65.识别模块330，被配置为将每个目标信息输入深度残差网络中，获得了每件衣物的属性类别信息。
66.在一些实施例中，还包括：配置模块，被配置为根据每个样本衣物图片中衣物尺寸信息，生成衣物专用锚框。
67.在一些实施例中，检测模块320可包括：
68.卷积单元，被配置为将待检测图片进行预处理后输入vgg-16卷积神经网络进行卷积处理，得到特征图片。
69.检测单元，被配置为通过衣物专用锚框对特征图片进行目标检测，得到目标特征图，其中，目标特征图中每个目标框与待检测图片中每件衣物对应。
70.回归单元，被配置为根据目标特征图中每个目标框的位置信息，得到每个目标框的目标框信息，目标框信息包括回归值和大类属性值。
71.在一些实施例中，识别模块330包括：
72.聚类单元，被配置为在目标信息输入深度残差网络中，对每个目标框的大类属性值进行knn最大类间距进行聚类处理，得到至少一个属性分类概率值。
73.识别单元，被配置为根据每个目标框的属性分类概率值，以及回归值，获得与每个目标框对应的每件衣物的属性类别信息。
74.下面具体描述用于衣物识别的装置的衣物识别过程。
75.图4是本公开实施例提供的一种用于衣物识别装置的结构示意图。如图4所示，用于衣物识别装置包括：获取模块310、检测模块320、以及识别模块330，还可包括：配置模块340。而检测模块320可包括：卷积单元321、检测单元322和回归单元323。而识别模块330包括：聚类单元331和识别单元332。
76.其中，配置模块340可根据每个样本衣物图片中衣物尺寸信息，生成vgg-16卷积神经网络的衣物专用锚框；并且，也将衣物的样本图片进行基于深度残差网络resnet，的训练，得到resnet深度学习算法模型。
77.这样，获取模块310可通过摄像头，网络连接等等获取包含一件或多件衣物的待检测图片。这样，检测模块320中的卷积单元321可将待检测图片进行预处理后输入vgg-16卷积神经网络进行卷积处理，得到特征图片，然后，检测单元322可通过用衣物专用锚框anchor对特征图片进行目标检测，得到目标特征图；而回归单元323则可计算目标特征图片中每个目标框的回归值和softmax值。
78.将回归值和softmax值输入resnet深度学习算法模型后，识别模块330中的聚类单元331进行knn最大类间距进行聚类处理，得到至少一个属性分类概率值。从而，识别单元332即可根据每个目标框的属性分类概率值，以及回归值，获得与每个目标框对应的每件衣物的属性类别信息。
79.可见，本实施例中，用于衣物识别装置采用衣物专用锚框进行衣物目标检测，提高了衣物定位的精确度以及检测的速度。并且，还可在衣物属性识别过程中，采用knn最大类间距离进行聚类的方式，增大衣服属性之间的区分性，得到了较好的检测和识别效果，从
而，进一步提高了衣物识别的准确率。
80.本公开实施例提供了一种用于衣物识别的装置，其结构如图5所示，包括：
81.处理器(processor)100和存储器(memory)101，还可以包括通信接口(communication interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令，以执行上述实施例的用于衣物识别的方法。
82.此外，上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
83.存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的用于衣物识别的方法。
84.存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。
85.本公开实施例提供了一种设备，包含上述的用于衣物识别装置。
86.本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于衣物识别方法。
87.本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于衣物识别方法。
88.上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
89.本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
90.以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本技术中时，虽然术语“第一”、“第二”等可能会在本技术中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本技术中使用的用词仅用于描述
实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
91.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
92.本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
93.附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功
能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。