用于服装图像的数据处理方法及装置与流程

本申请涉及计算机视觉领域，具体而言，涉及一种用于服装图像的数据处理方法及装置。

背景技术：

在网络虚拟试衣间中，为了使得网络上的服装更好地穿在用户身上，需要对服装关键点进行检测。

发明人发现，在图中有较多待测人物的复杂场景下时，会影响到服装关键点的检测时的准确率和速度。进一步，还会增加网络检测模型的训练成本。

针对相关技术中对于服装图像的关键点处理效果较差的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种用于服装图像的数据处理方法及装置，以解决对于服装图像的关键点处理效果较差的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于服装图像的数据处理方法。

根据本申请的用于服装图像的数据处理方法包括：输入待检测图片；根据预训练检测模型检测出服装在图片中的位置；生成热图并得到图片中关键点特征图；以及根据所述关键点特征图得到图片中服装关键点的位置，其中，所述预训练检测模型经过一次预训练。

进一步地，方法还包括：训练阶段，所述训练阶段包括：配置训练数据对检测模型预训练；训练用于检测服装位置的第一检测网络；以及训练用于检测服装关键点的第二检测网络。

进一步地，方法还包括：根据第一检测网络生成的候选区域生成热图。

进一步地，方法还包括：根据第二检测网络生成的特征图生成关键点和关键点数目。

进一步地，根据预训练检测模型检测出服装在图片中的位置和根据所述关键点特征图得到图片中服装关键点的位置时共享同一主干网络。

进一步地，所述输入待检测图片之后包括：调整带有图标图片的大小，并将关键点的坐标系由原图转换成相对于检测框的坐标系。

为了实现上述目的，根据本申请的另一方面，提供了一种用于服装图像的数据处理装置。

根据本申请的用于服装图像的数据处理装置包括：输入模块，用于输入待检测图片；服装位置模块，用于根据预训练检测模型检测出服装在图片中的位置；热图模块，用于生成热图并得到图片中关键点特征图；以及服装关键点模块，用于根据所述关键点特征图得到图片中服装关键点的位置，其中，所述预训练检测模型经过一次预训练。

进一步地，装置还包括：训练模块，所述训练模块包括：训练数据单元，用于配置训练数据对检测模型预训练；第一训练单元，用于训练用于检测服装位置的第一检测网络；以及第二训练单元，用于训练用于检测服装关键点的第二检测网络。

进一步地，装置所述训练模块包括：热图单元，用于根据第一检测网络生成的候选区域生成热图。

进一步地，所述训练模块包括：关键点单元，用于根据第二检测网络生成的特征图生成关键点和关键点数目。

在本申请实施例中，采用对所述预训练检测模型经过一次预训练的方式，通过输入待检测图片，根据预训练检测模型检测出服装在图片中的位置，达到了生成热图并得到图片中关键点特征图的目的，从而实现了根据所述关键点特征图得到图片中服装关键点的位置的技术效果，进而解决了服装图像的关键点处理效果较差的技术问题。通过本申请首先对服装在图片中的位置进行检测，再通过热图确定服装关键点，输出关键点结果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的用于服装图像的数据处理方法示意图；

图2是根据本申请实施例的用于服装图像的数据处理方法的预训练过程示意图；

图3是根据本申请实施例的用于服装图像的数据处理装置示意图；

图4是本申请实施例的用于服装图像的数据处理装置和训练模块的关系示意图；以及

图5是本申请实施例的训练模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤s102至步骤s106：

步骤s102，输入待检测图片；

输入的待检测图片中通常并非高质量服装特写图，待检测图片大多来自街拍等场景，所以目标服装在图片中的比例并不是确定的。此外，在待检测图片中可能包含了多人的人体图像的干扰。

需要注意的是，为了防止图片发生扭曲可以将待检测图片都调整至统一的大小。

步骤s104，根据预训练检测模型检测出服装在图片中的位置；

所述预训练检测模型经过一次预训练，即通过设计训练数据对检测模型进行一次预训练后即可用于检测输入的待检测图片。通过预训练检测模型后可以得到服装在图片中的位置。

步骤s106，生成热图并得到图片中关键点特征图；

在预训练检测模型中生成热图，通常可以在预训练检测模型中的rpn(regionproposalnetwork)候选区域网络产生候选区域之后生成热图。其中，热图是针对服装关键点的热图。同时在预训练检测模型中的服装关键点检测网络中输出图片中关键点的特征图。

步骤s108，根据所述关键点特征图得到图片中服装关键点的位置。

根据关键点特征图确定图片中服装关键点的位置，将服装关键点的位置映射回原图即可得到在原图上的服装关键点的位置。

需要注意的是，在上述图像数据处理过程中，首先需要检测出服装在图片中的位置，然后再确定图片中服装关键点的位置。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中，采用对所述预训练检测模型经过一次预训练的方式，通过输入待检测图片，根据预训练检测模型检测出服装在图片中的位置，达到了生成热图并得到图片中关键点特征图的目的，从而实现了根据所述关键点特征图得到图片中服装关键点的位置的技术效果，进而解决了服装图像的关键点处理效果较差的技术问题。通过本申请首先对服装在图片中的位置进行检测，再通过热图确定服装关键点，输出关键点结果。

根据本申请实施例，作为本实施例中的优选，如图2所示，该方法还包括：训练阶段，所述训练阶段包括：

步骤s202，配置训练数据对检测模型预训练；

配置训练数据时训练数据是带有标记的图片，并且需要将图片的大小调整为一致。同时还需要调整框和关键点的对应位置。

步骤s204，训练用于检测服装位置的第一检测网络；

用于检测服装位置的第一检测网络可以采用现有的数据参数进行训练。在本申请中并不进行限定，本领域技术人员可以根据相关使用场景进行选择。

优选地，可以采用基于resnet101与fpn的结合的主干网络。

步骤s206，训练用于检测服装关键点的第二检测网络。

用于检测服装关键点的第二检测网络可以采用现有的数据参数进行训练。

优选地，根据预训练检测模型检测出服装在图片中的位置和根据所述关键点特征图得到图片中服装关键点的位置时共享同一主干网络。

优选地，在所述输入待检测图片之后包括：调整带有图标图片的大小，并将关键点的坐标系由原图转换成相对于检测框的坐标系。

所述方法中还包括：根据第一检测网络生成的候选区域生成热图。通常地，热图的生成需要在rpn(regionproposalnetwork)候选区域网络产生候选框之后，将关键点坐标系转换到相对于候选框的坐标系，再生成热图。

所述方法中还包括：根据第二检测网络生成的特征图生成关键点和关键点数目。具体地，可以首先调整特征图的大小，将特征图调整到检测框的大小。然后调整通道，将特征图转化后执行softmax损失函数计算操作，输出关键的数量和位置，并选取最大的值作为关键点的位置。

需要注意的是，在上述图像数据训练过程中，训练用于检测服装位置的第一检测网络、训练用于检测服装关键点的第二检测网络是同步进行训练的。根据第一检测网络生成的候选区域生成热图和根据第二检测网络生成的特征图生成关键点和关键点数目也是同步进行训练的。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述方法的用于服装图像的数据处理装置，如图3所示，该装置包括：输入模块10，用于输入待检测图片；服装位置模块20，用于根据预训练检测模型检测出服装在图片中的位置；热图模块30，用于生成热图并得到图片中关键点特征图；以及服装关键点模块40，用于根据所述关键点特征图得到图片中服装关键点的位置，其中，所述预训练检测模型经过一次预训练。

本申请实施例的输入模块10中输入的待检测图片中通常并非高质量服装特写图，待检测图片大多来自街拍等场景，所以目标服装在图片中的比例并不是确定的。此外，在待检测图片中可能包含了多人的人体图像的干扰。

需要注意的是，为了防止图片发生扭曲可以将待检测图片都调整至统一的大小。

本申请实施例的服装位置模块20中所述预训练检测模型经过一次预训练，即通过设计训练数据对检测模型进行一次预训练后即可用于检测输入的待检测图片。通过预训练检测模型后可以得到服装在图片中的位置。

本申请实施例的热图模块30中在预训练检测模型中生成热图，通常可以在预训练检测模型中的rpn(regionproposalnetwork)候选区域网络产生候选区域之后生成热图。其中，热图是针对服装关键点的热图。同时在预训练检测模型中的服装关键点检测网络中输出图片中关键点的特征图。

本申请实施例的服装关键点模块40中根据关键点特征图确定图片中服装关键点的位置，将服装关键点的位置映射回原图即可得到在原图上的服装关键点的位置。

根据本申请实施例，作为本实施例中的优选，如图4所示，装置中还包括：训练模块50，所述训练模块50包括：训练数据单元501，用于配置训练数据对检测模型预训练；第一训练单元502，用于训练用于检测服装位置的第一检测网络；以及第二训练单元503，用于训练用于检测服装关键点的第二检测网络。

本申请实施例的训练数据单元501中配置训练数据时训练数据是带有标记的图片，并且需要将图片的大小调整为一致。同时还需要调整框和关键点的对应位置。

本申请实施例的第一训练单元502中用于检测服装位置的第一检测网络可以采用现有的数据参数进行训练。在本申请中并不进行限定，本领域技术人员可以根据相关使用场景进行选择。

优选地，可以采用基于resnet101与fpn的结合的主干网络。

本申请实施例的第二训练单元503中用于检测服装关键点的第二检测网络可以采用现有的数据参数进行训练。

优选地，根据预训练检测模型检测出服装在图片中的位置和根据所述关键点特征图得到图片中服装关键点的位置时共享同一主干网络。

优选地，在所述输入待检测图片之后包括：调整带有图标图片的大小，并将关键点的坐标系由原图转换成相对于检测框的坐标系。

根据本申请实施例，作为本实施例中的优选，如图5所示，所述训练模块包括：热图单元504，用于根据第一检测网络生成的候选区域生成热图。

本申请实施例的热图单元504中热图的生成需要在rpn(regionproposalnetwork)候选区域网络产生候选框之后，将关键点坐标系转换到相对于候选框的坐标系，再生成热图。

根据本申请实施例，作为本实施例中的优选，如图5所示，所述训练模块包括：关键点单元505，用于根据第二检测网络生成的特征图生成关键点和关键点数目。

本申请实施例的关键点单元505中可以首先调整特征图的大小，将特征图调整到检测框的大小。然后调整通道，将特征图转化后执行softmax损失函数计算操作，输出关键的数量和位置，并选取最大的值作为关键点的位置。

作为本申请实施例中的优选，本申请中采用基于maskrcnn策略，提出了crcnn算法架构，其中，c代表clothes，rcnn代表maskrcnn或者fastrcnn。

作为本实施例中的优选，采用了基于深度学习的人体关键点检测方案来解决背景技术中服装关键点检测效果较差的技术问题。

在本申请中采用了“多人”人体关键点检测的“自顶向下”策略，考虑到的目标图片并非高质量的服装特写图，比如是街拍的图片。所以目标服装在图片中的比例并不确定，有时会很小，因此在执行服装关键点检测之前，需要执行服装检测，得到服装在图中的位置。而“单人”人体关键点检测和“自底向上”的“多人”人体关键点检测方法会受到图片中其他信息的干扰。具体地，本申请中采用基于maskrcnn的策略，该方法集合了服装检测和服装关键点检测两个功能在一个卷积神经网络中，相对于g-rmi和cpn，需要位置检测和关键点检测两个模型，本申请仅需要一个模型。经测试，本申请的准确率达到95.4％。

本申请中的crcnn具体的实施步骤如下：

1)在训练阶段：

步骤一：获取训练数据，将所有输入的带有标注的图片都调整到512x512的大小，为了防止图像扭曲。可以采用长边调整到512，短边按比例调整，不足的部分对称补0，同步调整框和关键点的位置。最后将关键点的坐标系由原图转换成相对于检测框的坐标系。

步骤二：服装检测网络，在本申请中采用基于resnet101与fpn的结合的主干网络，产生特征图p2-p6，通过rpn(regionproposalnetwork)候选区域网络产生候选框，然后通过roipooling操作将特征图传入fastrcnn部分，完成检测。

此外，具体在检测部分的损失函数可以采用softmaxcrossentropylossfunction处理类别的训练，smoothl1lossfunction处理检测框的训练。

步骤三：生成热图heatmap，热图的生成需要在rpn候选区域网络产生候选框之后，然后计算每个候选框与真正框之际的iou。比如，当iou大于0.5的候选框与对应真实框关联，将关键点坐标系转换到相对于候选框的坐标系，然后生成热图，在本申请中crcnn热图的生成方式与maskrcnn相似，由于本实施例中最后热图的大小是56x56，所以本申请将关键点映射到56x56，同时将56x56的热图转化成一维向量3136，关键所在的位置设置为1，其余位置为0，最后关键点的标签为1在3136个数中所在的位置。比如，1在第3100的位置，则关键点的标签为3100。此外需要注意的是，第1位是0。

步骤四：服装关键点检测网络：与服装检测网络共享一个主干网络，具体地针对rpn候选区域网络产生的候选框，执行roipooling，产生14x14的特征图，然后连接8个3x3x256x256的卷积操作。然后在每个卷积之后需要接一个relu激活层，得到14x14x256的特征图。再然后需要接一个反卷积操作和relu操作，得到28x28x256的特征图，最后接一个反卷积操作，得到56x56xnum_keypoints大小的特征图，其中num_keypoints为关键点的数目。

步骤五：服装关键点检测损失函数：对于56x56xnum_keypoints的特征图，首先执行通道调整得到num_keypointsx56x56的特征图，然后将最后两个通道合并，得到num_keypointsx3136的向量。最后执行softmax操作得到结果，并与生成的热图标签一起计算softmaxcrossentropy损失。

上述训练步骤的训练策略包括：在训练时采用的批处理的大小为5，rpn采样的锚点框的数目为50，选取的用于训练的候选框数目为35，初始学习率为0.02，一种30次迭代，每10次学习减少为原来的1/10。

2)在测试阶段：

步骤一：输入待检测图片，待检测图片仍然调整到512x512的大小，策略与训练时一样。

步骤二：计算热图时首先通过预训练得到的crcnn网络中得到服装的检测框，与训练阶段不同的是，测试阶段使用的是fastrcnn的输出作为关键点检测网络的输入，而不是rpn的输出，通过关键点检测网络得到56x56xnum_keypoints的特征图。

步骤三：关键点计算时首先调整特征图的大小，将特征图调整到检测框的大小，hxwxnum_keypoints，本发明采用双线性插值的方法。然后调整通道，将特征图转化为num_keypointsxhxw。然后对hxw向量执行softmax操作，选取最大的值作为关键点的位置。最后将计算的关键点映射回原图得到结果。

在本申请中提供的网络结构crcnn，用于服装关键点的检测，准确率达到95.4％，同时crcnn也能输出服装的位置。此外，在本申请中提出的crcnn可以通过一次训练，既完成服装位置的检测，又能计算服装的关键点，而g-rmi和cpn等方法需要训练位置检测和关键点检测两个模型，进而提高了检测速速。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。