一种服饰样本集生成方法和装置与流程

本发明涉及图像分析领域，具体涉及一种服饰样本集生成方法和装置。

背景技术：

基于深度学习的行人服饰颜色识别是智能图像分析对监控场景进行目标物特征分析的重要组成部分。为了在不同场景、光线、角度等条件下达到很高的识别率，必须要对大量样本进行训练，同时要尽可能的保持样本间的均衡性，所以视频采集和样本标注工作是整个开发工作中最耗资源的环节。

常规的颜色识别有色卡对比和有限的自定义类别(比如：红，绿，蓝，黑，白等)方法，两种方法都有自身的缺陷。色卡方法并不适用于行人服饰，因为由于光线原因，行人服饰并表现为一个同色区域，基于统计的色卡定义方法就容易错误；而基于有限自定义类别的方法样本搜集和标注比较困难，同时应用可扩展性也不好，比如，需求1要识别行人服饰自定义的N种颜色，需求2需要识别行人服饰另外的M种自定的颜色，那么两个需求的工作量是累加的，服饰样本集需要重新进行标注，并且基于深度学习的模型训练需要大量的训练样本，更加降低了该方法的可操作性。另外，由于自然界中行人服饰的各种颜色分布是严重不均衡的，比如黑、白、灰等服饰颜色较多，紫、绿、黄等服饰颜色就相对较少，均衡的服饰样本及的素材来源也是一个难题。

因此，如何降低获取服饰样本集的难度、增添服饰样本集的多样性、优化服饰样本集的均衡性，成为一个亟待解决的技术问题。

技术实现要素：

因此，本发明要解决的技术问题在于现有技术中获取服饰样本集的难度大、且服饰样本集的均衡性差。

从而提供一种服饰样本集生成方法和装置。

有鉴于此，本发明实施例的第一方面提供了一种服饰样本集生成方法，包括：获取样本图像中服饰区域的纹理结构信息；根据预设色彩建立色卡集；根据所述色卡集和所述纹理结构信息对所述服饰区域进行填色；根据填色后的所述服饰区域生成服饰样本集。

优选地，所述根据预设色彩建立色卡集包括：对所述预设色彩进行颜色分类；对每类颜色在色谱图上进行采样得到所述每类颜色对应的多个色卡；将所述多个色卡的集合作为所述色卡集。

优选地，所述根据所述色卡集和所述纹理结构信息对所述服饰区域进行填色包括：根据所述色卡集和所述纹理结构信息建立基于泊松方程的填色模型；对所述填色模型进行求解得到填色值；根据所述填色值对所述服饰区域进行填色。

优选地，所述获取样本图像中服饰区域的纹理结构信息包括：提取所述样本图像的服饰区域；将所述服饰区域进行灰度化；提取灰度化后的服饰区域的梯度信息作为所述纹理结构信息。

优选地，还包括：采用所述服饰样本集对目标颜色进行识别；在无法正确识别出所述目标颜色时，将所述目标颜色的色卡加入所述色卡集，以更新所述色卡集；根据所述目标颜色的色卡和所述纹理结构信息对所述服饰区域进行填色，以更新所述服饰样本集。

本发明实施例的第二方面提供了一种服饰样本集生成装置，包括：获取模块，用于获取样本图像中服饰区域的纹理结构信息；建立模块，用于根据预设色彩建立色卡集；填色模块，用于根据所述色卡集和所述纹理结构信息对所述服饰区域进行填色；生成模块，用于根据填色后的所述服饰区域生成服饰样本集。

优选地，所述建立模块包括：分类单元，用于对所述预设色彩进行颜色分类；采样模块，用于对每类颜色在色谱图上进行采样得到所述每类颜色对应的多个色卡；集合模块，用于将所述多个色卡的集合作为所述色卡集。

优选地，所述填色模块包括：建立单元，用于根据所述色卡集和所述纹理结构信息建立基于泊松方程的填色模型；求解单元，用于对所述填色模型进行求解得到填色值；填色单元，用于根据所述填色值对所述服饰区域进行填色。

优选地，所述获取模块包括：第一提取单元，用于提取所述样本图像的服饰区域；灰度单元，用于将所述服饰区域进行灰度化；第二提取单元，用于提取灰度化后的服饰区域的梯度信息作为所述纹理结构信息。

优选地，还包括：识别模块，用于采用所述服饰样本集对目标颜色进行识别；第一更新模块，用于在无法正确识别出所述目标颜色时，将所述目标颜色的色卡加入所述色卡集，以生成新的色卡集；第二更新模块，用于根据所述目标颜色的色卡和所述纹理结构信息对所述服饰区域进行填色，以更新所述服饰样本集。

本发明的技术方案具有以下优点：

本发明实施例提供的服饰样本集生成方法和装置，通过根据预设色彩建立的色卡集对样本图像中的服饰区域进行填色来生成服饰样本集，其中服饰区域保留了服饰的纹理结构信息，有限的样本图像通过不同色卡的填色获得了大量的样本集，与现有技术相比，克服了现有技术中大容量样本集难以获取的缺陷，大大降低了获取服饰样本集的工作量，色卡集的灵活建立，不仅丰富了服饰样本集的多样性，而且实现了服饰样本集的自动扩充，同时保证了各类颜色的服饰样本数量间的均衡性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的服饰样本集生成方法的一个流程图；

图2为本发明实施例1的样本图像中服饰区域与非服饰区域边界处的像素点的一个示意图；

图3为本发明实施例2的服饰样本集生成装置的一个框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种服饰样本集生成方法，可用于行人服饰颜色识别过程中的样本集获取，如图1所示，包括如下步骤：

S11：获取样本图像中服饰区域的纹理结构信息。此处样本图像可以从不同的图像或视频素材中选取，针对素材中不同场景、不同姿势、不同朝向、不同性别、不同年龄、不同体态的行人选取样本图像，目的是为了能够尽可能的包含所有情况下的行人服饰信息，然后提取出样本图像中服饰区域的纹理结构信息，此处纹理结构信息包含但不限于衣服褶皱、明暗区域等。作为一种优选方案，步骤S11可以包括：首先提取样本图像的服饰区域，具体地，设样本图像用I表示，可以采用相关的绘图工具制作I的mask图像，比如采用Photoshop制作I的mask图像记为M，M标记了样本图像中的服饰区域和背景区域，比如mask图像M中服饰区域被标注为白色，用符号Ω表示；背景区域被标注为黑色，用符号Ο表示，背景区域Ο上与服饰区域Ω邻接的区域记为即设p(i,j)是区域上的像素点，则p(i,j)满足N_Ω表示Ω上像素点的邻域；然后将服饰区域进行灰度化，具体地可以将样本图像I进行灰度化，即将I的颜色信息去除，保留I的纹理和结构信息，得到灰度图像G，G是一个去除了I的色彩信息保留了I的纹理和结构信息的灰度图像；最后提取灰度化后的服饰区域的梯度信息作为纹理结构信息，为了保留涂色后的行人服饰区域保持原有服饰的结构特征，即衣服褶皱、明暗区域等，被填色后服饰区域必须保持原图像的梯度信息。可以采用服饰区域的梯度信息来表征服饰区域的纹理结构。比如可以建立大小为w×h×8矩阵ν，用于存储图像G的梯度向量场(梯度信息)，式w×h×8中元素分别表示图像G的宽、高、每个像素八个邻域方向的梯度值，用G(i，j)表示灰度图像G上的像素点，具体可以采用如下公式计算矩阵：

然后根据上述公式(1)以及服饰区域在灰度图像G中对应的像素点计算得到服饰区域的梯度信息，将其作为服饰区域的纹理结构信息。

S12：根据预设色彩建立色卡集。此处预设色彩根据具体应用场景而定，针对不同的应用场合可以设置不同的预设色彩，进而建立不同的色卡集，避免单一色卡集不能准确识别服饰颜色的问题，提高了色卡集的灵活性。作为一种优选方案，步骤S12可以包括：对预设色彩进行颜色分类；对每类颜色在色谱图上进行采样得到每类颜色对应的多个色卡；将多个色卡的集合作为色卡集。具体地，设需要识别预设色彩类别数为h，类别号分别用l_h(h为非负整数)表示，对这些颜色类别制作对应色卡子集，记为每个色卡子集中包括多个色卡，比如h＝1时表示红色类别，则该红色类别可以包括多个与红色相关的色卡，在色谱图上，比如(R,G,B)色谱图，一类颜色有一定的数值范围，在该数值范围内取不同的值可以得到不同的相关颜色，通过在色谱图上进行采样(采样频率可自定)，即可得到对应的多个色卡，即N为中色卡元素的个数，N可取非负整数，色卡集中的每个色卡元素可以用三维向量表示为

S13：根据色卡集和纹理结构信息对服饰区域进行填色；此处对于色卡集中的每一个色卡都要对服饰区域进行填色，即一次获取的样本图像中服饰区域的纹理结构信息通过不同的色卡填色后，可以获得巨大的服饰样本集，从而大大节约获取服饰样本集的资源。作为一种优选方案，步骤S13可以包括：

步骤一：根据色卡集和纹理结构信息建立基于泊松方程的填色模型，这里主要采用离散的泊松方程填色原理，泊松方程可以在持图像纹理结构不变的情况下改变图像的颜色，因此可以采用如下公式(2)建立填色模型：

上式(2)中，用f表示S某个通道的像素值的函数表示；p和q表示点且p和q互为邻域，f_p即表示在点p处像素值，f_q即表示在点q处像素值，那么ν_pq表示p q两个点连线方向上梯度信息ν的取值；color表示在当前通道的一个值，比如当前处理的是R通道，那么color＝r。

步骤二：然后对填色模型进行求解得到填色值，具体操作步骤如下：

1：新建样本图像S，S为三通道图像，大小和I相同，将S的像素值全部初始化为全黑，即所有像素值全为0；

2：选择一种色卡对S进行填色，即使用S在服饰区域Ω内显示的色彩为梯度信息等于ν。R,G,B三个通道分别求像素值，然后进行结合得到彩色样本图像S，三个通道处理方式一样。求解过程可以采用如下公式(3)进行计算：

上式(3)中N_p表示p点像素八个邻域方向，明显，上式是满足填色模型的解，上式将图像染色过程描述成：图像S在服饰区域Ω的表示函数f必须满足起始条件为在边界线上、初始值为color、在区域Ω内梯度信息为ν的优化问题。对每个像素点p上式(3)都可表示成至少1个未知数，至多7个未知数的方程式，如图2所示，设点p_ij表示服饰区域的点，q_ij表示服饰区域边缘点，即p_ij∈Ω，例举通过式(3)以p₂₂和p₂₃为中心点的方程式(4)和式(5)如下：

式(4)和式(5)左边都是未知数，右边都是已知数，都是典型的一次线性方程，每一个服饰区域Ω中的点都能将式(3)展开成一个类似式(4)和(5)这样的一次线性方程，若设size(Ω)＝k，那么就有k个这样的方程式组成一个线性方程组，该方程组未知数个数也为k。可以使用Gauss-Seidel迭代法对式(4)和式(5)进行求解，得到填色值。

步骤三：最后根据填色值对服饰区域进行填色，即将填色值按点p的位置填到图像S中，即完成了对图像S单个通道的填色任务。采用步骤二的方式，分别对图像S的三个通道进行求解得到对应的填色值，并进行相关通道的填色，然后合并在一起，即完成了在服饰区域Ω内对图像S的填色，然后让图像S的非Ω区域与原图I一样，即保持原图的背景，最终完成了对I中的一个样本图像中服饰区域进行指定颜色染色的工作。同样地，遍历色卡集中的色卡对I中所有样本图像的服饰区域进行填色。

S14：根据填色后的服饰区域生成服饰样本集。遍历色卡集中的色卡对I中所有样本图像的服饰区域进行填色后，即可获得庞大的服饰样本集，如此不需要人工实地挑选目标颜色的服饰样本，即可自动生成大量的不同颜色的服饰样本集，不仅操作难度降低，而且大大降低了工作量，同时保证了各类颜色样本之间的均衡性。

作为一种优选方案，还包括样本扩充的步骤：采用服饰样本集对目标颜色进行识别；在无法正确识别出目标颜色时，将目标颜色的色卡加入色卡集，以更新色卡集；根据目标颜色的色卡和纹理结构信息对服饰区域进行填色，以更新服饰样本集。具体地，可以用步骤S14中获得的服饰样本集对服饰识别模型进行训练，然后选取目标颜色对该服饰识别模型进行测试，若识别错误，说明，该目标颜色可能不在服饰样本集中，则可以将该目标颜色对应的色卡添加至相关颜色类别对应的的色卡子集中，完成色卡集的扩充，并采用该目标颜色的色卡对样本图像I中的每一个图像的服饰区域进行填色得到一个新的服饰样本，并将该新的服饰样本添加至服饰样本集，实现对服饰样本集的自动扩充，此处可以使用与步骤S13一样的天填色方案，在此不再赘述。

本实施例提供的服饰样本集生成方法，通过根据预设色彩建立的色卡集对样本图像中的服饰区域进行填色来生成服饰样本集，其中服饰区域保留了服饰的纹理结构信息，有限的样本图像通过不同色卡的填色获得了大量的样本集，与现有技术相比，克服了现有技术中大容量样本集难以获取的缺陷，大大降低了获取服饰样本集的工作量，色卡集的灵活建立，不仅丰富了服饰样本集的多样性，而且实现了服饰样本集的自动扩充，同时保证了各类颜色的服饰样本数量间的均衡性。

实施例2

本实施例供了一种服饰样本集生成装置，可用于行人服饰颜色识别过程中的样本集获取，如图3所示，包括：获取模块31、建立模块32、填色模块33和生成模块34，各模块功能如下：

获取模块31，用于获取样本图像中服饰区域的纹理结构信息，具体参见实施例1中对步骤S11的详细描述。

建立模块32，用于根据预设色彩建立色卡集，具体参见实施例1中对步骤S12的详细描述。

填色模块33，用于根据色卡集和纹理结构信息对服饰区域进行填色，具体参见实施例1中对步骤S13的详细描述。

生成模块34，用于根据填色后的服饰区域生成服饰样本集。具体参见实施例1中对步骤S14的详细描述。

作为一种优选方案，建立模块32包括：分类单元，用于对预设色彩进行颜色分类；采样模块，用于对每类颜色在色谱图上进行采样得到每类颜色对应的多个色卡；集合模块，用于将多个色卡的集合作为色卡集。具体参见实施例1中对步骤S12的优选方案的详细描述。

作为一种优选方案，填色模块33包括：建立单元，用于根据色卡集和纹理结构信息建立基于泊松方程的填色模型；求解单元，用于对填色模型进行求解得到填色值；填色单元，用于根据填色值对服饰区域进行填色。具体参见实施例1中对步骤S13的优选方案的详细描述。

作为一种优选方案，获取模块31包括：第一提取单元，用于提取样本图像的服饰区域；灰度单元，用于将服饰区域进行灰度化；第二提取单元，用于提取灰度化后的服饰区域的梯度信息作为纹理结构信息。具体参见实施例1中对步骤S11的优选方案的详细描述。

作为一种优选方案，还包括：识别模块，用于采用服饰样本集对目标颜色进行识别；第一更新模块，用于在无法正确识别出目标颜色时，将目标颜色的色卡加入色卡集，以生成新的色卡集；第二更新模块，用于根据目标颜色的色卡和纹理结构信息对服饰区域进行填色，以更新服饰样本集。具体参见实施例1中的相关详细描述。

本实施例提供的服饰样本集生成装置，通过根据预设色彩建立的色卡集对样本图像中的服饰区域进行填色来生成服饰样本集，其中服饰区域保留了服饰的纹理结构信息，有限的样本图像通过不同色卡的填色获得了大量的样本集，与现有技术相比，克服了现有技术中大容量样本集难以获取的缺陷，大大降低了获取服饰样本集的工作量，色卡集的灵活建立，不仅丰富了服饰样本集的多样性，而且实现了服饰样本集的自动扩充，同时保证了各类颜色的服饰样本数量间的均衡性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。