基于跨域辅助训练的属性识别方法、系统、设备及介质与流程

1.本发明属于图像识别技术领域，涉及一种识别方法和系统，特别是涉及一种基于跨域辅 助训练的属性识别方法、系统、设备及介质。


背景技术：

2.行人属性是对行人外观特征的自然语言描述，通常行人属性包括行人的生物属性，比如 性别、年龄、身高等；外观属性：比如服饰颜色，样式等；行人附属物：比如手提包，背包， 戴眼镜等。行人属性识别是计算机视觉技术的一个热门领域，也具有很高的商业应用价值。 目前在视频监控，行人重识别，人脸识别，身份验证等等领域都有应用案例。
3.行人属性识别是一个多标签分类问题，这个研究方向通常会遇到以下几个问题：一是图 像复杂度高，做为图像的主体人体，可能会出现各种姿态，各种遮挡的情况，同时成像可能 会出现光照不佳，运动模糊；二是数据分布严重不均衡，呈长尾分布；三是由于属性标注工 作量大，数据量偏少，训练容易过拟合。
4.顾客属性识别是行人属性识别的一个细分子类，是对零售店，超市等购物场所的顾客进 行属性识别。这个任务在具有行人属性识别难点的同时，由于应用场景特殊，会存在更加严 重的遮挡情形，比如顾客与顾客之间的遮挡，顾客与货架之间遮挡。因此，这个领域的有标 注的数据数量更少，挑战更大。另外，在顾客之间有严重遮挡时，辨别出图片中的主体人体， 并只识别该人体的属性是一个难点。
5.因此，如何提供一种基于跨域辅助训练的属性识别方法、系统、设备及介质，以解决现 有技术无法解决顾客属性识别的遮挡及主体判断问题，实已成为本领域技术人员亟待解决的 技术问题。


技术实现要素：

6.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于跨域辅助训练的属性识 别方法、系统、设备及介质，用于解决现有技术无法解决顾客属性识别的遮挡及主体判断问 题。
7.为实现上述目的及其他相关目的，本发明一方面提供一种基于跨域辅助训练的属性识别 方法，包括：对具有属性标签的图像进行人体部位分割，形成人体基准图像；将无属性标 签的图像集中每一图像进行人体部位分割，生成人体部位分割结果，从所述人体部位分割结 果中随机选取一张图像作为遮挡图片；将所述遮挡图片覆盖于所述人体基准图像，形成遮挡 合成图像，并判断遮挡合成图像中获取所述人体基准图像中人体各个部位是否可见；若是， 则无需修改该部位对应的属性标签；若否，则对应修改该部位对应的属性标签；将未修改的 属性标签和修改的属性标签进行整合，以形成所述遮挡合成图像的属性标签；对所述具有属 性标签的图像、无属性标签的图像集中的图像及遮挡合成图像进行基础特征提取，将从所述 具有属性标签的图像和所述遮挡合成图像中提取的基础特征输入至预设属性预测模型和预设 人体主体预测模型，以获取属性预测结果和人体主体预测结果。
8.于本发明的一实施例中，所述基于跨域辅助训练的属性识别方法还包括分别对所述属性 预测结果和所述人体主体预测结果进行损失计算，以获取最小损失值对应的预设属性预测模 型和预设人体主体预测模型，并将其作为属性预测应用模型和人体主体预测应用模型。
9.于本发明的一实施例中，在所述基于跨域辅助训练的属性识别方法的实际应用过程中， 所述基于跨域辅助训练的属性识别方法还包括：将待预测图像输入，并对所述待预测图像进 行基础特征提取；将所述待预测图像中提取的基础特征输入至所述属性预测应用模型和所述 人体主体预测应用模型，以获取所述待预测图像的属性及图像中的人体主体。
10.于本发明的一实施例中，将所述遮挡图片覆盖于所述人体基准图像，形成遮挡合成图 像，并判断遮挡合成图像中获取所述人体基准图像中人体各个部位是否可见的步骤包括：于 人体基准图像中查找头部掩膜，计算人头中心坐标，并将从人头中心坐标至底边之间随机分 成n个分段，并为随机分段分配与之匹配的遮挡点发生于该分段的概率。
11.于本发明的一实施例中，将所述遮挡图片覆盖于所述人体基准图像，形成遮挡合成图 像，并判断遮挡合成图像中获取所述人体基准图像中人体各个部位是否可见的步骤还包括： 根据人头中心坐标和为n个分段分配的概率，计算随机生成的遮挡点的坐标；所述遮挡点用 于确定遮挡图片覆盖人体基准图像上的锚点；将所述人头中心坐标和遮挡点的坐标对齐，将 所述遮挡图片覆盖于所述人体基准图像，同时按照人体掩膜，剔除所述遮挡图片的非人体部 位，形成遮挡合成图像；计算所述人体基准图像中各个分块被遮挡图片遮挡的遮挡比例，以 判断遮挡合成图像中获取所述人体基准图像中人体各个部位是否可见；其中，若一部位遮挡 比例大于预设比例阈值，则判定该部位不可见。
12.于本发明的一实施例中，计算随机生成的遮挡点的坐标的步骤包括：于x方向随机获取 一个0到1之间的第一随机值，于y方向获取一个0到1的第二随机值，根据第二随机值判 断该遮挡点所属分段；根据该遮挡点所属分段，再于y方向获取一个0到1的第三随机值； 根据遮挡图片的宽度和所述第一随机值相乘，计算随机生成的遮挡点的横坐标；根据人头中 心坐标的纵坐标，人头中心到所属分段的顶端点的距离，所属分段顶端点到底端点的距离， 计算随机生成的遮挡点的纵坐标。
13.于本发明的一实施例中，将从所述具有属性标签的图像和所述遮挡合成图像中提取的基 础特征输入至预设属性预测模型和预设人体主体预测模型，以获取属性预测结果和人体主体 预测结果的步骤包括：通过所述预设属性预测模型对所述具有属性标签的图像和所述遮挡合 成图像中提取的基础特征进行预测后，输出若干分支，每一分支负责预测一个属性；其中， 于所述分支中查找最大索引以获取属性预测结果；通过预设人体主体预测模型对所述遮挡合 成图像和无属性标签的图像集中提取的基础特征进行预测绘后，输出预测图，其中，人体主 体预测结果包括预测图中人体区域的像素为1，非人体区域的像素为0。
14.本发明另一方面一种基于跨域辅助训练的属性识别系统，包括：分割模块，用于对具有 属性标签的图像进行人体部位分割，形成人体基准图像及将无属性标签的图像集中每一图像 进行人体部位分割，生成人体部位分割结果；图像合成和标签生成模块，用于从所述人体部 位分割结果中随机选取一张图像作为遮挡图片；将所述遮挡图片覆盖于所述
人体基准图像， 形成遮挡合成图像，并判断遮挡合成图像中获取所述人体基准图像中人体各个部位是否可 见；若是，则无需修改该部位对应的属性标签；若否，则对应修改该部位对应的属性标签； 将未修改的属性标签和修改的属性标签进行整合，以形成所述遮挡合成图像的属性标签；特 征提取模块，用于对所述具有属性标签的图像、无属性标签的图像集中的图像及遮挡合成图 像进行基础特征提取；预测模块，用于将从所述具有属性标签的图像和所述遮挡合成图像中 提取的基础特征输入至预设属性预测模型和预设人体主体预测模型，以获取属性预测结果和 人体主体预测结果。
15.本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理 器执行时实现所述基于跨域辅助训练的属性识别方法。
16.本发明最后一方面提供一种基于跨域辅助训练的属性识别设备，包括：处理器及存储 器；
17.所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使 所述基于跨域辅助训练的属性识别设备执行所述基于跨域辅助训练的属性识别方法。
18.如上所述，本发明所述的基于跨域辅助训练的属性识别方法、系统、设备及介质，具有 以下有益效果：
19.第一，本发明提出的同时使用有标注的合成数据和无标注的真实数据一同训练、两种数
20.据对应不同的学习任务、其中分割任务用于辅助类别预测任务的训练方法。大大提高了 数据数量和多样性，并且实现了只对图像中的主体人体进行属性识别。
21.第二，本发明提出的利用行人属性与人体部位分块的对应关系，修正合成数据的属性标 签方法。有效合理利用合成数据，提高了本发明在训练阶段的稳定性和收敛速度。
附图说明
22.图1显示为本发明的基于跨域辅助训练的属性识别方法于一实施例中的流程示意图。
23.图2显示为本发明的人体基准图像的示意图。
24.图3显示为本发明的从人头中心坐标至底边之间随机分成4个分段的示例图。
25.图4显示为本发明的s13的流程示意图。
26.图5显示为本发明的预设人体主体预测模型和预设属性预测模型的示意图。
27.图6显示为本发明的基于跨域辅助训练的属性识别系统于一实施例中的原理结构示意 图。
28.元件标号说明
[0029]6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
基于跨域辅助训练的属性
[0030]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
识别系统
[0031]
61
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
分割模块
[0032]
62
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
图像合成和标签生成模块
[0033]
63
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
特征提取模块
[0034]
64
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
预测模块
[0035]
65
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
损失计算模块
[0036]
66
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
应用模块
[0037]
641
ꢀꢀꢀꢀꢀꢀꢀꢀ
主体人体分割预测单元
[0038]
642
ꢀꢀꢀꢀꢀꢀꢀꢀ
属性预测单元
[0039]
s11～s18
ꢀꢀꢀ
步骤
[0040]
s131～s135 步骤
具体实施方式
[0041]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
[0042]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。
[0043]
本实施例提供一种基于跨域辅助训练的属性识别方法，包括：
[0044]
对具有属性标签的图像进行人体部位分割，形成人体基准图像；
[0045]
将无属性标签的图像集中每一图像进行人体部位分割，生成人体部位分割结果，从所述 人体部位分割结果中随机选取一张图像作为遮挡图片；
[0046]
将所述遮挡图片覆盖于所述人体基准图像，形成遮挡合成图像，并判断遮挡合成图像中 获取所述人体基准图像中人体各个部位是否可见；若是，则无需修改该部位对应的属性标 签；若否，则对应修改该部位对应的属性标签；将未修改的属性标签和修改的属性标签进行 整合，以形成所述遮挡合成图像的属性标签；
[0047]
对所述具有属性标签的图像、无属性标签的图像集中的图像及遮挡合成图像进行基础特 征提取，将从所述具有属性标签的图像和所述遮挡合成图像中提取的基础特征输入至预设属 性预测模型和预设人体主体预测模型，以获取属性预测结果和人体主体预测结果。
[0048]
以下将结合图示对本实施例所提供的基于跨域辅助训练的属性识别方法进行详细描述。 请参阅图1，显示为基于跨域辅助训练的属性识别方法于一实施例中的流程示意图。如图1 所示，所述基于跨域辅助训练的属性识别方法具体包括以下步骤：
[0049]
s11，对具有属性标签的图像进行人体部位分割，形成人体基准图像。
[0050]
在本实施例中，通过预设人体部位分割网络对输入的具有属性标签的图像进行分割，以 获取如图2所示人体基准图像，所述人体基准图像为与输入图片相同尺寸的二维数组存储的 图像，背景的值为0，分块像素点的值从1到14填充，即p1是人头，p2是躯干，p3是左上 臂，p4是左下臂，p5是左手掌，p6是右上臂，p7是右下臂，p8是右手掌，p9是左大腿， p10是左小腿，p11是左脚掌，p12是右大腿，p13是右小腿，p14是右脚掌。
[0051]
所述s11还包括将无属性标签的图像集中每一图像进行人体部位分割，生成人体
部位分 割结果，从所述人体部位分割结果中随机选取一张图像作为遮挡图片，并按照所述人体基准 图像的人体比例对所述遮挡图片进行缩放。
[0052]
s12，于人体基准图像中查找头部掩膜，计算人头中心坐标，并将从人头中心坐标至底 边之间随机分成n个分段，并为随机分段分配与之匹配的遮挡点发生于该分段的概率。在本 实施例中，由于头部掩膜是一个不规则多边形，通过计算该不规则多边行的中心即可得到人 头中心坐标c_add_head(x，y)。
[0053]
在本实施例中，所述为随机分段分配与之匹配的遮挡点发生于该分段的概率的方法包 括：
[0054]
从人头中心坐标开始，前n/4的分段使用概率p1，p1＝0.4/n；，剩余的分段使用概率 p2，p2＝1.2/n。在本实施例中，需要求p2是p1的3倍，p1的分子0.4为经验值。
[0055]
例如，如图3所示等分四段，n为4，人头中心坐标到l1分段使用概率0.4/4＝0.1，分配 到l1到l2，l2到l3，l3到b的概率为1.2/4＝0.3。
[0056]
s13，将所述遮挡图片覆盖于所述人体基准图像，形成遮挡合成图像，并判断遮挡合成 图像中获取所述人体基准图像中人体各个部位是否可见；若是，则无需修改该部位对应的属 性标签；若否，则对应修改该部位对应的属性标签；将未修改的属性标签和修改的属性标签 进行整合，以形成所述遮挡合成图像的属性标签。
[0057]
请参阅图4，显示为s13的流程示意图。如图4所示，所述s14包括：
[0058]
s131，根据人头中心坐标和为n个分段分配的概率，计算随机生成的遮挡点的坐标 c_occ(x，y)；所述遮挡点用于确定遮挡图片覆盖人体基准图像上的锚点。
[0059]
其中，计算随机生成的遮挡点的坐标的步骤包括：
[0060]
于x方向随机获取一个0到1之间的第一随机值px，于y方向获取一个0到1的第二随 机值，根据第二随机值判断该遮挡点所属分段。
[0061]
例如，于y方向获取一个0到1的第二随机值为0.5，随机生成的遮挡点位于如图3所示 的l2和l3之间。
[0062]
根据该遮挡点所属分段，再于y方向获取一个0到1的第三随机值py；
[0063]
根据遮挡图片的宽度和所述第一随机值相乘，计算随机生成的遮挡点的横坐标；
[0064]
具体地，随机生成的遮挡点的横坐标x＝width*px。
[0065]
根据人头中心坐标的纵坐标，人头中心到所属分段的顶端点的距离，所属分段顶端点到 底端点的距离，计算随机生成的遮挡点的纵坐标。
[0066]
具体地，随机生成的遮挡点的纵坐标y＝c_y+dist(c_y，l2)+dist(l2，l3)*py。
[0067]
其中，c_y为图中人头中心坐标的y坐标，dist(c_y,l2)为人头中心到l2的距离，dist (l2,l3)为l2到l3的距离。
[0068]
s132，将所述人头中心坐标和遮挡点的坐标对齐，将所述遮挡图片覆盖于所述人体基准 图像，同时按照人体掩膜，剔除所述遮挡图片的非人体部位，形成遮挡合成图像。
[0069]
在本实施例中，由于人体分块掩模图像中，每个像素的像素值代表这个像素是什么分块 (背景、人头、躯干、手臂等等)。剔除的标准就是将非人体部分(背景)的像素剔除。
[0070]
s133，计算所述人体基准图像中各个分块被遮挡图片遮挡的遮挡比例，以判断遮挡合成 图像中获取所述人体基准图像中人体各个部位是否可见其中，若一部位遮挡比例大于预设比 例阈值，则判定该部位不可见。
颜色和鞋子颜色类别取值11，上衣种类取值3，下衣种类取值4，帽子、眼镜、背包取值3。 yc是独热编码，对应类别为1，否则为0。pc是这类的预测值。
[0089]
属性预测公式为：其中，n是属性种数，例如，取值为10。
[0090]
在本实施例中，采用loss2对人体主体预测结果进行损失计算。
[0091]
人体主体预测结果的损失计算公式为其中，n是特征图点的总数， yi是某一点的真值，pi是某一点的预测值。
[0092]
最终损失loss为：loss＝m1(loss1+loss2)+m2loss2。其中，m1为有属性标注的训练数 据的序号掩模，掩模值为1；m2为有属性标注的训练数据的序号掩模，掩模值为1。目的是 将有属性标注的训练数据(包括真实数据和合成数据)用于属性预测和主体人体分割预测学 习，将无属性标注的训练数据用于主体人体分割预测学习。
[0093]
s17，在所述基于跨域辅助训练的属性识别方法的实际应用过程中，将待预测图像输入， 并转入s14对所述待预测图像进行基础特征提取及s15将所述待预测图像中提取的基础特征 输入至所述属性预测应用模型和所述人体主体预测应用模型，以获取所述待预测图像的属性 及图像中的人体主体。
[0094]
本实施例所述基于跨域辅助训练的属性识别方法具有以下有益效果：
[0095]
第一，本实施例所述基于跨域辅助训练的属性识别方法提出的同时使用有标注的合成数 据和无标注的真实数据一同训练、两种数据对应不同的学习任务、其中分割任务用于辅助类 别预测任务的训练方法。大大提高了数据数量和多样性，并且实现了只对图像中的主体人体 进行属性识别。
[0096]
第二，本实施例所述基于跨域辅助训练的属性识别方法提出的利用行人属性与人体部位 分块的对应关系，修正合成数据的属性标签方法。有效合理利用合成数据，提高了本发明在 训练阶段的稳定性和收敛速度。
[0097]
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执 行时实现如图1所述基于跨域辅助训练的属性识别方法。
[0098]
在任何可能的技术细节结合层面，本技术可以是系统、方法和/或计算机程序产品。计 算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本技术的各个方面 的计算机可读程序指令。
[0099]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计 算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存 储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子 (非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器 (rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式 压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如 其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计 算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通 过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的 电信号。
[0100]
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备， 或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设 备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算 机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可 读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可 读存储介质中。用于执行本技术操作的计算机程序指令可以是汇编指令、指令集架构(isa) 指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或 者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象 的编程语言—诸如smalltalk、c++等，以及过程式编程语言—诸如“c”语言或类似的编程 语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、 作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远 程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网 络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机 (例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程 序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga) 或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本技术的各 个方面。
[0101]
本实施例还提供一种基于跨域辅助训练的属性识别系统，包括：
[0102]
分割模块，用于对具有属性标签的图像进行人体部位分割，形成人体基准图像及将无属 性标签的图像集中每一图像进行人体部位分割，生成人体部位分割结果；
[0103]
图像合成和标签生成模块，用于从所述人体部位分割结果中随机选取一张图像作为遮挡 图片；将所述遮挡图片覆盖于所述人体基准图像，形成遮挡合成图像，并判断遮挡合成图像 中获取所述人体基准图像中人体各个部位是否可见；若是，则无需修改该部位对应的属性标 签；若否，则对应修改该部位对应的属性标签；将未修改的属性标签和修改的属性标签进行 整合，以形成所述遮挡合成图像的属性标签；
[0104]
特征提取模块，用于对所述具有属性标签的图像、无属性标签的图像集中的图像及遮挡 合成图像进行基础特征提取；
[0105]
预测模块，用于将从所述具有属性标签的图像和所述遮挡合成图像中提取的基础特征输 入至预设属性预测模型和预设人体主体预测模型，以获取属性预测结果和人体主体预测结 果。
[0106]
以下将结合图示对本实施例所提供的基于跨域辅助训练的属性识别系统进行详细描述。 请参阅图6，显示为基于跨域辅助训练的属性识别系统于一实施例中的原理结构示意图。如 图6所示，所述基于跨域辅助训练的属性识别系统6包括：分割模块61、图像合成和标签生 成模块62、特征提取模块63、预测模块64及损失计算模块65。其中，所述预测模块64包 括主体人体分割预测单元641和属性预测单元642。
[0107]
所述分割模块61用于对具有属性标签的图像进行人体部位分割，形成人体基准图像。
[0108]
在本实施例中，所述分割模块61通过预设人体部位分割网络对输入的具有属性标签的 图像进行分割，以获取如图2所示人体基准图像，所述人体基准图像为与输入图片相
同尺寸 的二维数组存储的图像，背景的值为0，分块像素点的值从1到14填充，即p1是人头，p2 是躯干，p3是左上臂，p4是左下臂，p5是左手掌，p6是右上臂，p7是右下臂，p8是右手 掌，p9是左大腿，p10是左小腿，p11是左脚掌，p12是右大腿，p13是右小腿，p14是右脚 掌。
[0109]
所述分割模块61还用于将无属性标签的图像集中每一图像进行人体部位分割，生成人 体部位分割结果，从所述人体部位分割结果中随机选取一张图像作为遮挡图片，并按照所述 人体基准图像的人体比例对所述遮挡图片进行缩放。
[0110]
所述图像合成和标签生成模块62用于于人体基准图像中查找头部掩膜，计算人头中心 坐标，并将从人头中心坐标至底边之间随机分成n个分段，并为随机分段分配与之匹配的遮 挡点发生于该分段的概率。在本实施例中，由于头部掩膜是一个不规则多边形，通过计算该 不规则多边行的中心即可得到人头中心坐标c_add_head(x，y)。
[0111]
在本实施例中，所述图像合成和标签生成模块62为随机分段分配与之匹配的遮挡点发 生于该分段的概率的过程包括：从人头中心坐标开始，前n/4的分段使用概率p1， p1＝0.4/n；，剩余的分段使用概率p2，p_2＝1.2/n。
[0112]
所述图像合成和标签生成模块62还用于将所述遮挡图片覆盖于所述人体基准图像，形 成遮挡合成图像，并判断遮挡合成图像中获取所述人体基准图像中人体各个部位是否可见； 若是，则无需修改该部位对应的属性标签；若否，则对应修改该部位对应的属性标签；将未 修改的属性标签和修改的属性标签进行整合，以形成所述遮挡合成图像的属性标签。
[0113]
所述图像合成和标签生成模块62根据人头中心坐标和为n个分段分配的概率，计算随 机生成的遮挡点的坐标c_occ(x，y)；将所述人头中心坐标和遮挡点的坐标对齐，将所述遮 挡图片覆盖于所述人体基准图像，同时按照人体掩膜，剔除所述遮挡图片的非人体部位，形 成遮挡合成图像；计算所述人体基准图像中各个分块被遮挡图片遮挡的遮挡比例，以判断遮 挡合成图像中获取所述人体基准图像中人体各个部位是否可见其中，若一部位遮挡比例大于 预设比例阈值，则判定该部位不可见；若判定该部位可见，则无需修改该部位对应的属性标 签，即保持具有属性标签的图像的属性；若判定该部位不可见，则对应修改该部位对应的属 性标签；将未修改的属性标签和修改的属性标签进行整合，以形成所述遮挡合成图像的属性 标签
[0114]
其中，所述遮挡点用于确定遮挡图片覆盖人体基准图像上的锚点。
[0115]
在本实施例中，所述图像合成和标签生成模块62计算随机生成的遮挡点的坐标的过程 包括：
[0116]
于x方向随机获取一个0到1之间的第一随机值px，于y方向获取一个0到1的第二随 机值，根据第二随机值判断该遮挡点所属分段。
[0117]
例如，于y方向获取一个0到1的第二随机值为0.5，随机生成的遮挡点位于如图3所示 的l2和l3之间。
[0118]
根据该遮挡点所属分段，再于y方向获取一个0到1的第三随机值py；
[0119]
根据遮挡图片的宽度和所述第一随机值相乘，计算随机生成的遮挡点的横坐标；
[0120]
具体地，随机生成的遮挡点的横坐标x＝width*px。
[0121]
根据人头中心坐标的纵坐标，人头中心到所属分段的顶端点的距离，所属分段顶端点到 底端点的距离，计算随机生成的遮挡点的纵坐标。
[0122]
具体地，随机生成的遮挡点的纵坐标y＝c_y+dist(c_y，l2)+dist(l2，l3)*py。
[0123]
其中，c_y为图中人头中心坐标的y坐标，dist(c_y,l2)为人头中心到l2的距离，dist (l2,l3)为l2到l3的距离。
[0124]
在本实施例中，所述人体基准图像中各个分块被遮挡图片遮挡的遮挡比例等于分块在遮 挡前的面积比上分块被遮挡后的剩余面积。在本实施例中，若一部位遮挡比例大于预设比例 阈值，则判定该部位不可见。
[0125]
所述特征提取模块63对所述具有属性标签的图像、无属性标签的图像集中的图像及遮 挡合成图像进行基础特征提取。
[0126]
具体地，所述特征提取模块63通过预存卷积神经网络，对各图像进行计算，得到高维 特征图。这个卷积神经网络的权重是在其他训练任务中预训练得到。比如使用卷积神经网络 resnet-101。
[0127]
所述预测模块64用于将从所述具有属性标签的图像和所述遮挡合成图像中提取的基础 特征输入至预设属性预测模型和预设人体主体预测模型，以获取属性预测结果和人体主体预 测结果。所述预测模块64包括主体人体分割预测单元641和属性预测单元642。
[0128]
所述主体人体分割预测单元641通过预设人体主体预测模型对所述遮挡合成图像和无属 性标签的图像集中提取的基础特征进行预测绘后，输出预测图，其中，人体主体预测结果包 括预测图中人体区域的像素为1，非人体区域的像素为0。
[0129]
所述主体人体分割预测单元641首先，遮挡合成图像和无属性标签的图像进入n层的 bottleneck层，在本实施例中，n取值为3。然后，进入一个特征变换层，将输出维度规整到 64维，这时得到的特征图将会输出至预设属性预测模型的第二层，同时会进入一个输出维度 是1的卷积层，得到一个预测图。
[0130]
所述属性预测单元642通过所述预设属性预测模型对所述具有属性标签的图像和所述遮 挡合成图像中提取的基础特征进行预测后，输出若干分支，每一分支负责预测一个属性；其 中，于所述分支中查找最大索引以获取属性预测结果。
[0131]
所述属性预测单元642首先，具有属性标签的图像和遮挡合成图像会进入n层的 bottleneck层，在本实施例中，n取值为3。然后，进入一个特征变换层，将输出维度规整到 64维。将第二层的特征图与主体人体分割预测分支第二层输出的特征图进行拼接。再经过 1x1卷积核，输出维度是64的卷积层后，分成10个分支，每个分支负责预测单独一个属性。
[0132]
所述损失计算模块65用于分别对所述属性预测结果和所述人体主体预测结果进行损失 计算，以获取最小损失值对应的预设属性预测模型和预设人体主体预测模型，并将其作为属 性预测应用模型和人体主体预测应用模型。
[0133]
所述应用模块66用于在所述基于跨域辅助训练的属性识别系统的实际应用过程中，接 收待预测图像，并将所述待预测图像输入所述特征提取模块63将待预测图像输入，并对所 述待预测图像进行基础特征提取，并通过所述预测模块64将所述待预测图像中提取的基础 特征输入至所述属性预测应用模型和所述人体主体预测应用模型，以获取所述待预测图像的 属性及图像中的人体主体。
[0134]
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实 现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软 件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模
块通过处理 元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的 处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的 形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功 能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这 里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的 各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完 成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个 特定集成电路(application specific integrated circuit，简称asic)，一个或多个微处理器 (digital singnal processor，简称dsp)，一个或者多个现场可编程门阵列(fieldprogrammable gate array，简称fpga)等。当以上某个模块通过处理元件调度程序代码的形 式实现时，该处理元件可以是通用处理器，如中央处理器(central processing unit，简称 cpu)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0135]
实施例二
[0136]
本技术实施例提供一种基于跨域辅助训练的属性识别系统，所述基于跨域辅助训练的属 性识别系统包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口 通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通 信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使基于跨域辅助训 练的属性识别系统执行如实施例一所述基于跨域辅助训练的属性识别方法的各个步骤。
[0137]
上述提到的系统总线可以是外设部件互连标准(peripheral component interconnect，简称 pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。 该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表 示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他 设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如 至少一个磁盘存储器。
[0138]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称 cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digitalsignal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称 asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0139]
本发明所述的基于跨域辅助训练的属性识别方法的保护范围不限于本实施例列举的步 骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都 包括在本发明的保护范围内。
[0140]
本发明还提供一种基于跨域辅助训练的属性识别系统，所述基于跨域辅助训练的属性识 别系统可以实现本发明所述的基于跨域辅助训练的属性识别方法，但本发明所述的基于跨域 辅助训练的属性识别方法的实现装置包括但不限于本实施例列举的基于跨域辅助训练的属性 识别系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和
替换，都包括在本发 明的保护范围内。
[0141]
综上所述，本发明所述基于跨域辅助训练的属性识别方法、系统、设备及介质具有以下 有益效果：
[0142]
第一，本发明提出的同时使用有标注的合成数据和无标注的真实数据一同训练、两种数 据对应不同的学习任务、其中分割任务用于辅助类别预测任务的训练方法。大大提高了数据 数量和多样性，并且实现了只对图像中的主体人体进行属性识别。
[0143]
第二，本发明提出的利用行人属性与人体部位分块的对应关系，修正合成数据的属性标 签方法。有效合理利用合成数据，提高了本发明在训练阶段的稳定性和收敛速度。因此，本 发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0144]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。