一种基于零样本学习的人脸属性打标方法及系统与流程

本发明属于人工智能的，特别是涉及一种基于零样本学习的人脸属性打标方法及系统。

背景技术：

1、传统人脸属性打标方法通常依赖于大量已标记数据，通过监督学习的方式进行模型训练。这种方法的局限性在于对大量标记数据的需求，而在实践中，获取和标记大规模数据是一项耗时且昂贵的任务。诸如生成对抗网络(gans)和支持向量机(svm)等算法被广泛用于人脸图像处理和属性识别。然而，这些算法在面对零样本学习场景时面临挑战，因为它们通常依赖于大量标记数据进行训练。

2、与此同时，零样本学习作为一种新兴的学习范式，通过学习从已知类别到未知类别的映射关系，可以在没有关于未知类别的标记样本的情况下进行预测。本发明基于零样本学习，旨在解决传统方法对大量已标记数据的依赖问题，以及面对未知人脸属性时的识别困难。零样本学习中常用的算法如零样本分类(zero-shot learning，zsl)、候选分类器(classifier candidate generation，ccg)和属性嵌入(attribute embedding)等，为解决零样本学习提供了理论基础和实践支持。

3、另一方面，零样本学习要求我们能够在没有相关标记数据的情况下识别新属性。常用的算法如零样本分类(zero-shot learning，zsl)、候选分类器(classifiercandidate generation，ccg)和属性嵌入(attribute embedding)等，为解决零样本学习提供了理论基础和实践支持。这些算法允许我们将已知属性的知识迁移到未知属性的识别过程中，从而在面对未知人脸属性时提供更可靠的打标方法。

技术实现思路

1、本发明为解决上述背景技术中存在的技术问题，提供了一种基于零样本学习的人脸属性打标方法及系统。

2、本发明采用以下技术方案：一种基于零样本学习的人脸属性打标方法，包括以下步骤：

3、从人脸图片中提取人脸信息，所述人脸信息包括：人脸包围框和人脸关键点坐标集；将采集到的人脸信息利用映射矩阵m对齐到标准模版人脸上得到人脸图像；

4、基于所述人脸图像训练clip模型，利用所述clip模型将所述人脸图像转化为人脸高维向量v；使用blip算法对待打标图片进行摘要提取，并扩充得到属性文本；

5、将属性文本输入taiyi-clip模型，通过taiyi-clip模型输出属性值高维向量uk；根据人脸高维向量v和属性值高维向量uk计算得分，为目标人脸打上最高分相应的属性标签。

6、在进一步的实施例中，所述人脸包围框采用以下形式表达：[x1,y1,x2,y2]，x1,y1为人脸的左上角位置坐标，x2,y2为人脸的右下角位置坐标；

7、所述人脸关键点坐标集为{(p1x,p1y),(p2x,p2y),…,(pjx,pjy)}，其中，(pjx,pjy)为关键点j的位置坐标。

8、在进一步的实施例中，所述映射矩阵m的表达如下：

9、定义q为输入的人脸图像的坐标点组成的矩阵，s为标准模版人脸的坐标点组成的矩阵，m为将人脸图像映射到标准模版人脸的映射矩阵，则有：q′＝qm；

10、将min∑(q′-s)2定义为需要最小化的变量，使得映射后的q′无限接近于s，即min∑(qm-s)2，则m＝(qtq)-1qts。

11、在进一步的实施例中，所述人脸图像的获取流程如下：

12、将人脸包围框[x1,y1,x2,y2]采用映射矩阵m映射到标准模版人脸后得到新的人脸包围框[x′1,y′1,x′2,y′2]；将所述新的人脸包围框[x′1,y′1,x′2,y′2]扩充到预定大小得到最终的人脸包围框[x″1,y″1,x″2,y″2]；

13、将人脸关键点坐标集为{(p1x,p1y),(p2x,p2y),…,(pjx,pjy)}采用映射矩阵m映射到标准模版人脸后得到新的人脸关键点坐标集{(p1’x,p1’y),(p2’x,p2’y),…,(pj’x,pj’y)}；将所述新的人脸关键点坐标集{(p1’x,p1’y),(p2’x,p2’y),…,(pj’x,pj’y)}扩充到预定大小得到最终的人脸关键点坐标集{(p1”x,p1”y),(p2”x,p2”y),…,(pj”x,pj”y)}；

14、则，最终的人脸包围框[x″1,y″1,x″2,y″2]和最终的人脸关键点坐标集{(p1”x,p1”y),(p2”x,p2”y),…,(pj”x,pj”y)}构成人脸图像。

15、在进一步的实施例中，所述人脸高维向量v为一个维度为768维的double型向量，

16、在进一步的实施例中，所述属性值高维向量uk为k个维度为768维的double型向量，

17、在进一步的实施例中，还包括对人脸高维向量v和/或属性值高维向量uk进行归一化和double转byte处理。

18、在进一步的实施例中，根据人脸高维向量v和属性值高维向量uk计算得分的步骤如下：

19、计算人脸高维向量v和属性值高维向量uk的相似度simk：

20、

21、对得到的相似度simk采用softmax函数归一化处理得到sorek：

22、

23、则，采用sorek最大的属性值作为目标人脸的属性标签：index＝argmax1＜＝k＜＝k(sorek)。

24、一种基于零样本学习的人脸属性打标系统，用于实现如上所述的打标方法，包括：

25、人脸检测模块，被设置为从人脸图片中提取人脸信息，所述人脸信息包括：人脸包围框和人脸关键点坐标集；

26、人脸对齐模块，被设置为将采集到的人脸信息利用映射矩阵m对齐到标准模版人脸上得到人脸图像；

27、人脸向量化模块，被设置为基于所述人脸图像训练clip模型，利用所述clip模型将所述人脸图像转化为人脸高维向量v；

28、属性文本向量化模块，被设置为使用blip算法对待打标图片进行摘要提取，并扩充得到属性文本；

29、属性识别模块，被设置为将属性文本输入taiyi-clip模型，通过taiyi-clip模型输出属性值高维向量uk；

30、根据人脸高维向量v和属性值高维向量uk计算得分，为目标人脸打上最高分相应的属性标签。

31、本发明的有益效果：相较于传统人脸属性打标方法，本发明利用零样本学习和clip模型，无需大量标记数据即可实现准确的人脸属性打标。通过将文本和图像转换为向量化表示，系统能高效理解和匹配人脸特征和属性描述，提高了属性识别的精度和效率。整合多模块构建了高效准确的人脸属性打标系统，为人脸识别领域带来了显著的技术优势。

技术特征：

1.一种基于零样本学习的人脸属性打标方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于零样本学习的人脸属性打标方法，其特征在于，所述人脸包围框采用以下形式表达：[x1，y1，x2，y2]，x1，y1为人脸的左上角位置坐标，x2，y2为人脸的右下角位置坐标；

3.根据权利要求1所述的一种基于零样本学习的人脸属性打标方法，其特征在于，所述映射矩阵m的表达如下：

4.根据权利要求2所述的一种基于零样本学习的人脸属性打标方法，其特征在于，所述人脸图像的获取流程如下：

5.根据权利要求1所述的一种基干零样本学习的人脸属性打标方法，其特征在于，所述人脸高维向量v为一个维度为768维的double型向量，

6.根据权利要求1所述的一种基于零样本学习的人脸属性打标方法，其特征在于，所述属性值高维向量uk为k个维度为768维的double型向量，

7.根据权利要求1所述的一种基于零样本学习的人脸属性打标方法，其特征在于，还包括对人脸高维向量v和/或属性值高维向量uk进行归一化和double转byte处理。

8.根据权利要求1所述的一种基于零样本学习的人脸属性打标方法，其特征在于，根据人脸高维向量v和属性值高维向量uk计算得分的步骤如下：

9.一种基于零样本学习的人脸属性打标系统，用于实现如权利要求1至8中任意一项所述的打标方法，其特征在于，包括：

技术总结
本发明公开一种基于零样本学习的人脸属性打标方法及系统，属于人工智能的技术领域。包括：从人脸图片中提取人脸信息，将采集到的人脸信息利用映射矩阵M对齐到标准模版人脸上得到人脸图像；利用CLIP模型将所述人脸图像转化为人脸高维向量V；使用BLIP算法对待打标图片进行摘要提取，并扩充得到属性文本；将属性文本输入Taiyi‑CLIP模型，通过Taiyi‑CLIP模型输出属性值高维向量U<subgt;k</subgt;；根据人脸高维向量V和属性值高维向量U<subgt;k</subgt;计算得分，为目标人脸打上最高分相应的属性标签。本发明将已知属性的知识迁移到未知属性的识别过程中，从而提高打标效率和准确性，推动人脸属性打标领域的发展。

技术研发人员：周龙,王海荣,吕晓宝,王元兵,冯凯
受保护的技术使用者：中科曙光南京研究院有限公司
技术研发日：
技术公布日：2024/3/17