一种用于电子相册管理的人物家庭关系构建方法与流程

本发明属于计算机视觉、图像处理领域，尤其涉及一种用于电子相册管理的人物家庭关系构建方法。

背景技术

家庭照片是一类重要且特殊的图像资源，对其中的亲属关系进行识别可用于家谱构建以及电子相册管理。目前，基于图像的亲属关系识别已成为人脸分析领域的一个新的分支。但是，已有方法以单张照片为研究对象，且将重点放在成对关系类型的判别上，没有从家庭整体结构考虑，导致亲属关系识别准确率不高。因此，基于但不限于图像处理的视觉方法，从相册集角度出发，提出一种家庭树构建算法以提升亲属关系识别率，对于有效分析家庭完整结构和成员关系十分有益。

技术实现要素：

发明目的：针对上述现有方法存在的问题和不足，本发明旨在基于人脸识别的视觉方法，从相册集整体考虑，提出一种基于图结构模型的家庭树自动构建算法，同步进行人物家庭关系的识别，进而实现电子相册的自动管理。

技术方案：为实现上述发明目的，本发明具体技术方案如下：一种用于电子相册管理的人物家庭关系构建方法，该方法包括以下步骤：

(1)对电子相册中所有照片进行人脸检测，确定人脸框位置和人脸标志点坐标；

(2)根据人脸视觉特征，采用聚类算法，得到人脸聚类；

(3)根据照片上下文约束对聚类结果进行调整，将不可能出现在同一类中的样本分开，并根据类共现情况合并误分开的类；

(4)对各聚类结果中的多个人脸样本进行年龄、性别估计，经过数据过滤和平均，为每个聚类确定年龄、性别估计的最终结果；

(5)对父母-孩子关系进行判别；

(6)基于图结构模型组合家庭树；

(7)生成一棵完整的家庭树，完成所有照片人物间亲属关系类型的识别。

其中，步骤(3)中，所述照片上下文约束，一方面从照片层面考虑，在步骤(2)实施dbscan聚类算法过程中，限制同一张照片中出现的多个人脸不属于同类，避免将不同人聚为一类；另一方面，在人脸聚类层面上，根据照片样本中的人物共现关系构建人脸聚类共现图，也即根据各个聚类中人物的照片样本，统计照片样本中参与拍照的人物集合。若不同的类统计出的人物集合相似度达到给定阈值，则将这些不同的类合并为一类，避免将同一人误分为多类。

其中，步骤(4)中，对步骤(3)聚类后的人脸图像进行年龄和性别估计，使用包含3个卷积层、2个全连接层的卷积神经网络，再经过一个八分类、一个二分类的rbf核svm分类器，分别输出八个年龄段和男性、女性的分类结果，完成对每个人脸样本的属性预测；通过数据过滤和平均，得出每个人脸聚类年龄、性别估计的最终结果，并根据年龄信息对家庭成员进行分层，即孩子、父母和祖父母，相邻的上下两层间存在父母-孩子的亲属关系。

其中，步骤(5)中，所述父母-孩子核心亲属关系判别方法，基于人脸部件字典进行待查询人脸的重构，挖掘亲属间的局部相似性。

其中，步骤(5)中，所述父母-孩子关系判别方法如下：在步骤(4)基础上，选择家庭成员分层中的相邻两层进行孩子-父母亲属关系匹配，即为每个孩子寻找其最可能归属的父母。首先，根据步骤(1)中的人脸标志点坐标，将所有样本的面部区域分割成多个部件；然后，根据年龄和性别选出候选夫妻，并按部件类别不同，分别构建出属于该对夫妻的各类部件特征字典；最后，针对每个待查询孩子人脸样本，使用sparsegrouplasso方法，在候选夫妻部件字典中对各人脸部件进行动态组合，得到待查询人脸的最佳重建，并将重建系数最大的候选夫妻判断为待查询孩子的双亲。

其中，步骤(6)中，所述图结构模型组合家庭树时，同时考虑树中单个节点安放位置的可能性和两个节点安放位置的兼容性，从而调整步骤(4)和(5)中人脸属性分析结果对节点预测的安放位置。

其中，步骤(6)中，所述基于图结构模型组合家庭树的方法如下：利用有向图表示家庭树，并通过预设约束使其满足树结构。完成树中节点和边的定义后，家庭树示例的结构可由位置信息给出；其中，由相册集分析构造家庭树模型的目标即为最大化能量函数，利用图结构模型，视每张照片为树的部分枝干，根据可变形部件思想，综合考虑树的整体结构以及各枝干间的协调性，构造出能量函数的数学表达式。

其中，假设从相册集中共检测出n个人脸，每个人脸对应家庭树中的一个节点，由相册集分析构造家庭树模型的目标即为最大化如下能量函数：

上式中，pi(li)表示将节点vi放到位置li处的可能性，cij(li,lj)表示将节点vi，vj分别放到位置li，lj处时，两节点位置关系的兼容性，为相册集中每张人脸找到最佳放置即可表示为：

其中，在最大化能量函数中，对相册集中检测到的n个人脸进行特征提取，构成特征向量集合f＝[f1,f2,...,fn]，则pi(li)表示将vi对应的人脸特征向量fi归入li对应的人脸聚类ci中的置信度，在数值上等价于条件概率p(fi|ci)，采用fi到类中心的马氏距离进行度量，距离用如下公式表示：

其中，代表类ci的中心点，为类ci的协方差矩阵，用来描述类内数据点分布的离散情况，为协方差矩阵的行列式，采用极差变换法将所求距离d映射到[0，1]区间上作为pi(li)的取值，得出将vi放在li处的置信度。

其中，所述cij(li,lj)用来描述vi,vj两节点安放位置的兼容性，节点间兼容性可根据预设的亲属关系规则进行判断。

有益效果：与现有技术相比，本发明具有以下有益技术效果：

1、本发明利用相册集多样本间的协同作用，克服了以往方法使用单张照片识别易受人物表情、光照等干扰因素影响的不足，使亲属关系类型识别具有更高的精度；

2、本发明采用家庭树形式对所有家庭成员的角色进行描述，利用图结构模型在识别过程中起到的调整和纠正作用，有效提升了照片中人物亲属关系类型鉴别的效率和准确性。

附图说明

图1是本发明一种用于电子相册管理的人物家庭关系构建方法流程图。

图2是本发明的处理步骤示意图。

图3是本发明的人脸部件分割示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明的一种用于电子相册管理的人物家庭关系构建方法，其流程图如图1所示，该方法的处理步骤如图2所示，详细步骤如下：

(1)相册集人脸检测

首先对相册集中人物照片进行预处理，使用基于三层级联架构设计的卷积神经网络mtcnn进行多任务人脸检测，同时完成人脸框和人脸标志点坐标的定位。

(2)人脸聚类

首先考虑人脸外貌特征，采用facenet通用人脸识别系统的嵌入向量表示人脸特征。由于facenet深度网络直接进行图像到欧氏距离的端到端学习，因此网络输出的128维人脸特征向量可直接用于后续聚类算法中人脸相似性度量。这里，采用无需设置初始类数目的密度聚类算法dbscan，对facenet输出的特征向量进行聚类。经过该步骤，所有人脸样本将被划分为多个类簇。

(3)照片上下文调整

由于人脸在不可控环境下受光照、拍摄角度等干扰因素影响，即使是深层卷积网络提取出的视觉特征也有表现不佳的时候。因此，仅通过人脸图像特征来聚类还不够，考虑加入照片中人脸以外的信息，也即“照片上下文”作为补充。由于经常出现在同一张照片中的人物，以下简称“人物共现度”，往往具有更亲密的关系，这种人物共现度信息作为一种稳定且易得的上下文，是理想的辅助信息。人物共现度信息主要在照片和人脸聚类两个层面上发挥作用：

(3.1)“勿连”限制：在照片层面上，在一张照片中出现的多个人脸，不可能属于同一类，此勿连约束可在上述步骤(2)的dbscan算法聚类过程中作为判断条件加入，该限制是严格的。

(3.2)“连通”建议：在人脸聚类层面上，如果两个类的共现关系高度相似，则它们有可能是同一类，这是基于对人们通常和相同群体一同拍照现象的观察。结合它们的类间距离，可以给出它们被连通的置信度，从而对步骤(2)的聚类结果进行调整，该建议是非严格的。

上述“勿连”限制作为严格约束，用于改善将不同人脸聚到一类的情况，而“连通”建议则为了将原本属于同一人的类合并到一起，建议的可信度由权重系数衡量。下面用数学公式将以上两条信息表示出来。

首先，假设给定的照片集中有t张照片{ph1,ph2,...,pht}，从中共检测出n个人脸，用表示出现在照片t中的人脸fi。通过聚类算法，将n个人脸组成的样本集{f1,f2,...,fn}划分为k个不相交的类{ck|k＝1,2,...,k}。首先定义两个类的共现关系，类ca和类cb在照片pht上共现是指：照片pht中至少含有两个人脸，其中一个来自类ca，另外一个来自类cb。根据“勿连”限制，在任何照片上同时出现的两个类都不可能为同一类，相当于反合并力量(为了和下面另一种类共现情况区分，此处以能够促使类合并为正，将其称为反共现)。因此，类ca和类cb的反共现值可由公式(1)表示：

式(1)中，照片pht即为含有两个及以上人脸的照片，且照片中第i个人脸被聚到类ca中，第j个人脸被聚到类cb中，反共现值大小则用符合上述条件的照片pht的数量衡量。

以上描述的是照片层面共现度的衡量方法，接下来构建人脸聚类共现图，分析类和类之间不同的共现情况，展开对人脸聚类层面共现度的研究。具体地，定义图g＝(v,e)，节点集合v由两种不同类型节点组成：v＝v^s∩v^g，其中对应单个类，将此类节点称为单点；用来对应在同一图像上出现的多个类，称之为合点。这样，对于所有包含一人以上的照片pht，设是由含pht中人脸的类构成的集合，由此构建出个合点，即对每一个人脸聚类取其补集单点和合点之间有边的条件是至少出现在的上下文中一次，边的权重使用满足这一条件的照片数量衡量。最终，根据类共现图，设置类合并阈值为照片样本总数的一半，若不同单点连接相同合点的所有边的权重之和大于阈值，则将多个单点对应的多个不同类合并为同一类。

(4)年龄和性别估计

对步骤(3)聚类后的人脸样本进行年龄和性别估计。首先，使用包含3个卷积层、2个全连接层的卷积神经网络，再经过一个八分类、一个二分类的rbf核svm分类器，输出八个年龄段(0-2、4-6、8-13、15-20、25-32、38-43、48-53、>60)和两类性别(男性、女性)的分类结果，完成对每个人脸样本的属性预测。然后，对类中多个样本的预测数据进行过滤和平均。首先，将所得预测数据中与平均值的偏差超过三倍标准差的数据值视为异常值，并剔除。然后，对其余数据求平均值，作为每个人脸类簇最终的年龄和性别估计结果。最终，根据以上年龄识别信息，按0-20、25-43、>43三个年龄等级范围，将家庭成员分为孩子、父母和祖父母三个层次，相邻的上下两层间存在父母-孩子亲属关系。

(5)父母-孩子关系判别

该步骤在步骤(4)分层结果的基础上，选择家庭成员分层中的相邻两层进行孩子-父母亲属关系匹配，即为每个孩子寻找其最可能归属的父母。首先，根据步骤(1)中检测出的5个人脸标志点，将所有人脸样本的面部区域分割成眉毛、眼睛、鼻子、嘴巴、下颌、面部等6个部件，具体分割位置如图3所示；然后，将属于同一年龄层、性别不同的两人组合为一对候选夫妻，按照图3中的6个位置从每对候选夫妻所有图像样本中取出各部件区域，然后对每个部件块p提取sift特征，构建对应的字典d(p)。这样，通过在候选夫妻的部件字典中搜索特征，得到待查询孩子人脸的最佳重构。使用sparsegrouplasso方法求解该最优化问题，用公式表示如下：

上式中，y为待查询人脸的特征向量，d为部件字典中所有特征，α＝[α1,α2,...,αn]包含了在n对夫妻面孔上进行重建的系数。为l1范数和l2范数的组合，l1范数用于将不同对夫妻间重建系数结果相加，l2范数用于确定同一对夫妻内的重建系数权重。λ2||α1||为对α稀疏性进行约束的l1范数。然后，针对所有αi，将重建系数最大的夫妻判断为待查询孩子的双亲。

通过上述步骤，充分利用每个孩子的样本集，为其寻找到最可能归属的父母。除了孩子和父母，若夫妻双方都有各自的双亲，则进一步判断他们间的匹配关系。考虑到祖父母的样本照片和父母相比数量要少很多，捕捉到相似表情的可能性降低，但由于两对祖父母之间没有任何血缘关系，因此，算法仍有区分力。祖父母-父母-孩子关系一旦确立，整个家庭树的骨架也随之成形。

(6)基于图结构模型组合家庭树

上述家庭树构建任务的一个自然描述即为有向图g＝(v,e)，顶点v＝{v1,...,vn}对应n张待测的人脸区域图像，边eij＝(vi,vj)∈e表示节点vi和vj直接相连，即它们具有父母—孩子的关系。有了节点和边的定义之后，一个家庭树示例的结构可由位置信息l＝{l1,...,ln}构造出，这里li(i＝1,...,n)分别与上述节点vi一一对应。根据家庭成员个数k，li(i＝1,...,n)的取值为{1,...,k}中的某一个。这样，由照片集分析构造家庭树模型的目标即为最大化下列能量函数：

上式中，pi(li)表示将vi放到位置li处的可能性，cij(li,lj)表示将节点vi，vj分别放到位置li，lj处时，两节点位置关系的兼容性。这样，为相册集中每张人脸找到最佳放置即可表示为：

对任意图g和任意形式函数pi、cij，解(4)式最大化问题是一个np难问题。但是，针对一种特殊形式的图结构树，会有十分高效的求解方法。考虑该任务：由于树结构的定义中要求除了根节点外的所有其他节点都有且只有唯一的父节点，要想满足这一条件，在考虑家庭树中人物关系时，只将父母-孩子这一核心关系作为节点间唯一的连接。此外，由于非根节点只能有唯一的父节点，这里将家庭树中的配偶节点附加到目标节点上。从外部看，作为一个节点与下一层的子节点连接，而在内部仍然保留两者的全部特征。

这样，构建出的家庭树就是满足了树结构的一个特殊图，该树结构中除根节点外，所有节点都有且仅有唯一的父节点。因此，每个节点的最佳放置点可在已知自己父节点放置位置的基础上寻找，而无需考虑其他节点。这样，所有节点相对根节点为参考起点的最佳放置位置l*可通过递推方式求解。采用动态规划算法计算(4)式，由于当前步的计算需要上一步的结果，因此可将每一步的结果存下来，避免重复计算，从而大大加快处理速度。

对于能量函数式(3)中两个重要组成函数pi(li)和cij(li,lj)：pi(li)函数的作用是表示将vi放在li处的置信度。设人脸数据集f＝[f1,f2,...,fn]，pi(li)实际可表示为vi对应的人脸特征向量fi归入li对应的类ci中的置信度，在数值上等价于条件概率p(fi|ci)。具体地，采用fi到类中心的马氏距离对pi(li)进行度量，其距离用如下公式表示：

其中，代表类ci的中心点，为类ci的协方差矩阵，用来描述类内数据点分布的离散情况，为协方差矩阵的行列式。最终，采用极差变换法将所求距离d映射到[0,1]区间上作为pi(li)的取值，得出将vi放在li处的置信度。

能量函数式(3)中的另一组成部分cij(li,lj)用来描述vi,vj两节点安放位置的兼容性。首先，节点间兼容性可根据社会先验知识对某种亲属关系的成立或违背进行判断，针对三代人家庭中的亲属关系，所涉及的先验约束规则归纳在表1中：

表1：三代人间亲属关系约束规则

上述强制约束将作为第一优先级判断，第二级判断为年龄差和性别。考虑一般情况，处于家庭树中上下两层位置的是两代人，年龄差应当在18-40岁范围内；此外，一对夫妻的年龄差不超过20岁，且性别必须不同。第三级判断基于人物共现概率，例如，父亲虽然和叔叔长得很像，但相比之下，父亲出现在自己核心家庭的概率要大很多。

综上，通过步骤(1)-(6)，从无到有完成整个家庭树的构建，识别出了每个成员的家庭角色。同时，为相册集中所有被检测到的人脸预测了在家庭树中的最佳安放位置，鉴别出了每张照片中人物间的亲属关系类型，以上分析结果可用于家庭相册的自动管理。