亲缘关系判定方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及计算机图像处理领域，特别涉及亲缘关系判定方法、装置、电子设备及存储介质。


背景技术：

2.儿童失踪的社会新闻及文艺作品，使得走失儿童及其家属逐步走入大众视野，如何找回失踪的孩童成为其亲属最重要的事情，也影响了不少父母的人生走向。对于走失儿童的寻找，大多数采用幼时照片，并强调一些先天的面部特征，供社会爱心人士协助。但可以理解的是，孩童以及青年时期是人体生长的主要时间段，幼时的照片与待寻找人员当前的面部特征并不完全相同，对于待寻找人员的确认并不准确。
3.同时，存在根据走失儿童幼时的影像资料与普遍生长规律预测当前的面部特征，通过预测结果与数据库中的人脸图像数据进行匹配，以辅助对走失儿童进行寻找的方式；但由于仅通过个人图像与普遍生长规律相结合的预测方式不具有针对性，无法有效预测得到失踪儿童的当前状态，实现对于走失儿童的寻找和判断；并且存在孩童走失前还未存在影像资料，仅凭长辈口述特征，无法根据图像进行预测的情况。即，亟需一种基于人脸识别的高效亲缘关系判断方法。


技术实现要素：

4.本发明实施方式的目的在于提供一种亲缘关系判定方法、电子设备及存储介质，使得待测人员与待匹配家族亲缘关系的判定更准确，适用性更广。
5.为解决上述技术问题，本发明的实施方式提供了一种亲缘关系判定方法，包括以下步骤：从待匹配家族的家族图像集中选取多张人脸图像作为输入数据输入家族人脸特征提取模型中，得到待匹配家族的第一家族人脸特征；将第一家族人脸特征输入到个体人脸特征预测模型，得到待匹配家族中与待测人脸图像具有相同人脸属性的第一预测单个人脸特征；将从待测人脸图像提取的单个人脸特征与第一预测单个人脸特征进行比较，确定待测人脸图像与待匹配家族的亲缘关系。
6.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的亲缘关系判定方法。
7.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上所述的亲缘关系判定方法。
8.本技术提供的基于家族人脸特征的亲缘关系判定方法，通过获取待匹配家族的人脸特征（第一家族人脸特征），并通过个体人脸特征预测模型，得到待匹配家族中与待测人脸属性相同的个体的预测人脸特征（第一预测单个人脸特征）；然后将该预测人脸特征与待
测人脸图像的个体人脸图像进行比较，确定待测人脸图像是否属于该待匹配家族，以此确定亲缘关系。在本技术中，结合待匹配家族的家族特征和待测人脸的人脸属性对待匹配家族中最接近待测人脸属性的家庭成员进行预测，进而通过预测的单个人脸特征和待测人脸的人脸特征之间的相似度确定待测人员是否为待匹配家族中的失踪人员。这种亲缘判断方法同时考虑了家族特征及家族成员的生长规律，对于待测人员与待匹配家族亲缘关系的判定更准确，也不需要过多考虑失踪人员在失踪期间成长造成的人脸特征变化对识别精度的影响，且适用范围更广。
附图说明
9.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
10.图1是根据本技术一个实施方式所提供的亲缘关系判定方法的流程图；图2是根据本技术一个实施方式所提供的家族人脸特征提取模型的示意图；图3是根据本技术一个实施方式所提供的个体人脸特征预测模型的示意图；图4是根据本技术一个实施方式所提供的电子设备的示意图。
具体实施方式
11.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
12.本技术实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
13.本发明的一个实施方式涉及一种亲缘关系判定方法。具体流程如图1所示。
14.步骤101，从待匹配家族的家族图像集中选取多张人脸图像作为输入数据输入家族人脸特征提取模型中，得到待匹配家族的第一家族人脸特征；步骤102，将第一家族人脸特征输入到个体人脸特征预测模型，得到待匹配家族中与待测人脸图像具有相同人脸属性的第一预测单个人脸特征；步骤103，将从待测人脸图像提取的单个人脸特征与第一预测单个人脸特征进行比较，确定待测人脸图像与待匹配家族的亲缘关系。
15.本实施例中，通过获取待匹配家族的人脸特征（第一家族人脸特征），并通过个体
人脸特征预测模型，得到待匹配家族中与待测人脸属性相同的个体的预测人脸特征（第一预测单个人脸特征）；然后将该预测人脸特征与待测人脸图像的个体人脸图像进行比较，确定待测人脸图像是否属于该待匹配家族，以此确定亲缘关系。在本技术中，结合待匹配家族的家族特征和待测人脸的人脸属性对待匹配家族中最接近待测人脸属性的家庭成员进行预测，进而通过预测的单个人脸特征和待测人脸的人脸特征之间的相似度确定待测人员是否为待匹配家族中的失踪人员。这种亲缘判断方法同时考虑了家族特征及家族成员的生长规律，对于待测人员与待匹配家族亲缘关系的判定更准确，也不需要过多考虑失踪人员在失踪期间成长造成的人脸特征变化对识别精度的影响，且适用范围更广。
16.下面对本实施方式的亲缘关系判定方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
17.在步骤101中，从待匹配家族的家族图像集中选取多张人脸图像作为输入数据输入家族人脸特征提取模型中，得到待匹配家族的第一家族人脸特征；其中，所述家族人脸特征提取模型可预先训练得到。
18.在一个例子中，家族人脸特征提取模型包括特征提取层和特征融合层，家族人脸特征提取模型的训练过程包括：通过特征提取层提取家族图像样本中所包含的各单张图像的单个人脸特征；通过特征融合层将各所述单个人脸特征进行融合，得到所述家族图像样本对应的家族人脸特征。
19.具体地，所述家族人脸特征提取模型的特征提取层，用于提取家族人脸图像样本中所包含的各单张人脸图像的人脸特征，该特征提取层可以通过卷积神经网络实现；特征融合层，可以利用预先通过对家族人脸之间进行相似性比对，确定出的该家族所属的融合类型（性别、年龄等）的融合参数，对当前样本中包含的各人脸图像所对应的人脸特征按融合类型的融合参数设置权重，将不同人脸图像的人脸特征融合在一起，得到家族人脸特征。融合参数用于衡量该融合类型在融合时的重要性，其大小决定了与该融合类型对应的人脸特征在融合得到家族人脸特征时的特征权重。如图2所示，家族人脸特征提取模型包括：特征提取层、特征融合层。在对所述家族人脸特征提取模型进行训练时，可以在所述家族人脸特征提取模型后连接分类器一同训练，训练完成使用时不连接所述分类器；训练时将家族图像样本和非家族图像样本均输入到模型中进行训练；其中xi至xj为一个家族图像样中所包含的j个人脸图像，例如xj为该家族图像样本中第j个人脸图像；fj为第j个人脸图像经特征提取层提取所提取的第j个人脸特征；f
家族
为该家族图像样本对应的所有人脸特征经特征融合层融合后生成的家族人脸特征。
20.此外，为了完成家族人脸特征提取模型的训练，需要获取：
①
家族图像集：每个家族对应一个家族图像集，每个家族图像集中包含对应家族成员的多张人脸图像。例如：a家族人脸图像集表示为a=（a1，a2，
…
，an），b家族人脸图像集表示为b=（b1，b2，
…
，bn）
…
；
②
家族图像样本：每个家族图像样本中包含多个所属同一家族的人脸图像，该多个人脸图像可以为所属同一人的人脸图像（不同角度、不同年龄），或可以为部分或全部所属不同人的人脸图像；这样，同一家族可对应多个包含不完全相同人脸图像的家族图像样本，如：a家族图像样本1、a家族图像样本2、b家族图像样本1、b家族图像样本2
…
；形如：a家族图像样本1包括4个人脸图像，即a1=（a1，a2，a3，a4），a家族图像样本2包括4个人脸图像，即a2=（a1，a2，a6，a7）；
③
非家族图像样本：每个非家族图像样本中包含至少两个所属非同一家族的人脸图像，即
每个非家族图像样本中至少存在两个不同人的人脸图像，如：非家族图像样本1=（a1，a2，a3，c4）,非家族图像样本2=（a1，d2，a3，c4）。可选的，非家族图像样本可统一采用同一个标签进行标识。
21.其中，训练所述家族人脸特征提取模型的损失函数是基于所述各单张图像的单个人脸特征与所述家族人脸特征之间的损失，以及各所述家族人脸特征与对应的家族人脸标签之间的损失所共同构建。其中，各所述家族人脸特征与对应的家族人脸标签之间的损失，用于衡量特征融合层得到的不同家族的家族人脸特征相似度，控制该损失使得前述各家族人脸特征之间的相似度尽可能低，即类间距离尽可能大；例如：现有a家族和b家族两个家族的家族人脸标签，在得到a家族人脸特征与b家族人脸特征时，则通过调整模型训练参数使这两个家族人脸特征在距离上分别靠近自己对应家族的家族人脸标签，从而使两个家族对应的家族人脸特征之间的相似度尽可能变小，以使得家族之间的区别点更加清晰，对后续基于家族人脸特征进行预测时的家族间区别更明确。所述损失函数还包括所述各单张图像的单个人脸特征与所述家族人脸特征之间的损失，用于衡量特征提取层得到的各单个人脸特征与融合层得到的家族人脸特征之间特征相似度，并通过调整模型训练参数，控制该损失整体小于一定范围。例如，通过计算a家族人脸特征与a家族人脸图像样本中每个人脸图像的人脸特征之间的损失，使得获取的家族特征与同一家族内部的单个人脸特征更加接近。在针对人脸图像的进行家族标签标注时，可以使用家族人脸标签进行标识和区分；其中，由同一家族中的人脸图像所构成的家族图像样本按所属家族分别对应一个家族人脸标签，由非同一家族中的人脸图像所构成的家族图像样本共同对应一个家族人脸标签。即，对于家族图像样本，若均属于a家族，则对应a家族的家族人脸标签；若均属于b家族，则对应b家族的家族人脸标签；若部分属于a家族，部分属于b家族，也就是家族图像样本由非同一家族中的人脸图像所构成，则该家族图像样本对应某一特定家族人脸标签，例如对应k标签，k标签表示所述家族图像样本中包含不止一个家族的人脸图像。
22.在一个例子中，所述通过特征融合层将各所述单个人脸特征进行融合，得到所述家族图像样本对应的家族人脸特征，包括：按所述家族图像样本中各人脸图像所属的年龄段，为对应的所述单个人脸特征设置融合权重，并基于所述融合权重对各所述单个人脸特征进行加权融合。具体地，对于一个家族的人脸特征，随着年龄的变化通常孩子和老人的面部特征变化较大，而成年人阶段面部特征相对稳定，所以在基于人脸特征融合构建家族人脸特征时，可以按年龄段对不同年龄阶段的人脸图像进行分权重融合，例如成年人的人脸特征在融合后的家族人脸特征中比重较大，而孩子和老人的人脸特征在融合后的家族人脸特征中比重较小，以使得获取的家族人脸特征更加稳定，具体可通过注意力机制设置权重。
23.在一个例子中，获取所述待匹配家族的家族图像集，包括：获取待匹配家族成员的人脸图像，并对各成员的人脸图像进行如下至少一种的增广处理，形成所述待匹配家族的家族图像集：模糊、遮挡、剪切和随机添加噪声。即，当待匹配家族成员的人脸图像数量较少，无法获取家族人脸特征或获取的家族人脸特征效果不佳时，可对人脸图像进行增广处理，使其能够完成家族人脸图像的获取，增广处理包括但不限于：对待匹配家族成员的人脸图像进行模糊、遮挡、剪切和添加随机噪声等处理，以实现家族成员的人脸图像的数量的扩充，优化所获取的家族人脸特征的效果。
24.在步骤102中，将第一家族人脸特征输入到个体人脸特征预测模型，得到待匹配家
族中与待测人脸图像具有相同人脸属性的第一预测单个人脸特征。在本实施方式中，个体人脸特征预测模型，通过所获取的第一家族人脸特征和待测人脸图像的人脸属性，得到所述第一家族人脸特征在所述人脸属性调整下的第一预测人脸特征。即，预测所述待匹配家族的人脸图像在待测人脸图像的人脸属性下的特征，将该预测人脸特征与待测人脸图像所提取的特征进行比较，例如通过对比相似度，以判断所述待测人脸图像与所述待匹配家族的亲缘关系。
25.在一个例子中，所述个体人脸特征预测模型包括对应多种人脸属性类型的多个预测分支网络，所述个体人脸特征预测模型的训练过程包括：针对每个预测分支网络，通过该预测分支网络将经所述家族人脸特征提取模型产生的家族人脸特征，映射为对应家族中与所述该预测分支网络对应的人脸属性类型相同的预测单个人脸特征；其中，训练所述该预测分支网络的损失函数是基于所述家族人脸特征样本对应的所述预测单个人脸特征与所述家族人脸特征样本所涵盖的与所述该预测分支网络对应的人脸属性类型相同的单个人脸特征之间的损失。即，个体人脸特征预测模型包括多个预测分支网络，多个预测分支网络又对应多种人脸属性类型，人脸属性类型例如成年男性、成年女性、老年男性、老年女性和儿童等；针对任一个预测分支网络，当该预测分支网络对应的人脸属性类型为q时，在对家族人脸特征样本映射得到属性为q的预测单个人脸特征pq之后，从所述家族人脸特征样本生成过程中所述家族人脸特征提取模型的输入数据中找到满足q属性的人脸图像xq，在所述家族人脸特征提取模型的特征提取层处理之后，确定该属性为q的人脸图像xq的人脸特征fq，并用该属性为q的人脸特征fq与所述映射得到的属性为q的预测单个人脸特征pq取差值，作为损失用以调整所述个体人脸特征预测模型；在损失小于预设损失边界值时，得到最优个体人脸特征预测模型。其中，所述家族人脸特征提取模型与所述个体人脸特征预测模型间的数据交互关系如图3所示，其中p1到pn为所述个体人脸特征预测模型的预测结果。
26.在一个具体实例中，当某一预测分支网络对应的人脸属性类型为男性儿童，根据所述属性所预测得到的预测单个人脸特征为p1，且{x1、x2……
xn}中x2为男性儿童，则取x2对应的f2与p1相比较，以衡量和调整所述个体人脸特征预测模型。
27.在一个例子中，所述亲缘关系判定方法还包括：以所述待测人脸图像替换所述多张人脸图像中的至少一张图像，并将替换后的多张人脸图像输入所述家族人脸特征提取模型中，得到第二家族人脸特征；将所述第二家族人脸特征输入到所述个体人脸特征预测模型，得到替换家族成员后的所述待匹配家族中与待测人脸图像具有相同人脸属性的第二预测单个人脸特征；将从所述待测人脸图像提取的单个人脸特征与所述第二预测单个人脸特征进行比较，确定所述待测人脸图像与所述待匹配家族的亲缘关系。具体地，以所述待测人脸图像替换部分家族图像集中的人脸图像，即获取所述待测人脸图像在所述待匹配家族的人脸图像的影响下的第二家族人脸特征；其中，不支持所述待测人脸图像完全替换所述多张人脸图像的所有图像。由于得到的第二家族人脸特征为所述待测人脸图像在待匹配家族的人脸特征的影响下生成，且个体人脸特征预测模型映射所参考的人脸属性与所述待测人脸图像的人脸属性一致，则由第二家族人脸特征进一步通过个体人脸特征预测模型得到的第二预测单个人脸特征与所述待测人脸图像中所提取的单个人脸特征，理论上的区别主要由所述待匹配家族的人脸图像参与第二家族人脸特征的过程产生。即第二家族人脸特征与待测人脸图像的单个人脸特征的差值能够衡量待测人脸图像与待匹配家族的亲缘关系；例
如，当第二家族人脸特征与待测人脸图像的单个人脸特征的差值大于预设阈值，则表示所述待匹配家族的家族人脸特征对于所述待测人脸图像的单个人脸特征影响较大，也就是待匹配家族的家族人脸特征与所述待测人脸图像的单个人脸特征的区别较大，可判定为所述待测人脸图像不属于所述待匹配家族。
28.具体地，以待测人脸图像替换所述多张人脸图像中的至少一张图像，包括：以待测人脸图像替换所述多张人脸图像中与所述待测人脸图像的人脸属性一致的图像，得到所述替换后的所述多张人脸图像；所述人脸属性包括：性别属性和/或年龄属性。可选的，待测人脸图像可以替换多张人脸图像中与其性别一致或年龄一致的人脸图像，优选的替换性别和年龄均一致的图像；即，在人脸属性一致的情况下进行替换，避免人脸属性因素在替换前后的不同对于获取第二家族人脸特征的过程的影响，提高对于亲缘关系检测的准确性。
29.在一些例子中，所述待测人脸图像为待测人脸所属不同年龄段的多张图像；所述以待测人脸图像替换所述多张人脸图像中的至少一张图像，包括：以各所属不同年龄段的所述待测人脸图像分别对应替换所述多张人脸图像中与所述待测人脸图像的人脸属性一致的图像，得到所述替换后的所述多张人脸图像；所述人脸属性包括：性别属性和年龄属性。即，考虑年龄这一属性对于预测判断结果的影响，从样本出发，提供待测人脸多年龄段的图像，在对于所述多张人脸图像进行替换的过程中可针对不同年龄阶段进行对应替换，降低年龄因素对于第二家族人脸特征提取过程中的影响，并且使得各年龄段都有待测人脸图像的单个人脸特征，保证第二家族人脸特征与所述待测人脸图像的相关性，提高对于亲缘关系判定的准确性。
30.在步骤103中，将从待测人脸图像提取的单个人脸特征与第一预测单个人脸特征进行比较，确定待测人脸图像与待匹配家族的亲缘关系。具体地，由于待测人脸图像的单个人脸特征与第一预测单个人脸特征的属性一致，即可以避免人脸属性对于亲缘关系判定的影响，即待测人脸图像的单个人脸特征与第一预测单个人脸特征之间的差值（或相似度区别）可排除性别、年龄等人脸属性的影响，对于亲缘关系的判定更加准确。
31.在一个例子中，从所述待测人脸图像提取所述单个人脸特征，包括：将所述待测人脸图像输入所述家族人脸特征提取模型的所述特征提取层中，得到所述待测人脸图像的单个人脸特征。即，从待测人脸图像提取单个人脸特征时，可复用所述家族人脸特征提取模型实现，即采用所述家族人脸特征提取模型中的特征提取层得到所述单个人脸特征，不需要新增其他手段和途径，以此降低操作复杂程度。
32.本实施方式中，通过获取待匹配家族的第一家族人脸特征，预测其在与待测人脸相同人脸属性下的第一预测单个人脸特征，即得到待匹配家族与待测人脸相同人脸属性下的人脸特征；通过所述第一预测单个人脸特征与待测人脸的单个人脸特征相比较，确定待测人脸图像是否属于该待匹配家族，以此确定亲缘关系。在本技术中，结合待匹配家族的家族特征和待测人脸的人脸属性对于待匹配家族中最接近待测人脸属性的家庭成员的当前状态进行预测，进而通过预测的单个人脸特征和待测人脸的人脸特征之间的相似度确定待测人员是否为待匹配家族中的失踪人员。这种亲缘判断方法同时考虑了家族特征及家族成员的生长规律，对于待测人员与待匹配家族亲缘关系的判定更准确，也不需要过多考虑失踪人员在失踪期间成长造成的人脸特征变化对识别精度的影响，适用范围更广。此外，还允许以待测人脸图像替换部分家族人脸图像得到第二家族人脸特征，预测得到第二预测单个
人脸特征与待测人脸图像的单个人脸特征进行比较，根据待匹配家族图像对于待测人脸图像的影像，判定亲缘关系，在保证亲缘关系识别的基础上，减少对于家族图像数量的需求，降低亲缘关系判断过程中需要投入的资源条件，提升用户体验。
33.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
34.本发明的一个实施方式涉及一种电子设备，如图4所示，包括至少一个处理器201；以及，与所述至少一个处理器201通信连接的存储器202；其中，所述存储器202存储有可被所述至少一个处理器201执行的指令，所述指令被所述至少一个处理器201执行，以使所述至少一个处理器201能够执行上述的亲缘关系判定方法。
35.其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
36.处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
37.本发明的一个实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
38.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
39.本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。