基于人脸识别的家庭图谱构建方法及装置、计算设备与流程

文档序号：13821398阅读：228来源：国知局

本发明涉及人脸识别技术领域，具体涉及一种基于人脸识别的家庭图谱构建方法及装置、计算设备。

背景技术：

家庭图谱是基于图像信息构建的家庭成员之间的关系图谱，家庭图谱能够为摄像头及与摄像头连接的终端设备的扩展功能提供技术支持。例如，为用户家庭画像、视频主动通话以及针对性推荐服务等功能提供技术支持。

现有技术中构建家庭图谱的方式有两种：方式一，依靠用户主动上传构建；方式二，基于聊天记录，挖掘用户家庭成员关系，以此确定家庭图谱。上述方式一依赖于用户主动上传，缺乏灵活性，且一定程度上限制了用户的使用，用户体验效果差；方式二存在不确定性，准确性低，例如聊天记录中可能不包含爸爸、妈妈之类的称呼，且聊天记录并非一定存在某些服务中，因此不容易获取。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于人脸识别的家庭图谱构建方法及装置、计算设备。

根据本发明的一个方面，提供了一种基于人脸识别的家庭图谱构建方法，包括：

对给定图片集合中的图片进行人脸检测，得到人脸图片录入到人脸数据库中；

将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合；

针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性；

根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱。

进一步的，所述对给定图片集合中的图片进行人脸检测，得到人脸图片录入到人脸数据库中进一步包括：

针对给定图片集合中的任一图片，初始化检测框窗口，确定检测框窗口的滑动初始位置；

提取检测框窗口内的特征，将所述检测框窗口内的特征输入到分类器中，根据分类器的输出结果确定所述检测框窗口内是否为人脸图片；滑动所述检测框窗口，重新执行本步骤直至得到图片内的所有人脸图片。

进一步的，在得到人脸图片之后，将人脸图片录入到人脸数据库中之前，所述方法还包括：检测人脸图片中的特征点，根据所述特征点对人脸图片进行人脸对齐处理。

进一步的，在所述对给定图片集合中的图片进行人脸检测之前，所述方法还包括：实时获取摄像头拍摄的图片，将图片加入到所述给定图片集合中。

进一步的，所述对给定图片集合中的图片进行人脸检测具体为：以预设的时间间隔，对给定图片集合中新加入的图片进行人脸检测。

进一步的，所述将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合进一步包括：

利用训练得到的人脸验证模块提取所述人脸图片的特征；

根据相似度算法计算所述人脸图片的特征之间的相似度，将相似度高于预设阈值的人脸图片存储在人脸类集合的一个人脸类中。

进一步的，在将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合之后，所述方法还包括：删除人脸图片数量小于预设值的人脸类。。

进一步的，所述针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性进一步包括：

根据人脸年龄识别算法对该人脸类中的人脸图片进行年龄特征识别，得到该人脸类的年龄属性；

根据人脸性别识别算法对该人脸类中的人脸图片进行性别特征识别，得到该人脸类的性别属性。

进一步的，所述根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份进一步包括：

根据各人脸类的年龄属性确定各人脸类对应的家庭成员的辈分；

根据各人脸类的性别属性以及辈分确定各人脸类对应的家庭成员的身份。

进一步的，在所述得到家庭图谱后，所述方法还包括：根据人脸数据库中的人脸图片的更新情况，对家庭图谱中的家庭成员进行修正处理。

进一步的，所述根据人脸数据库中的人脸图片的更新情况，对家庭图谱中的家庭成员进行修正处理进一步包括：

在预设的时间周期内，计算家庭图谱中的家庭成员在人脸数据库中出现的频率，删除家庭图谱中出现的频率低于预设频率的家庭成员；

和/或，在预设的时间周期内，根据人脸数据库中新增的人脸图片的情况，增加新的家庭成员到家庭图谱中。

根据本发明的另一方面，提供了一种基于人脸识别的家庭图谱构建装置，包括：

检测模块，适于对给定图片集合中的图片进行人脸检测，得到人脸图片录入到人脸数据库中；

分类模块，适于将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合；

识别模块，适于针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性；

构建模块，适于根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱。

进一步的，所述检测模块进一步适于：

针对给定图片集合中的任一图片，初始化检测框窗口，确定检测框窗口的滑动初始位置；

进一步的，所述装置还包括：对齐模块，适于检测人脸图片中的特征点，根据所述特征点对人脸图片进行人脸对齐处理。

进一步的，所述装置还包括：采集模块，适于实时获取摄像头拍摄的图片，将图片加入到所述给定图片集合中。

进一步的，所述检测模块进一步适于：以预设的时间间隔，对给定图片集合中新加入的图片进行人脸检测。

进一步的，所述分类模块进一步适于：

利用训练得到的人脸验证模块提取所述人脸图片的特征；

根据相似度算法计算所述人脸图片的特征之间的相似度，将相似度高于预设阈值的人脸图片存储在人脸类集合的一个人脸类中。

进一步的，所述装置还包括：删除模块，适于删除人脸图片数量小于预设值的人脸类。

进一步的，所述识别模块进一步适于：

根据人脸年龄识别算法对该人脸类中的人脸图片进行年龄特征识别，得到该人脸类的年龄属性；

根据人脸性别识别算法对该人脸类中的人脸图片进行性别特征识别，得到该人脸类的性别属性。

进一步的，所述构建模块进一步适于：

根据各人脸类的年龄属性确定各人脸类对应的家庭成员的辈分；

根据各人脸类的性别属性以及辈分确定各人脸类对应的家庭成员的身份。

进一步的，所述装置还包括：修正模块，适于根据人脸数据库中的人脸图片的更新情况，对家庭图谱中的家庭成员进行修正处理。

进一步的，所述修正模块进一步适于：

在预设的时间周期内，计算家庭图谱中的家庭成员在人脸数据库中出现的频率，删除家庭图谱中出现的频率低于预设频率的家庭成员；

和/或，在预设的时间周期内，根据人脸数据库中新增的人脸图片的情况，增加新的家庭成员到家庭图谱中。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于人脸识别的家庭图谱构建方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于人脸识别的家庭图谱构建方法对应的操作。

根据本发明的基于人脸识别的家庭图谱构建方法及装置、计算设备，对给定图片集合中的图片进行人脸检测，得到人脸图片录入到人脸数据库中；将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合；针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性；根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱。利用本发明提供的方案可以自动构建家庭图谱，突破现有技术中的用户手动录入的灵活性低的局限；并且基于人脸图片的特征属性而非聊天记录中的称呼来确定家庭成员的身份，使得构建的家庭图谱更为容易，准确性更高。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明一个实施例的基于人脸识别的家庭图谱构建方法的流程图；

图2示出了本发明另一个实施例的基于人脸识别的家庭图谱构建方法的流程图；

图3示出了本发明一个实施例的基于人脸识别的家庭图谱构建装置的功能框图；

图4示出了本发明另一个实施例的基于人脸识别的家庭图谱构建装置的功能框图；

图5示出了根据本发明实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

现有技术中的家庭图谱构建方案存在灵活性低，用户体验差，以及准确性低，数据源获取难度大等缺陷，基于此，本发明方案基于视频捕捉的大量图片，进行人脸检测、分类以及属性识别，并据此自动构建家庭图谱，构建过程全自动，无需用户配合，并且难度低，结果准确。

图1示出了本发明一个实施例的基于人脸识别的家庭图谱构建方法的流程图。如图1所示，本方法包括以下步骤：

步骤s101：对给定图片集合中的图片进行人脸检测，得到人脸图片录入到人脸数据库中。

本步骤中，利用人脸检测技术对给定图片集合中的图片进行人脸检测，确定人脸存在的区域为人脸图片，并将人脸图片存储到人脸数据库中，以便于后期获取人脸图片并进行处理。

其中，给定图片集合中的图片可以从摄像头捕捉到的视频信息中获取。可选的，将视频中的一帧画面作为给定图片集合中的一张图片。其中，人脸检测可以通过提取图片的特征，并通过图片的特征检测该图片是否存在人脸，并且确定存在人脸的区域为人脸图片。若一张图片中有多张人脸，则可以分别确定多张人脸所在的区域，并确定对应多个区域的多张人脸图片。在本发明中，人脸检测方法可以为现有技术中的基于统计的检测方法和/或基于结构特征的检测方法，在本发明对此不做具体限定。

在检测出人脸图片后，为方便后期获取这些人脸图片以对人脸图片进行分类，将人脸图片录入到人脸数据库中；可选的，为了便于针对时间段进行人脸图片的分析以确定家庭成员，将人脸图片按出现的时间顺序录入到人脸数据库中。例如，按月份的先后顺序，将同一月内出现的人脸图片集中存放在人脸数据库中，以便于针对一个月的人脸图片分析家庭成员，并且便于根据不同月份的人脸图片的不同，确定家庭成员的变化情况。

步骤s102：将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合。

本步骤中，为了确定不同的家庭成员，对人脸数据库中的人脸图片进行分类处理，将属于同一人脸的人脸图片分类存储到同一人脸类中；并且，为了便于针对同一人脸类的人脸图片进行特征识别，将人脸图片按类别存储到与类别对应的人脸类中，得到人脸类集合。

具体地，从人脸数据库中提取各张人脸图片的特征，然后匹配不同人脸图片之间的特征，将匹配结果高于预设阈值的人脸图片作为同一类别的人脸图片。其中，匹配结果可以为不同人脸图片的多个特征的相似情况总值，或者，匹配结果可以为不同人脸图片的多个特征的相似情况的平均值，并且，该平均值可以为加权平均值。另外，提取人脸图片的特征的方法包括基于几何特征的提取方法、基于统计特征的提取方法、支持向量机的提取方法和/或基于核技术的提取方法，本发明对此不做具体限定，现有技术中凡是能够用于人脸图片的特征提取的方法均包含在本发明保护的范围内。

将人脸图片经过上述分类处理得到分属于不同人脸类的人脸图片，即得到不同家庭成员的人脸图片，为了便于针对每一个家庭成员分析其在家庭中的身份，将人脸图片按类别对应存储到人脸类中，得到人脸类集合，即：人脸类集合中的人脸图片与人脸类存在映射关系。

步骤s103：针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性。

人脸类集合中的每一个人脸类中的人脸图片代表一个家庭成员，但是各个家庭成员之间的关系是不确定的。本步骤中，为了能够确定各个家庭成员的身份，对每一个人脸类中的人脸图片进行特征识别，得到各个家庭成员的特征属性，这些特征属性可以用于确定各个家庭成员之间的关系。可选的，特征属性包括年龄属性及性别属性。

具体地，针对每一个人脸类的每一张人脸图片，提取用于识别家庭成员的不同特征属性的特征，利用该特征识别家庭成员的对应特征属性，更进一步的，将提取的特征输入到对应特征属性的识别模型中，根据模型的输出结果确定每一张人脸图片的特征属性；并综合同一人脸类中的每一张人脸图片的特征属性的识别结果，以确定该人脸类的特征属性，即确定了一个家庭成员的特征属性。以上述方法得到人脸类集合中各个人脸类的特征属性，即：各个家庭成员的特征属性。

步骤s104：根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱。

在得到各个人脸类的特征属性后，根据各个人脸类的同一特征属性的关系确定各个家庭成员之间的关系，并结合同一人脸类的其他特征属性确定对应的家庭成员的身份，进而得到完整的家庭图谱。例如，根据各个人脸类的年龄属性得到家庭成员的年龄排序，据此确定家庭成员之间的长幼关系；然后结合各个人脸类的性别属性确定对应家庭成员的身份，比如爸爸、奶奶。

根据本实施例提供的基于人脸识别的家庭图谱构建方法，利用人脸检测技术检测给定图片中的人脸图片，将检测出的人脸图片录入到人脸数据库中，实现了人脸图片的自动录入，而不再依赖用户主动录入；将人脸数据库中属于同一人脸的人脸图片分类到同一人脸类中，并按类别将人脸图片存储到人脸类中，得到人脸类集合，以便于针对每一人脸类的人脸图片进行处理；为了能够确定各个家庭成员的身份，对每一个人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性；根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱，本实施例中的特征属性相较于聊天记录中的称呼等反应家庭成员的身份的特征更稳定，因而利用这些特征属性确定的家庭成员的身份更准确。由此可见，利用本实施例提供的方案，可以自动构建家庭图谱，突破现有技术中的用户手动录入的灵活性低的局限；并且基于人脸图片的特征属性而非聊天记录中的称呼来确定家庭成员的身份，使得构建的家庭图谱更为容易，准确性更高。

图2示出了本发明另一个实施例的基于人脸识别的家庭图谱构建方法的流程图。如图2所示，本方法包括以下步骤：

步骤s201：实时获取摄像头拍摄的图片，将图片加入到给定图片集合中。

由于节假日的到来，家庭成员的工作地点的改变等原因会导致摄像头拍摄到的家庭成员发生改变，而通过实时获取摄像头拍摄的图片，将图片加入到给定图片集合中，并实时分析给定图片集合中的图片可以及时发现家庭成员的流动情况，进而便于针对实时的家庭成员的构成有针对性的为家庭成员提供服务。例如，进行用户家庭画像或进行推送服务。具体地，实时获取摄像头拍摄的视频信息，并解析出视频信息中的每一帧画面作为给定图片集合中的一张图片。

步骤s202：对给定图片集合中的图片进行人脸检测。

由于给定图片集合中的图片是直接从摄像头拍摄的视频信息中获取的画面，因此不能保证给定图片集合中的图片均为人脸图片；并且，为了降低人脸图片分类与特征识别时的数据处理量，提高处理效率，需要从给定图片中去掉非人脸所在的区域。基于此，在本步骤中，对给定图片集合中的图片进行人脸检测，确定人脸图片，进而减少了构建家庭图谱时处理非人脸图片或非人脸所在的区域的数据的工作量。可选的，为了降低日常处理给定图片集合中的图片的频率，同时为了便于在适当的时间对家庭图谱进行构建及更新，以预设的时间间隔，对给定图片集合中新加入的图片进行人脸检测。

具体地，人脸检测的目的是在图片中确定人脸区域所在的位置。本实施例中，人脸检测的算法包括但不限于支持向量机(supportvectormachine，简称svm)算法、adaboost算法以及基于二进小波变换的人脸检测算法中的一种，不同算法区别主要在特征选取上，比如，haar特征、局部二值模式(localbinarypattern，简称lbp)特征、归一化的像素差异特征(normalizedpixeldifference，简称npd)。其中，adaboost级联检测架构是目前人脸检测传统方法主流算法架构，具有较高的检测速度。下面以adaboost级联检测架构为例进行人脸检测的说明，其算法流程包括如下三步：

第一步：针对给定图片集合中的任一图片，初始化检测框窗口，确定检测框窗口的滑动初始位置。具体地，初始化检测框窗口后，确定以图片的左上角为检测框窗口的滑动初始位置。

第二步：提取检测框窗口内的特征，将检测框窗口内的特征输入到分类器中，根据分类器的输出结果确定检测框窗口内是否为人脸图片。具体地，提取到当前检测框窗口内的特征；然后，将该检测框窗口内的特征输入到adaboost级联分类器中；若分类器的输出结果为人脸，则确定检测框窗口内的图片为人脸图片，否则确定检测框窗口内的图片为非人脸图片。其中，adaboost级联分类器可通过以下方式得到：采集人脸特征和非人脸特征的图片样本，提取出人脸特征集和非人脸特征集进行训练，构造出能够区分人脸样本和非人脸样本的矩形特征以及相应的弱分类器；利用得到的弱分类器和adaboost算法进行进一步训练，得到对人脸图片和非人脸图片进行分类的强分类器；重复上述训练过程，得到多层强分类器，将多层强分类器利用相应的策略级联为adaboost级联分类器。

第三步：滑动检测框窗口，重新执行本步骤直至得到图片内的所有人脸图片。具体地，按预设的步长滑动检测框窗口以改变检测的图片的区域，并在滑动过程中，重复执行上述第一步和第二步的步骤，直至滑动过程遍历整张图片，则该图片的人脸检测过程完成，相应的，若滑动过程中，检测到多张人脸，则输出多张人脸图片。

采用上述人脸检测的方法检测给定图片集合中的所有待检测图片，进而检测出所有的人脸图片。

需要在此说明的是，在本实施例中，主要以adaboost级联检测架构为例进行人脸检测的说明，但是，本领域的技术人员应该理解的是，并不能以此限定本发明的保护范围，本发明中的人脸检测方法可以为现有技术中的任意能够实现人脸检测的方法，本发明对此不做具体限定。

步骤s203：检测人脸图片中的特征点，根据特征点对人脸图片进行人脸对齐处理；将对齐处理后的人脸图片录入到人脸数据库中。

在检测出人脸图片后，为了避免人脸姿态造成人脸图片的分类以及特征识别的误差，需要对人脸图片进行人脸对齐处理；在经过人脸对齐处理后，为方便后期获取这些人脸图片以对人脸图片进行分类，将人脸图片录入到人脸数据库中。

具体地，人脸对齐处理即根据输入的人脸图片，自动定位出人脸的特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸的轮廓点等，并基于这些特征点进行人脸姿态纠正。例如，纠正人脸姿态以使左右眼在同一水平线上，或者纠正人脸姿态以使鼻尖、嘴巴在人脸图片的横向中间位置。然后，将经人脸对齐处理后的人脸图片进行编号，并将人脸图片、人脸图片的编号以及人脸图片的拍摄时间作为一组数据录入到人脸数据库中。可选的，以预设的时间间隔，比如5分钟，执行人脸对齐处理以及人脸图片录入。

步骤s204：将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合。

本步骤中，为了确定不同的家庭成员，对人脸数据库中的人脸图片进行分类处理，将属于同一人脸的人脸图片分类到同一人脸类中；并且，为了便于针对同一人脸类的人脸图片进行特征识别，将人脸图片按类别存储到人脸类中，得到人脸类集合。换言之，人脸类集合中存储有多个类别的人脸图片，一个类别的人脸图片存储在一个人脸类中，其中，人脸类集合中的人脸图片与类别存在映射关系。

其中，对人脸数据库中的人脸图片进行分类处理的具体流程如下：首先，利用训练得到的人脸验证模块(如经训练的人脸验证模型)提取人脸图片的特征。具体地，利用人脸验证技术，并通过大量人脸图片样本的训练，得到用于提取人脸图片中人脸特征的人脸验证模块；利用人脸验证模块提取人脸图片的特征。其中，人脸图片的特征包括视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等；人脸验证模块包括但不限于以下模型中的任一种：pca(主成分分析)算法模型、lda(线性判别式分析)算法模型、ica(独立分量分析)算法模型、kpca(核主成分分析)算法模型、klda(核线性判别式分析)算法模型、kica(核独立分量分析)算法模型、isomap(非线性降维)算法模型、lle(局部线性嵌入)算法模型以及le(特征映射)算法模型。

然后，根据相似度算法计算所述人脸图片的特征之间的相似度，将相似度高于预设阈值的人脸图片存储在一个类别对应的人脸类中。具体地，在提取了人脸图片的特征之后，根据不同人脸图片的特征之间的相似度，将相似度高于预设阈值的人脸图片确定为属于同一类别的人脸图片，即：确定为属于同一张人脸的人脸图片；进一步的，不同人脸图片的特征之间的相似度是指提取出的各个特征的整体相似度情况，例如，多个特征的相似情况总值、多个特征的相似情况的平均值和/或各个特征的相似情况的加权平均值。其中，不同人脸图片的特征之间的相似度通过相似度算法计算得到，且相似度算法可以为现有的计算相似度的算法中的任一种，本发明对此不做具体限定。

下面以一个具体的分类示例来说明本实施例的分类处理过程：从人脸数据库中随机提取一张人脸图片，通过人脸验证技术训练得到的人脸验证模块提取该人脸图片的特征；将该人脸图片作为一个类别，存入人脸类中。然后读取人脸数据库中的下一张待分类人脸图片，提取该待分类人脸图片的特征，用该待分类人脸图片的特征与人脸类集合中已存储的各个人脸类的人脸图片的特征进行匹配，计算该待分类人脸图片与各个人脸类中的人脸图片的相似度。例如，计算该待分类人脸图片的特征与对应人脸类中的每张人脸图片的特征的相似度，再取对应人脸类中的所有人脸图片的相似度的平均值作为该待分类人脸图片与对应人脸类的人脸图片的相似度；或者，计算该待分类人脸图片的特征与对应人脸类中的时间最新的人脸图片的特征的相似度，并将该相似度作为该待分类人脸图片与对应人脸类的人脸图片的相似度。最后根据待分类人脸图片与各个人脸类的人脸图片的相似度对待分类人脸图片进行分类处理。例如，取相似度的最大值与预设阈值进行比较，若相似度的最大值大于预设阈值，则将该待分类人脸图片放在对应相似度的最大值所属的人脸类中；否则，认为该待分类人脸图片属于一个新的人脸类别，则将该待分类人脸图片添加到人脸类集合中的一个新的人脸类中。

循环执行上述分类处理的步骤，直至人脸数据库中所有新添加的人脸图片均完成分类处理。

步骤s205：删除人脸图片数量小于预设值的人脸类。

本步骤中，考虑到从摄像头拍摄的图片中检测出的人脸图片可能为非家庭成员，并且认为非家庭成员出现的频率会明显低于家庭成员出现的频率，因此，将人脸类集合中人脸图片数量小于预设值的人脸类删除，避免将非家庭成员误判为家庭成员，进而提高构建的家庭图谱的准确性。例如，按家庭成员每天至少会出现两次的频率计算，则在一个月内得到的人脸类集合中，删除人脸图片数量少于60的人脸类。

步骤s206：针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性。

本步骤中，为了能够确定各个家庭成员的身份，对每一个人脸类中的人脸图片进行特征识别，得到各个家庭成员的特征属性，这些特征属性可以用于确定各个家庭成员之间的关系。本实施例中，特征属性包括年龄属性和性别属性，下面分别针对这两个方面的特征识别进行说明。

其一，年龄的识别是根据人脸年龄识别算法对该人脸类中的人脸图片进行年龄特征识别，得到该人脸类的年龄属性。

由于人在成长过程中，其人脸形状、脸部纹理、皮肤颜色、面部斑点、皮肤松弛度、发际线等都有着不同程度的变化，因此，可以根据这些变化来提取人脸图片的年龄特征。其中，人脸图片的年龄特征包括形状特征、纹理特征、代数特征以及混合特征。具体地，人脸年龄识别算法主要是从人脸图片中提取能够表征年龄特征的特征值，然后利用这些特征值对人脸图片对应的人脸的年龄进行估计。进一步的，可以通过人体测量学模型、柔性模型、特征子空间模型、流形学习模型和/或外观模型来提取人脸图片的上述年龄特征。其中，人体测量学模型利用了人脸的几何形状特征，主要适合于对未成年人进行年龄分类；柔性模型从整体入手，充分提取人脸图像的形状信息和全局纹理信息，可以更好地适应复杂图像的特征点定位和特征提取；特征子空间模型集人脸重构与年龄估计于一体，把每个人的变老过程作为一个独立的年龄模式，将个人身份与时间相结合，把基于完整数据库的年龄估计问题转化为非完整数据库的年龄估计问题，降低了年龄数据库的收集难度；流形学习模型以一种低维度的形式来表示原始年龄数据，能够捕获潜在的脸部年龄成长结构；外观模型是目前应用最为广泛，它较好地描述了面部的纹理特性，并常常与形状特征相融合，可以较好地实现全年龄段的年龄估计。在具体实施时，本领域的技术人员可以根据需求选择相应的模型进行提取。而根据人脸图片的上述年龄特征进行年龄识别时，可以利用混合年龄估计器进行估计，其相较于其他单一年龄估计器而言性能更优，也更符合人脸变老的实际规律。

另外，由于人脸类集合的一个人脸类中存在多张人脸图片，而利用上述人脸年龄识别算法只能识别单一的人脸图片的年龄，因此，在本实施例中，将识别出的同一人脸类的所有人脸图片的年龄计算年龄平均值，并将该年龄平均值作为该人脸类的年龄属性，即：该人脸类对应的家庭成员的年龄。可选的，将年龄属性每隔五岁划分一个年龄档，例如，0-5岁，6-10岁,11-15岁等。

其二，性别的识别是根据人脸性别识别算法对该人脸类中的人脸图片进行性别特征识别，得到该人脸类的性别属性。

识别出人脸图片对应的人脸的性别能够有助于确定对应的家庭成员的准确身份。具体地，人脸性别识别算法主要是从人脸图片中提取能够表征性别特征的特征值，然后利用这些特征值进行性别判断。其中，性别特征包括整体特征和/或局部特征，并且，利用整体特征可以对人脸图片的性别进行一个粗略的判断，局部特征在细节上提供补充，在实际实施时，可以将两种特征进行融合，以使整体特征和局部特征可以在识别过程中互相补充，有助于性别的准确判断。在利用上述提取到的性别特征的特征值进行性别判断时，利用训练好的分类模型，并结合性别特征的特征值进行性别分类，进而识别出一张人脸图片的性别属性。最后，根据各人脸类中的所有人脸图片的性别属性，并利用投票的方式确定对应人脸类的性别属性，例如，若针对某一人脸类的人脸图片的性别识别的结果为男性数量大于女性数量，则认为该人脸类的性别属性为男性。

经过本步骤，识别出了人脸类集合中的各个人脸类的人脸图片的年龄属性和性别属性，即：确定了各个家庭成员的年龄和性别。

步骤s207：根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱。

在确定了各个人脸类的年龄属性和性别属性之后，每一个人脸类都具备了年龄标签和性别标签。本步骤中，基于各个人脸类的年龄标签和性别标签，构建家庭图谱。

具体地，根据各人脸类的年龄属性确定各人脸类对应的家庭成员的辈分；根据各人脸类的性别属性以及辈分确定各人脸类对应的家庭成员的身份。更进一步的，按照年龄属性对各个人脸类进行排序，并计算排序顺序上相邻的人脸类的年龄差，若年龄差大于预设年龄差阈值，则认为是两代人，否则为同一代人，据此，则确定了各个家庭成员的辈分，根据辈分由小至大，将各个人脸类分别标记为孩子(包括儿子和女儿)、父母(包括爸爸和妈妈)、爷爷奶奶等等；然后，根据上述确定的各个家庭成员的辈分以及各个家庭成员对应的人脸类的性别属性，确定对应的家庭成员的具体身份。例如，若家庭成员的辈分为父母辈，且对应的人脸类的性别属性为男性，则确定该家庭成员的身份为爸爸。最后，以此方法，确定人脸类集合中的每一个人脸类对应的家庭成员的身份。

步骤s208：根据人脸数据库中的人脸图片的更新情况，对家庭图谱中的家庭成员进行修正处理。

本步骤中，对家庭图谱中的家庭成员进行修正的目的是为了避免流动人口对家庭图谱的影响，进而增加了家庭图谱的准确性。例如，非家庭成员、客人、外出的家庭成员等。可选的，以预设的时间周期，对图谱进行自动修正，例如，以月为单位进行修正。

具体地，在预设的时间周期内，计算家庭图谱中的家庭成员在人脸数据库中出现的频率，删除家庭图谱中出现的频率低于预设频率的家庭成员；和/或，在预设的时间周期内，根据人脸数据库中新增的人脸图片的情况，增加新的家庭成员到家庭图谱中。本实施例中，按照流动人口的流动方向将家庭图谱的修正分为两种：一种是人口流出时的家庭成员删除：若在预设的时间周期内，家庭图谱中的某一个家庭成员的人脸图片在人脸类集合中的对应人脸类中没有更新，或更新的频率低于预设频率，则认为该家庭成员可能为家里的客人，则将其从家庭图谱中删除；另一种是人口流入时的家庭成员新增：若在预设的时间周期内，人脸类集合中新增了人脸类，并且在该人脸类中，人脸图片新增的数量或频率超过预设数量阈值或预设频率阈值，则认为与该人脸类对应的人脸为新的家庭成员的人脸，则通过特征识别，将该人脸类对应的家庭成员新增到家庭图谱中。

根据本实施例提供的基于人脸识别的家庭图谱构建方法，从摄像头拍摄的视频信息中获取图片，并将图片添加到给定图片集合中；利用人脸检测技术检测给定图片集合中的图片中的人脸图片，将检测出的人脸图片录入到人脸数据库中，实现了人脸图片的自动录入，而不再依赖用户主动录入；对人脸图片进行人脸对齐处理，进而避免了人脸姿态造成人脸图片的分类以及特征识别的误差，然后将经过对齐处理后的人脸图片存储到人脸数据库中；将人脸数据库中属于同一人脸的人脸图片分类到同一类别中，并按类别将人脸图片存储到人脸类中，得到人脸类集合，以便于针对每一人脸类的人脸图片进行处理；删除人脸类集合中人脸图片数量小于预设值的人脸类，避免将非家庭成员误判为家庭成员，进而提高构建的家庭图谱的准确性；为了能够确定各个家庭成员的身份，对每一个人脸类中的人脸图片进行特征识别，得到该人脸类的年龄属性和性别属性；根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱；对构建的家庭图谱进行修正，避免流动人口对家庭图谱的影响，进而增加了家庭图谱的准确性。由此可见，利用本实施例提供的方案，可以自动构建家庭图谱，突破现有技术中的用户手动录入的灵活性低的局限；并且基于人脸图片的特征属性而非聊天记录中的称呼来确定家庭成员的身份，使得构建的家庭图谱更为容易，准确性更高；在家庭图谱构建完成后，实时对家庭图谱进行修正，避免流动人口对家庭图谱的影响，进而增加了家庭图谱的准确性。

图3示出了本发明一个实施例的基于人脸识别的家庭图谱构建装置的功能框图。如图3所示，该装置包括：检测模块301、分类模块302、识别模块303以及构建模块304。

检测模块301，适于对给定图片集合中的图片进行人脸检测，得到人脸图片录入到人脸数据库中；

分类模块，适于将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合；

识别模块，适于针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性；

构建模块，适于根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱。

图4示出了本发明另一个实施例的基于人脸识别的家庭图谱构建装置的功能框图。如图4所示，在图3的基础上，该装置进一步包括：对齐模块401、采集模块402、删除模块403以及修正模块404。

所述检测模块301进一步适于：针对给定图片集合中的任一图片，初始化检测框窗口，确定检测框窗口的滑动初始位置；

对齐模块401，适于检测人脸图片中的特征点，根据所述特征点对人脸图片进行人脸对齐处理。

采集模块402，适于实时获取摄像头拍摄的图片，将图片加入到所述给定图片集合中。

所述检测模块301进一步适于：以预设的时间间隔，对给定图片集合中新加入的图片进行人脸检测。

所述分类模块302进一步适于：

利用训练得到的人脸验证模块提取所述人脸图片的特征；

根据相似度算法计算所述人脸图片的特征之间的相似度，将相似度高于预设阈值的人脸图片存储在一个类别对应的人脸类中。

删除模块403，适于删除人脸图片数量小于预设值的人脸类。

所述识别模块303进一步适于：

根据人脸年龄识别算法对该人脸类中的人脸图片进行年龄特征识别，得到该人脸类的年龄属性；

根据人脸性别识别算法对该人脸类中的人脸图片进行性别特征识别，得到该人脸类的性别属性。

所述构建模块304进一步适于：

根据各人脸类的年龄属性确定各人脸类对应的家庭成员的辈分；

根据各人脸类的性别属性以及辈分确定各人脸类对应的家庭成员的身份。

修正模块404，适于根据人脸数据库中的人脸图片的更新情况，对家庭图谱中的家庭成员进行修正处理。

所述修正模块404进一步适于：

在预设的时间周期内，计算家庭图谱中的家庭成员在人脸数据库中出现的频率，删除家庭图谱中出现的频率低于预设频率的家庭成员；

和/或，在预设的时间周期内，根据人脸数据库中新增的人脸图片的情况，增加新的家庭成员到家庭图谱中。

关于上述各个模块的具体结构和工作原理可参照方法实施例中相应步骤的描述，此处不再赘述。

本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于人脸识别的家庭图谱构建方法。

图5示出了根据本发明实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(communicationsinterface)504、存储器(memory)506、以及通信总线508。

其中：

处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器502，用于执行程序510，具体可以执行上述基于人脸识别的家庭图谱构建方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

处理器502可能是中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。

存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行以下操作：

对给定图片集合中的图片进行人脸检测，得到人脸图片录入到人脸数据库中；

将人脸数据库中的人脸图片进行分类处理，按照类别将人脸图片存储到与类别对应的人脸类中，得到人脸类集合；

针对人脸类集合中的每一个人脸类，对该人脸类中的人脸图片进行特征识别，得到该人脸类的特征属性；

根据各人脸类的特征属性确定各人脸类对应的家庭成员的身份，得到家庭图谱。