面向智能机器人的基于人脸识别样本库的交互方法和装置与流程

本发明涉及智能机器人领域，具体地说，涉及一种面向智能机器人的基于人脸识别样本库的交互方法和装置。

背景技术：

现有技术中，人脸识别样本库的构建一般是通过人工输入。比较典型的是，在安防领域中，通过人工录入特定身份的人脸图像，并将其与身份标记进行绑定。为了提高识别度，通常会针对一个身份标记绑定数张不同角度和方位的人脸图像。因此，单次的有监督录入是目前大部分人脸识别服务的运行逻辑。这些技术包括linkface、Face++和云从。然而，这些技术仅适合安防领域。针对智能机器人在家庭中与人的交互场景，由于智能机器人获取到的用户图像是多种多样的，人工输入的用户图像不能满足智能机器人的图像识别需求，因此这种技术却并不适合应用在用于在家庭中与用户进行交互的智能机器人上。

因此，需要提供一种能够适用家庭中交互用的智能机器人的人脸样本采集方案。

技术实现要素：

本发明的目的在于提供一种面向智能机器人的基于人脸识别样本库的交互方法来解决上述技术问题。该方法包括以下步骤：

检测获取当前图像；

如果所述当前图像中存在人脸图片，则提取其中的身份特征向量并将其与人脸识别样本数据库中所存储的已绑定身份标记的身份特征向量进行比较；

基于比较的结果将提取的所述身份特征向量存储到与身份标记绑定的聚类中，以填充人脸识别样本数据库；

当接收到该身份标记对应的用户输入的多模态交互数据时，结合所述身份标记生成多模态交互输出数据并输出。

根据本发明的面向智能机器人的基于人脸识别样本库的交互方法，优选的是，所述方法还包括以下步骤：

当提取的身份特征向量与数据库中存储的已绑定身份标记的身份特征向量比较的结果超过阈值范围，则输出当前身份特征向量不匹配的结果，并以多模态形式获取该身份特征对应的身份标记信息；

将该身份标记信息与所述提取的身份特征进行绑定；

将绑定了身份标记信息的身份特征作为新的聚类填充到样本数据库中。

根据本发明的面向智能机器人的基于人脸识别样本库的交互方法，优选的是，所述方法还包括以下步骤：

当提取的身份特征向量与数据库中存储的已绑定姓名的身份特征向量比较的结果未超过阈值范围，则输出当前身份特征向量匹配的结果，并按照规则将当前人脸特征与最相似的人脸特征进行融合。

根据本发明的面向智能机器人的基于人脸识别样本库的交互方法，优选的是，所述方法还包括：

提取新输入人脸图片的身份特征向量之后，计算所述身份特征向量与所有原聚类的重心之间的余弦相似度；

寻找余弦相似度的最大值以及对应的聚类编号；

在所述余弦相似度的最大值大于设定阈值时，则将该提取的身份特征向量作为新的向量添加到其所属的聚类中，重新计算聚类重心。

根据本发明的面向智能机器人的基于人脸识别样本库的交互方法，优选的是，在所述余弦相似度的最大值小于设定阈值时，针对该身份特征向量新建一个聚类，并分配相应编号。

面向智能机器人的基于人脸识别样本库的交互根据本发明的另一个方面，还提供了一种面向智能机器人的基于人脸识别样本库的交互装置。该装置包括以下单元：

检测单元，其用以检测获取当前图像；

比较单元，其用以判断如果所述当前图像中存在人脸图片，则提取其中的身份特征向量并将其与人脸识别样本数据库中所存储的已绑定身份标记的身份特征向量进行比较；

填充单元，其用以基于比较的结果将提取的所述身份特征向量存储到与身份标记绑定的聚类中，以填充人脸识别样本数据库；

多模态交互单元，其用以当接收到该身份标记对应的用户输入的多模态交互数据时，结合所述身份标记生成多模态交互输出数据并输出。

根据本发明的面向智能机器人的基于人脸识别样本库的交互装置，优选的是，所述装置还包括以下单元：

不匹配输出单元，其用以当提取的身份特征向量与数据库中存储的已绑定身份标记的身份特征向量比较的结果超过阈值范围，则输出当前身份特征向量不匹配的结果，并以多模态形式获取该身份特征对应的身份标记信息；

绑定单元，其用以将该身份标记信息与所述提取的身份特征进行绑定；

新聚类填充单元，其用以将绑定了身份标记信息的身份特征作为新的聚类填充到样本数据库中。

根据本发明的面向智能机器人的基于人脸识别样本库的交互装置，优选的是，所述装置还包括以下单元：

匹配输出融合单元，其用以当提取的身份特征向量与数据库中存储的已绑定姓名的身份特征向量比较的结果未超过阈值范围，则输出当前身份特征向量匹配的结果，并按照规则将当前人脸特征与最相似的人脸特征进行融合。

根据本发明的面向智能机器人的基于人脸识别样本库的交互装置，优选的是，所述装置还包括：

用以提取新输入人脸图片的身份特征向量之后，计算所述身份特征向量与所有原聚类的重心之间的余弦相似度的单元；

用以寻找余弦相似度的最大值以及对应的聚类编号的单元；

用以在所述余弦相似度的最大值大于设定阈值时，则将该提取的身份特征向量作为新的向量添加到其所属的聚类中，重新计算聚类重心的单元。

根据本发明的面向智能机器人的基于人脸识别样本库的交互装置，优选的是，所述交互装置还包括：

用以在所述余弦相似度的最大值小于设定阈值时，针对该身份特征向量新建一个聚类，并分配相应编号的单元。

面向智能机器人的基于人脸识别样本库的交互的有利之处在于，通过智能机器人在无监督的情况下自动收集身份特征信息来建立人脸识别的样本库，对于家庭交互这一交互场景下，智能机器人采集到的用户图像存在各种各样的角度这一情况，智能机器人可以自动收录人员信息，增加人脸样本库的样本数量，提高人物识别度，从而在多模态交互过程中满足用户要求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的实施例的智能机器人利用无监督自动构建的人脸样本库进行交互的方法的流程图；

图2显示了根据本发明的实施例如何无监督自动构建人脸样本库的一个详细流程图；

图3显示了根据本发明的实施例的利用无监督自动构建的人脸样本库进行交互的装置的结构框图，以及

图4显示了根据本发明的实施例进行人脸样本库构建后的特殊样本示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。以下例子中，将以人脸为目标物体来进行本发明原理的说明。本领域的技术人员应该知晓，该实施例仅为说明目的，不用作对本发明的限制。

现有技术中，家用智能机器人身份识别场景与安防用的身份识别的场景不同。家用智能机器人进行身份识别时的环境信息存在众多干扰因素、图片质量极差。此外，家用智能机器人接触的人数有限，一般为3到5个，最多也不会超过50个，且身份对应的样本数量呈指数分布而非均匀分布。更重要的是，安防领域用的身份识别需要在关键特征上精确识别，人物在环境中一般是静态的，所获取的图片质量均匀，精确识别算法可以统一。而家用智能机器人考虑到识别环境中的人物图片是动态的，例如瞬间面部表情、阴影以及误检的情况，识别算法需要考虑众多的容错因素。

为此，本发明提出一种针对家用机器人的新的构建人脸样本库的方法，以及智能机器人利用所构建的样本库进行智能交互的方法，以能够使得在不影响用户体验的前提下反复录入图片，从而增加机器人对人物的识别率。

如图1所示，其中显示了根据本发明的实施例的智能机器人利用无监督自动构建的人脸样本库进行交互的方法的流程图。在图1中，方法开始于步骤S101。在该步骤中，智能机器人首先会检测获取当前图像。当家用智能机器人在室内环境中时，开启后，会自动检测当前场景下的各角度图片。或者该机器人到了新的场景时，也会自动检测当前场景下的各角度图片，以了解所处环境信息。在本发明中，首要做的是进行人物识别。人物的身份特征主要体现在人脸上，因此根据本发明优选进行人脸识别。

智能机器人不断地进行图片中的人脸特征检测。之后，对检测到人脸的图片进行人脸身份特征提取。也就是说，在步骤S102中，判断如果对当前图像的检测结果是存在人脸图片，则提取其中的身份特征向量并将其与人脸识别样本数据库中所存储的已绑定身份标记的身份特征向量进行比较。

随后，在步骤S103中，系统基于比较的结果将提取的身份特征向量存储到与身份标记绑定的聚类中，以填充人脸识别样本数据库。

最后，在步骤S104中，当接收到该身份标记对应的用户输入的多模态交互数据时，结合身份标记/身份标签生成多模态交互输出数据并输出。

在步骤S102中，如果未找到足够相似的人脸特征，则机器人认为见到的是陌生人，通过交互模块发出询问，以获取对方姓名这样的身份标记。在本发明中，身份标记是记录人脸身份的字符串，它们可以是身份编号或者姓名。

如果对方回复姓名则将姓名作为身份标记与身份特征绑定。如果找到了足够相似的人脸特征，则按照一定规则将当前人脸特征与最相似的人脸特征融合，并获取该人脸对应的身份信息。

在人脸识别技术领域中，使用最多的技术是卷积神经网络。作为人脸编码器的一种，卷积神经网络的输入为人脸图片，输出为用D维特征向量代表的识别结果。D维向量是由D个小数组成的数组，D是一个整数，如128。在本例中，每个这样的数组代表一个人脸身份特征。将人脸身份信息编码到D维向量中，就构成了人脸身份特征向量。

这样便可以通过余弦相似度来比较两个向量相似程度，从而方便地比较出两个人脸身份特征向量是否指示同一个身份识别结果。本发明提出人脸聚类概念。在本发明中，一个聚类是许多人脸身份特征的集合。聚类可与一个身份标记(如姓名)绑定，也可以不绑定。在生成每个聚类时，向其分配一个编号，互不重复，作为聚类的唯一标识。聚类中的一个人脸身份特征在此可称为样本。将身份与聚类进行绑定事实上就是对指定编号的聚类的身份标记进行更新的过程。

聚类有其重心，也用一个D维数组表示。根据本发明，聚类重心为聚类中所有人脸身份特征的欧几里得均值。

如图2所示，其中显示了另一个根据本发明的面向智能机器人的基于人脸识别样本库的交互方法的优选实施例。在图2中，首先将身份特征向量与已绑定身份标记的身份特征向量进行比较，步骤S201。

接下来，在步骤S202中，构建人脸识别样本库时，当提取的身份特征向量与数据库中存储的已绑定身份标记的身份特征向量比较的结果均超过阈值范围，则输出当前身份特征向量不匹配的结果，并以多模态形式获取该身份特征对应的身份标记信息，步骤S203。

接下来，在步骤S204中，将该身份标记信息与所提取的身份特征进行绑定。

最后，在步骤S205中，将绑定了身份标记信息的身份特征作为新的聚类填充到样本数据库中。这样，样本数据库便有了新的聚类。新的聚类事实上代表的就是要进行交互的新的对象。

在其他实施例中，根据本发明的面向智能机器人的基于人脸识别样本库的交互方法，优选的是，所述方法还包括以下步骤：

当提取的身份特征向量与数据库中存储的已绑定姓名的身份特征向量比较的结果未超过阈值范围，则输出当前身份特征向量匹配的结果，并按照规则将当前人脸特征与最相似的人脸特征进行融合。

根据本发明的面向智能机器人的基于人脸识别样本库的交互方法，优选的是，所述方法还包括：

在提取新输入人脸图片的身份特征向量之后，计算身份特征向量与所有原聚类的重心之间的余弦相似度。

接下来，采用例如最近邻分类算法，Nearest Neighbour Classification:https://en.wikipedia.org/wiki/Nearest_neighbour_algorithm来寻找余弦相似度的最大值以及对应的聚类编号。

当余弦相似度的最大值大于设定阈值时，则将该提取的身份特征向量作为新的向量添加到其所属的聚类中，重新计算聚类重心。理想状态下，相同身份的不同人脸，其人脸身份特征向量的余弦相似度大于一阈值H，本实施例中H＝0.8。在所述余弦相似度的最大值小于设定阈值时，针对该身份特征向量新建一个聚类，并分配相应编号。这样便使得智能机器人能够记住所有见过的人脸，并自动归类。

在其他实施例中，根据本发明的面向智能机器人的基于人脸识别样本库的交互方法，优选的是，在每个聚类内的身份特征向量的样本记录大于某一设定值例如50时，在此聚类内随机抽取部分样本记录进行删除。此操作能够在节约存储资源的前提下保留类内样本的分布信息。

在聚类的总数量大于某一设定值如200时，按比例删除其中包含身份特征向量的样本记录少的那些聚类。此操作能排除人脸录入时的干扰因素，比如遮挡、动态模糊、夸张表情、误检等因素。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

因此，根据本发明的另一个方面，还提供了一种面向智能机器人的基于人脸识别样本库的交互装置300。该装置300包括以下单元：

检测单元301，其用以检测获取当前图像；

比较单元302，其用以判断如果所述当前图像中存在人脸图片，则提取其中的身份特征向量并将其与人脸识别样本数据库中所存储的已绑定身份标记的身份特征向量进行比较；

填充单元303，其用以基于比较的结果将提取的所述身份特征向量存储到与身份标记绑定的聚类中，以填充人脸识别样本数据库；

多模态交互单元304，其用以当接收到该身份标记对应的用户输入的多模态交互数据时，结合所述身份标记生成多模态交互输出数据并输出。

根据本发明的面向智能机器人的基于人脸识别样本库的交互装置300，优选的是，其还包括以下单元：

不匹配输出单元，其用以当提取的身份特征向量与数据库中存储的已绑定身份标记的身份特征向量比较的结果超过阈值范围，则输出当前身份特征向量不匹配的结果，并以多模态形式获取该身份特征对应的身份标记信息；

绑定单元，其用以将该身份标记信息与所述提取的身份特征进行绑定；

新聚类填充单元，其用以将绑定了身份标记信息的身份特征作为新的聚类填充到样本数据库中。

在另一个实施例中，根据本发明的面向智能机器人的基于人脸识别样本库的交互装置300，优选的是，其还包括以下单元：

匹配输出融合单元，其用以当提取的身份特征向量与数据库中存储的已绑定姓名的身份特征向量比较的结果未超过阈值范围，则输出当前身份特征向量匹配的结果，并按照规则将当前人脸特征与最相似的人脸特征进行融合。

根据本发明的面向智能机器人的基于人脸识别样本库的交互装置，优选的是，其还包括：

用以提取新输入人脸图片的身份特征向量之后，计算所述身份特征向量与所有原聚类的重心之间的余弦相似度的单元；

用以寻找余弦相似度的最大值以及对应的聚类编号的单元；

用以在所述余弦相似度的最大值大于设定阈值时，则将该提取的身份特征向量作为新的向量添加到其所属的聚类中，重新计算聚类重心的单元。

根据本发明的面向智能机器人的基于人脸识别样本库的交互装置，优选的是，其还包括：

用以在所述余弦相似度的最大值小于设定阈值时，针对该身份特征向量新建一个聚类，并分配相应编号的单元。

在其他实施例中，根据本发明的面向智能机器人的基于人脸识别样本库的交互装置300，优选的是，其还包括：

用以在每个聚类内的身份特征向量的样本记录大于某一设定值时，在此聚类内随机抽取部分样本记录进行删除的单元；以及

用以在聚类的总数量大于某一设定值时，按比例删除其中包含身份特征向量的样本记录少的那些聚类的单元。

本发明通过智能机器人在无监督的情况下自动收集身份特征信息来建立人脸识别的样本库，对于交互环境特别复杂的情况，可以自动收录人员信息，提高人物识别度，从而在多模态交互过程中满足用户要求。

如图4所示，其中显示了根据本发明原理构建人脸身份特征样本库的特殊样本类型。其中包括了7类特殊样本，分别为误检类、遮挡类、瞬间动态眨眼类、动态模糊类、不规则阴影类、人脸角度类等。它们在样本库中所占的比例都很少，一般在5％左右，因此对用户的交互不会产生大的影响。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。