基于智能机器人视觉识别人脸面部表情变化的方法及系统与流程

本发明属于智能机器人领域，尤其涉及一种基于智能机器人视觉识别人脸面部表情变化的方法及系统。

背景技术：

随着智能机器人在多模态交互中的广泛应用，对其性能提出了新的要求。例如，对于具有拍照功能的智能机器人，不仅要求其能够拍摄照片，更要求其具有自抓拍能力。

自抓拍的时间节点对抓拍照片的质量至关重要，但由于自抓拍的时间节点一般是动态获取的，应该何时抓拍很难掌控，因此亟需一种可以精准控制自抓拍时间节点的方法。

技术实现要素：

本发明所要解决的技术问题之一是需要提供一种可以精准控制自抓拍时间节点的方法。

为了解决上述技术问题，本申请的实施例首先提供了一种基于智能机器人视觉识别人脸面部表情变化的方法，所述智能机器人安装有机器人操作系统，所述机器人操作系统执行：接收来自第一应用所获取的人脸面部表情变化节点指令；根据所述指令调用视觉模块循环以获取图像信息，记录图像信息中的人脸表情信息；根据记录的所述人脸表情信息判断人脸的面部表情是否发生变化，当识别得到人脸面部表情变化的节点时反馈节点信息。

优选地，所获取的图像信息通过如下方式执行获取：分别对获取的每帧图像进行识别，确定并记录各帧图像中所包含的人脸个数及与每个人脸对应的情绪值。

优选地，所述确定并记录各帧图像中所包含的人脸个数及与每个人脸对应的情绪值，包括：当所述图像中所包含的人脸个数大于等于一个时，依次获取每个人脸的表情信息；分别比较各人脸的表情与预设的人脸表情，将与所述人脸最相似的预设的人脸表情所对应的数值作为该人脸的情绪值。

优选地，所述根据记录的所述人脸表情信息判断人脸的面部表情是否发生变化，包括：依次比较每个人脸在相邻两帧图像中的情绪值；当有情绪值发生变化时，判断人脸的面部表情发生变化。

优选地，基于图像的相似性比较判断与所述人脸最相似的预设的人脸表情。

本申请的实施例还提供了一种基于智能机器人视觉识别人脸面部表情变化的系统，所述智能机器人安装有机器人操作系统，该识别人脸面部表情变化的系统包括：指令接收模块，其接收来自第一应用所获取的人脸面部表情变化节点指令；人脸表情信息识别模块，其根据所述指令调用视觉模块循环以获取图像信息，记录图像信息中的人脸表情信息；判断反馈模块，其根据记录的所述人脸表情信息判断人脸的面部表情是否发生变化，当识别得到人脸面部表情变化的节点时反馈节点信息。

优选地，所述人脸表情信息识别模块通过如下方式获取图像信息：分别对获取的每帧图像进行识别，确定并记录各帧图像中所包含的人脸个数及与每个人脸对应的情绪值。

优选地，所述人脸表情信息识别模块根据以下步骤确定并记录各帧图像中所包含的人脸个数及与每个人脸对应的情绪值：当所述图像中所包含的人脸个数大于等于一个时，依次获取每个人脸的表情信息；分别比较各人脸的表情与预设的人脸表情，将与所述人脸最相似的预设的人脸表情所对应的数值作为该人脸的情绪值。

优选地，所述判断反馈模块根据以下步骤判断人脸的面部表情是否发生变化：依次比较每个人脸在相邻两帧图像中的情绪值；当有情绪值发生变化时，判断人脸的面部表情发生变化。

优选地，所述判断反馈模块基于图像的相似性比较判断与所述人脸最相似的预设的人脸表情。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

通过调用视觉模块持续获取图像信息，并通过分析和比较图像中人脸的表情的情绪值来获取人脸情绪的变化节点，以为系统应用提供准确的时间节点信息。该方法能够及时识别用户的感情变化，从而更好的实现自抓拍，改善用户的交互体验。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为根据本发明第一实施例的基于智能机器人视觉识别人脸面部表情变化的方法的流程示意图；

图2为根据本发明第二实施例的基于智能机器人视觉识别人脸面部表情变化的方法的流程示意图；

图3为根据本发明第三实施例的基于智能机器人视觉识别人脸面部表情变化的系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

本发明实施例提供了一种利用智能机器人系统的视觉功能获取自抓拍的时间点的方法。

第一实施例：

图1为根据本发明第一实施例的基于智能机器人视觉识别人脸面部表情变化的方法的流程示意图，如图所示，该方法包括以下步骤：

步骤S110、接收来自第一应用所获取的人脸面部表情变化节点指令。

步骤S120、根据上述指令调用视觉模块循环以获取图像信息，记录图像信息中的人脸表情信息。

步骤S130、根据记录的人脸表情信息判断人脸的面部表情是否发生变化，当识别得到人脸面部表情变化的节点时反馈节点信息。

具体的，抓拍APP一般基于接收到的图像中发生了设定的变化后进行抓拍，例如，当图像中的人脸的表情发生变化的时候。因此正确抓拍的关键是准确获知图像中发生变化的时间点。

智能机器人安装有智能机器人系统，智能机器人系统可以用于管理智能机器人的软硬件的协调工作，包括调用智能机器人的各种传感单元，例如视觉模块(摄像头)。因此，可以通过智能机器人系统对摄像头的调用来辅助抓拍APP获取图像信息的变化。

在步骤S110中，抓拍APP在启动抓拍功能的时候，会先向智能机器人系统发出请求获取人脸面部表情变化节点的指令，智能机器人系统根据该请求获取人脸面部表情变化节点的指令调用摄像头，不断获取摄像头中预览的图像信息。摄像头会持续对一定范围内的环境取景，所以智能机器人系统能够不断获取到预览的图像信息。

接下来，在步骤S120中，通过对图像信息进行分析来获得其中的人脸信息。具体的，是对获取的每一帧图像分别进行分析。接收到的各帧图像，有可能不包含人脸，也有可能包含不止一个人脸，在分析图像时，对于包含人脸的图像，需要对一帧图像中的每个人脸依次分析，并记录分析结果以便于后续的比较。

在步骤S130中，根据记录的人脸表情信息判断人脸的面部表情是否发生了变化。记录的人脸表情信息为多帧图像信息，比较相邻两帧图像中的人脸，当人脸在相邻两帧图像中的表情不同时，则可以判断人脸表情发生了变化，进一步将其认定为人脸面部表情变化的节点，在判断出人脸面部表情变化的节点后，智能机器人系统将该节点信息反馈回至发出获取请求的应用。

如前所述，在相邻的两帧图像中，有可能同时存在有同一个人脸，那么如果该人脸的面部表情发生了变化，则可以判断发生变化的时刻为时间节点。也有可能在前一帧图像中存在的人脸，在后一帧图像中就不再存在(由于人物移动出摄像头捕捉的范围)，或者相反，在前一帧图像中不存在的人脸，在后一帧图像中存在，这种情况下，当图像中不包含人脸时，智能机器人系统不会记录有相应的人脸信息，也就是说，在进行相邻的两帧图像的比较时，有一个被比较的对象为空，此时也可以根据设定判断为人脸面部表情发生了变化，并由智能机器人系统反馈节点信息。

抓拍APP在接收到智能机器人系统反馈的节点信息后，可以根据该节点信息执行抓拍功能。

由于智能机器人系统是持续刷新人脸表情信息，并持续对图像中的人脸表情信息进行比较以获取时间节点的，因此如果连续多帧图像的相邻两帧图像之间都判断得到时间节点信息，则智能机器人系统会向应用连续地返回节点信息，那么抓拍APP可以根据连续反馈的节点信息实现连拍。

本发明实施例的方法，提出一种能够较精确的辨别出人脸出现表情变化的时间节点，从而更好的实现自抓拍的方法，能够及时识别用户的感情变化，优化了应用与系统功能。

第二实施例：

图2为根据本发明第二实施例的基于智能机器人视觉识别人脸面部表情变化的方法的流程示意图，在该实施例中，通过获取图像中与人脸对应的情绪值来对图像进行分析，下面结合实施例详细说明。

如图2所示，抓拍APP向智能机器人系统发出请求获取人脸面部表情变化节点的指令，智能机器人系统根据抓拍APP的请求，调用摄像头获取预览的图像信息。该步骤执行与第一实施例中步骤S110相同的操作，不再赘述。

智能机器人系统分别对获取的每帧图像进行识别，确定并记录各帧图像中所包含的人脸个数及与每个人脸对应的情绪值。

在本实施例中，情绪值指的是将人脸信息所传达的人的情绪进行数值化得到的结果。例如将微笑的情绪值设置为0，将流泪的情绪值设置为1，将愤怒的情绪值设置为2等。以情绪值记录人脸信息，既能够清楚地表明人脸所表达的不同情绪特征，又能够简化信息的存储。

进一步地，在确定并记录各帧图像中所包含的人脸个数及与每个人脸对应的情绪值时，首先分别统计每帧图像中所包含的人脸个数，当人脸个数大于等于一个时，依次获取每个人脸的表情信息。然后将每个人脸的表情与预设的人脸表情相比较来确定各人脸的情绪值。

预设的人脸表情是由智能机器人系统预先存储的人脸表情的典型值，每种预设的人脸表情对应于一个前面所说的情绪值。将与获取的人脸表情最相似的预设的人脸表情所对应的情绪值作为被比较的人脸的情绪值。

举例而言，如果获取的人脸表情与预设的表示微笑的人脸表情最相似，则将与预设的表示微笑的人脸表情对应的情绪值确定为被比较的人脸表情的情绪值。利用上述方法，可以将每帧图像中的每个人脸表情信息转换为确定的数值进行存储。

接下来，依次比较每个人脸在相邻两帧图像中的情绪值，当有情绪值发生变化时，判断人脸的面部表情发生变化。

在相邻的两帧图像中，首先统计出人脸的个数，当图像中只包含一个人脸时，比较该人脸在相邻两帧图像中的情绪值，当情绪值不相等时，说明该人脸的面部表情发生了变化，则可以判断发生变化的时刻为时间节点。

进一步地，当图像中包含多个人脸时，在统计人脸的个数的时候将人脸进行编号，再分别确定每个人脸的情绪值，并将相邻两帧图像中编号相同的人脸的情绪值进行比较。如果存在某编号的比较结果不相等，说明该人脸的面部表情发生了变化，则可以判断发生变化的时刻为时间节点。

另外，实际中也有可能在前一帧图像中存在的人脸，在后一帧图像中就不再存在(由于人物移动出摄像头捕捉的范围)，这种情况下，该人脸在前一帧图像中有一个与之对应的情绪值，在后一帧图像中的情绪值为空，因此比较的结果为判断人脸面部表情发生了变化，并由智能机器人系统反馈节点信息。

实际中还有可能情况相反，在前一帧图像中不存在的人脸，在后一帧图像中存在。这种情况下，该人脸在前一帧图像中没有记录与之对应的情绪值，在后一帧图像中有与之对应的情绪值，此时根据约定，首次出现的确定了情绪值的人脸判断为人脸面部表情发生了变化，并由智能机器人系统反馈节点信息。

在判断出人脸面部表情变化的节点后，智能机器人系统将该节点信息反馈回至发出获取请求的应用(抓拍APP)。抓拍APP在接收到智能机器人系统反馈的节点信息后，可以根据该节点信息执行抓拍功能。

本实施例的方法，利用与人脸表情相对应的情绪值来获取并记录人脸表情变化的时间节点，能够简化比较流程，同时减少存储的数据量。

需要说明的是，第一实施例和第二实施例中在进行图像的比较时，可以根据图像的相似性比较方法来判断与预设的人脸表情最相似的人脸。可以采用现有技术中常用的相似性度量方法来实施比较，本发明实施例对所采用的图像的相似性比较方法不做限定。

第三实施例：

图3为根据本发明第三实施例的基于智能机器人视觉识别人脸面部表情变化的系统的结构示意图，在智能机器人上安装有机器人操作系统，该别人脸面部表情变化的系统包括：

指令接收模块31，其接收来自第一应用所获取的人脸面部表情变化节点指令。

人脸表情信息识别模块32，其根据指令调用视觉模块循环以获取图像信息，记录图像信息中的人脸表情信息。

判断反馈模块33，其根据记录的人脸表情信息判断人脸的面部表情是否发生变化，当识别得到人脸面部表情变化的节点时反馈节点信息。

其中，人脸表情信息识别模块32分别对获取的每帧图像进行识别，确定并记录各帧图像中所包含的人脸个数及与每个人脸对应的情绪值。

当所述图像中所包含的人脸个数大于等于一个时，人脸表情信息识别模块32依次获取每个人脸的表情信息，并分别比较各人脸的表情与预设的人脸表情，将与被比较人脸的表情最相似的预设的人脸表情所对应的数值作为该人脸的情绪值。

判断反馈模块33依次比较每个人脸在相邻两帧图像中的情绪值，当有情绪值发生变化时，判断人脸的面部表情发生变化。

本发明实施例的系统能够响应智能机器人系统的抓拍APP的获取人脸情绪发生变化的时间节点的请求，及时向抓拍APP反馈节点信息，帮助抓拍APP实现抓拍和连拍功能。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。