一种动态面部表情的识别方法及装置与流程

本发明涉及智能终端技术，特别涉及一种动态面部表情的识别方法及装置。

背景技术

随着移动通讯设备的全面屏化，大屏化的趋势日益增加，双手操作和单手操作均变得十分困难。双手操作过程会大大束缚用户的双手，给用户带来很大的不便，而单手操作过程会存在很大的误触问题或无法触及问题，令用户无法准确点击所需的业务功能。

为解决上述问题，面部表情识别交互方式应运而生。所谓面部表情识别交互方式，只需要用户一只手持握智能设备，并作出指定面部表情，智能设备就及时捕捉到用户的面部表情，并对应上述面部表情进行识别，在识别成功后，便会执行对应上述面部表情设置的业务功能。

为了提高面部表情识别的准确性，保证面部表情能够准确表达用户的需求，目前，智能终端会提取用户在设定时长内作出的一系列面部表情生成动态面部表情图像，并基于动态面部表情图像进行面部表情识别。

然而，相较于静态面部表情图像，动态面部表情图像的数据量较大，在进行面部表情识别时，会在一定程度上增加智能终端的运算量，延长运算时长，而面部表情识别又是一项时效性要求很高的功能；因此，需要提供一种解决方案，以克服上述缺陷

技术实现要素：

本发明实施例提供一种动态面部表情的识别方法及装置，用以降低智能终端识别动态面部表情的运算量。

本发明实施例提供的具体技术方案如下：

一种动态面部表情的识别方法，包括：

接收用户输入的面部表情，并生成对应的原始动态图像；

将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类，并将归属为同一类的帧图像进行合并，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

可选的，接收用户输入的面部表情之前，进一步包括：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

可选的，将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类，包括：

对原始动态图像包含的各个帧图像进行相似度比较；

每确定至少两个帧图像包含的面部表情的相似度达到设定门限，将所述至少两个帧图像归属为同一类。

可选的，进一步包括：

根据归属于同一类的帧图像的数目，重新调整相应的设定门限。

可选的，将归属为同一类的帧图像进行合并，包括：

针对归属为同一类的各个帧图像，将所述各个帧图像内同一面部表情位置的数据进行融合，所述融合包括：取平均值，或，取最大值，或，取最小值；

将各个面部表情位置对应的融合后的数据进行整合，获得合并后的帧图像。

一种动态面部表情的识别装置，包括：

录入单元，用于接收用户输入的面部表情，并生成对应的原始动态图像；

第一处理单元，用于将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类，并将归属为同一类的帧图像进行合并，生成最新的待检测动态图像；

第二处理单元，用于将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

可选的，接收用户输入的面部表情之前，所述录入单元进一步用于：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

可选的，将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类时，所述第一处理单元用于：

对原始动态图像包含的各个帧图像进行相似度比较；

每确定至少两个帧图像包含的面部表情的相似度达到设定门限，将所述至少两个帧图像归属为同一类。

可选的，所述第一处理单元进一步用于：

根据归属于同一类的帧图像的数目，重新调整相应的设定门限。

可选的，将归属为同一类的帧图像进行合并时，所述第一处理单元用于：

针对归属为同一类的各个帧图像，将所述各个帧图像内同一面部表情位置的数据进行融合，所述融合包括：取平均值，或，取最大值，或，取最小值；

将各个面部表情位置对应的融合后的数据进行整合，获得合并后的帧图像。

一种存储介质，存储有用于实现动态面部表情的识别的程序，所述程序被处理器运行时，执行以下步骤：

接收用户输入的面部表情，并生成对应的原始动态图像；

将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类，并将归属为同一类的帧图像进行合并，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

一种通信装置，包括一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行如权利要求1至5中任一项所述的方法。

本发明实施例中，智能终端在获得包含有用户输入的面部表情的原始动态图像后，会按照面部表情相似度对原始动态图像包含的各个帧图像进行分类，并将归属于同一类的帧图像进行合并，以及基于合并后的帧图像重新生成待检测动态图像，再将待检测动态图像与标准动态图像集合进行匹配，从而触发相应的业务功能。这样，可以通过合并相似的帧图像，大大降低待检测动态图像的数据量，同时又保证了待检测动态图像包含的面部表情的精准度，从而可以有效提升智能终端的面部表情识别效率，缩短面部表情识别所耗费的时长，进而有效提升用户体验。

附图说明

图1为本发明实施例中动态面部表情的识别流程示意图；

图2为本发明实施例中用户输入面部表情操作示意图；

图3和图4为本发明实施例中智能终端捕捉到的用户的面部表情示意图；

图5a-图5e为本发明实施例中用户作出“微笑”面部表情的过程示意图；

图6为本发明实施例中智能终端功能结构示意图。

具体实施方式

为了降低智能终端识别动态面部表情的运算量，本发明实施例中，在面部表情的原始动态图像中，按照面部表情相似度对帧图像进行分类，并将归属于同一类的帧图像进行合并，以及基于合并后的帧图像重新生成待检测动态图像。

下面结合附图对本发明优选的实施方式作出进一步详细说明。

参阅图1所示，本发明实施例中，进行动态面部表情识别的详细过程如下：

步骤100：智能终端根据用户指示，触发“面部表情识别”功能。

具体的，用户可以采用多种方式来指示智能终端触发“面部表情识别”功能。

例如，用户通过点击预设的“面部表情识别”开关，指示智能终端触发“面部表情识别”功能。

而“面部表情识别”开关，可以是实体按键，如，智能终端背后的指纹解锁区域，也可以是虚拟按键，如，智能终端操作界面中的某一块指定区域。

又例如，用户通过语音控制，输入“开启面部表情识别”这一语句，指示智能终端触发“面部表情识别”功能。

步骤110：智能终端接收用户输入的面部表情，并生成对应的原始动态图像。

具体的，智能终端可以开启前置摄像头，令用户以手持的姿势通过前置摄像头，输入自身的面部表情，具体如图2所示。

参阅图3和图4所示，用户可以对着前置摄像头反复作出指定的面部表情，如、闭眼、皱眉、微笑，生气、惊讶等等。智能终端会连续录入记录有用户动态表情的每一帧图像，并生成对应的原始动态图像。

步骤120：智能终端将上述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类，并将归属为同一类的帧图像进行合并。

实际应用中，用户在作出某一个指定的面部表情时，其面部表情存在一个动态的过渡过程，在这个过渡过程中，面部表情的起始状态和结束状态会出现很多类似的表情，为了简化后续匹配过程中的运算量，智能终端可以在生成原始动态图像后，将原始动态图像中包含有类似表情的帧图像进行合并。

具体的，智能终端可以对原始动态图像包含的各个帧图像进行相似度比较，每确定出至少两个帧图像包含的表情的相似度达到设定门限(如，90％)，将所述至少两个帧图像归属为同一类。

例如，参阅图5a-图5e所示，假设用户作出的指定的面部表情是“微笑”，那么，在用户“微笑”过程中，分为“开始准备”(如，图5a)，“嘴角微抬”(如，图5b)，“微笑”(如，图5c)，“嘴角微缩”(如，图5d)，“结束微笑”(如，图5e)这五个阶段，其中，“开始准备”和“结束微笑”这两个阶段的面部表情类似，可以合并，而“觜角微抬”和“嘴角微缩”这两个阶段的面部表情亦类似，也可以合并,那么，经过合并处理后，获得合并后的帧图像中，只剩下“未微笑”、“嘴角抬起”和“微笑”这三个面部表情，这样，在后续生成最新的待检测动态图像时，可以有效减少待检测动态图像的数据量，进而降低后续匹配流程的运算量。

进一步地，智能终端可以根据归属于同一类的帧图像的数目，重新调整相应的设定门限。

例如，假设设定门限的初始值为90％，而在后续流程中，假设最多只有n1个帧图像(如，2个)被归属为同一类，则可以将设定门限由90％降为85％，其中，n1为预设的合并数目低门限。

这是因为，过高的设定门限，可以会导致某些能够合并的帧图像被归属至不同类，从而无法有效降低后续的匹配流程的运算量。

例如，仍假设设定门限的初始值为90％，而在后续流程中，最少有n2(如，10个)以上的帧图像被归属为同一类，则可以将设定门限由90％升至95％，其中，n2为预设的合并数目高门限。

这是因为，过低的设定门限，可以会导致某些本应归属至不同类的帧图像被归属至同一类，这样虽然能够降低后续匹配流程的运算量，但是会因为合并后的帧图像无法精确体现出用户的面部表情，而导致匹配失败。

具体的，在对归属为同一类的各个帧图像进行合并时，智能终端可以先将归属为同一类的各个帧图像内同一面部表情位置的数据进行融合，所述融合包括：取平均值，或，取最大值，或，取最小值，然后，再将各个面部表情位置对应的融合后的数据进行整合，获得合并后的帧图像。

例如：以将“嘴角微抬”和“嘴角微缩”这两个帧图像进行合并为例。

假设“嘴角微抬”和“嘴角微缩”这两个帧图像中，嘴部弧线的弧度并不完全一致，那么，智能终端可以取多个帧图像中嘴部孤线的平均值。

假设“嘴角微抬”和“嘴角微缩”这两个帧图像中，眼睛形状并不完全一致，那么，智能终端可以取多个帧图像中眼睛面部的最大值。

假设“嘴角微抬”和“嘴角微缩”这两个帧图像中，鼻子形状并不完全一致，那么，智能终端可以取多个帧图像中鼻子面部的最小值。

然后，将融合后的嘴部弧线、眼睛面部和鼻子面部进行融合，获得合并后的帧图像。

当然，本实施例中，仅以合并两个帧图像为例进行说明，实际应用中，若原始动态图像中被归为一类的帧图像存在三个及以上，则可以采用同样

步骤130：智能终端基于合并后的各个帧图像，生成最新的待检测动态图像。

具体的，智能终端将面部表情归属于同一类的帧图像进行合并后，并将各类帧图像重新整合，生成最新的待检测动态图像。

例如，将图5a和图5e进行合并，并将合并后的帧图像称为面部表情1，将图5b和图5d进行合并，并将合并后的帧图像称为面部表情2，以及将图5c对应的帧图像称为面部表情3。

那么，智能终端可以基于面部表情1、面部表情2和面部表情3，重新生成新的动态图像，称为最新的待检测动态图像。

在最新的待检测动态图像中，面部表情1、面部表情2和面部表情3的顺序可以根据实际环境的应用需求灵活设置，在此不再赘述。

步骤140：智能终端将上述最新的待检测动态图像与预设的标准动态图像集合进行匹配，判断是否匹配成功，若是，则执行步骤150；否则，执行步骤160。

具体的，智能终端可以分别计算最新的待检测动态图像与预设的标准动态图像集合中的每一个标准动态图像的相似度；确定所述最新的待检测动态图像与任意一个标准动态图像的相似度达到设定阈值(如，80％)时，判定匹配成功。

步骤150：智能终端提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

步骤160：智能终端向用户呈现匹配错误指示。

具体的，智能终端可以向用户呈现匹配错误指示，令用户重新输入面部表情，或者，停止使用“面部表情识别”功能。

基于上述实施例，参阅图6所示，本发明实施例中，

一种动态面部表情的识别装置，包括：

录入单元60，用于接收用户输入的面部表情，并生成对应的原始动态图像；

第一处理单元61，用于将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类，并将归属为同一类的帧图像进行合并，生成最新的待检测动态图像；

第二处理单元62，用于将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

可选的，接收用户输入的面部表情之前，所述录入单元60进一步用于：

确定用户点击预设的“面部表情识别”开关时，触发“面部表情识别”功能；或者，

确定用户输入指定的语音控制指令时，触发“面部表情识别”功能。

可选的，将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类时，所述第一处理单元61用于：

对原始动态图像包含的各个帧图像进行相似度比较；

每确定至少两个帧图像包含的面部表情的相似度达到设定门限，将所述至少两个帧图像归属为同一类。

可选的，所述第一处理单元61进一步用于：

根据归属于同一类的帧图像的数目，重新调整相应的设定门限。

可选的，将归属为同一类的帧图像进行合并时，所述第一处理单元61用于：

针对归属为同一类的各个帧图像，将所述各个帧图像内同一面部表情位置的数据进行融合，所述融合包括：取平均值，或，取最大值，或，取最小值；

将各个面部表情位置对应的融合后的数据进行整合，获得合并后的帧图像。

本发明实施例提供一种存储介质，存储有用于实现动态面部表情的识别的程序，所述程序被处理器运行时，执行以下步骤：

接收用户输入的面部表情，并生成对应的原始动态图像；

将所述原始动态图像包含的各个帧图像，按照包含的面部表情进行分类，并将归属为同一类的帧图像进行合并，生成最新的待检测动态图像；

将所述最新的待检测动态图像与预设的标准动态图像集合进行匹配，确定匹配成功之后，提取出与所述最新的待检测动态图像匹配成功的标准动态图像，并触发对应所述标准动态图像预设的业务功能。

本发明实施例提供一种通信装置，包括一个或多个处理器；以及

一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行如权利要求1至5中任一项所述的方法。

综上所述，本发明实施例中，智能终端在获得包含有用户输入的面部表情的原始动态图像后，会按照面部表情相似度对原始动态图像包含的各个帧图像进行分类，并将归属于同一类的帧图像进行合并，以及基于合并后的帧图像重新生成待检测动态图像，再将待检测动态图像与标准动态图像集合进行匹配，从而触发相应的业务功能。这样，可以通过合并相似的帧图像，大大降低待检测动态图像的数据量，同时又保证了待检测动态图像包含的面部表情的精准度，从而可以有效提升智能终端的面部表情识别效率，缩短面部表情识别所耗费的时长，进而有效提升用户体验。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。