基于人脸识别的表情涂鸦方法、装置、存储介质及电子设备与流程

本申请涉及通信领域，具体涉及一种基于人脸识别的表情涂鸦方法、装置、存储介质及电子设备。

背景技术

现有技术，在视频对话例如qq视频对话过程中，可以在对话的人脸图像中加入各种各样的表情涂鸦来增强对话的趣味性，但是，现有技术都是用户手动添加与自己情绪对应的表情涂鸦，操作麻烦，智能化程度不高，用户体验不够。

因此，现有技术存在缺陷，急需改进。

技术实现要素：

本申请实施例提供一种基于人脸识别的表情涂鸦方法、装置、存储介质及电子设备，可以提高用户体验。

本申请实施例提供了一种基于人脸识别的表情涂鸦方法，用于给视频对话过程中的用户添加表情涂鸦，该方法包括以下步骤：

每隔预设时间段获取视频对话中的用户的人脸图像；

根据所述人脸图像判断用户的情绪状态；

根据所述情绪状态选择对应的表情涂鸦；

根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

在本发明所述的基于人脸识别的表情涂鸦方法中，所述根据所述人脸图像判断用户的情绪状态的步骤包括：

提取人脸图像的多个器官区域的特征信息；

结合该多个器官区域的特征信息判断出该用户的情绪状态。

在本发明所述的基于人脸识别的表情涂鸦方法中，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。

在本发明所述的基于人脸识别的表情涂鸦方法中，所述根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦的步骤包括：

根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。

在本发明所述的基于人脸识别的表情涂鸦方法中，所述情绪状态包括：严肃状态、愉悦状态、微怒状态、大怒状态、伤心状态、狂喜状态。

一种基于人脸识别的表情涂鸦装置，包括：

获取模块，用于每隔预设时间段获取视频对话中的用户的人脸图像；

判断模块，用于根据所述人脸图像判断用户的情绪状态；

选择模块，用于根据所述情绪状态选择对应的表情涂鸦；

添加模块，用于根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

在本发明所述的基于人脸识别的表情涂鸦装置中，所述判断模块包括：

提取单元，用于提取人脸图像的多个器官区域的特征信息；

判断单元，用于结合该多个器官区域的特征信息判断出该用户的情绪状态。

在本发明所述的基于人脸识别的表情涂鸦装置中，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域；所述添加模块用于根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。

一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述任一项所述的方法。

一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述5任一项方法。

由上可知，本发明通过每隔预设时间段获取视频对话中的用户的人脸图像；根据所述人脸图像判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦，从而使得视频过程中可以自动添加符合用户情绪状态的表情涂鸦，具有提高用户体验的有益效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的基于人脸识别的表情涂鸦方法的流程示意图。

图2是本申请实施例提供的基于人脸识别的表情涂鸦装置的结构示意图。

图3是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块或单元，还可以包括没有清楚地列出的步骤或模块或单元，也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。

参考图1，图1为本发明本申请实施例提供了一种基于人脸识别的表情涂鸦方法，应用于手机、pad等电子设备中。该基于人脸识别的表情涂鸦方法，用于给视频对话过程中的用户添加表情涂鸦，该方法包括以下步骤：

s101、每隔预设时间段获取视频对话中的用户的人脸图像。

由于人的情绪会随着视频对话的持续进行可能不断发生变化，因此，每隔预设时间段就需要采集一次用户的人脸图像，以便于后续的情绪状态识别。在本实施例中，例如可以每隔10秒获取一次人脸图像。当然，其并不限于此。

s102、根据所述人脸图像判断用户的情绪状态。

在该步骤中，可以采用现有技术中的人脸识别算法来进行人情绪识别。当然，在本发明中，还可以采用对各个器官区域例如，眼睛区域、额头区域、嘴巴区域、眉毛区域等分别进行特征信息提取，然后结合这些区域的特征信息来判断人脸情绪。

在一些实施例中，该步骤s102包括：提取人脸图像的多个器官区域的特征信息；结合该多个器官区域的特征信息判断出该用户的情绪状态。其中，提取出眼睛区域、额头区域、嘴巴区域、眉毛区域等区域的特征信息，然后根据数据库中预先录入的情绪判断条件进行判断。例如，人的情绪分为：严肃状态、愉悦状态、微怒状态、大怒状态、伤心状态、狂喜状态等。每一种情绪状态所对应的不同器官区域的特征信息都不相同，因此，当提取出各个区域的特征信息后，就去和预先存储的各个情绪状态，所对应的特征信息进行匹配，从而完成情绪状态判断。

s103、根据所述情绪状态选择对应的表情涂鸦。

其中，表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。例如，对应于大怒状态的表情涂鸦，其包括围绕人脸的火焰表情元素以及眼睛区域火眼元素等。对应于伤心状态，则有在人眼睛以及眼睛以下区域的眼泪，嘴角下垂等。在此不一一例举。

s104、根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

在该步骤s104中，根据表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。例如，当用户大怒时，将火眼元素添加到用户的眼睛位置处，将火焰表情元素添加到头顶以及人脸上。

由上可知，本发明通过每隔预设时间段获取视频对话中的用户的人脸图像；根据所述人脸图像判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦，从而使得视频过程中可以自动添加符合用户情绪状态的表情涂鸦，具有提高用户体验的有益效果。

本发明还提供了一种基于人脸识别的表情涂鸦装置，包括：获取模块201、判断模块202、选择模块203以及添加模块204。

其中，该获取模块201用于每隔预设时间段获取视频对话中的用户的人脸图像；由于人的情绪会随着视频对话的持续进行可能不断发生变化，因此，每隔预设时间段就需要采集一次用户的人脸图像，以便于后续的情绪状态识别。在本实施例中，例如可以每隔10秒获取一次人脸图像。当然，其并不限于此。

其中，该判断模块202用于根据所述人脸图像判断用户的情绪状态；可以采用现有技术中的人脸识别算法来进行人情绪识别。当然，在本发明中，还可以采用对各个器官区域例如，眼睛区域、额头区域、嘴巴区域、眉毛区域等分别进行特征信息提取，然后结合这些区域的特征信息来判断人脸情绪。在一些实施例中，该判断模块202包括：提取单元，用于提取人脸图像的多个器官区域的特征信息；判断单元，用于结合该多个器官区域的特征信息判断出该用户的情绪状态。

其中，该选择模块203用于根据所述情绪状态选择对应的表情涂鸦；其中，表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。例如，对应于大怒状态的表情涂鸦，其包括围绕人脸的火焰表情元素以及眼睛区域火眼元素等。对应于伤心状态，则有在人眼睛以及眼睛以下区域的眼泪，嘴角下垂等。在此不一一例举。

其中，该添加模块204用于根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。根据表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。例如，当用户大怒时，将火眼元素添加到用户的眼睛位置处，将火焰表情元素添加到头顶以及人脸上。

由上可知，本发明通过每隔预设时间段获取视频对话中的用户的人脸图像；根据所述人脸图像判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦，从而使得视频过程中可以自动添加符合用户情绪状态的表情涂鸦，具有提高用户体验的有益效果。

本申请实施例还提供一种存储介质，该存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，该计算机执行上述任一实施例所述的基于人脸识别的表情涂鸦方法，从而实现以下功能：每隔预设时间段获取视频对话中的用户的人脸图像；根据所述人脸图像判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

请参照图3，本申请实施例还提供一种电子设备。该电子设备可以是智能手机、平板电脑等设备。如示，电子设备300包括处理器301和存储器302。其中，处理器301与存储器302电性连接。处理器301是终端300的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。

在本实施例中，电子设备300中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现各种功能：每隔预设时间段获取视频对话中的用户的人脸图像；根据所述人脸图像判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序，从而执行各种功能应用以及数据处理。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，该存储介质可以包括但不限于：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本申请实施例所提供的数据分布存储方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。