基于人工智能的表情识别方法与流程

本发明涉及表情识别技术领域，更为具体地，涉及一种基于人工智能的表情识别方法。

背景技术：

人类面部表情丰富，但可以总结归纳为七类基本表情：happy,sad,surprise,fear,anger,disgust,andneutral。面部表情是通过面部肌肉活动表达出来，有些比较微妙且复杂，包含了大量内心活动信息。通过面部表情识别，我们能简单而低成本地度量出观众/用户对内容和服务的态度。例如，零售商使用这些度量评估客户的满意度。健康医疗提供商能在治疗的过程根据病人的表情状态来提高服务。娱乐厂商能够监控观众的喜欢来持续的生产优质的内容。随着人工智能的技术日益发展，在计算机视觉的领域中，表情识别的技术已经非常成熟。在商业应用中出现了手机美颜、人机交互大量等ai项目，而这些项目的部署则需要完整的硬件端配合。现有技术中存在的问题：(1)系统集成度差；(2)识别率较低；(3)识别模式较为单一等问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于人工智能的表情识别方法，基于高性能的硬件配置，适配多种表情识别算法，拥有强大的表情识别性能，支持多种识别模式，高效响应检测速度，可直接应用到手机拍照、人机互动等各种项目中，缩减研产时间与成本等。

本发明的目的是通过以下技术方案来实现的：

一种基于人工智能的表情识别方法，包括：

s1，表情图像获取，通过将高清摄像头采集图像；

s2，表情图像预处理，图像预处理包括进行图像压压缩、图像抽样、输入矢量标准化；

s3，表情特征提取，在云端服务器实现训练，训练好模型后在终端侧进行深度学习，在该步骤中，包括提取识别人脸表情中的年龄；

s4，表情分类识别，采用cnn识别算法，该cnn架构为多层卷积层，卷积层之后有最大池，最后接多层密集层；对于输入的图像检测给出愤怒、害怕、开心、伤心、惊喜和平静六种表情中可能性最大的一种。

进一步的，在步骤s2中，归一化人脸裁剪区域，用于将所有的表情样本图片尺度大小进行统一，便于之后的表情特征提取。

进一步的，在步骤s2中，将转为灰度图后的表情图片进行直方图均衡化，图像中的各灰度值重新进行均匀分布，用于增强图像的对比度，改善图像的质量。

进一步的，在步骤s3中，采用firefly-rk3399高性能嵌入式开发板进行终端侧深度学习。

进一步的，在步骤s3中，采用cnn年龄识别算法进行提取识别人脸表情中的年龄。

本发明的有益效果是：

(1)本发明基于高性能的硬件配置，适配多种表情识别算法，拥有强大的表情识别性能，支持多种识别模式，高效响应检测速度，可直接应用到手机拍照、人机互动等各种项目中，缩减研产时间与成本等。

(2)本发明集成了硬件、算法、应用软件与云平台，可一站式直接部署表情识别的应用场景。例如，人脸样貌会随着年龄发生变化，导致对象当前面貌与图像库中的图像之间出现差异，从而引起识别率的下降，本发明克服年龄变化带来的表情识别误差，提高了识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的步骤流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：

若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。

在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。

当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。

如图1所示，一种基于人工智能的表情识别方法，包括：

s1，表情图像获取，通过将高清摄像头采集图像；

s2，表情图像预处理，图像预处理包括进行图像压压缩、图像抽样、输入矢量标准化；

s3，表情特征提取，在云端服务器实现训练，训练好模型后在终端侧进行深度学习，在该步骤中，包括提取识别人脸表情中的年龄；

s4，表情分类识别，采用cnn识别算法，该cnn架构为多层卷积层，卷积层之后有最大池，最后接多层密集层；对于输入的图像检测给出愤怒、害怕、开心、伤心、惊喜和平静六种表情中可能性最大的一种。

进一步的，在步骤s2中，归一化人脸裁剪区域，用于将所有的表情样本图片尺度大小进行统一，便于之后的表情特征提取。

进一步的，在步骤s2中，将转为灰度图后的表情图片进行直方图均衡化，图像中的各灰度值重新进行均匀分布，用于增强图像的对比度，改善图像的质量。

进一步的，在步骤s3中，采用firefly-rk3399高性能嵌入式开发板进行终端侧深度学习。

进一步的，在步骤s3中，采用cnn年龄识别算法进行提取识别人脸表情中的年龄。

实施例一

如图1所示，一种基于人工智能的表情识别方法，包括：

s1，表情图像获取，通过将高清摄像头采集图像；

s2，表情图像预处理，图像预处理包括进行图像压压缩、图像抽样、输入矢量标准化；

s3，表情特征提取，在云端服务器实现训练，训练好模型后在终端侧进行深度学习，在该步骤中，包括提取识别人脸表情中的年龄；

s4，表情分类识别，采用cnn识别算法，该cnn架构为多层卷积层，卷积层之后有最大池，最后接多层密集层；对于输入的图像检测给出愤怒、害怕、开心、伤心、惊喜和平静六种表情中可能性最大的一种。

在本实施例中，表情识别解决方案，基于高性能的硬件配置，适配多种表情识别算法，拥有强大的表情识别性能，支持多种识别模式，高效响应检测速度，可直接应用到手机拍照、人机互动等各种项目中，缩减研产时间与成本。在本实施例中，选择卷积神经网络(cnn)层作为构建基础创建模型架构，cnn是有名的模仿人脑工作的模型，卷积神经网络包涵输入层，卷积层，稠密层(比如，全联接层)和输出层。

本实施例主要有四个基本部分组成：1.表情图像获取；2.表情图像预处理；3.表情特征提取；4.表情分类识别；在云服务器实现训练阶段，训练好模型后采用firefly-rk3399高性能嵌入式开发板实现深度学习，六核处理器架构频率高达1.8ghz具备识别效率很快的优点，另外四核图形处理器mali-t860mp4,支持双摄像头，4种高性能显示接口，还能实现双屏显示。

采用cnn识别算法，该cnn架构为多层卷积层，卷积层之后有最大池，最后接多层密集层，对于输入的图像，可给出愤怒，害怕，开心，伤心，惊喜，平静六种表情中可能性最大的一种，可广泛应用于审讯破案、金融信贷、智慧教育、智能家居和智慧社区等领域。在智慧教育领域，可以对学生专注和困惑程度以及师生互动情况等指标进行分析，进而形成从学生视角来智能化评测课堂教学效果的创新模式，根据评测结果，可以助于教师不断调整和优化教学内容和方法，以取得更好的教学效果。

在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的算法，方法或系统等，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。

对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。

所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述分立部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、rom、ram等。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。