面部表情识别方法及装置与流程
本发明涉及表情识别技术领域，尤其涉及一种面部表情识别方法及装置。
背景技术：
随着计算机与智能识别的迅速发展，通过生物特征进行人脸以鉴别个人身份的技术应用开始走进人们生活。人脸被认为是一种最为友好的生物识别技术，它结合了图像处理、计算机图形学、模式识别、可视化技术、人体生理学等多个领域。
人脸识别技术的初期只能利用人脸器官的局部特征来描述人脸，但由于人脸器官没有显著的边缘且容易受到表情的影响，人脸识别仅限于正面人脸。随着技术的不断改进，人脸识别在一定程度上在适应人脸的姿态和表情变化，以满足人脸识别技术在实际应用中的客观需求。尽管现有技术能够适应人脸的姿态和表情的变化，但是人的脸部提供了丰富的情感状态，况且人类天生就是通过面部表情来表达情绪和感情的。这使得在面部表情识别的过程中存在准确性不高的问题。
技术实现要素：
有鉴于此，本发明提供了一种面部表情识别方法及装置，以提高面部表情识别的准确性。
为了实现上述目的，本发明采用以下方案：
在本发明一个实施例中，一种面部表情识别方法，包括：
在识别时间段内根据设定帧速率采集通过坐标值表示的面部特征点数据；
在采集所述面部特征点数据的同时采集能够反映情感状态的生理传感器数据；
利用面部表情数据和相应的所述生理传感器数据识别面部表情，所述面部表情数据包括所述面部特征点数据。
在本发明一个实施例中，面部表情识别装置，包括：
面部特征点数据采集单元，用于在识别时间段内根据设定帧速率采集通过坐标值表示的面部特征点数据；
生理传感器数据单元，用于在采集所述面部特征点数据的同时采集能够反映情感状态的生理传感器数据；
面部表情数据识别单元，用于利用面部表情数据和相应的所述生理传感器数据识别面部表情，所述面部表情数据包括所述面部特征点数据。
在本发明一个实施例中，电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例所述方法的步骤。
在本发明一个实施例中，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所述方法的步骤。
本发明的面部表情识别方法、面部表情识别装置、电子设备及计算机可读存储介质，通过同时采集面部特征点数据和能够反映情感状态的生理传感器数据，并利用两种数据综合分析来识别面部表情，能够得到更准确的识别结果，从而更加准确的识别面部的表情以及其表达的情绪和感情。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例的面部表情识别方法的流程示意图；
图2是本发明一实施例中采集通过坐标值表示的面部特征点数据的方法流程示意图；
图3是本发明另一实施例的面部表情识别方法的流程示意图；
图4是本发明一实施例中利用面部表情数据和生理传感器数据识别面部表情的方法流程示意图；
图5是本发明一实施例的面部表情识别方法的流程示意图；
图6是本发明一实施例中头部位置所采用的坐标轴的示意图；
图7是本发明一实施例中散点图的示意图；
图8是本发明一实施例的面部表情识别装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1是本发明一实施例的面部表情识别方法的流程示意图。如图1所示，一些实施例的面部表情识别方法，包括：
步骤s110：在识别时间段内根据设定帧速率采集通过坐标值表示的面部特征点数据；
步骤s120：在采集所述面部特征点数据的同时采集能够反映情感状态的生理传感器数据；
步骤s130：利用面部表情数据和相应的所述生理传感器数据识别面部表情，所述面部表情数据包括所述面部特征点数据。
在上述步骤s110，该识别时间段可以包括发生一次或多次面部表情的时间段，可以从开始发生面部表情开始计时，到停止发生面部表情终止计时。面部特征点数据可以利用相机以一定的帧速率进行拍摄来采集，相机所基于的光线可以是可见光或不可见光。可以在被识别对象的面部选择一些能够反映情绪变化的一个或多个点作为面部特征点，例如，眉毛附近的点、嘴角附近的点等。在采集面部特征点数据的过程中，可以获取面部特征点的三维坐标值，以表示面部特征点的变化。
在进行数据采集之前，可以允许用户在人机交互界面进行参数设定，以确定被试者的信息，例如，项目名称、被试编号、被试姓名、被试性别等输入到人机交互界面。不同类型(例如性别)的被试在后续识别时可以使用不同的判断标准，以对被试进行细分识别。
在上述步骤s120，能够反映情感状态的生理传感器数据可以包括脉搏、呼吸等数据，对于脉搏数据，可以通过心电传感器(例如，3导联心电传感器)或脉搏传感器(例如，光电容积脉搏传感器)采集。其中，3导联心电传感器是指贴在心脏周围的导联电极，光电容积脉搏传感器是指指尖、耳垂、手腕等部位的脉搏信号采集设备。面部特征点数据和生理传感器数据可以在同一时间轴上，相互对应，便于后续分析。
在上述步骤s130，面部表情数据除了包括所述面部特征点数据，还可以包括其他数据，例如肢体数据，具体地，例如头部位置的变化、手部动作等。在此，面部特征点数据可以作为面部表情数据的主要组成部分。对于某一时刻，面部表情数据中的面部特征点数据与生理传感器数据相对应。面部表情的识别结果可对应某一种情感状态，或对应多种情感状态的概率，其中，情感状态可以包括紧张、放松等，更具体地划分，可以包括开心、悲伤、生气、惊讶、恐惧、怀疑、蔑视、平静等。
可以利用同一时刻的面部特征点数据与生理传感器数据综合分析来提高面部表情识别的真实性，例如，在某一时刻，被识别对象的面部特征点数据中的嘴角特征点出现上扬的特征，根据面部特征点数据的判断结果很可能是开心，但若此时的被识别对象的脉搏信号并未表现出开心的信号特征，则可以判定该被识别对象属于皮笑肉不笑的情况，即，并未产生属于开心的情感状态，因此，结合生理传感器数据，能够得到更真实地面部表情识别结果。
本实施例中，通过同时采集面部特征点数据和能够反映情感状态的生理传感器数据，并利用两种数据综合分析来识别面部表情，能够得到更准确的识别结果。
图2是本发明一实施例中采集通过坐标值表示的面部特征点数据的方法流程示意图。如图2所示，上述步骤s110，即，在识别时间段内根据设定帧速率采集通过坐标值表示的面部特征点数据，可包括：
步骤s111：在识别时间段内利用深度相机以设定帧速率采集面部图像；
步骤s112：识别所述面部图像中的面部特征点的三维坐标值，得到面部特征点数据。
在上述步骤s111中，所述深度相机可以采集三维的面部图像，可以是rgb(红绿蓝)相机，例如可以是单目rgb相机、双目rgb相机等。在一些实施例中，所述深度相机的分辨率可以大于或等于320×240，以此能够在采集多个面部特征点时，满足各面部特征点之间相区分的需求；所述设定帧速率可以大于或等于10帧/秒，以此能够满足捕捉面部表情细微变化的需求。在上述步骤s112中，对于三维坐标，可以以与人眼直视方向垂直的水平轴作为x轴，以竖直向上并与人眼直视的方向垂直的轴作为y轴，以沿人眼直视方向所建立的轴作为z轴。本实施例中，通过利用深度相机采集面部特征点的三维坐标值，不仅能够获取面部表情的二维平面上的变化，还能够获取面部表情在第三维方向上的变化，使得获取的面部特征点数据更准确。
在一些实施例中，所述面部特征点数据，可包括：右前颚、右下颌角、下巴尖、左下颌角、左前颚、右眉外侧点、右眉中心点、右眉内侧点、左眉内侧点、左眉中心点、左眉外侧点、鼻根、鼻尖、鼻右下边界点、鼻底边界点、鼻左下边界点、右眼外侧、右眼内侧、左眼内侧、左眼外侧、右唇角、上唇右尖端点、上唇中心点、上唇左尖端点、左唇角点、下唇左边缘点、下唇中心点、下唇右边缘点、下唇上端点、下唇底端点、右眼上角点、右眼下角点、左眼上角点及左眼下角点中的一个或多个面部特征点的三维坐标值。该些特征点的具体位置可视具体情况具体确定。本实施例中，能够同时采集三十四个面部特征点的数据，所发现并考虑的特征点更多，更有利于面部表情的精细识别。
图3是本发明另一实施例的面部表情识别方法的流程示意图。如图3所示，图1所示的面部表情识别方法，还可包括：
步骤s140：在所述识别时间段内采集通过角度值表示的头部位置数据，并记录面部表情行为数据；所述头部位置数据，包括：基于头部模拟坐标轴表示的俯仰角、偏航角及翻滚角；所述面部表情行为数据，包括：发生面部表情的次数和每次发生的面部表情的持续时间；所述面部表情数据还包括所述头部位置数据和所述面部表情行为数据。
在上述步骤s140中，所述的头部位置可通过头部模拟坐标轴对俯仰角、偏航角、翻滚角进行数据采集；头部位置的x轴可以是与人眼直视方向垂直的水平轴，y轴可以是竖直向上并与人眼直视的方向垂直的轴，z轴可以是沿人眼直视方向所建立的轴，则俯仰角可以是头部围绕x轴方向旋转的角度，偏航角可以是头部围绕y轴方向旋转过的角度，翻滚角可以是头部围绕z轴方向旋转过的角度。可以利用例如头戴式陀螺仪等采集头部的俯仰角、偏航角、翻滚角。由于头部的姿势会在一定程度上反映被识别对象的情感状态，例如，当不开心时会低头，大笑时会仰头，惊讶时会将头转向一侧，所以通过采集头部位置一同用于面部表情识别，可使识别结果更准确。
可以通过识别面部特征点的坐标是否发生变化来判断是否发生面部表情，例如，在被识别对象为平静状态时，各面部特征点的三维坐标可以为初始值，在不断采集面部图像并进行识别的过程中，一旦发现某一个或多个特征点的坐标值的变化量超过一定范围，可以认为发生了面部表情，当该些特征点的坐标值恢复至初始值附近，可以认为该面部表情结束后，以此类推可以得到发生面部表情的次数，同时可以记录每次发生的面部表情的持续时间。如果发生某种面部表情的次数超过一定数量或者明显多于其他类型面部表情的次数，可以认为实际上发生该种面部表情的概率较大。如果某种面部表情的持续时间超过一定时长或者长于其他类型的面部表情的持续时间，可以认为实际上发生该种面部表情的概率较大。
本实施例中，通过采集头部位置数据以及记录面部表情行为数据，用作面部表情数据，综合进行分析，以此能够进一步提高识别的准确度。
在一些实施例中，上述步骤s120，即，在采集所述面部特征点数据的同时采集能够反映情感状态的生理传感器数据，具体地，可包括：在采集所述面部特征点数据的同时采集心脏周围、指尖、耳垂及手腕中的至少一个部位的脉搏信号，作为生理传感器数据。其中，所述脉搏信号包括原始脉搏模拟信号，根据脉搏信号进行hrv分析可以得到相应时刻的hrv数据。
本实施例中，心脏周围、指尖、耳垂及手腕等部位的脉搏/心率数据较能准确反映被试情绪变化，所以可使识别结果更准确。
图4是本发明一实施例中利用面部表情数据和生理传感器数据识别面部表情的方法流程示意图。如图4所示，上述步骤s130，即，依据预定规则并利用面部表情数据和相应的所述生理传感器数据识别面部表情，可包括：
步骤s131：对所述生理传感器数据中的脉搏信号进行hrv分析得到功率密度谱，并根据所述功率密度谱所属的范围确定情绪状态类别；
步骤s132：根据所述面部表情数据映射得到情绪效价值，以确定细分情绪状态；
步骤s133：在所述细分情绪状态属于所述情绪状态类别的情况下，将所述细分情绪状态作为面部表情识别结果。
在上述步骤s131中，可以通过对原始数据进行hrv频率特征提取，进而确定所映射的情感状态类别。对所述生理传感器数据中的脉搏信号进行hrv分析，具体地可包括：根据原始的脉搏信号可以得到rr间期数据，根据rr间期可以得到心率数据，根据心率数据进行频域分析，得到功率谱密度。根据功率谱密度所对应的范围可以得到相应的情绪状态类别。其中，功率谱密度范围和情绪状态类别的对应关系，可以根据大量被试的脉搏数据和刺激材料(能够得知被试的情绪状态)的对应关系通过分析得到。例如，可以利用lomb-scargle周期图的算法对大量被试做数据采集，分析后可以得到非对称数据状态下，被试平静的状态下hrv的功率谱线可以在例如0-0.4hz范围。然后可以对采集的非线性数据进行分析。可以通过散点图方式确定不同情感状态类别下的大量样本对应的功率谱范围，并根据该功率谱范围确定所述生理传感器数据中数据点所对应的情感状态类别。散点图横轴处于0.7-0.8hz的状态属于被试者处于放松的状态；散点图横轴处于0.55-0.65hz的状态属于被试者处于紧张的状态。情感状态类别可包括紧张和放松，在其他实施例中，可以划分更细的类别，例如还可以包括平静。
在上述步骤s132中，可以将各种面部表情数据(各面部特征点的坐标值或坐标变化值、面部表情的持续时间、面部表情发生次数)分别按照各自对应的预定范围进行划分，然后根据各种面部表情数据所属的划分范围映射得到情绪效价值，并通过情绪效价值判断被试的细分情感状态，例如开心、生气、愤怒等。其中，情绪效价值的范围可为－1～+1之间，其中，若情绪效价值的范围在－1～0之间，可以认为被试情感状态为消极状态；若情绪效价值的范围在0～+1之间，可以认为被试情感状态为积极状态。其中，情绪效价值＝开心对应的值-其它表情中对应的最大值(可以除惊讶外)，以此可以判断当前时间点上的情绪的正性或负性。其中，不同类型的面部表情数据对应不同权重，以此可以综合各面部表情数据得到细分情绪状态。其中，不同面部表情数据，例如不同面部特征点的数据(坐标值或坐标变化量)，对应得到各自的情绪效价值，可以经由设定权重进行叠加得到最终的情绪效价值，然后根据该最终的情绪效价值判断面部表情数据对应的识别结果。
在上述步骤s133中，若细分情绪状态属于所述情绪状态类别，说明面部特征点的识别结果与生理传感器数据的识别结果一致，则可将所述细分情绪状态作为面部表情识别结果；若不一致，则说明识别结果可能不准确，需要做进一步判断。
本实施例中，通过先利用脉搏数据进行情绪状态类别的大分类，再利用面部特征点数据进行细分类，以此可以有效地将面部特征点数据和脉搏数据结合起来综合分析，从而可以更准确地识别面部表情。
在一些实施例中，在所述功率密度谱所属的范围为0.7hz～0.8hz的情况下，所述情绪状态类别为放松状态；在所述功率密度谱所属的范围为0.55hz～0.65hz的情况下，所述情绪状态类别为紧张状态。本实施例中的功率密度谱即散点图横轴的范围，是通过分析大量样本得到的，能够用于对生理传感器(脉搏/心率信号)数据进行准确分析，得到面部表情识别结果。
为使本领域技术人员更好地了解本发明，下面将以具体实施例说明本发明的实施过程。
图5是本发明一实施例的面部表情识别方法的流程示意图。如图5所示，一些实施例的面部表情识别方法，可包括：
步骤s101：进行人机交互界面参数设定；
人机交互界面的参数设定可以包括将项目名称、被试编号、被试姓名、被试性别输入到人机交互界面，以确定被试者的具体信息。
步骤s102：进行面部表情数据采集；
通过相机对被试的面部表情进行采集。面部表情数据的采集过程中所采用的相机可以为rgb相机，其最小分辨率可以设定为320×240，最小帧速率可以设定为10帧/秒。面部表情数据可包括：头部坐标位置数据采集、面部特征点数据采集和面部表情行为数据采集。
可通过头部位置的坐标、34个面部特征点的坐标、以及面部表情的行为数据作为所采集的面部表情数据。在面部表情数据采集的过程中，应保证面部表情都是可见的；如果面部表情的特征点被遮挡，面部表情的跟踪将会被阻碍，此时只能接受部分的面部表情特征点的采集结果；如果面部表情被遮挡的同时不能识别表情信息的话可以根据采集的hrv(心率变异性)的信息判断被试属于紧张或者放松的情感状态。
其中，头部位置的坐标包括：俯仰角、偏航角、翻滚角。图6是本发明一实施例中头部位置所采用的坐标轴的示意图，如图6所示，在头部模拟设有头部坐标轴：x轴、y轴和z轴。x轴是与人眼直视方向建立垂直的水平轴，y轴是数值向上并与人眼直视的方向垂直的轴；z轴是沿人眼直视方向所建立的轴。俯仰角pitch是头部围绕x轴旋转的角度；偏航角yaw是头部围绕y轴旋转过的角度；翻滚角roll是头部围绕z轴旋转过的角度。
上述34个面部特征点可包括：右前颚、右下颌角、下巴尖、左下颌角、左前颚、右眉外侧点、右眉中心点、右眉内侧点、左眉内侧点、左眉中心点、左眉外侧点、鼻根、鼻尖、鼻右下边界点、鼻底边界点、鼻左下边界点、右眼外侧、右眼内侧、左眼内侧、左眼外侧、右唇角、上唇右尖端点、上唇中心点、上唇左尖端点、左唇角点、下唇左边缘点、下唇中心点、下唇右边缘点、下唇上端点、下唇底端点、右眼上角点、右眼下角点、左眼上角点、左眼下角点。
面部表情的行为数据可包括：面部表情的开始时间、结束时间、持续时间以及发生的次数。
步骤s103：进行生理传感器数据采集；
在采集面部表情数据的过程中，可以同时采集相应时刻的生理传感器数据。生理传感器数据可以包括心率相关数据、脉搏相关数据。可以利用光电容积脉搏传感器采集到被试的心率/脉搏的原始信号，例如，可以对指尖、耳垂、手腕等部位的脉搏信号进行采集；或者，可以使用3导联电极心电传感器采集到被试的脉搏数据。
步骤s104：对面部表情数据和生理传感器数据进行处理；
(1)生理传感器数据处理
采集得到的心率/脉搏的原始数据可以进行滤波处理再进行hrv(心率变异性)分析，可以先得到hrv数据再做进一步分析；或者最直接进行hrv(心率变异性)分析，通过hrv分析可得到功率密度谱，对功率密度谱进行划分后可映射至情感状态，得到心率/脉搏的原始数据对应的识别结果。
具体地，可以通过hrv的时域分析计算出sdnn(正常窦性心博间期的标准差)，或者，可以通过频域方法计算出hrv的功率密度谱。利用sdnn或hrv的功率密度谱的划分映射至情感状态。例如，根据hrv的功率谱线的值的范围先确定被试者处于的状态，是紧张状态还是放松状态，据此大类可以对面部表情进行分析和分类。以通过计算脉搏信号的低频功率lf和高频功率hf来进行情绪状态的判断，其中，频率可使用快速傅里叶变换进行得到，低频功率lf可以是0.04-0.14hz范围的频率功率，hf可以是0.14-0.4hz范围的频率功率，情绪状态可以用lf/(lf+hf)来表示。例如，当功率谱的线在0.7hz～0.8hz范围时，对应的情感状态可以属于被试者处于放松的状态；当功率谱的线在0.55hz～0.65hz范围时，对应的情感状态可以属于被试者处于紧张的状态。
通过光电容积脉搏采集到心率的原始信号，可以基于lomb-scargle周期图对心率的原始信号进行hrv的频域特征提取。其中，lomb-scargle周期图是在经典谱估计的周期图法的基础上针对不能对非均匀信号进行直接频谱分析的做了改进的分析频谱方法，可以运用最小二乘法拟合心率的原始信号的曲线，再使用均方根误差去估计模型周期变化的程度。运用lomb-scargle周期图的方式提取hrv的频域特征，对于一个hrv的时间序列x(ti)，i＝123…n，这里假设频率表示为f1、f2、f3、…、fi、…、fn和它对应的角频率表示为w＝2πfi，则lomb-scargle周期图可由如下公式定义：
其中
根据lomb-scargle周期图的算法对大量被试做数据采集，分析后可以得到非对称数据状态下，被试平静的状态下hrv的功率谱线可以在0-0.4hz范围。然后可以对采集的非线性数据进行分析。非线性数据的分析可以采用poincare散点图的方式进行。
其中，poincare散点图是在直角坐标系下标记所有相邻的rr间期点位置的分布图，可以反应hrv的整体的特性，同时也可以反应心率的瞬间变化。poincare散点图是在记录一段心电数据的rr间期后，以第一个rr间期作为横坐标，第二个rr间期数据作为纵坐标，定第一个点然后以第二个rr间期值作为横坐标，第三个rr间期值作为纵坐标的第二个点，依次类推对所有的rr间期值绘制出一系列的点没形成可以反应hrv特性的散点图。
接下可以通过对被试采集的大量样本数据绘制散点图，以确定放松与紧张状态下的区间范围值。图7是本发明一实施例中散点图的示意图。如图7所示，根据大量的数据的采集和活散点图进行分析，可得到：散点图横轴处于0.7-0.8hz的状态属于被试者处于放松的状态；散点图横轴处于0.55-0.65hz的状态属于被试者处于紧张的状态。
(2)面部表情数据处理
可以通过人机交互界面上传面部表情数据进行智能识别，或者最直接传送面部表情数据进行智能识别。在进行面部表情数据处理过程中，可以将面部表情数据中的各面部特征点的坐标值或坐标变化值、面部表情的持续时间、面部表情发生次数分别按照预定的坐标值范围划分或坐标变化值划分、持续时间范围划分、次数划分映射至相应的情感状态。其中，细分情感状态可对紧张或放松进行具体划分，具体地可包括开心(joy)、悲伤(sadness)、生气(anger)、惊讶(surprise)、恐惧(fear)、怀疑(disgust)、蔑视(contempt)、参与度(engage)等。举例而言，映射方式可以包括，面部特征点中的右唇角的坐标变化值(例如，变化矢量的模)在-0.1mm～0mm范围时对应的情感状态为生气，在0mm～0.5mm范围时对应的情感状态为开心；持续时间在0.5s～1s范围对应的情感状态为开心，在0s～0.5s范围对应的情感状态为蔑视。表情类似的感情状态可以对应同一范围。
可以利用roc(receiveroperatingcharacteristic，受试者工作特征)曲线的方法对划分后的各种面部表情数据进行评价，其中，roc值的取值范围在0～1之间，值越接近1则越精确，以此能够确保测量数据的精准性。
可以通过将采集的数据经由人机交互界面处理后得到情绪效价值，并通过情绪效价值判断被试的情感状态，映射得到情感状态，得到智能识别结果。可以通过情绪效价对各种面部表情数据进行打分、评价，从而判断被试的情感状态(得到识别结果)，例如是消极或积极，情绪效价值的范围可为－1～+1之间，其中，若情绪效价值的范围在－1～0之间，可以认为被试情感状态为消极状态；若情绪效价值的范围在0～+1之间，可以认为被试情感状态为积极状态。其中，情绪效价值＝开心对应的值-其它表情中对应的最大值(可以除惊讶外)(情绪效价值可以通过刺激材料的实验来确定具体的值区间。例如，找n个被试采集数据，记录采集模型数据，然后根据不同的刺激分类，找出对应情绪的数据作为以后实验的基准)，以此可以判断当前时间点上的情绪的正性或负性。
综合面部表情数据处理的结果和生理传感器数据处理的结果，例如，若细分情绪状态属于所述情绪状态类别，说明面部特征点的识别结果与生理传感器数据的识别结果一致，则可将所述细分情绪状态作为面部表情识别结果；若不一致，则说明识别结果可能不准确，需要做进一步判断。
本实施例中，通过人机交互界面参数设定，面部表情数据采集，面部表情数据处理，并结合生理指标传感器-脉搏传感器进行综合分析，通过脉搏传感器的辅助能更加准确的识别面部的表情以及面部表达的情感状态。通过面部表情的准确识别和脉搏传感器的辅助，可以判断出人的情感状态是积极状态还是消极的状态。因此，能更加准确的识别面部的表情以及其表达的情绪和感情，并能够通过面部表情的准确识别判断出人的情感状态是积极的还是消极的。
基于与图1所示的面部表情识别方法相同的发明构思，本发明实施例还提供了一种面部表情识别装置，如下面实施例所述。由于该面部表情识别装置解决问题的原理与面部表情识别方法相似，因此该面部表情识别装置的实施可以参见面部表情识别方法的实施，重复之处不再赘述。
图8是本发明一实施例的面部表情识别装置的结构示意图。如图8所示，一些实施例的面部表情识别装置，可包括：
面部特征点数据采集单元210，用于在识别时间段内根据设定帧速率采集通过坐标值表示的面部特征点数据；
生理传感器数据单元220，用于在采集所述面部特征点数据的同时采集能够反映情感状态的生理传感器数据；
面部表情数据识别单元230，用于利用面部表情数据和相应的所述生理传感器数据识别面部表情，所述面部表情数据包括所述面部特征点数据。
在一些实施例中，面部特征点数据采集单元210，可包括：
图像采集模块，用于在识别时间段内利用深度相机以设定帧速率采集面部图像；
特征点识别模块，用于识别所述面部图像中的面部特征点的三维坐标值，得到面部特征点数据。
在一些实施例中，所述面部特征点数据，包括：右前颚、右下颌角、下巴尖、左下颌角、左前颚、右眉外侧点、右眉中心点、右眉内侧点、左眉内侧点、左眉中心点、左眉外侧点、鼻根、鼻尖、鼻右下边界点、鼻底边界点、鼻左下边界点、右眼外侧、右眼内侧、左眼内侧、左眼外侧、右唇角、上唇右尖端点、上唇中心点、上唇左尖端点、左唇角点、下唇左边缘点、下唇中心点、下唇右边缘点、下唇上端点、下唇底端点、右眼上角点、右眼下角点、左眼上角点及左眼下角点的面部特征点的三维坐标值。
在一些实施例中，图8所示的面部表情识别装置，还可包括：
头部位置及行为数据采集单元，用于在所述识别时间段内采集通过角度值表示的头部位置数据，并记录面部表情行为数据；所述头部位置数据，包括：基于头部模拟坐标轴表示的俯仰角、偏航角及翻滚角；所述面部表情行为数据，包括：发生面部表情的次数和每次发生的面部表情的持续时间；所述面部表情数据还包括所述头部位置数据和所述面部表情行为数据。
在一些实施例中，生理传感器数据单元220，可包括：
脉搏数据采集模块，用于在采集所述面部特征点数据的同时采集心脏周围、指尖、耳垂及手腕中的至少一个部位的脉搏信号，作为生理传感器数据。
在一些实施例中，面部表情数据识别单元230，可包括：
第一识别模块，用于对所述生理传感器数据中的脉搏信号进行hrv分析得到功率密度谱，并根据所述功率密度谱所属的范围确定情绪状态类别；
第二识别模块，用于根据所述面部表情数据映射得到情绪效价值，以确定细分情绪状态；
综合识别模块，用于在所述细分情绪状态属于所述情绪状态类别的情况下，将所述细分情绪状态作为面部表情识别结果。
在一些实施例中，在所述功率密度谱所属的范围为0.7hz～0.8hz的情况下，所述情绪状态类别为放松状态；在所述功率密度谱所属的范围为0.55hz～0.65hz的情况下，所述情绪状态类别为紧张状态。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例所述方法的步骤。该电子设备可以包括计算机、手机、平板电脑、专用设备等。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所述方法的步骤。
综上所述，本发明实施例的面部表情识别方法、面部表情识别装置、电子设备及计算机可读存储介质，通过同时采集面部特征点数据和能够反映情感状态的生理传感器数据，并利用两种数据综合分析来识别面部表情，能够得到更准确的识别结果，从而更加准确的识别面部的表情以及其表达的情绪和感情。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！