一种基于表情识别的自闭症拥抱机体验评价方法及系统与流程

本发明涉及大数据领域，具体涉及一种基于表情识别的自闭症拥抱机体验评价方法及系统。

背景技术：

如今，正值心理健康危机日益严重的时期，尤其是年轻人。根据2015年的《高等教育纪事报》的一份报道中指出，自杀是大学生死亡的第二大杀手，仅次于交通事故；自1999年以来，美国的整体自杀率飙升了约25％。针对那些患有自闭症、spd(感觉紊乱)、抑郁症、发育迟缓人群或者仅仅是压力过大的用户。有研究表明，借助外物适度挤压身体能够极大缓解焦虑情绪舒缓压力，像拥抱机这样声称能够通过背腹双侧按摩减轻心理压力，改善肢体运动能力，能够有效减轻患者普遍存在的紧张情绪，让用户在放松的状态下更容易学会与他人的互动交流。嵌入情绪识别系统，将患者体验过程中的情绪变化进行采集、计算、分析，在大多情况下还是可以作为企业进行自闭症拥抱机产品升级优化的依据。

现有技术在拥抱机产品优化改进过程中，工程技术人员不能快速获取改进型拥抱机的用户体验数据，不能对产品优化结果做出快速评价。

技术实现要素：

为了解决现在产品研发过程中，研发人员不能快速获取改进型拥抱机用户体验数据的问题，本申请提供一种基于表情识别的自闭症拥抱机体验评价方法,包括以下步骤

s1：采集用户使用拥抱机的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵，；

s2:采集用户调查数据，依据所述用户调查数据得到结果矩阵y，构建的bp神经网络，采用所述输入矩阵和所述结果矩阵对bp神经网络进行训练。

s3:采集用户使用拥抱机的第二过程视频，采用训练完成的bp神经网络对所述用户使用拥抱机的第二过程视频进行分析并获取用户体验数据。

进一步的，所述步骤s1包括，

s11：以横坐标为时间，纵坐标为表情类型代码生成用户人脸表情向量随时间变化的二维表情谱，其中，“愤怒”对应的表情向量为[0,0,0,0,0,0,1]^t、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]^t、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]^t、“高兴”对应的表情向量为[0,0,0,4,0,0,0]^t、“伤心”对应的表情向量为[0,0,5,0,0,0,0]^t、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]^t、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]^t，采用表情谱得到矩阵a＝[e1,e2,e3,…,en]7×n；

s12:将矩阵a进行转置变换得到a^t＝[e1,e2,e3,…,en]n×7；

s13:构造矩阵m＝a·a^t；

s14:计算矩阵m的特征值，生成矩阵m的特征值矩阵λ＝[λ1,λ2,λ3,…,λ7]1×7；

s15:生成输入矩阵x＝[λ,n,b]1×9，其中n为年龄，b为性别。

进一步的，设置所述bp神经网络的隐含层节点数为l，隐含层节点函数为s型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。

进一步的，所述步骤s2包括以下步骤，

s21：初始化神经网络参数的权值w1、w2以及阈值b1、b2；

s22：初始化的网络参数采用如下公式计算此时的

其中，表示预测值；

w1、w2分别表示神经网络参数的权值；

b1、b2分别表示神经网络参数的阈值；

表示经归一化的输入样本；

s23：计算此时实际样本输出与预测值之间系统对n个训练样本的总误差，总误差e准则函数如下：

其中，e表示误差性能指标函数；

表示bp网络输出；

表示实际输出；

s24：修正神经网络参数的权值和阈值，具体公式如下：

其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；

表示隐含层输出；x(i)表示输入样本；

wjk表示输出层与隐含层权值；

其中，w2jk表示输出层与隐含层的连接权值；

其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；

b2＝b2+ηe

其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,n；n为样本量；

s25：利用更新得到的神经网络参数的权值和阈值重新估计重复第二步至第四步的过程，直到总误差小于设定值。

进一步的，所述步骤s3还包括，

将用户体验数据发送至管理员移动终端并进行展示。

为了保证上述方法的实施，本发明还提供一种基于表情识别的自闭症拥抱机体验评价系统,其特征在于，包括以下模块

采集模块，用于采集用户使用拥抱机的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵，；

训练模块，用于采集第一用户调查数据，依据所述第一用户调查数据得到结果矩阵y，构建的bp神经网络，采用所述输入矩阵和所述结果矩阵对bp神经网络进行训练。

结果输出模块，用于采集用户使用拥抱机的第二过程视频，采用训练完成的bp神经网络对所述用户使用拥抱机的第二过程视频进行分析并获取存储用户体验数据。

进一步的，所述采集模块采用以下步骤获取输入矩阵，

s11：以横坐标为时间，纵坐标为表情类型代码生成用户人脸表情向量随时间变化的二维表情谱，其中，“愤怒”对应的表情向量为[0,0,0,0,0,0,1]^t、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]^t、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]^t、“高兴”对应的表情向量为[0,0,0,4,0,0,0]^t、“伤心”对应的表情向量为[0,0,5,0,0,0,0]^t、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]^t、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]^t，采用表情谱得到矩阵a＝[e1,e2,e3,…,en]7×n；

s12:将矩阵a进行转置变换得到a^t＝[e1,e2,e3,…,en]n×7；

s13:构造矩阵m＝a·a^t；

s14:计算矩阵m的特征值，生成矩阵m的特征值矩阵λ＝[λ1,λ2,λ3,…,λ7]1×7；

s15:生成输入矩阵x＝[λ,n,b]1×9，其中n为年龄，b为性别。

进一步的，设置所述bp神经网络的隐含层节点数为l，隐含层节点函数为s型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。

进一步的，所述训练模块采用以下步骤，对原始参数进行建模，获取神经网络参数，

s21：初始化神经网络参数的权值w1、w2以及阈值b1、b2；

s22：初始化的网络参数采用如下公式计算此时的

其中，表示预测值；

w1、w2分别表示神经网络参数的权值；

b1、b2分别表示神经网络参数的阈值；

表示经归一化的输入样本；

s23：计算此时实际样本输出与预测值之间系统对n个训练样本的总误差，总误差e准则函数如下：

其中，e表示误差性能指标函数；

表示bp网络输出；

表示实际输出；

s24：修正神经网络参数的权值和阈值，具体公式如下：

其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；

表示隐含层输出；x(i)表示输入样本；

wjk表示输出层与隐含层权值；

其中，w2jk表示输出层与隐含层的连接权值；

其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；

b2＝b2+ηe

其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,n；n为样本量；

s25：利用更新得到的神经网络参数的权值和阈值重新估计重复第二步至第四步的过程，直到总误差小于设定值。

进一步的，所述结果输出模块还用于，将用户体验数据发送至管理员移动终端并进行展示。

本发明的有益效果是，

1遵循神经和肌肉等解剖学，具有共同特征；表情识别是一种无意识、自由状态下的数据获取方法，保证了数据的可靠性与客观性。

2容易整合到数据分析系统进行分析和可视化。

3允许其他软件实时访问面部表情分析系统的数据收集。

4能够分析所有种族的面部表情，包括儿童的面部表情。

5本发明通过训练完成的神经网络模型来对用户在使用拥抱机过程的视频进行分析快速得出用户体验数据，可以方便研发人员快速对改进型拥抱机进行评估，提高了拥抱机的研发效率。

附图说明

图1为本发明一种基于表情识别的自闭症拥抱机体验评价方法流程图。

图2为本发明一种基于表情识别的自闭症拥抱机体验评价系统结构示意图。

图3为本发明一实施例二维表情谱示意图

图4为本发明一实施例bp神经网络示意图。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。

针对产品研发过程中，研发人员不能快速获取改进型拥抱机用户体验数据的问题，本发明一种基于表情识别的自闭症拥抱机体验评价方法及系统

本发明通过采集用户视频和用户调查数据对bp神经网络进行训练，通过训练完成的bp神经网络对用户使用改进型拥抱机的视频识别，快速获取用户体验数据对改进型拥抱机进行评估。bp神经网络对于非线性系统的建模精度高，非常适合用户体验数据模型的建立。

以下将结合附图对本发明的具体实施例进行详细描述。

为了说明本发明提供的基于表情识别的自闭症拥抱机体验评价方法，图1示出了本发明一种基于表情识别的自闭症拥抱机体验评价方法流程图。

如图1所示，本发明提供的基于表情识别的自闭症拥抱机体验评价方法：

s1：采集用户使用拥抱机的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵；

s2:采集用户调查数据，依据所述用户调查数据得到结果矩阵y，构建的bp神经网络，采用所述输入矩阵和所述结果矩阵对bp神经网络进行训练；

s3:采集用户使用拥抱机的第二过程视频，采用训练完成的bp神经网络对所述用户使用拥抱机的第二过程视频进行分析并获取用户体验数据。

第一过程视频，第一过程系列照片均为用于训练神经网络模型的训练数据，第二过程视频为待检测数据，采用已经训练好的神经网络对第二过程视频进行分析获取第二过程视频对应的用户体验数据。

在本发明实施过程中步骤s1包括，利用手机app获取用户在使用不同颜色、型号、压力的拥抱机过程视频(可以通过手机app现场拍摄或者读取视频文件)传输到云端，在云端把该视频分解成连续的系列照片，应用人脸识别技术，识别该系列照片对应的人脸表情，获得表情随时间变化的代码向量(7种表情类型愤怒、厌恶、恐惧、高兴、伤心、惊讶、无情绪分别对应的代码为1、2、3、4、5、6、7)、年龄n(岁)、性别b(男/女对应代码为1/0)对该数据矩阵作以下处理，获得输入矩阵x；

具体的，在本发明一实施例中步骤s1包括，s11:画出表情代码向量随时间变化的二维表情谱，其中，横坐标为时间，纵坐标为表情类型代码1-7，得到“愤怒”对应的表情向量为[0,0,0,0,0,0,1]^t、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]^t、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]^t、“高兴”对应的表情向量为[0,0,0,4,0,0,0]^t、“伤心”对应的表情向量为[0,0,5,0,0,0,0]^t、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]^t、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]^t；利用表情谱得到矩阵a＝[e1,e2,e3,…,en]7×n(en为七种表情向量之一)。例如，当n＝10时，e＝[5,7,6,6,4,4,4,4,6,7]；画出表情代码矩阵随时间的表情谱如图3所示，由表情谱得到表情谱矩阵a:

s12:将矩阵a进行转置变换得到a^t＝[e1,e2,e3,…,en]n×7；

s13:构造新的矩阵为m＝a·a^t；

s14:计算出矩阵m的特征值，其征值矩阵为λ＝[λ1,λ2,λ3,…,λ7]1×7；

s15:输入参数矩阵由矩阵特征值、性别、年龄构成x＝[λ,n,b]1×9。

在本发明实施过程中步骤s2包括，调查用户该视频过程的真实用户体验，选择分数1分、2分、3分、4分、5分(分别对应体验过程很差、差、一般、好、很好)之一作为体验测试结果，并作为输出结果y；应用大量输入矩阵x与对应输出结果矩阵y.

在本发明实施过程中，设置所述bp神经网络的隐含层节点数为l，隐含层节点函数为s型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。

在本发明实施过程中,步骤s2采用bp神经网络对通过获得的原始参数进行建模，获取神经网络参数包括以下步骤，

s21：初始化神经网络参数的权值w1、w2以及阈值b1、b2；

s22：初始化的网络参数采用如下公式计算此时的

其中，表示预测值；

w1、w2分别表示神经网络参数的权值；

b1、b2分别表示神经网络参数的阈值；

表示经归一化的输入样本；

s23：计算此时实际样本输出与预测值之间系统对n个训练样本的总误差，总误差e准则函数如下：

其中，e表示误差性能指标函数；

表示bp网络输出；

表示实际输出；

s24：修正神经网络参数的权值和阈值，具体公式如下：

其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；

表示隐含层输出；x(i)表示输入样本；

wjk表示输出层与隐含层权值；

其中，w2jk表示输出层与隐含层的连接权值；

其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；

b2＝b2+ηe

其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,n；n为样本量；

s25：利用更新得到的神经网络参数的权值和阈值重新估计重复第二步至第四步的过程，直到总误差小于设定值。

在本发明实施过程中，步骤s3包括上述训练好的bp神经网络放入云端，把该过程开发成软件；对于新研发的拥抱机，只要录入视频即可自动获得该用户体验过程的用户体验数据，对公司进行产品升级优化结果进行快速准确评价提高了研发效率。

应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。