情绪识别方法、装置及宠物机器人与流程

本申请涉及机器人技术领域，尤其是涉及一种情绪识别方法、装置及宠物机器人。

背景技术：

宠物机器人是自动执行工作的机器装置，它既可以接受用户指挥，也可以运行预先编排的程序，还可以根据人工智能技术制定的动作指令行动。宠物机器人最重要的娱乐功能在于能够与用户交互。

现有技术中，宠物机器人一般通过自身设置的显示屏来表达情绪，且通常通过装载的摄像设备拍摄人脸图像，并根据拍摄的人脸图像来分析用户的情绪。

申请人在研究中发现，现有技术中，由于采集的人脸图像受光线等环境因素影响较大，如在夜间光线不好的情况下采集的人脸图像的质量较差，这将直接影响对情绪的分析效果，识别的准确率较低。又由于宠物机器人在供人抚摸时无法保证宠物机器人上的摄像设备一定会拍摄到人脸，这将直接导致无法对用户的情绪进行分析，实用性较差。

技术实现要素：

有鉴于此，本申请的目的在于提供一种情绪识别方法、装置及宠物机器人，以提高宠物机器人识别目标用户的情绪的能力同时，提高情绪识别的准确率。

包括如下几个方面：

第一方面，本申请提供了一种情绪识别方法，包括：

确定目标用户操作宠物机器人的动作信息；

将确定的动作信息输入至训练好的情绪识别模型中，得到与所述目标用户对应的情绪类别。

优选地，所述情绪类别包括积极情绪和消极情绪中的任意一种。

优选地，在所述确定目标用户操作宠物机器人的动作信息之前，还包括:

接收所述宠物机器人上设置的压力传感器阵列采集的电压信号集；

针对所述电压信号集中的每个电压信号，确定采集该电压信号的采集时间和采集位置；

所述确定目标用户操作宠物机器人的动作信息，包括：

根据各电压信号、以及每个电压信号对应的采集时间和采集位置，确定所述目标用户操作宠物机器人的动作信息；

其中，所述动作信息包括动作位置信息、以及与该动作位置信息对应的动作力度信息和动作路径信息。

优选地，按照如下步骤训练所述情绪识别模型：

获取各样本用户操作所述宠物机器人的动作信息，以及与每个样本用户对应的情绪类别标签；

所述情绪类别标签用于标识所述样本用户的情绪类别；

依次将每个样本用户操作所述宠物机器人的动作信息作为待训练的情绪识别模型的输入，将该样本用户对应的情绪类别标签作为待训练的情绪识别模型的输出，训练得到所述情绪识别模型。

优选地，所述情绪识别模型包括全连接前馈神经网络、卷积神经网络和循环神经网络中的任意一种。

第二方面，本申请实施例还提供一种情绪识别装置，包括：

确定模块，用于确定目标用户操作宠物机器人的动作信息；

识别模块，用于将确定的动作信息输入至训练好的情绪识别模型中，得到与所述目标用户对应的情绪类别。

优选地，所述情绪类别包括积极情绪和消极情绪中的任意一种。

优选地，所述装置还包括：

接收模块，用于接收所述宠物机器人上设置的压力传感器阵列采集的电压信号集；针对所述电压信号集中的每个电压信号，确定采集该电压信号的采集时间和采集位置；

所述确定模块，具体用于：

根据各电压信号、以及每个电压信号对应的采集时间和采集位置，确定所述目标用户操作宠物机器人的动作信息；其中，所述动作信息包括动作位置信息、以及与该动作位置信息对应的动作力度信息和动作路径信息。

优选地，所述装置还包括：

训练模块，用于：

获取各样本用户操作所述宠物机器人的动作信息，以及与每个样本用户对应的情绪类别标签；所述情绪类别标签用于标识所述样本用户的情绪类别；

依次将每个样本用户操作所述宠物机器人的动作信息作为待训练的情绪识别模型的输入，将该样本用户对应的情绪类别标签作为待训练的情绪识别模型的输出，训练得到所述情绪识别模型。

第三方面，本申请实施例还提供一种宠物机器人，包括如上所述情绪识别装置，还包括压力传感器阵列；所述压力传感器阵列与处理器电连接；

所述压力传感器阵列，用于采集目标用户操作宠物机器人时产生的电压信号集，将所述电压信号集传输至所述处理器；

所述情绪识别装置，用于接收所述电压信号集，对所述电压信号集进行转换处理，得到转换处理后的动作信息，并将确定的动作信息输入至训练好的情绪识别模型中，得到与所述目标用户对应的情绪类别。

本申请实施例提供的情绪识别方法、装置及宠物机器人，与现有技术中的情绪识别方法受外界因素影响较大而导致情绪识别的准确率较低、实用性较差相比，其采用训练好的情绪识别模型识别与目标用户的动作信息相对应的情绪类别，受外界因素的影响较小，在提升了宠物机器人识别目标用户的情绪的能力的同时，还提高了情绪识别的准确率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的情绪识别方法的流程图；

图2示出了本申请实施例所提供的确定目标用户操作宠物机器人的动作信息的流程图；

图3示出了本申请实施例所提供的压力应变片传感器依附在轧带上的结构示意图；

图4示出了本申请实施例所提供的训练情绪识别模型的流程图；

图5示出了本申请实施例所提供的数组的示意图；

图6示出了本申请实施例所提供的宠物机器人的工作流程图；

图7示出了本申请实施例所提供的一种情绪识别装置的结构示意图；

图8示出了本申请实施例所提供的另一种情绪识别装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有的宠物机器人一般通过自身设置的显示屏来表达情绪，且通常通过装载的摄像设备拍摄人脸图像，并根据拍摄的人脸图像来分析用户的情绪。然而，由于采集的人脸图像受光线等环境因素影响较大，如在夜间光线不好的情况下采集的人脸图像的质量较差，这将直接影响对情绪的分析效果，识别的准确率较低。又由于宠物机器人在供人抚摸时无法保证宠物机器人上的摄像设备一定会拍摄到人脸，这将直接导致无法对用户的情绪进行分析，实用性较差。

基于此，本申请实施例提供了一种情绪识别方法、装置及宠物机器人，下面通过实施例进行描述。

为便于对本实施例进行理解，首先对本申请实施例所公开的一种情绪识别方法进行详细介绍。

实施例一

如图1所示，为本申请实施例一提供的一种情绪识别方法，包括：

s101、确定目标用户操作宠物机器人的动作信息。

这里，目标用户操作宠物机器人的动作信息可以由目标用户通过抱、搂、抚摸、拍等一系列肢体动作产生。其中，本申请中的动作信息是指能够被采集的信息，可以包括动作位置信息、以及与该动作位置信息对应的动作力度信息和动作路径信息等信息。

s102、将确定的动作信息输入至训练好的情绪识别模型中，得到与目标用户对应的情绪类别。

在本实施例中，将确定的动作信息输入到训练好的情绪识别模型中，便可以得到所述目标用户对应的情绪类别。在具体实施中，情绪识别模型将动作信息映射为情绪类别。本申请实施例可以采用全连接前馈神经网络、卷积神经网络和循环神经网络等网络结构作为情绪识别模型并进行训练。也即，本申请实施例采用网络通过反复迭代学习，逐渐掌握各种基础知识，并最终学习到如何根据动作信息生成对应的情绪类别。

需要说明的是，本申请可以是一个基于二分类进行类型识别的情绪识别模型，这样对应的情绪类别也为两种：积极和消极。但是，在具体应用时，情绪识别模型不仅仅局限于二分类，多分类也具有一定的应用价值，相应的，多分类情绪识别模型能够识别的情绪类型更多，比如大喜、悲伤、大怒、恐惧、欢乐等，多分类情绪识别模型与二分类情绪识别模型的训练的原理相似，在此就不再一一赘述。

本申请实施例提供的情绪识别方法，采用训练好的情绪识别模型识别与目标用户的动作信息相对应的情绪类别，受外界因素的影响较小，在提升了宠物机器人识别目标用户的情绪的能力的同时，还提高了情绪识别的准确率。

实施例二

综合上述实施例一可知，在确定目标用户操作宠物机器人的动作信息之前，还包括以下步骤，如图2所示：

s201、接收宠物机器人上设置的压力传感器阵列采集的电压信号集。

在本实施例二中，宠物机器人上设置的压力传感器阵列可以由多个压力应变片传感器组成，比如采用13个压力应变片传感器，此处的13个压力应变片传感器是经过不断试验得出的结果，恰好可以覆盖宠物机器人经常会被抚摸到的位置，从而提高了宠物机器人识别情绪的准确率。压力应变片传感器则由压力应变片和解析压力应变片弯曲程度的电路板组成。当压力应变片弯曲程度越大时，压力应变片传感器输出的电压值越高。在宠物机器人中，压力应变片传感器输出的电压范围值为0-3.3伏。利用压力应变片传感器的目的是将目标用户对宠物机器人的肢体动作产生的压力转化为压力应变片的弯曲程度，进而转化为压力应变片传感器输出的电压值，基于该电压值确定对应的动作信息。

需要说明的是，本实施例二中采用的压力传感器为压力应变片传感器，由于压力应变片传感器的特殊结构，需要将其粘贴在可弯曲介质上，才能测量其弯曲程度。考虑到柔韧性、可恢复性和灵敏度，将压力应变片与轧带黏贴在一起，可以将轧带斜插入宠物机器人机壳的孔中并固定，如图3所示。轧带周围还需要填充棉花，外部还需包围毛绒材质的表面，让宠物机器人摸起来比较柔软。

当人手抚摸宠物机器人表面时，宠物机器人表面会凹陷，进而轧带会弯曲。人手抚摸力度越大，宠物机器人表面形变量越大，轧带弯曲程度越大，轧带弯曲带动压力应变片弯曲，进而压力应变片传感器输出的电压值会变化。通过压力应变片传感器，形成了人手抚摸力度大小与电压大小的一个映射关系。这样，在目标用户操作宠物机器人时，经过压力传感器转化后的电压信号，可以形成一个电压信号集，以进行下一步操作。

s202、针对电压信号集中的每个电压信号，确定采集该电压信号的采集时间和采集位置。

这里，每一个电压信号均可以对应有相应的采集时间和采集位置。可以在一段采集时间内，确定有哪些采集位置处的压力应变片传感器产生了电压信号，从而确定出动作路径信息；也可以根据采集时间的先后顺序，通过采集位置处的电压信号确定出动作路径信息。无论是哪种形式，都可以通过采集时间和采集位置确定动作路径消息。

s203、根据各电压信号、以及每个电压信号对应的采集时间和采集位置，确定目标用户操作宠物机器人的动作信息。

其中，动作信息包括动作位置信息、以及与该动作位置信息对应的动作力度信息和动作路径信息。

在本申请实施例中，该宠物机器人上分布着13个压力应变片传感器(配合轧带使用)，形成了一个压力应变片传感器阵列。压力应变片传感器是将人手对宠物机器人抚摸的压力转化为压力应变片的弯曲程度，进而转化为压力应变片传感器输出的电压值，通过采集电压值便可以得到动作力度信息；由于人手抚摸宠物机器人的时间有先后之分，根据时间的不同，便可以形成一条动作路径，通过采集动作路径上的压力应变片传感器所对应的电压信号便可以得到动作路径消息。

因此宠物机器人不仅可以感知人手对宠物机器人用力的大小，还可以感受到人手抚摸的位置以及抚摸的路径。其中，压力应变片传感器所依附的轧带在机器人表面的分布如图3所示，图中数字为传感器序号。

实施例三

如图4所示，本申请实施例可以按照如下步骤训练情绪识别模型：

s401、获取各样本用户操作宠物机器人的动作信息，以及与每个样本用户对应的情绪类别标签；其中，情绪类别标签用于标识样本用户的情绪类别；

s402、依次将每个样本用户操作宠物机器人的动作信息作为待训练的情绪识别模型的输入，将该样本用户对应的情绪类别标签作为待训练的情绪识别模型的输出，训练得到情绪识别模型。

需要说明的是，本申请中的模型训练通过反向传播的方式调整情绪识别模型的参数，经过多次迭代调整，最终得到比较精确的情绪识别模型。首先由每个样本用户操作宠物机器人的动作信息进行前向传播计算出网络输出，然后与该样本用户对应的情绪类别标签进行比对，计算出总体误差，再进行反向传播，根据误差值逐层修正权值和阈值，直到误差满足要求为止。

本申请实施例三中的情绪识别模型在训练时需要人工标定样本，通过收集样本用户操作宠物机器人的动作信息，并不断修正情绪识别模型的参数，使得训练结果与每个样本用户对应的情绪类别标签相匹配。需要说明的是，情绪类别标签用于标识积极与消极两种情绪类别。除此之外，样本用户数量越多，训练得到的情绪识别模型就越准确，这样一来，宠物机器人在预判目标用户的情绪时，出错的概率就大大降低了。

本申请实施例三以全连接前馈神经网络为例，选取5×5的数组，如图5所示，只有16个位置的数字是有效的，将这16个位置的数字按顺序组成一个16维列向量，将该列向量作为训练样本对全连接前馈神经网络进行训练，进而实现情绪分析。

以二分类情感分析为例，即分析出的情感为积极或者是消极两种。当具有积极或消极情绪的人抚摸宠物机器人时，因为受自身情绪、情感的影响，人对宠物机器人抚摸的力度及路径会有所不同，这种由于情感所导致的抚摸力度及抚摸路径的不同会反映到从传感器收集的16维列向量的数据特征中，这种数据特征很难被人的肉眼所发现。但是将16维列向量数据作为训练集样本输入到神经网络中，训练完毕后，神经网络则会感知两种不同情绪的人抚摸宠物机器人时收集到的数据分布的不同，进而进行二分类情感分析。

需要说明的是，在收集训练集样本时，可以寻找一些明显有消极情绪的人使用宠物机器人，让其对机器人进行抚摸，并收集m个列向量；再找一些明显具有积极情绪的人，让其对机器人进行抚摸，并收集n个列向量。这样就可以人工的对训练数据集进行标定了。将标定结果添加到从压力应变片传感器阵列收集到的数据向量(16维)中，标定的结果作为向量的第17维数据。将标定好的m+n个17维向量组成一个(m+n)×17维的大矩阵，当作最终的训练集数据，对初始的神经网络进行多次迭代训练，最终训练出来的神经网络便能高概率的预测出输入的未标定过的数据是具有积极情绪的还是具有消极情绪的，从而达到情感分析的目的。

为了便于对本申请实施例提供的上述情绪识别方法的理解，接下来结合一个具体的应用示例进行说明。

如图6所示，为本申请实施例提供的实现情绪识别的整体流程图。

s1：嵌入式开发板采集压力应变片传感器电压，收集训练数据；

s2：训练数据通过wifi模块传入电脑；

s3：人工对收集到的训练集数据样本进行标定，分为积极和消极两种标签；

s4：训练数据输入到电脑端神经网络进行迭代训练，训练未结束继续执行s4，训练结束后执行s5；

s5：训练过程完毕，得到训练好的各层神经网络的权重矩阵w和偏差矩阵b；

s6：将w与b矩阵应用于机器人嵌入式开发板上的神经网络中(电脑端和嵌入式开发板端的神经网络结构完全一样)；

s7：实现宠物机器人嵌入式系统上的实时情感分析；

s8：结束。

需要说明的是，本申请实施例可以采用stm32f103zet6嵌入式开发板来采集13个压力应变片传感器的电压信号。开发板采集电压信号时，会将压力应变片传感器输出的0-3.3v电压转化为0-4096数字量，并保存在一个5×5的二维数组中，二维数组的每一个位置上存的数字量固定表示一个对应位置上压力应变片传感器输出的电压量，数组和宠物机器人表面的压力应变片传感器序号的对应关系如图5所示，图5中数组中的数字表示压力应变片传感器的序号，“*”表示数组该位置不存储有用信息。传感器在机器人表面的分布位置及序号可参考图3。

需要补充的是，本申请采用的开发板stm32f103zet6存在一些弊端，由于这种嵌入式开发板的晶振频率只有72m，运算能力比较低，在该嵌入式开发板上用神经网络做实时情感分析时，计算能力还算足够，但是如果在该嵌入式开发板上进行神经网络的训练，那么计算速度会十分缓慢。因而，在实际操作中，先将嵌入式开发板收集到的训练数据传给电脑，在电脑上进行神经网络的训练，得到各层神经网络的参数，并将参数应用于嵌入式开发板上的神经网络，从而实现在嵌入式开发板上进行情感的实时分析，即宠物机器人达到情感的实时分析状态。

本申请提供的情绪识别方法可解决在供人抚摸的宠物机器人的情感分析问题。利用压力应变片传感器阵列来感知人的行为，然后通过训练好的全连接前馈神经网络进行情感分析。相对于现有的利用摄像头根据人脸表情判断情感的方法，具有更低廉的成本。同时，通过该方法进行情感分析也不需要用户与机器人之间要有特定的位置关系拍，不管用什么姿势，只要对宠物机器人表面进行动作便可分析情感。

基于同一发明构思，本申请实施例中还提供了与情绪识别方法对应的情绪识别装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述情绪识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

实施例四

如图7所示，为本申请实施例四提供的情绪识别装置的结构示意图，包括：

确定模块701，用于确定目标用户操作宠物机器人的动作信息；

识别模块702，用于将确定的动作信息输入至训练好的情绪识别模型中，得到与目标用户对应的情绪类别。

在一些实施例中，情绪类别包括积极情绪和消极情绪中的任意一种。

在一种实施方式中，上述装置还包括：

接收模块703，用于接收所述宠物机器人上设置的压力传感器阵列采集的电压信号集；针对所述电压信号集中的每个电压信号，确定采集该电压信号的采集时间和采集位置；

确定模块701，具体用于：

根据各电压信号、以及每个电压信号对应的采集时间和采集位置，确定所述目标用户操作宠物机器人的动作信息；其中，所述动作信息包括动作位置信息、以及与该动作位置信息对应的动作力度信息和动作路径信息。

在另一种实施方式中，上述装置还包括：

训练模块704，用于：

获取各样本用户操作所述宠物机器人的动作信息，以及与每个样本用户对应的情绪类别标签；所述情绪类别标签用于标识所述样本用户的情绪类别；

依次将每个样本用户操作所述宠物机器人的动作信息作为待训练的情绪识别模型的输入，将该样本用户对应的情绪类别标签作为待训练的情绪识别模型的输出，训练得到所述情绪识别模型。

基于上述情绪识别装置，本申请实施例还提供一种宠物机器人，具体可参见以下实施例。

本申请实施例提供的宠物机器人，包括情绪识别装置，还包括压力传感器阵列；压力传感器阵列与处理器电连接；

压力传感器阵列，用于采集目标用户操作宠物机器人时产生的电压信号集，将电压信号集传输至所述处理器。

本申请中的压力传感器采用压力应变片传感器，由于宠物机器人的整体柔软，供人抚摸，当人手抚摸宠物机器人时，会引起宠物机器人局部形变，压力应变片传感器利用其自身的结构特点，恰好可以将宠物机器人的局部形变转化为自身的形变，进而转化为其输出的电压值。

情绪识别装置，用于接收电压信号集，对电压信号集进行转换处理，得到转换处理后的动作信息，并将确定的动作信息输入至训练好的情绪识别模型中，得到与目标用户对应的情绪类别。

如图8所示，为本申请实施例所提供的另一种情绪识别装置的结构示意图，该情绪识别装置包括：处理器801、存储器802和总线803，存储器802存储执行指令，当装置运行时，处理器801与存储器802之间通过总线803通信，处理器801执行存储器802中存储的上述实施例一至实施例三中任一项所述的情绪识别方法的步骤。

本申请实施例所提供的情绪识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和机器，可以通过其它的方式实现。以上所描述的方法、装置的实施例仅仅是示意性的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理器单元中，也可以是各个模块单独存在，也可以两个或两个以上模块集成在一个处理器单元中。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。