一种基于深度学习的机器人情感认知的方法与流程

本发明涉及信息技术领域，尤其涉及一种基于深度学习的机器人情感认知的方法。

背景技术：

从目前的机器人情感认知方面的成果来看，主要是基于物理行为为基础进行计算，在情感认知方面还未有进展。现有的方法存在以下缺陷：1、市面上的机器人大多属于工业机器人的范畴，交互过程中没有考虑到基于人类的情感做进一步人机交互；2、机器人都有着决策模块，但都不基于情感而进行行为决策，不利于机器人与人的社交行为的发展；3、现有的研究很少有基于深度学习的情感认知框架，无法对不同对象进行交互，也不能进行较好的自我认知更新。

技术实现要素：

本发明要解决的技术问题，在于提供一种基于深度学习的机器人情感认知的方法，通过交互决策模型，提高机器人认知能力，更好的进行人机交互，促进社交机器人的发展，并建立自我更新的认知模型，适应不同人的交互需求。

本发明是这样实现的：一种基于深度学习的机器人情感认知的方法，包括如下步骤：

步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；

步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；

步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，进入步骤5；否则，进入步骤4；

步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用lstm深度学习模型计算得出决策信息，进入步骤5；

步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出。

进一步的，所述步骤1进一步包括：

步骤11、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；

步骤12、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；

步骤13、对多模态信息进行处理，通过pad模型与occ模型将信息映射到pad三维空间上；

步骤14、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。

进一步的，所述步骤3中“进行数据更新”中的数据包括用户、情绪变化与喜好度。

进一步的，所述方法还包括步骤6、在交互过程中，根据用户的反馈信息不断更新记忆模块的内容，与其共同完成面向对象的适应性交互知识体系更新。

进一步的，所述lstm模型是根据标定的数据预先训练得到的。

本发明具有如下优点：

1、机器人采用情感认知能够使机器人高效、准确地识别用户的情绪状态并作出相应的决策，能够提高机器人认知能力，更好的进行人机交互，促进社交机器人的发展；

2、结合情感建模与认知模型原理，构建出适合人机交互的情感计算与交互决策模型，完成机器人的认知计算与行为决策，拓展了认知计算在机器人领域的适用范围；

3、建立自我更新的认知模型，能够适应不同人的交互需求；

4、利用了深度学习lstm框架，对决策进行训练，达到更好的决策效果。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种基于深度学习的机器人情感认知的方法执行流程图。

图2为本发明一种基于深度学习的机器人情感认知计算框架的原理示意图。

具体实施方式

请参阅图1和图2，本发明一种基于深度学习的机器人情感认知的方法，包括如下步骤：

步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；

步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；

步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，包括用户、情绪变化与喜好度等的更新，进入步骤5；否则，进入步骤4；

步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用lstm深度学习模型计算得出决策信息，进入步骤5；

步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出。

较佳的，所述步骤1进一步包括：

步骤11、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；

步骤12、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；

步骤13、对多模态信息进行处理，通过pad模型与occ模型将信息映射到pad三维空间上；

步骤14、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。

较佳的，所述方法还包括步骤6、在交互过程中，根据用户的反馈信息不断更新记忆模块的内容，与其共同完成面向对象的适应性交互知识体系更新。

较佳的，所述lstm模型是根据标定的数据预先训练得到的。

下面结合一具体实施例对本发明做进一步说明：

本发明为了对人类的情感做进一步设计与验证，提出了新的认知模型——交互决策模型，通过获取到的多模态信息，将信息传入到交互模型中，利用深度学习lstm框架对行为进行决策输出。

本发明的主要技术路线为：

首先，收集多模态信息，通过多模态信息融合算法得到情绪状态(例如，可将情感计算模块设置到在客户端上进行，计算得到多模态融合后的pad值，作为服务端交互决策的前提，而且情感计算是放在程序的客户端)，该模块完成了信息收集与处理，具体的，多模态信息的处理可以采用以下方式实现：获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；对多模态信息进行处理，通过pad模型与occ模型将信息映射到pad三维空间上；对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算；

然后，将融合后的pad值、人机对话内容等输入到交互决策模型中，交互决策模型将会输出决策信息，该决策信息是用于决定做出何种行为来反馈给当前情感状态下的用户的，输出到满意度模型中，由满意度模型来检测行为是否符合当前用户的喜好，如果符合的话进入长期记忆中，进行数据更新，包括用户、情绪变化与喜好度等；否则，从短期记忆中获取记录的片段以及对应用户的情绪变化，利用深度学习的循环神经网络(rnn,recurrentneuralnetworks)的变种lstm(longshort-termmemory)进行决策计算，计算时从短期记忆中提取当前情景下交互内容，从长期记忆中提取用户特征，然后利用训练好的lstm深度学习模型来进行决策，该lstm模型是根据标定的数据提前训练好的。本发明基于lstm，搭建了适用于人机交互的情感认知模型，在训练时我们先利用lstm层根据一段时序pad预测下一刻用户可能的pad值，然后结合用户当前谈论的话题以及情境，在全连接层进行综合决策。

最后，将决策输出给行为选择器输出行为，作为机器人的行为输出，实现机器人交互行为，在交互过程中，根据用户的反馈不断更新记忆模块中的长短期记忆的内容，例如交互时询问用户要吃点蛋糕吗，但是用户说我不喜欢吃蛋糕，这时就将这一事实记录进长期记忆中，与其共同完成面向对象的适应性交互知识体系更新。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。