一种面向养老服务机器人的情感调节系统

本发明以深度学习为基础提出了一种面向养老服务机器人的情感调节系统。

背景技术：

1、当今全球社会正面临着不可逆转的老龄化趋势，而中国作为世界上老年人口最多的国家之一，老龄化问题也尤为显著。这个挑战不仅涉及物质养老问题，还包括老年人的精神健康。在追求物质繁荣的过程中，人们往往会忽视老年人的精神生活，特别是对那些子女不在身边的老人而言，无法及时的了解自己亲人的精神情绪状况。对于老年人的一些不良心理情绪，如果不及时给予正确的干预，就会慢慢产生心理问题，并转化为身心疾病，引发焦虑抑郁症等情况，最终影响他们的生活质量，甚至引发疾病。为了解决上述问题，人们提出使用养老机器人来监护老人的日常，并且也已经有许多产品在市面上流通。但是这些产品功能单一，无法真正做到老人的情感调节，满足老人的基本心理需求，所以仍需一款能真正做到情感调节的养老服务机器人。

2、语言是沟通的窗口，语言可以传递情感，所以当老人产生不良的情绪时，及时的与之沟通尤为重要。使用不同情感的语言可以调节老人的情绪，使其能及时消除不良情绪，让老人有一个健康的精神状态。

技术实现思路

1、为了解决使用养老服务机器人来监护老人的日常时，产品功能单一，无法真正做到老人的情感调节，本发明设计了一种养老服务机器人情感调节系统，主要包括情感语音识别模块、语义理解模块、情感分级模块、决策模块和情感语音合成模块。主要使用到信息获取设备,数据分析处理设备以及人机交互协作设备。

2、所述情感语音识别模块由三部分组成:语音信号采集、情感特征提取和情感识别，语音信号采集模块通过语音传感器获得语音信号，并传递到下一个情感特征提取模块对语音信号中与话者情感关联紧密的声学参数进行提取，最后送入情感识别模块完成情感的判断。

3、所述语义理解模块，在持续对话中，正确理解和处理之前的对话历史是确保对话连贯性的关键。机器需要能够有效地捕捉对话中的上下文信息，并将其应用于后续对话中，以准确回答问题或提供帮助。本模块主要使用问答系统，问答系统通常包括问题理解、信息检索和答案生成三个步骤。在问题理解阶段，系统需要理解用户提出的问题。在信息检索阶段，系统需要在大量的文本数据中找到与问题相关的信息。在答案生成阶段，系统需要将找到的信息转换为易于理解的答案。

4、所述情感分级模块，一般情绪分为六种，基本情绪是愤怒（anger）、厌恶（disgust）、恐惧（fear）、幸福（happiness）、悲伤（sadness）和惊讶（superise），本模块主要也是使用生气、高兴、中立、愤怒、悲伤和惊讶六大情绪，此外还分为一般、非常、特别三个情绪等级。语音情感识别到的情绪状态传入此模块，再结合用户记录、习惯,判断老人当前情绪状态，并根据所设置的情感等级设定，最终确定情绪的等级。还可以将老人一周、一个月和一年内的情感波动记录下来，若是一周内的情感多为不开心，那么将直接给老人的亲人发送警报，提醒其亲人最近一周内，老人情绪低落，需要家人关怀。

5、所述决策模块，根据情感分级模块所确定的情感等级，做出不同的决策。根据情感等级，当老人情绪为一般愤怒时，可以先对老人进行安抚，询问愤怒原因，做一个倾听的角色。当老人情绪进一步升级为非常，便为老人提供讲笑话、放舒缓的音乐和语言安抚等决策来转移老人的注意力，以期望老人的情绪缓和，同时将使用决策后老人的情绪记录下来，当老人的情绪渐渐缓和下来，那么便将使用到的策略保存下来，以便下次使用。

6、所述情感语音合成模块，可以根据老人的喜好进行语音的设定，可以选择使用老人的亲人来做语音应答，选择老人愿意听取的语音。上述的情感分级模块将老人情感分级后，传入此模块，根据生成的不同的情绪等级，生成带有不同情感特色的语音，再结合语义理解模块给出的应答，合成相应的语音，再由扬声器输出。

7、所述信息获取设备主要麦克风以及声音传感器。信息获取设备的主要功能是收集使用者的语音。信息获取设备将获得的场景信息以及语音信息发送至数据分析处理设备进行处理，再由人机交互设备进行响应。

8、所述数据分析处理设备是整个系统的核心, 本发明主要使用到数据分析设备为nvidia orin，其主要功能是处理分析传感器收集的数据,并控制人机交互设备执行实现设计的相应功能。

9、所述人机交互协作设备的主要功能是与人发生交互,是数据分析处理设备的结果执行环节。人机交互协作设备主要包括机器人的显示器、扬声器、机械臂以及机器人的底部运动机构。人机交互协作设备执行数据分析处理设备的处理结果，使用显示器显示由老人亲人所演化而来的数字人形象，可以是老人的孙子孙女、儿子女儿等自定义形象；采用扬声器播放经合成的具有指定亲人音色的声音等功能。

10、所述情感调节是指通过人语音中的情感，确定老人现在的情绪，也就是老人的语音的表现出的喜怒哀乐的情感状态。通过麦克风以及声音传感器对老人语音特征进行实时采集，经语音信号处理模块对采集的语音信号进行预处理后并传送至情感语音识别模块进行语音情感识别，初步识别老人当前的情感，再传入情感分级模块，结合用户记录、习惯，判断老人当前情绪状态等级，再传入决策模块，使用不同的决策调节不同等级的情感状态。当识别到老人当前状态有异样，识别到愤怒、悲伤等不开心的情感状态时，根据识别出的情感状态信息确定情感调节策略，并转换成相应的决策控制信号发送给决策输出模块，决策输出模块接收到决策控制信号执行相应动作，同时控制决策反馈模块会收集老人在得到情绪调节策略后的情感特征的变化，根据情感分级模块再次确定到的情感，结合决策反馈模块反馈的老人反应进行情感策略的调整，并对老人被安抚成功的情感特征及对应的情感解决策略进行存储，便于以后再次使用。

技术特征：

1.一种养老服务机器人情感调节系统，其特征在于，所述养老服务机器人情感调节系统主要包括情感语音识别模块、语义理解模块、情感分级模块、决策模块和情感语音合成模块：

技术总结
本发明以深度学习为基础提出了一种关于养老服务机器人的情感调节系统，主要包括：情感语音识别模块、语义理解模块、情感分级模块、决策模块和情感语音合成模块五大模块，判断老人的当前的语音情绪，并将情绪分级，针对老人的不同情绪，做出不同的决策，通过使用不同语气的语音来做出不同的应答，使老人的情绪得到缓和，并将老人一段时间内的不同情绪记录统计。

技术研发人员：胡黄水,魏杰,王宏志,唐志振
受保护的技术使用者：长春工业大学
技术研发日：
技术公布日：2024/3/17