一种构建情感日记和日常活动识别的系统及装置的制作方法

1.本发明涉及一种识别系统及装置，尤其是一种构建情感日记和日常活动识别的系统及装置。


背景技术：

2.截止2019年，《中国自闭症教育康复行业发展状况报告》披露：中国的自闭症儿童人数超过200万，自闭症儿童与正常儿童在感官、情绪、肢体、行为或言语等方面有所差异。现在市面上对于自闭症等特殊儿童，开发有针对性的信息管理系统、教育系统、能力评估系统、教具产品等等，但是缺少对他们的情感和行为表达的了解和分析，如何能够知晓他们的情绪变化、行为能力等，以便能够正确的判断他们的所想和所需，是亟需解决的问题，本发明是面向自闭症群体，提出一种构建情感日记和日常活动识别的系统及装置。


技术实现要素：

3.本发明的目的在于提供一种构建情感日记和日常活动识别的系统及装置。
4.为解决上述技术问题，本发明是通过以下技术方案实现的：本发明为一种构建情感日记和日常活动识别的系统，包括捕捉系统、识别系统和显示系统，其中识别系统包括情绪识别系统和日常监测系统。
5.进一步的，捕捉系统用于抓取人脸图像、人物行为或者视频，并传输给识别系统。
6.进一步的，情绪识别系统包括情绪识别模块、情绪记录模块和情感日记构建模块。
7.进一步的，日常监测系统包括行为分析模块、行为记录模块、监测与异常反馈模块。
8.进一步的，情绪识别模块使用基于深度学习框架训练的人脸图像训练情绪检测模型，将人脸图像标注对应的情绪。
9.进一步的，情绪识别模块中的cnn卷积神经网络可通过识别人脸图像，输出各种情绪的softmax列表，并显示得分最高的情绪状态。
10.进一步的，情绪记录模块持续记录情绪识别模块输出的情绪状态，并传输给情感日记构建模块，构建并输出情感日记。
11.进一步的，行为分析模块使用基于行为数据集预训练和序列化的行为识别模型。
12.进一步的，行为分析模块使用用于人类识别的3dresnet和用于图像分类的imagenet完成深度学习，得到用于活动识别的时空组件。
13.进一步的，行为分析模块中的行为识别模型识别图像或视频人物行为，并输出行为名称。
14.进一步的，行为记录模块持续记录行为分析模块输出的人物行为，并传输给监测与异常反馈模块。
15.进一步的，监测与异常反馈模块对人物行为与预设行为进行对比，若符合预设行为，系统仅进行记录，若不符合预设行为，行为记录模块进行记录，并反馈异常。
16.进一步的，显示系统接收识别系统输出的情绪状态、情感日记、日常行为及异常反馈等。
17.一种构建情感日记和日常活动识别的装置，包括捕捉装置、识别装置和显示装置，其中识别装置包括情绪识别装置和日常监测装置。
18.进一步的，捕捉装置用于捕捉人脸图像、行为动作图像或行为视频，优选摄像头或者摄像机。
19.进一步的，情绪识别装置用于处理捕捉装置抓取的图像，并反馈结果。
20.进一步的，日常监测装置用于处理捕捉装置抓取的图像或视频，并作出反馈和判断。
21.进一步的，日常监测装置包括异常反馈装置，优选自动编码器。
22.进一步的，显示装置用于输出情绪记录、情感日记、人物行为、异常反馈等结果，优选显示屏。
23.本发明的有益之处在于：识别特殊儿童的情绪和行为，及时了解其身心变化。
附图说明
24.图1为本发明的系统组成。
25.图2为本发明的情绪识别流程。
26.图3为本发明的日常监测流程。
27.图4为本发明的情感识别模块。
28.图5为本发明的行为分析模块。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
30.参照图1
‑
5，本发明的工作过程如下：本发明为一种构建情感日记和日常活动识别的系统，包括捕捉系统、识别系统和显示系统，其中识别系统包括情绪识别系统和日常监测系统。
31.捕捉系统抓取人脸图像、人物行为或者视频后，传输给识别系统。识别系统中的情绪识别系统识别人脸情绪并进行记录，同时根据持续的情绪状态构建情感日记，并通过显示系统反馈给老师或家长。日常监测系统识别人物行为和视频，并与预设行为进行对比，若符合预设行为，系统仅进行记录，若不符合预设行为，记录行为的同时反馈异常，通过显示系统反馈给家长或老师。
32.一种构建情感日记和日常活动识别的装置，包括捕捉装置、识别装置和显示装置，其中识别装置包括情绪识别装置和日常监测装置。
33.捕捉装置为摄像头，用于捕捉人脸图像、行为动作图像或行为视频；识别装置为微型电脑，用于处理摄像头抓取的图像或视频，并作出反馈和判断；显示装置为显示屏，输出情绪记录、情感日记、人物行为、异常反馈等结果，使老师和家长能够快速了解儿童的情感变化和行为能力。
34.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在
不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明，因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。


技术特征：
1.一种构建情感日记和日常活动识别的系统，包括捕捉系统、识别系统和显示系统，其特征在于：捕捉系统用于抓取人脸图像、人物行为或者视频，并传输给识别系统；识别系统包括情绪识别系统和日常监测系统。2.根据权利要求1所述的一种构建情感日记和日常活动识别的系统，其特征在于：情绪识别系统包括情绪识别模块、情绪记录模块和情感日记构建模块；情绪识别模块包括基于深度学习框架训练的人脸图像训练情绪检测模型和cnn卷积神经网络；情绪检测模型将人脸图像标注对应的情绪；cnn卷积神经网络可通过识别人脸图像，输出各种情绪的softmax列表，并显示得分最高的情绪状态。3.根据权利要求2所述的一种构建情感日记和日常活动识别的系统，其特征在于：情绪记录模块持续记录情绪识别模块输出的情绪状态，并传输给情感日记构建模块，构建并输出情感日记。4.根据权利要求1所述的一种构建情感日记和日常活动识别的系统，其特征在于：日常监测系统包括行为分析模块、行为记录模块、监测与异常反馈模块；行为分析模块包括基于行为数据集预训练和序列化的行为识别模型和基于人类识别参数和图像分类数据集完成深度学习的用于活动识别的时空组件，其识别图像或视频人物行为，并输出行为名称。5.根据权利要求4所述的一种构建情感日记和日常活动识别的系统，其特征在于：行为记录模块持续记录行为分析模块输出的人物行为，并传输给监测与异常反馈模块。6.根据权利要求5所述的一种构建情感日记和日常活动识别的系统，其特征在于：监测与异常反馈模块对人物行为与预设行为进行对比，若符合预设行为，系统仅进行记录，若不符合预设行为，行为记录模块进行记录，并反馈异常。7.根据权利要求1~6中所述的任意一种构建情感日记和日常活动识别的系统，其特征在于：显示系统接收识别系统输出的情绪状态、情感日记、日常行为及异常反馈等信息。8.一种构建情感日记和日常活动识别的装置，包括捕捉装置、识别装置和显示装置，其特征在于：包括权利要求1~7中所述的任意一种构建情感日记和日常活动识别的系统。9.根据权利要求8所述的一种构建情感日记和日常活动识别的系统，其特征在于：其中捕捉装置用于捕捉人脸图像、行为动作图像或行为视频，优选摄像头或者摄像机；识别装置包括情绪识别装置和日常监测装置。10.根据权利要求9所述的一种构建情感日记和日常活动识别的系统，其特征在于：情绪识别装置用于处理捕捉装置抓取的图像，并反馈结果；日常监测装置用于处理捕捉装置抓取的图像或视频，并作出反馈和判断；日常监测装置包括异常反馈装置，优选自动编码器；显示装置用于输出情绪记录、情感日记、人物行为、异常反馈等结果，优选显示屏。

技术总结
本发明涉及一种构建情感日记和日常活动识别的系统及装置，系统包括捕捉系统、识别系统和显示系统，其中识别系统包括情绪识别系统和日常监测系统，该系统用于识别特殊儿童的情绪和行为，使老师和家长能够快速了解儿童的情感变化和行为能力。感变化和行为能力。感变化和行为能力。


技术研发人员：张渊 黄龙青 范琳虹
受保护的技术使用者：杭州海亮优教教育科技有限公司
技术研发日：2021.06.17
技术公布日：2021/9/9