一种老年人居家神经功能解析监测系统及方法

本发明涉及健康监测，特别涉及一种基于外周生理信号和面部视频的老年人居家神经功能解析监测系统及方法。

背景技术：

1、随着现代社会的发展和进步，老年群体的健康问题受到了越来越多的关注。其中神经功能障碍是老年群体中常见的难治病症，神经功能障碍的及时发现和监测非常有利于病症的治疗，然而通过神经科医生诊断和长期监测的方式需要耗费大量时间和成本且容易受到医生主观性的影响，由此引发了对老年人神经功能自动解析和监测服务的需求。

2、传统的神经功能障碍病症诊断中医生通常根据神经功能评定量表的内容对患者进行评估，其中包括语言、手写字、面部表情等依靠医患交互实现的项目，但忽略了患者的居家日常症状也是重要参考信息。此外，已有的神经功能自动解析系统主要依靠特定人机交互范式中采集的单模态信号进行诊断，忽视了患者的居家日常症状，由此造成了监测结果不够准确的问题。

技术实现思路

1、本发明提供了一种老年人居家神经功能解析监测系统及方法，以解决现有方案忽视了老年人居家日常症状，由此造成监测结果不够准确的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一方面，本发明提供了一种老年人居家神经功能解析监测系统，包括：

4、外周生理信号采集模块，所述外周生理信号采集模块为可穿戴设备，用于全天候地采集用户预设类型的外周生理信号，得到用户全天候的外周生理信号；

5、数据处理模块，其包括：

6、可视化交互单元，用于实现用户与所述数据处理模块之间的交互；

7、第一神经功能解析单元，用于采用预设的第一神经功能解析模型，根据用户全天候的外周生理信号，解析用户的神经功能状态；当解析出的用户的神经功能状态异常时，通过所述可视化交互单元提醒用户进行多模态神经功能解析；

8、第二神经功能解析单元，用于在用户确定进行多模态神经功能解析时，通过所述可视化交互单元，采用预设交互模式与用户进行交互，并在交互过程中，采集用户的面部视频数据，同时利用所述外周生理信号采集模块采集用户的外周生理信号，得到用户交互过程中的面部视频数据和外周生理信号；采用预设的第二神经功能解析模型，根据用户交互过程中的面部视频数据和外周生理信号，结合用户全天候的外周生理信号，在第一神经功能解析单元的基础上进一步解析用户的神经功能状态，得到解析结果。

9、进一步地，所述数据处理模块还包括预警单元；所述预警单元用于在所述第二神经功能解析单元解析出的用户的神经功能状态异常时，发出就医建议，提醒用户就医。

10、进一步地，所述可视化交互单元包括：

11、身份认证子单元，用于实现用户身份的认证，初次认证时，根据用户的身份信息建立用户专属的用户数据库；用户登录时，读取用户身份信息和基础信息；用户登录后，用户的个人设置信息均保存在用户所对应的用户数据库中；

12、可视化子单元，用于向用户提供可视化界面；所述可视化界面包括主页、神经功能状态可视化页面以及生理信号可视化页面；其中，所述主页旨在为用户提供个人设置、外周生理信号采集模块连接测试、神经功能状态可视化、生理信号可视化以及多模态神经功能解析的导航；所述神经功能状态可视化页面用于供用户查看历史神经功能解析监测结果；所述生理信号可视化页面用于供用户查看所述外周生理信号采集模块所采集的外周生理信号。

13、进一步地，所述第一神经功能解析单元具体用于：

14、对用户全天候的外周生理信号进行预处理，得到预处理后的用户全天候外周生理信号；其中，所述预处理过程包括：降采样、去噪和带通滤波；

15、采用分时段的特征提取方式，从预处理后的用户全天候外周生理信号中提取出用户不同时间段的外周生理信号，作为生理信号神经功能特征；

16、采用预设的第一神经功能解析模型，根据所述生理信号神经功能特征，解析用户的神经功能状态，得到用户的神经功能状态的解析结果；

17、当解析出的用户的神经功能状态异常时，通过所述可视化交互单元提醒用户进行多模态神经功能解析。

18、进一步地，所述第一神经功能解析模型采用双分支结构；其包括长短期记忆网络分支和一维卷积网络分支；每个分支各自采用了权重自调节结构获得自身的最佳分支特征；并且通过多任务模式提升各个分支的特征表示能力；

19、在所述生理信号神经功能特征输入所述第一神经功能解析模型后，所述第一神经功能解析模型对所述生理信号神经功能特征的处理过程包括：

20、所述第一神经功能解析模型的长短期记忆网络分支首先通过一权重自调节结构，获得长短期记忆网络分支的分支特征，并将获得的分支特征输入一长短期记忆网络，然后通过一全连接层输出用户神经功能状态识别结果；

21、所述第一神经功能解析模型的一维卷积网络分支首先通过一权重自调节结构，获得一维卷积网络分支的分支特征，并将获得的分支特征输入一个一维卷积网络，然后通过一全连接层输出用户神经功能状态识别结果；

22、其中，所述权重自调节结构包括一个全连接层和一个softmax回归层；

23、所述第一神经功能解析模型最终通过一个全连接层融合长短期记忆网络分支和一维卷积网络分支的输出，以识别并输出用户神经功能状态。

24、进一步地，所述权重自调节结构用以下公式表示：

25、

26、yi＝xiai

27、其中，xi、wi和bi分别为第i个样本的神经功能特征、权重和偏置项，yi为第i个样本的加权特征；softmax表示回归函数；t表示矩阵的转置。

28、进一步地，所述第一神经功能解析模型的多任务损失函数loss表示为：

29、loss＝lossa+αlossb+βlossc

30、其中，lossa为融合特征输出计算的损失函数值；lossb和lossc分别为两个分支结构输出计算的损失函数值；α和β均为权重超参数。

31、进一步地，所述第二神经功能解析单元具体用于：

32、在用户确定进行多模态神经功能解析时，通过所述可视化交互单元使用户自发地做出微笑、厌恶以及自然三种面部表情；以及使用户根据指令和视频模仿微笑、皱眉以及抬眉三种面部动作；实现与用户进行交互；在交互过程中，采集用户的面部视频数据，同时利用所述外周生理信号采集模块采集用户的外周生理信号，得到用户交互过程中的面部视频数据和外周生理信号；

33、采用预设的第二神经功能解析模型，根据用户交互过程中的面部视频数据和外周生理信号，结合用户全天候的外周生理信号，解析用户的神经功能状态。

34、进一步地，采用预设的第二神经功能解析模型，根据用户交互过程中的面部视频数据和外周生理信号，结合用户全天候的外周生理信号，解析用户的神经功能状态，包括：

35、对用户交互过程中的面部视频数据进行人脸检测、人脸对齐及人脸裁剪预处理，同时对用户交互过程中的外周生理信号进行降采样、去噪及带通滤波预处理；利用预训练的模型，基于预处理后的用户交互过程中的面部视频数据，提取面部视频特征；并从预处理后的用户交互过程中的外周生理信号中提取神经状态特征；将面部视频特征和神经状态特征融合，得到人机交互神经功能特征；

36、对用户全天候的外周生理信号进行降采样、去噪和带通滤波预处理；采用分时段的特征提取方式，从预处理后的用户全天候外周生理信号中提取出用户不同时间段的外周生理信号，得到居家日常神经功能特征；

37、将所述人机交互神经功能特征与所述居家日常神经功能特征利用长短期记忆网络映射到相同维度，然后采用一种求和与点乘结合的特征融合方式将所述人机交互神经功能特征与所述居家日常神经功能特征融合，得到融合特征；

38、将融合特征输入一长短期记忆网络，解析用户的神经功能状态。

39、另一方面，本发明还提供了一种利用上述的老年人居家神经功能解析监测系统实现的老年人居家神经功能解析监测方法，所述方法包括：

40、采集用户预设类型的外周生理信号，得到用户全天候的外周生理信号；

41、采用预设的第一神经功能解析模型，根据用户全天候的外周生理信号，解析用户的神经功能状态；

42、当解析出的用户的神经功能状态异常时，提醒用户进行多模态神经功能解析；

43、在用户确定进行多模态神经功能解析时，采用预设交互模式与用户进行交互，并在交互过程中，采集用户的面部视频数据和外周生理信号，得到用户交互过程中的面部视频数据和外周生理信号；

44、采用预设的第二神经功能解析模型，根据用户交互过程中的面部视频数据和外周生理信号，结合用户全天候的外周生理信号，在第一神经功能解析模型的基础上进一步解析用户的神经功能状态。

45、本发明提供的技术方案带来的有益效果至少包括：

46、本发明通过采集用户的外周生理信号，解析和监测用户日常生活的神经功能状态，并在必要的情况下提醒用户进行多模态神经功能解析，通过采集人机交互过程中的外周生理信号和面部视频，进而结合用户日常生活和人机交互中的表现进一步解析用户的神经功能状态，并且提供对应的就医意见，从而可以及时发现用户的神经功能障碍病症，从而为用户的及时、顺利治疗提供帮助。