一种多模态认知检测与康复系统装置的制作方法

本发明涉及医用检测与康复系统装置，具体涉及一种多模态认知检测与康复系统装置。

背景技术：

阿尔茨海默病(Alzheimer’s disease，AD)现已成为中国老年人继心血管疾病、恶性肿瘤、脑卒中之后的第四大杀手，随着人口老龄化，AD的发病率呈逐年显著上升趋势。由于AD的病情过程不可逆转，所以AD的早期诊断、干预以及防治尤为重要。

以往的研究证实对于良性健忘老人、轻度认知功能损害(Mild Cognition Impairment，MCI)和早期AD患者进行认知检测与康复有助于延缓良性健忘的加重、降低MCI的AD转化率、缓解AD的病程，提高患者生活质量。

目前提供康复训练的方式多为开设康复中心，通过人工康复训练与群体生活等改善患者认知功能障碍等问题。由于医务人员欠缺，康复中心或邀请志愿者参与，或使工作人员超负荷工作，导致康复工作的专业性与效率不高。另外，训练方法主要使用机械装置、纸质训练或者利用计算机按键操作的方式，但由于操作不便，并且缺乏趣味性，不利于坚持参与训练，得不到认知康复的机会。因此，开发互动性、趣味性以及参与性强认知康复系统成为关注的热点。目前国内外正开展通过多重数据整合来发现AD的早期临床表现，所使用的参数往往是正电子放射成像技术PET、功能性核磁共振fMRI，核磁共振、相关事件电位P300等，但上述设备必需要在具有相关设备的医院中有专业医师进行诊断和分析。中医对AD及其早期病症MCI在古籍中也有着相似的描述，因而如果早期发现AD和MCI，同时进行认知能力康复训练，具有重要意义。

技术实现要素：

本发明所要解决的技术问题在于克服上述不足之处，研究设计互动性好、趣味性强，有利于改善患者认知功能障碍等的认知康复系统。本发明提供了一种多模态认知检测与康复系统装置。

本发明所述装置包括：主机、带触摸功能的显示装置、播音装置、按键装置、旋钮装置、摇杆装置、视频录入装置、视觉追踪装置、脑电采集装置、IC卡读卡器。

所述主机的接口面板上分别设置有VGA接口101、音频接口102、5个USB接口103a-103e，3个串口104a-104b。

所述带触摸功能的显示装置(如触摸屏)与主机上的VGA接口101以及USB接口103a连接，用于显示以及人机交互。

所述播音装置通过主机100上的音频接口102与主机100相连，用于播放声音。

所述按键装置通过串口104c连接于主机；所述按键装置包括多个按键以及单片机，按键的引脚连接到单片机的数字输入输出端口，单片机扫描按键状态并通过串口将按键状态信息打包发送至主机100，测试者按下按键进行选择，以实现训练过程中的交互。

所述旋钮装置通过串口104a连接于主机100；所述旋钮装置包括两个旋转电位器以及单片机，旋转电位器引脚连接到单片机的模拟输入输出端口，单片机将来自旋转电位器的模拟电压信号转换成数字信号后打包通过串口发送给主机，所述的两个旋转电位器分别用于控制小球的水平以及垂直运动方向。

所述摇杆装置通过串口104b连接于主机100；所述摇杆装置包括两个摇杆以及单片机，摇杆的引脚连接到单片机的模拟输入输出端口，单片机将来自摇杆的模拟电压信号转换成数字信号后打包通过串口发送给主机100，所述的两个摇杆分别用于在训练中控制两个不同小球的运动方向。

所述视频录入装置通过USB接口103b连接于主机100；所述视频录入装置为通过USB接口与主机100相连的USB摄像头，用于采集测试者的图像信息。

所述视觉追踪装置通过USB接口103c连接于主机100；所述视觉追踪装置为通过USB接口与主机100相连的视觉追踪仪，用于捕捉测试者视线位置并将其映射为屏幕坐标。

所述IC卡读卡器通过USB接口103d与主机相连，用于资料录入、信息查询以及快速登录。

所述脑电采集装置通过蓝牙接收器上的USB接口103e连接于主机100。

所述脑电采集装置包括脑电采集模块、蓝牙接收器和通过3D打印的头套，所述脑电采集模块包括蓝牙发射装置以及脑电采集单元，脑电采集模块被固定安装在头套上，测试者通过佩戴头套便可进行脑电信息的采集，所采集的脑电信息通过脑电采集模块中的蓝牙发射装置发送，主机端通过蓝牙接收器接收。

所述主机100内设置多模态认知检测与康复系统总模块。

所述多模态认知检测与康复系统总模块，包括登陆界面模块和系统主界面模块。

所述登陆界面模块具有一用户名输入框和密码输入框，用户在用户名输入框中输入用户名，在密码输入框内输入登陆密码，单击登陆按钮即可进入多模态认知检测与康复系统，单击退出按钮即可关闭并退出多模态认知检测与康复系统。

所述系统主界面模块的中心位置设置有训练选择模块，训练选择模块下端设置认知检测模块、打印模块和退出模块，其中认知检测模块、打印模块和退出模块位于同一行。

所述训练选择模块设置三行四列共十个按钮，第一行设置反应力测试按钮、无意义图形再认按钮、人物识别按钮，第二行设置文字识别按钮、理解力测试按钮、双手调节按钮，第三行设置操作能力测试按钮、表情识别按钮、迷宫按钮，第四行设置视觉追踪按钮。

当点击所述训练选择模块中的某个按钮，就会进入对应的训练界面；每个训练界面上设置训练内容显示区、参数显示区、开始测试按钮、保存结果按钮、返回按钮，训练内容显示区用于显示训练内容，参数显示区用于显示训练过程中的相关参数(如专注度、反应时间、正确率等)，点击开始测试按钮后训练开始，点击保存结果按钮后将保存训练结果，点击返回按钮将返回系统主界面。

所述认知检测模块设置有认知检测按钮，单击认知检测按钮，进行认知功能检测。

所述打印报告模块设置打印按钮，单击打印按钮进入打印预览界面后，对训练评估结果进行打印前查看及打印操作。

所述退出模块设置退出按钮，单击退出按钮将退出系统。

本发明所述装置使用时，采集测试和训练过程中的脑电、眼动、反应时间、细微动作等数据，通过采用基于云计算的医学数据挖掘方法，综合运用人工神经网络、模糊逻辑、遗传算法、粗糙集理论和支持向量机等手段构建认知检测模型和康复评定模型，对测试者的认知能力进行检测和评估，检测和评估的结果可由上述打印模块进行打印。本发明装置具有以下有益效果：

本发明以中医理论为指导，以西医检测为手段，通过对AD早期MCI患者受损的认知功能进行的康复训练，符合中医“治未病”的学术思想。在预防保健服务体系环境下认知功能训练与康复技术，实现实时、实地(Any time,Any Place)信息的交互，从而达到能在社区进行检测的眼动、脑电、双手调节等装置。同时也与临床常用的认知能力检测量表形成互补，在诊断和康复方面并不与韦氏学习记忆量表、简易智能状态量表等形成交集。

本发明的多模态认知检测与康复系统，可以对测试者的认知能力进行检测和评估。系统中的反应力测试用于对测试者的反应力进行训练，以提高其反应力；无意义图形再认、人物识别用于检测和提高测试者的记忆力；文字识别、理解力测试用于检测和提高测试者的理解力和分析能力；双手调节、操作能力测试可用来检测和提高测试者的双手协调能力；表情识别训练用于训练测试者的理解力、判断力和反应能力；迷宫用于检测和改善测试者的视空间能力；视觉追踪用于检测和提高测试者的理解力、判断力和注意力。可以延缓测试者大脑老化，改善测试者的认知能力。本系统便于广泛推广，提升老年人的生活品质的同时也能够减轻社会负担，有较大的应用价值和社会效益。

附图说明

图1为本发明多模态认知检测与康复系统装置的结构示意图。

图2为本发明多模态认知检测与康复系统装置按键模块1的示意图。

图3为本发明多模态认知检测与康复系统装置按键模块2的示意图。

图4为本发明多模态认知检测与康复系统装置登陆界面示意图。

图5为本发明多模态认知检测与康复系统装置主界面示意图。

图6为本发明多模态认知检测与康复系统装置训练选择模块界面示意图。

图7为本发明多模态认知检测与康复系统装置文字识别训练界面示意图。

图8为本发明多模态认知检测与康复系统装置的反应力测试训练界面示意图。

图9为本发明多模态认知检测与康复系统装置的无意义图形再认训练界面示意图。

图10为本发明多模态认知检测与康复系统装置的另一种无意义图形再认训练界面示意图。

图11为本发明多模态认知检测与康复系统装置的人物识别训练界面示意图。

图12为本发明多模态认知检测与康复系统装置的理解力测试训练界面示意图。

图13为本发明多模态认知检测与康复系统装置的双手调节训练界面示意图。

图14为本发明多模态认知检测与康复系统装置的操作能力测试训练界面示意图。

图15为本发明多模态认知检测与康复系统装置的表情识别训练界面示意图。

图16为本发明多模态认知检测与康复系统装置的另一表情识别训练界面示意图。

图17为本发明多模态认知检测与康复系统装置的迷宫训练界面示意图。

图18为本发明多模态认知检测与康复系统装置的另一迷宫训练界面示意图。

图19为本发明多模态认知检测与康复系统装置的视觉追踪训练界面示意图。

图20为本发明多模态认知检测与康复系统装置的另一视觉追踪训练界面示意图。

图21为本发明多模态认知检测与康复系统装置的另一视觉追踪训练界面示意图。

其中：

100为主机，101为视频图像阵列(VideoGraphic Array,VGA)接口，102为音频接口，103a、103b、103c、103d、103e为USB接口1、2、3、4、5，104a、104b、104c为串口1、2、3，200为显示装置，300为播音装置，400为按键装置，410为Arduino单片机1，420为按键模块1，430为按键模块2，411为Arduino单片机410上的串口，412为Arduino单片机410上的数字输入输出端口模块，500为旋钮装置，510为Arduino单片机2，520为旋转电位器1，530为旋转电位器2，511为Arduino单片机510上的串口，512为Arduino单片机510上的模拟输入输出端口模块，512上设置有A0、A2两个端口，600为摇杆装置，610为Arduino单片机3，620为摇杆1,630为摇杆2，611为Arduino单片机610上的串口，612为Arduino单片机610上的模拟输入输出端口模块，612上设置有A0-A3四个模拟端口，700为视频录入装置，800为视觉追踪装置，900为脑电采集装置，910为脑电采集模块，911为蓝牙发射装置，912为及脑电采集单元，920为蓝牙接收器，1000为IC卡读卡器，421、422、423为420按键模块1中的按键1、2、3、430a、430b、430c、430d、430e、430f、430g、430h、430i、420j为430按键模块2中编号1～10的十个按键，A代表黄色，B代表红色，C代表绿色，D代表蓝色。

具体实施方式

以下结合附图和具体实施方式来进一步描述本发明。

实施例1

参见图1，本发明多模态认知检测与康复系统装置，包括主机100，以及与所述主机100的VGA接口101以及USB接口103连接的带触摸功能的显示装置(触摸屏)200；与主机100音频接口102连接的播音装置300；与主机100通过串口104c连接的按键装置400；与主机100通过串口104a连接的旋钮装置500；与主机100通过串口104c连接的摇杆装置600；与主机100通过USB接口103b连接的视频录入装置700；与主机100通过USB接口103c连接的视觉追踪装置800；与主机100通过USB接口103d相连的IC卡读卡器1000；与主机100通过USB接口103e连接的脑电采集装置900。

所述主机100内设置多模态认知检测和康复系统总模块。

所述带触摸功能的显示装置(触摸屏)200用于在测试和训练过程进行显示和实现人机交互。

所述播音装置300通过主机100上的音频接口102与主机100相连，用于播放声音。

按键装置400包括Arduino单片机410、按键模块420以及按键模块430。

具体的，参见图2和图3，所述按键模块420从左至右设置有A黄色、B红色、C绿色按键各一个，依次与Arduino单片机410上输入输出端口模块412中的端口14～16相连，所述按键模块430设置两排共10个按键，其中第一排从左至右依次设置有编号1～5的5个按键，第二排从左至右依次设置有编号6～10的5个按键，按键模块430中的按键依次连接到Arduino单片机410上输入输出端口模块412中的输入输出端口3～13。Arduino单片机410扫描按键状态并通过串口411将按键状态信息打包发送至主机100，测试者按下按键进行选择，以实现训练过程中的交互。

所述旋钮装置500包括Arduino单片机510、旋转电位器520、旋转电位器530，其中旋转电位器530位于旋转电位器520的右侧。

具体的，所述旋转电位器520、旋转电位器530的引脚分别连接到Arduino单片机510上模拟输入输出端口模块511中的端口A0、A1，Arduino单片机510将来自两个旋转电位器的模拟电压信号转换成数字信号后，打包通过串口512发送给主机100，所述的两个旋转电位器520和530分别用于在训练中控制小球的水平以及垂直运动方向。

所述摇杆装置600包括Arduino单片机610、摇杆620和摇杆630，其中摇杆630位于摇杆620的右侧。

具体的，摇杆620、摇杆630的引脚分别连接到Arduino单片机610上模拟输入输出端口模块611中的端口A0～A4，Arduino单片机630将来自两个摇杆的模拟电压信号转换成数字信号后打包通过串口611发送给主机100，所述的两个摇杆分别用于在训练中控制两个不同小球的运动方向。

所述视频录入装置700为通过USB接口103b与主机100相连的摄像头，用于采集测试者的图像信息。

所述视觉追踪装置800为通过USB接口103c与主机100相连的视觉追踪仪，用于记录测试者视线位置并将其映射为屏幕坐标。

所述IC卡读卡器1000通过USB接口103d与主机100相连，用于资料录入、信息查询以及快速登录。

所述脑电采集装置900包括脑电采集模块910、蓝牙接收器920，脑电采集模块包括蓝牙发射装置911、脑电采集单元912以及通过3D打印的头套，脑电采集模块被固定安装在头套上，测试者通过佩戴头套便可进行脑电信息的采集，所采集的脑电信息通过脑电采集模块中的蓝牙发射装置911发送，通过与主机100上USB接口103e连接的蓝牙接收器920进行接收。

主机100内设置的多模态认知检测与康复系统总模块，包括用于登陆多模态认知检测与康复系统的登陆界面模块110和系统主界面模块120。

参见图4，该登陆界面模块110具有用户名输入框111和密码输入框112，用户在用户名输入框111中输入用户名，在密码输入框112内输入登陆密码，单击登陆按钮113即可进入多模态认知检测与康复系统主界面，单击退出按钮114即可关闭并退出多模态认知检测与康复系统。

参见图5，在系统主界面模块120的中心位置设置有训练选择模块121，训练选择模块下端设置认知检测模块122、打印模块123和退出模块124，所述认知检测模块122、打印模块123和退出模块124位于同一行。

参见图6，所述训练选择模块121中设置有所有训练项目选择按钮，其中第一排依次设置有反应力测试按钮121a、无意义图形再认按钮121b、人物识别按钮121c，第二排依次设置有文字识别按钮121d、理解力测试按钮121e、双手调节按钮121f，第三排依次设置有操作能力测试按钮121g、表情识别按钮121h、迷宫按钮121i，第四排依次设置有视觉追踪按钮121j。

参见图7，所述训练选择模块121中的每一个训练项目，以文字识别为例，均设置有训练内容显示区121da、参数显示区121db、开始测试按钮121dc、保存结果按钮121dd、返回按钮121de，训练内容显示区121da用于显示训练内容，参数显示区121db用于显示训练过程中的相关参数(如专注度、反应时间、正确率等)。

点击上述开始测试按钮121dc后训练开始，在训练开始之前将播放与本项训练相关的引导语或者显示与本项训练相关的文字说明，点击上述保存结果按钮121dd后将保存本项训练结果，点击返回按钮121de将返回系统主界面。

所述认知检测模块122设置有认知检测按钮，单击认知检测按钮后，将对训练选择模块中的所有认知训练项目进行综合检测，同时将采集检测过程中的相关参数(如专注度、反应时间、正确率等)。

所述打印报告模块123设置打印按钮，单击打印按钮进入打印预览界面后，对训练结果进行打印前查看及打印操作。

所述退出模块124设置退出按钮，单击退出按钮将退出系统。

将上述测试和训练过程中采集到的脑电、眼动、反应时间、细微动作等数据，通过采用基于云计算的医学数据挖掘方法，综合运用人工神经网络(Monica Di Luca,Enzo Grossi,Barbara Borroni,Artificial neural networks allow the use of simultaneous measurements of Alzheimer Disease markers for early detection of the disease.2005；)、模糊逻辑(Susan M.Bridges,Rayford B.Vaughn,A Fuzzy Data Mining And Genetic Algorithms Applied To Intrusion Detection,2000；杨天奇，一种基于模糊逻辑规则的数据挖掘方法，2003；关晓蔷，钱宇华.基于不完备信息系统的决策树生成算法,2013)、遗传算法(张会敏，叶明全，孟婷玮等，遗传算法优化BP神经网络的老年痴呆症智能诊断，2014)、粗糙集理论(C.Lee,C.P.Lam,M.Masek；Rough-Fuzzy Hybrid Approach for Identification of Bio-markers and Classification on Alzheimer's Disease Data,2011)和支持向量机(Christopher J.C.Burges，A Tutorial on Support Vector Machines for Pattern Recognition，1998；张学工，关于统计学习理论与支持向量机，2000；)等手段构建认知检测模型和康复评定模型，对测试者的认知能力进行检测和评估，检测和评估的结果可由上述打印报告模块进行打印。

实施例2 本发明多模态认知检测与康复系统训练方法如下：

文字识别用于对测试者的文字理解能力进行测试和训练，参见图7，在训练过程中，测试者需要根据屏幕上出现的文字提示选出对应的图片，并要求测试者尽快按下按键装置400中按键模块420中与小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。

反应力测试用于对测试者的反应力进行训练，以提高其反应力。参见图8，在训练过程中，当屏幕上出现某种颜色的小球时，要求测试者尽快按下按键装置400中按键模块420中与小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。

参见图9和图10，无意义图形再认用于训练测试者的记忆力，即：识记、保持和重现客观事物所反映的内容和经验的能力。在训练过程中，测试者首先要牢记屏幕中出现的五个目标图形，然后在接下来出现的十个图形中将所有的目标图形全部找出，并按下按键装置400的按键模块430中对应编号的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。

参见图11，人物识别用于对测试者的记忆力进行测试和训练。在训练过程中，测试者需根据语音或者文字提示从几张图片中选出常见的人物类型，并按下按键装置400中按键模块420中与所选图片下小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。

参见图12，理解力测试用于对测试者的理解力和分析能力进行测试和训练。在训练过程中，测试者需根据语音或者文字提示从远景图片、近景图片以及人物图片中选出符合要求的图片，并按下按键装置400的按键模块420中与所选图片下小球颜色相同的按键，同时，测试者的反应时间、正确次数和脑电信息将被记录。

参见图13，双手调节测试中，测试者通过操作两个旋钮使小球按照预定轨迹运动，从而对测试者双手调节能力进行训练，同时，测试者的轨迹偏离次数、完成时间和脑电信息将被记录。

参见图14，操作能力测试中，测试者通过操作两个摇杆来控制两个小球的运动，从而对测试者双手操作能力进行训练。在训练过程中，要求测试者左右手同时分别操作一个摇杆，将小球1沿轨迹移动至小球2所在的位置，将小球2沿轨迹移动至小球1所在的位置，同时，测试者的轨迹偏离次数、完成时间和脑电信息将被记录。

参见图15和图16，表情识别用于训练测试者的理解力、判断力、表情复制能力以及反应能力。在训练过程中，要求测试者根据语音或者文字提示从所给的表情图片中选出与之相符的表情图片，并尽快按下按键装置400中按键模块420中与小球颜色相同的按键；或者复制屏幕中出现的表情动作，主机100将通过视频录入装置700采集测试者的表情信息，并对其进行判断。同时，测试者的反应时间、正确次数、准确率和脑电信息将被记录。

参见图17和18，迷宫用于检测和训练测试者的视空间能力。在训练过程中，要求测试者首先观察给出的迷宫和路径，待路径消失后，在带触摸功能的显示装置(触摸屏)200上开始进行走迷宫操作，同时，测试者的准确率、错误盲端次数以及训练过程中的脑电信息将被记录。

参见图19、图20和图21，在视觉追踪训练中，测试者通过双眼追踪屏幕上的小球来进行理解力、判断力、注意力的测试和训练。在训练过程中，要求测试者根据语音或者文字提示从屏幕中出现的多个不同颜色的小球中寻找某个特定颜色的小球或者使视线跟随屏幕中的小球移动。同时，测试者的反应时间、正确率、吻合率以及训练过程中的脑电信息将被记录。

尽管上面对本发明的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。