一种基于深度数据的癫痫发作监控方法及系统与流程

文档序号:14686165发布日期:2018-06-14 23:37阅读:294来源:国知局
本发明属于监控
技术领域
,特别涉及一种基于深度数据的癫痫发作监控方法及系统。
背景技术
:癫痫是一种脑功能障碍综合症。据世界卫生组织(WHO)的报告显示,癫痫的患病率在5.0‰~11.2‰,目前全球大约有5000万的癫痫患者。我国的癫痫患病率为7.2‰,目前大约有900万的癫痫患者。癫痫发作具有长期性,反复性,不可预测的特点。癫痫病人一旦发病,如不能及时治疗,就可能导致脑水肿,呼吸循环衰竭甚至死亡等严重后果。大多数的癫痫患者需要长期药物治疗,而长期频繁服药会损害癫痫患者的认知功能或者给其他中枢神经系统带来毒副作用。由于癫痫病发作及其频繁并且不可预测,所以即使患者没有癫痫发作,他们也需要有人在身边陪护,无法独自活动。长期如此给患者及其家属都带来一定程度上的心理压力,极大影响了他们的生活质量。因此有必要设计一种实时检测癫痫发作的系统,以保证及时发现癫痫患者发病,使他们第一时间得到治疗。目前的癫痫检测主要基于电生理的方法,通过记录和分析脑电信号或心率来判定癫痫的发作和强度,医疗上基于这种方法的监控系统设备复杂并且价格昂贵,不适用于家庭。此外还有一些便携式监控设备,一种是便携式脑电波监护仪,需要固定在患者身上至少一个便携式电子传感装置;一种是穿戴式癫痫检测装置,需要患者佩戴在头部或腕部以接受患者脑电波数据或心率数据,这些设备需要患者一直携带至少一个信号采集设备或传感装置,在一定程度上对患者自由行动造成一些约束,并且时刻佩戴也可能会影响患者的心情。技术实现要素:不同于目前依赖电生理信号的癫痫发作监控方法,针对深度图像具有空间颜色无关性,并且根据距离很容易进行区域划分等优点,本发明的目的是提供一种基于深度数据的癫痫发作监控方法及系统,用于有效快速地识别癫痫发作,鲁棒性好,患者无需佩戴任何装置、可自由活动,而且成本低廉,在临床上和家庭环境下都很适用。实现本发明目的的具体技术方案是:一种基于深度数据的癫痫发作监控方法,特点是该方法包括以下具体步骤:第一步,获取癫痫发作数据集用深度传感器分别采集数名患者测试员在站立、躺下两种初始状态下发病抽搐过程的动作片段,每个片段包含连续60帧深度图像,分别得到患者测试员站立、躺下两种初始状态发病抽搐的数据集;第二步,提取特征向量(1)空间关节点提取分别从患者测试员站立、躺下两种初始状态发病抽搐的数据集的深度图像中提取患者测试员空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;(2)获取初始特征向量将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;采用光流法对当前时刻12个空间关节点进行跟踪,得到与空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集n个点,经过坐标实时变换后该轨迹表示为Ti={(x1,y1,z1),(x2,y2,z2),...,(xi,yi,zi),...,(xn,yn,zn)};在t时刻i关节点沿x,y,z方向的速度为:Vx=xt+1-xt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vy=yt+1-yt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vz=zt+1-zt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>V=Vx2+Vy2+Vz2]]>将12条轨迹上的n个采样点的瞬时速度组成的集合作为初始特征向量;对每个患者测试员重复该步骤,分别得到与患者测试员站立、躺下两种初始状态发病抽搐的数据集对应的全部初始特征向量;第三步,字典学习按照稀疏编码的训练过程将第二步的两种初始特征向量进行分别聚类,生成基底向量,构成两类稀疏字典;第四步,支持向量机(SupportVectorMachine,SVM)分类器训练(1)生成稀疏向量对两类稀疏字典分别进行稀疏编码,生成稀疏向量;(2)稀疏向量的最大值合并对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,即保留最能反映局部运动剧烈程度的全局视频特征;(3)SVM分类器训练用上述经过第四步(2)最大值合并算法的全局视频特征训练SVM分类器,得到站立和躺下两种初始状态下的分类器1和分类器2;第五步,确定癫痫发作预判断的阈值范围用深度传感器分别采集若干癫痫发作和其他日常活动动作的深度图像片段;提取每一帧深度图像中12个空间关节点的三维坐标,由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;合加速度的计算如下,以X方向为例Vt=(xt+1-xt)×fTVt-1=(xt-xt-1)×fTax=(Vt-Vt-1)×fT其中,fT为深度传感器的采集频率;合加速度按照上述方法取每一个深度图像片段12个空间关节合加速度最大值和最小值,并将其作为癫痫发作和其他日常活动的二分类训练样本,其他日常活动不包括跑、跳。不同关节点各自通过SVM分类的方法得到区分癫痫发作和其他日常活动动作的加速度最大值和最小值的阈值,将阈值范围设成SVM计算出的最大值的1.5倍和最小值的1/2;第六步,获取被监测癫痫患者数据集将深度传感器正对患者进行实时监测,获取癫痫患者的动作片段,每个片段包含连续60帧深度图像;第七步,癫痫发作预判断(1)空间关节点提取从上述被监测癫痫患者数据集的深度图像中提取患者空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;(2)癫痫发作预判断将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;如果当前时刻各关节点合加速度超过第五步设定的阈值范围,则判定患者有可能癫痫发作;第八步,判断患者的初始状态建立以人为中心的三维坐标系,选取关节点中的中臀、左臀、右臀、腰4个关节点,以左臀、右臀2个关节点确定x轴,以腰、中臀2个关节点确定y轴,即可确定坐标原点和xoy平面;再通过原点以xoy平面的法线方向建立z轴;对比以深度数据采集装置为原点的三维坐标系与人体坐标系的z轴,判断此时患者是站立还是躺下的状态,从而选择第四步与初始状态对应的分类器1或分类器2;第九步,提取被监测癫痫患者特征向量(1)获取初始局部特征向量采用光流法对当前时刻12个空间关节点进行跟踪,得到与12个空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集n个点,经过坐标实时变换后该轨迹可以表示为Ti={(x1,y1,z1),(x2,y2,z2),...,(xi,yi,zi),...,(xn,yn,zn)};在t时刻i关节点沿x,y,z方向的速度为Vx=xt+1-xt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vy=yt+1-yt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vz=zt+1-zt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>V=Vx2+Vy2+Vz2]]>将12个空间关节点轨迹上的n个采样点的瞬时速度组成的集合作为初始特征向量;采用滑动时间窗口的形式储存表示当前时刻的初始特征向量,随时间窗口移动,更新存储的数据;(2)生成稀疏向量采用与初始状态相对应的稀疏字典对第九步(1)得到的初始特征向量进行稀疏编码,生成稀疏向量;(3)稀疏特征的最大值合并对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,得到最终的特征向量;第十步,癫痫发作识别将第九步(3)获取的最终特征向量放入第四步所得的SVM分类器,识别患者是否癫痫发作;第十一步,癫痫发作时做出响应当识别出患者此时癫痫发作时扬声器发出报警声音,发光模块产生报警灯光;并通过GSM和4G移动通信自动发送短信或邮件通知家属。一种基于深度数据的癫痫发作监控系统,该系统包括:深度数据采集模块,用于实时采集癫痫患者动作的深度数据;预分析模块,与深度数据采集模块相连,用于处理采集的深度数据,并通过阈值判断实时分析癫痫患者是否可能癫痫发作;识别模块,与预分析模块相连,用于处理癫痫患者关节特征点的运动数据,识别出患者是否癫痫发作;数据存储模块,分别与预分析模块、识别模块相连,用于存储预分析模块设定的阈值、识别模块中的字典和当前时刻患者各关节特征点的运动数据;报警模块,与识别模块相连,用于患者癫痫发作时发出报警信号;发光模块,与报警模块相连,用于报警时产生报警光信号;GSM和4G移动通信模块,与报警模块相连,用于自动发送短信或邮件通知家属;电源模块,分别与深度数据采集模块、预分析模块、识别模块、数据存储模块、报警模块、发光模块、GSM和4G移动通信模块相连。与现有技术相比,本发明具有如下的有益效果:首先,本发明提出了一种新的癫痫患者癫痫发作的监测方法,不同于以往电生理法,通过直接判断癫痫患者四肢颤动的异常特征检测癫痫发作,检测迅速,而且易于实现;其次,无需患者佩戴任何辅助装置,能在多种深度采集设备安装高度和角度下都能够有效地进行监测,从而大大拓宽了实际应用范围;再次,本发明选取可以代表患者四肢运动的具体关节特征点,减少了计算量,能满足实时监测的需求;再次,本发明方法中通过加速度阈值范围做预分析,提高了运算速度,用SVM分类方法合理设定阈值范围,判断结果更可靠;再次,本发明利用滑动时间窗口以及时间序列特征,与单时间点检测相比可以获得更完备的信息,检测结果更有效;再次,本发明提出的癫痫发病检测方法基于深度数据,由于深度图像具有空间颜色无关性,因此不受光照、阴影等因素的影响;最后,本发明在临床上及家庭室内等场景下都能够取得较高的癫痫患者癫痫发作的识别率,具有很高的实际应用价值。附图说明图1为本发明方法深度图像中12个空间关节点示意图;图2为本发明方法深度图像坐标系与三维空间坐标系示意图;图3为本发明方法基于关节点建立以人为中心的三维坐标系示意图;图4为本发明该系统结构框图;图5为本发明方法流程图。具体实施方式下面结合附图对本发明进行详细描述。本发明的方法,首先将深度传感器置于癫痫患者活动的室内或用于临床上,获取癫痫患者的深度数据集,通过提出关节点加速度阈值分析,判断患者是否可能癫痫发作,并提出利用光流法进行关节点轨迹跟踪,然后计算采样点速度实现特征提取,获得可以有效描述患者癫痫发作时四肢剧烈颤动的特征,采用支持向量机分类方法识别当前患者是否癫痫发作。如果识别出患者癫痫发作,由扬声器发出报警声音,LED闪烁报警灯光,并通过GSM和4G移动通信自动发送短信或邮件通知家属。具体步骤如下:第一步,获取癫痫发作数据集在实施过程中,采用Kinect深度相机作为深度传感器,选取不同患者测试员在站立、躺下两种初始状态下发病抽搐过程的动作片段各10个,每个片段包含连续60帧深度图像,分别得到患者测试员站立、躺下两种初始状态发病抽搐的数据集;第二步,提取局部特征向量(1)空间关节点提取根据JamieShotton提出的深度图像空间关节点提取方法,从第一步获得的动作片段中提取患者测试员空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征;参阅图1,所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;(2)获取初始特征向量将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;参阅图2,深度图像坐标系与三维空间坐标系示意图,深度图像的坐标系是以深度图像原点作为坐标原点,以像素为单位,而实际距离的坐标系是以深度数据采集设备作为坐标原点的。由Kinect采集的深度图像像素为640×480,通过如下转换式可以得到深度图像上某一点的实际坐标(x,y,z):x=(u-320)×dfy=(v-240)×df]]>z=d其中,d为深度图像上某一点的深度值,该点在深度图像坐标系中的横、纵坐标分别为u、v,f=525。采用光流法对当前时刻12个空间关节点进行跟踪,得到与空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集5个点,经过坐标实时变换后该轨迹表示为Ti={(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4),(x5,y5,z5)};在t时刻i关节点沿x,y,z方向的速度为:Vx=xt+1-xt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vy=yt+1-yt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vz=zt+1-zt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>V=Vx2+Vy2+Vz2]]>将12条轨迹上的5个采样点的瞬时速度组成的集合作为初始特征向量;对每个患者测试员重复该步骤,分别得到与患者测试员站立、躺下两种初始状态发病抽搐的数据集对应的全部初始特征向量;第三步,字典学习按照稀疏编码的训练过程将第二步的两种初始特征向量进行分别聚类,生成基底向量,构成两类稀疏字典;具体地,得到的特征向量集合为其中d代表特征向量的维度,即60,M代表特征向量数目,稀疏编码的字典学习问题可以优化为一个问题:mina,φΣi=1M||xi-Σj=1Kai,jφj||2+λΣi=1MΣj=1K|ai,j|]]>基于[x1,x2,…xi,…]重复迭代得到一组完备基其中K为字典大小,用于后续识别过程中特征向量的稀疏编码。第四步,支持向量机(SupportVectorMachine,SVM)分类器训练(1)生成稀疏向量对两类稀疏字典分别进行稀疏编码,生成稀疏向量;基于预先学习出的字典对上述步骤得到的特征向量进行稀疏编码生成稀疏向量,与字典学习相对应,稀疏向量的生成可以优化为下述问题:minaΣi=1m||xi-Σj=1kai,jφj||2+λΣi=1mΣj=1k|ai,j|]]>得到的即为原始特征向量X=[x1,x2,…xi,…xM]的稀疏表达。(2)稀疏向量的最大值合并对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,即保留最能反映局部运动剧烈程度的全局视频特征,去除了稀疏系数中的无关信息;(3)SVM分类器训练用上述经过第四步(2)最大值合并算法的全局视频特征训练SVM分类器,得到站立和躺下两种初始状态下的分类器1和分类器2;第五步,确定癫痫发作预判断的阈值范围用深度传感器分别采集若干癫痫发作和其他日常活动动作的深度图像片段;提取每一帧深度图像中12个空间关节点的三维坐标,由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;合加速度的计算如下,以X方向为例Vt=(xt+1-xt)×fTVt-1=(xt-xt-1)×fTax=(Vt-Vt-1)×fT其中,fT为深度传感器的采集频率;合加速度按照上述方法取每一个深度图像片段12个空间关节合加速度最大值和最小值,并将其作为癫痫发作和其他日常活动的二分类训练样本,其他日常活动不包括跑、跳。不同关节点各自通过SVM分类的方法得到区分癫痫发作和其他日常活动动作的加速度最大值和最小值的阈值,将阈值范围设成SVM计算出的最大值的1.5倍和最小值的1/2;第六步,获取被监测癫痫患者数据集将深度传感器正对患者进行实时监测,获取癫痫患者的动作片段,每个片段包含连续60帧深度图像;第七步,癫痫发作预判断(1)空间关节点提取根据JamieShotton提出的深度图像空间关节点提取方法,从上述被监测癫痫患者数据集的深度图像中提取患者空间骨架的20个空间关节点,选取其中的12个空间关节点作为四肢运动的表征,并提取12个空间关节点的深度坐标;参阅图1,所述12个空间关节点包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左脚踝、左脚、右膝、右脚踝、右脚;(2)癫痫发作预判断参照第二步(2)的方法将12个空间关节点的深度坐标实时变换到以深度传感器作为坐标原点的三维空间坐标;由当前帧和相邻帧各关节点的三维空间坐标,计算各关节点的合加速度;合加速度的计算如下,以X方向为例Vt=(xt+1-xt)×fTVt-1=(xt-xt-1)×fTax=(Vt-Vt-1)×fT其中,fT为深度数据采集设备的采集频率。合加速度如果当前时刻各关节点合加速度超过第五步设定的阈值范围,则判定患者有可能癫痫发作;第八步,判断患者的初始状态参阅图3,建立以人为中心的三维坐标系,选取关节点中的中臀、左臀、右臀、腰4个关节点,以左臀、右臀2个关节点确定x轴,以腰、中臀2个关节点确定y轴,即可确定坐标原点和xoy平面;再通过原点以xoy平面的法线方向建立z轴;对比以深度数据采集装置为原点的三维坐标系与人体坐标系的z轴,判断此时患者是站立还是躺下的状态,从而选择第四步与初始状态对应的分类器1或分类器2;第九步,提取被监测癫痫患者特征向量(1)获取初始局部特征向量采用光流法对当前时刻12个空间关节点进行跟踪,得到与12个空间关节点对应的12条固定时间间隔的轨迹,用高斯平滑滤波器进行轨迹平滑处理;对每条轨迹以相同的时间间隔进行采样;设i关节点在一定时序下形成的轨迹是Ti,每条轨迹上采集5个点,经过坐标实时变换后该轨迹可以表示为Ti={(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4),(x5,y5,z5)};在t时刻i关节点沿x,y,z方向的速度为Vx=xt+1-xt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vy=yt+1-yt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>Vz=zt+1-zt(xt+1-xt)2+(yt+1-yt)2+(zt+1-zt)2]]>V=Vx2+Vy2+Vz2]]>将12个空间关节点轨迹上的5个采样点的瞬时速度组成的集合作为初始特征向量;采用滑动时间窗口的形式储存表示当前时刻的初始特征向量,随时间窗口移动,更新存储的数据;(2)生成稀疏向量采用与初始状态相对应的稀疏字典对第九步(1)得到的初始特征向量进行稀疏编码,生成稀疏向量;具体地,与字典学习相对应,稀疏向量的生成可以优化为下述问题:minaΣi=1m||xi-Σj=1kai,jφj||2+λΣi=1mΣj=1k|ai,j|]]>得到的即为原始特征向量X=[x1,x2,…xi,…xM]的稀疏表达。基于预先学习出的字典对上述步骤得到的特征向量进行稀疏编码生成稀疏向量;(3)稀疏特征的最大值合并对稀疏向量使用最大值合并算法,保留稀疏向量集合中每一维的最大绝对值,得到最终的特征向量;第十步,癫痫发作识别将第九步(3)获取的最终特征向量放入第四步所得的SVM分类器,识别患者是否癫痫发作;第十一步,癫痫发作时做出响应当识别出患者此时癫痫发作时扬声器发出报警声音,发光模块产生报警灯光;并通过GSM和4G移动通信自动发送短信或邮件通知家属。参阅图4,本发明监控系统包括:深度数据采集模块、预分析模块、识别模块、数据存储模块、报警模块、发光模块、GSM和4G移动通信模块、电源模块。结合图5基于深度数据的癫痫发作监控方法流程图,对系统结构做进一步说明。深度数据采集模块1,包括一个Kinect深度相机作为深度传感器,用于实时采集癫痫患者动作的深度数据;预分析模块2,通过USB接口与深度数据采集模块1连接,可采用DSP((DigitalSignalProcessor,数字信号处理器))或微处理器实现,本实施例选用DSP。用于根据JamieShotton提出的算法提取人体骨架20个关节点;通过阈值判断实时分析癫痫患者此时是否有可能癫痫发作;通过采用光流法追踪空间关节点轨迹,并获得采样点速度集合的特征提取方式,提取出具有描述性的四肢运动特征;结合以人为中心的三维坐标系判断患者的初始状态。识别模块3,与所述预分析模块2相连,采用DSP实现,用于实现癫痫发作识别的算法。数据存储模块4,分别与所述预分析模块2、识别模块3相连,采用高速非易失性存储器,如双倍速率同步动态随机存储器加固态硬盘组合方式,或者直接采用非易失性铁电存储器,本实施例采用成本较低的高速铁存储器实现。用于提供预分析模块设定的阈值范围和识别模块中的字典,并采用滑动时间窗口的形式储存当前时刻患者各关节特征点的运动数据,随时间窗口移动,更新各关节特征点轨迹,重新采样并计算特征值,同时更新存储模块中的数据。报警模块5,包括一个扬声器,与识别模块3相连,用于识别出患者癫痫发作时发出报警声音;发光模块6,包括至少一个LED灯,与报警模块5相连,用于报警时闪烁报警光信号。GSM(GlobalSystemforMobileCommunication,全球移动通信系统)和4G(第四代移动通信技术)移动通信模块7,与报警模块5相连,该模块中预存有紧急求助手机号与邮箱号,可自动发送短信,邮件通知家属。电源模块8分别与深度数据采集模块1、预分析模块2、识别模块3、数据存储模块4、报警模块5、发光模块6、GSM和4G移动通信模块7相连,负责给系统供电,采用220VAC-DC开关电源转换器将220V电压转为12V直流电压,再将12V电压由开关电源DC-DC转换器转为5V,3.3V,1.8V。当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1