基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法与流程
本发明属于计算机视觉应用技术领域，具体涉及一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法。
背景技术
帕金森病是一种常见的中枢神经系统退行性疾病，主要影响人的运动系统，其临床表现主要包括静止性震颤、运动迟缓、肌强直和姿势步态障碍，同时患者可伴有抑郁、便秘和睡眠障碍等非运动症状。临床医生和相关学者针对这些临床症状设计了许多标准来帮助医生进行全面评估，如hoehn-yahr分级表、英国queensquare脑库标准、蒙特利尔认知评估量表、统一帕金森氏病评分量表(updrs)等。目前，最常用的量表是由国际运动障碍协会(mds)修订发布的updrs，即所谓的mds-updrs。尽管帕金森病没有彻底治愈的方法，但如果患者得到早期诊断和早期治疗，其生活质量可以得到显著改善。
在mds-updrs中，手部运动是运动迟缓诊断的临床评估方法之一，这个动作要求患者将手掌朝向临床评估专家，并尽可能快地重复完成张开-握紧动作，临床评估专家将根据mds-updrs的评估标准判断患者是否出现运动迟缓。在评估过程中，三个主要因素可能会影响结果：①临床评估者的资历；②受测试者的动作过快，无法看清细节；③动作伴有其它症状。相对地，计算机辅助诊断系统具有处理快速和复杂环境的优点，该系统只关注重要的数据并排除其它噪声(例如并发的震颤)，这为医生提供了一种可靠稳定的辅助诊断方法。
许多现有产品都是基于可穿戴式传感器的解决方案(如陀螺仪、加速度计等)，这些传感器通常根据不同的任务固定在手指、手腕或腿上。研究人员利用传感器采集到的数据设计了许多不同的特征，如距离和角度、速度和加速度等，也包含了许多统计量，如均方根、互相关、标准差等；然后将提取的特征输入到机器学习模型中，如多任务学习、神经网络、决策树、支持向量机等，最后输出评估结果。
由于数据传输、电池供电和设备成本的问题，这类基于接触式传感器的解决方案限制了受测试者的活动范围，具有一定的局限性。随着智能手机的普及，拍摄视频对于每个人来说都非常方便，因此本发明通过拍摄视频的形式对运动迟缓提供一种辅助评估方法，这种方案简化了数据采集过程，弥补了现有方案的不足，适用范围更广：任何人可以很方便的拍摄一段视频并上传到云端，相应的辅助诊断服务通过计算然后反馈评估结果。这不但有助于帮助基层医生提高诊断的准确性，医疗水平不发达的偏远地区群众也将从中受益。
技术实现要素：
鉴于上述，本发明提供了一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，通过手机录制的重复抓握运动视频，模拟运动过程和量化的运动行为，用以判断是否有运动迟缓症状。
一种基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，包括如下步骤：
(1)拍摄受试者手部连续周期性抓握动作的过程，将视频图像依次输入至模型handsegnet和posenet中获得每帧图像中五个关键点的位置坐标，这五个关键点包括掌心以及除拇指外的其余四指的指尖；进而利用曼哈顿距离计算出每帧图像中四个指尖关键点与掌心关键点之间的相对距离，进而得到四组相对距离-图像帧的变化曲线；
(2)对所述变化曲线进行平滑滤波处理并计算确定每一次抓握过程中变化曲线峰值和谷值的图像帧索引位置，进而将变化曲线分成上下两部分：上面部分对应为手掌舒张阶段且包含n个∩型波，下面部分对应为手掌合拢阶段且包含n个∪型波，n为抓握次数；
(3)分别利用稳定性、完成度和自相似性三种度量方法对四组变化曲线分别进行特征提取，并将提取得到的特征依次排列成向量的形式；
(4)根据步骤(1)～(3)对不同的受试者进行视频图像采集、预处理以及特征提取，从而得到大量样本，每个样本包含特征向量及其对应的标签，所述标签由0或1表示，0代表对应的特征向量源自未患有帕金森病运动迟缓症状的受试者，1代表对应的特征向量源自患有帕金森病运动迟缓症状的受试者；
(5)将所有样本分为训练集、验证集和测试集，利用训练集样本对深度神经网络进行训练，利用验证集样本对训练完成的网络进行参数配置选择，利用测试集对网络模型进行评估，从而得到帕金森病运动迟缓视频检测模型。
进一步地，所述步骤(2)中计算距离阈值spa在相对距离-图像帧坐标平面中对应的直线，并利用该直线将变化曲线分割成两部分，其中spa＝αho+(1-α)hc，ho为变化曲线中的最大峰值，hc为变化曲线中的平均谷值，α为给定的权重系数。
进一步地，所述步骤(3)中变化曲线的稳定性特征包括以下六个特征参量：
其中：
进一步地，所述步骤(3)中变化曲线的完成度特征包括全局完成度和局部完成度两个特征参量，其中全局完成度特征参量即为变化曲线中所有峰值经最小二乘法拟合得到直线的斜率；局部完成度特征参量的求解方法为：将变化曲线中前i个峰值经最小二乘法拟合成直线并记该直线斜率的绝对值为
进一步地，所述步骤(3)中变化曲线的自相似性特征的求解方法为：首先给定划分策略ω＝{β1,β2,...,βk}，对于变化曲线中手掌舒张阶段的任一∩型波，根据划分策略ω将该∩型波分解为2k+1个状态，k为大于1的自然数，β1～βk均为给定的划分参数；然后计算每一状态占所在∩型波的持续图像帧数比率并作为本次手掌舒张阶段的特征编码，编码长度为4(2k+1)；进而根据上述方法遍历变化曲线中手掌舒张阶段所有的∩型波，得到n组有序的特征编码，而组成特征编码序列作为变化曲线的自相似性特征。
进一步地，根据划分策略ω通过以下公式计算出每一划分参数所对应的分割线，k条分割线与∩型波之间的交点确定每个状态的边界，从而使得∩型波被分解成2k+1个状态；
spj＝βjho+(1-βj)spa
spa＝αho+(1-α)hc
其中：spj为距离阈值且其在相对距离-图像帧坐标平面中对应的直线即为划分参数βj所对应的分割线，ho为变化曲线中的最大峰值，hc为变化曲线中的平均谷值，α为给定的权重系数，j为自然数且1≤j≤k。
进一步地，所述步骤(5)在训练深度神经网络之前，利用基于编码器-解码器结构的长短时记忆神经网络对特征编码序列进行预训练；然后利用训练好的编码器网络对特征编码序列进行压缩降维，得到运动过程在低维空间的表示。
本发明方法实施简单方便，只需拍摄短时间的动作视频并输出判别结果。本发明结合了计算机视觉和深度学习技术，通过短视频对受测试者的运动模式进行评估，并判断存在运动迟缓症状的可能性。本发明同时考虑了运动行为和运动过程，提出了详细的数据采集方法和运动轨迹定义方法，并设计了三种新颖的度量指标和一种周期运动网络(periodicmotionnet，pmnet)模型来处理运动迟缓症状判断问题。
与传统方法不同，本发明具有可扩展性和可移植性的特点，基于卷积神经网络的关键点提取方法可以被其它更为精准的模型所替换，还可以添加更多特征来描述运动行为。此外，本发明能够胜任其它类似的周期性运动评估，如mds-updrs量表3.4项的手指敲击动作。
附图说明
图1为本发明方法的步骤流程示意图。
图2为posenet模型中手掌关键点的分布示意图。
图3为相对距离-图像帧的运动轨迹示意图。
图4为运动自相似性划分策略示意图。
图5为pmnet网络的结构示意图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，本发明基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法，包括如下步骤：
步骤1：数据获取。
本发明仅需要一部智能手机和一副三脚架作为数据采集设备。本实施方式中使用的智能手机型号为iphone6splus，其支持每秒240帧的采样频率及1280×720像素分辨率的视频录制。利用三脚架固定智能手机以避免录制过程中的镜头抖动，并放置于病人正前方约50～70厘米处；调整三脚架的高度使手掌位于取景器中心。
在视频采集过程中，受测试者需要卷起袖子并摘下手表，戒指等配饰。临床评估专家将在整个采集过程陪同受测试者，根据mds-updrs的细则向受测试者演示标准的抓握动作，并对采集过程中任何非标准动作进行纠正。
将抓握动作的视频图像依次输入至handsegnet和posenet模型(c.zimmermannandt.brox“learningtoestimate3dhandposefromsinglergbimages”ininternationalconferenceoncomputervision，2017)，其中handsegnet能分割出每帧图像中的手部，posenet能获得每帧图像如图2所示的手部21个关键点坐标，即每根手指的四个关键点(一个指尖、两个指间关节、一个掌指关节)和掌心的坐标，并选取其中五个关键点进行处理：除拇指外的四根手指的指尖被视为运动点，掌心为参考点。
给定帧数t、运动点的坐标序列
测量四个运动点与掌心距离，获得如图3所示的相对距离-图像帧变化曲线。
步骤2：运动轨迹划分。
抓握运动是一种周期性运动，对于单次抓握动作，根据以下步骤将相对距离-图像帧变化曲线所表示的运动轨迹划分为手掌舒张阶段和手掌合拢阶段。
2.1降噪：本实施方式应用均值滤波器来平滑原始数据，滤波器的窗口大小设置为0.1fps。
2.2自适应极值点搜索：应用自适应极值点搜索(adaptiveextremepointsearch，aeps)算法自适应地在少数几次迭代后确定搜索窗口的大小，并且去除噪声点和重复点，从而在运动轨迹中查找峰值和谷值索引位置。
2.3划分：由aeps搜索得到的极值索引位置集e，根据峰值和谷值分为两个不相交的子集，其中e＝{eo，ec}，eo为峰值索引位置，ec为谷值索引位置；计算eo集合对应峰值中的最大峰值与ec集合对应谷值的平均谷值，分别标记为ho和hc，抓握动作的分割位置spa的计算公式为：
spa＝αho+(1-α)hcα∈(0，1)
其中：参数α用以平衡so和sc的侧重度，本实施方式中α设置为0.45，图3中虚线表示spa，其将单次抓握动作划分成手掌舒张阶段so与手掌合拢阶段sc。
步骤3：数据特征提取。
本发明基于运动轨迹从稳定性(时间)、完成度(空间)和自相似性(动作间)三个方面度量手部运动。根据spa的划分，运动轨迹可以表示为：
其中：
稳定性：
在评估中，存在运动迟缓的患者可能出现动作的犹豫、中断或暂停，而抓握动作节奏的突然变化会导致动作的持续时间显著增加或减少，因此使用两种稳定性指标来衡量抓握运动中节律的一致性：
①全局：
②局部：
其中：
完成度：
在评估中，存在运动迟缓的患者可能出现动作幅度的不自主减少，并随着时间的推移逐渐变小的情况。
①全局：全局完整性compg使用最小二乘法计算变化曲线中所有峰值经拟合得到直线的斜率b1：
y＝b0+b1x
②局部：
首先将变化曲线中前i个峰值经最小二乘法拟合成直线并记该直线斜率的绝对值为
自相似性：
一个标准的周期性运动在相邻动作之间应具有一定的相似性，因此对手张开阶段的动作
首先给定划分策略ω＝{β1,β2,...,βk}，对于变化曲线中手掌舒张阶段的任一∩型波，根据划分策略ω将该∩型分解为2k+1个状态，k为大于1的自然数，β1～βk为给定的划分参数；然后计算每一状态占所在∩型波的持续图像帧数比率并作为本次手掌舒张阶段的特征编码，编码长度为4(2k+1)；进而根据上述方法遍历变化曲线中手掌张开阶段所有的∩型波，共得到n组有序的特征编码，即特征编码序列组成变化曲线的自相似性特征：
hist(1)，hist(2)，...，hist(n)
其中：hist(i)表示第i次手掌舒张阶段的特征编码。
根据划分策略ω通过以下公式计算出每一划分参数所对应的分割线，k条分割线与∩型波之间的交点确定每个状态的边界，从而使得∩型波被分解成2k+1个状态。
spj＝βjho+(1-βj)spa
spa＝αho+(1-α)hc
其中：spj为距离阈值且其在相对距离-图像帧坐标平面中对应的直线即为划分参数βj所对应的分割线，ho为变化曲线中的最大峰值，hc为变化曲线中的平均谷值，α为给定的权重系数，j为自然数且1≤j≤k。
在本实施方式中，设置划分策略b＝{0.3，0.7，0.85}，计算出每一划分参数所对应的分割线，3条分割线与∩型波之间的交点确定每个状态的边界从而使得∩型波被分解成7个状态，如图4所示。在本实施方式中，4个运动点在每次抓握动作的手掌舒张阶段将得到编码长度为4×7的特征编码，10次抓握动作共得到10个有序特征编码，即特征编码序列组成变化曲线的自相似性特征。
步骤4：周期运动网络进行运动迟缓判断。
周期运动网络(periodicmotionnet，pmnet)是一种针对帕金森病评估量表中基于周期性运动来评估运动迟缓的辅助识别模型，它能同时对受测试者的运动行为特征和运动过程特征进行建模。本实施方案基于mds-updrs3.5项的手部抓握动作对模型的工作流程进行解释，图5显示了由两个模块组成的pmnet结构。
(1)循环神经网络模块：
首先，采用基于自编码器框架(autoencoder)的堆叠循环神经网络(stacked-rnn)对自相似性特征进行独立编码，自编码器网络是一类无监督的学习框架，它通常包含一个具有对称结构的编码器网络和解码器网络，在本发明中编码器和解码器网络均由基于长短时记忆单元(longshorttermmemory，lstm)的循环神经网络组成。循环神经网络将当前数据和上一时刻的网络状态作为输入，并输出下一时刻的状态。lstm单元由一个输入门、一个输出门、一个遗忘门和一个存储单元组成，这些门用于控制数据流，即判断是否在存储单元中保留有用的信息，并丢弃其它噪声。
本实施方式中对于每一个样本，将自相似性特征作为输入，编码器网络将输入映射到较低维空间，本实施方式中为9维；解码器则尝试将低维空间的特征表示恢复到原始输入，根据损失函数计算输出与输入的误差，利用反向传播算法调整循环神经网络的参数。
本实施方式将训练集训练30轮，批处理(batch)大小为16个样本，损失函数使用均方误差(meansquareloss)，优化器使用梯度下降的优化方法adam。
(2)全连接神经网络模块：
首先，利用循环神经网络模块训练好的编码器对自相似性特征进行编码，将输入映射到低维空间，本实施方式中为9维，然后将运动过程特征的压缩编码与量化的稳定性、完成度等运动行为特征进行拼接，共得到9+32＝41个特征，混合特征向量被输入到全连接网络；全连接网络共4层，在最后一层通过sigmoid激活函数输出运动迟缓症状的可能性，数值在[0,1]之间，根据损失函数计算输出与样本实际类别的误差，利用反向传播算法调整全连接网络的参数。
本实施方式将训练集训练4000轮，批处理(batch)大小为16个样本，损失函数使用二值交叉熵(binarycrossentropy)，优化器使用梯度下降的优化方法adam。
(3)神经网络运动迟缓识别：
首先，采用循环神经网络对自相似性特征进行独立编码，编码器将输入映射到低维空间，本实施方式中为9维，然后将运动过程特征的压缩编码与量化的稳定性、完成度等运动行为特征进行拼接，共得到9+32＝41个特征，混合特征向量被输入到全连接网络，输出预测结果，即判断受测试者存在运动迟缓症状的可能性。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！