一种基于指令视频的帕金森非接触式智能检测方法与流程

本发明涉及帕金森非接触式智能检测检测领域，特别是涉及一种基于指令视频的帕金森非接触式智能检测方法及系统。

背景技术：

帕金森病(parkinson’sdisease，pd)是一种常见的神经系统变性疾病，随着人脸识别技术、自然语言处理技术的发展，基于视频进行病症诊断的医疗应用不断涌现，线上问诊、智能导诊、亲患交流等场景对于症状检测的要求也越发趋于“简洁”、“高效”、和“多维度”。

帕金森“面具脸”是指帕金森患者由于运动性障碍导致的面部表情减少症状，临床表现由轻到重依次表现为：正常、面部呆板、面部表情差、不自主张口、完全没有表情等。随着帕金森病的发展期不断推演，僵硬感将会越发明显地在面部肌肉运动时显现。“面具脸”成为临床判定是否患帕金森病的重要指标。

基于帕金森患者“面具脸”的特征，可以设计指令式帕金森检测方法，其具有以下特性：其一，明确清晰的指令任务可以充分引导患者完成简单的表情任务，相较于传统的复杂表情模拟任务要更加准确明朗，适用于医院的智能化导诊平台；其二，由于单个指令对应单个部位的运动，在特征分析时按指令进行动态特征的提取将更具针对性，采用训练支持向量机(svm)的方式比较不同特征源对于帕金森检测的效果，提升检测的准确率。

技术实现要素：

本发明的目的是提出一种基于指令视频的帕金森非接触式智能检测方法及系统，以综合面部特征，提高检测效率。

为实现上述目的，本发明提出了如下方案：

一种基于指令视频的帕金森非接触式智能检测方法，包括：

获取帕金森患者与非患者的指令式视频数据集；

构建人脸模型，标定关键点；

根据所述人脸模型的眼部关键点，确定眼部特征向量；

根据所述人脸模型的嘴部关键点，确定嘴部特征向量；

构建融合网络模型；

根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；

根据所述最优模型，确定帕金森患者。

可选的，所述构建人脸模型，标定关键点，具体包括：

基于dlib库提供的人脸识别以及关键点标定的多任务接口，首先对受试者指令视频按帧提取68个人脸关键点。提取68个关键点中6个左眼链接关键点，6个右眼链接关键点及21个嘴部链接关键点，作为提取特征的主要目标点。

可选的，所述根据所述人脸模型的眼部关键点，确定眼部特征向量，具体包括：

为描述某一时刻眼睑的张合情况，定义一种基于上下眼睑距离与内外眼角距离的眼睑张合率eyeratio的计算方法，即根据结合上下眼睑2个关键点的欧式距离以及内外眼角两个关键点的欧式距离，通过与剩余关键点的欧式距离作比，计算眼睑的张合率。

提取指令视频中所有帧的眼睑张合率eyeratio以及帧与帧之间的眼角张合率差δeyeratio，并基于pandas提供的7种统计接口计算出维数为14的眼部特征向量。

可选的，所述根据所述人脸模型的嘴部关键点，确定嘴部特征向量，具体包括：

定义左侧嘴角关键点p[0]右侧嘴角关键点p[4]与水平轴夹角为α，定义左侧嘴角关键点p[i]与其余关键点p[j]为β(p[i],p[j])，由α与β(p[i],p[j])求和计算嘴巴补偿角θ(p[i],p[j])，依次求得θ(p[0],p[1])、θ(p[0],p[1])、θ(p[1],p[2])…θ(p[6],p[7])、θ(p[7],p[0])8个嘴部特征向量。

由上侧关键点与下侧关键点的相对距离eudis(p[2],p[6])对比左侧关键点与右侧关键点的相对距离eudis(p[0],p[4])，计算嘴唇张合率mthratio。

可选的，根据所述构建融合网络模型，具体包括：

构建由特征融合阶段和全连接阶段组成的融合网络模型，所述特征融合阶段包括输入层和输出层，所述融合全连接阶段包括输入层、第一隐藏层、第二隐藏层和输出层。

可选的，所述根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型，具体包括：

设置惩罚因子c，该参数代表分类器对于“松弛变量”的容错性，即对于误分类的“容忍度”，选用核函数kernal默认的′rbf′。

基于上述提取的特征及skrlearn.svm模块提供的svc方法训练不同的模型后选取最优模型。通过交叉验证手段，通过交叉验证手段，将数据集d划分为f个大小相似的互斥子集，对于每个子集di用于测试时，其它的1/f数据用于训练模型，得到该子集di测试下的测试结果ri，对所有r取平均得该在f倍交叉验证下的测试结果，比较不同参数c(k)对应fb倍交叉验证的测试结果rbk，选取当前数据样本下的最优模型。

一种基于指令视频的帕金森非接触式智能检测系统，包括：

数据集获取模块，用于获取帕金森患者和非帕金森患者的音视频数据集；

人脸模型构建模块，用于构建人脸模型，并标记关键点；

眼部特征向量确定模块，用于根据所述人脸模型的眼部关键点，确定眼部特征向量；

嘴部特征向量确定模块，用于根据所述人脸模型的嘴部关键点，确定嘴部特征向量；

融合网络模型构建模块，用于构建融合网络模型；

最优模型训练模块，用于所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；

帕金森患者确定模块，用于根据所述最优模型，确定帕金森患者。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明将嘴部特征与眼部特征综合起来分析，将差分的思想引入到动态特征提取中，按指令设计分帧段进行特征的统计学计算，最后运用支持向量机算法训练模型，提高了帕金森检测的正确率，提高了检测准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于指令视频的帕金森非接触式智能检测方法流程图；

图2是本发明基于指令视频的帕金森非接触式智能检测系统结构图；

图3是本发明的人脸关键点标定图；

图4是本发明的眼部关键点示意图；

图5是本发明的嘴部关键点示意图；

图6是本发明的预测混淆矩阵图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于指令视频的帕金森非接触式智能检测方法及系统，能够将嘴部特征与眼部特征综合分析，提高交互性以及检测效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明基于指令视频的帕金森非接触式智能检测方法流程图。如图1所示，一种基于指令视频的帕金森非接触式智能检测方法包括：

步骤101：获取帕金森患者和非帕金森患者的指令视频数据集。

本发明构建了一个由2n个受试者组成的通过临床验证的数据集，其中帕金森患者与非患者比例为1：1。要求受试者根跟随指令1“请放松并直视前方”以及指令2“请微笑并露出牙齿”，“眼睛-嘴巴”的分步式指令模式运动，并录制受试者运动的过程，将录制的视频选取拼接最有效的时长为15s作为本方法的视频流数据集。

步骤102：构建人脸模型，并标记关键点，具体包括：

基于dlib库提供的人脸识别以及关键点标定的多任务接口，首先对受试者指令视频按帧提取68个人脸关键点。提取68个关键点中6个左眼链接关键点，6个右眼链接关键点及21个嘴部链接关键点，作为提取特征的主要目标点。

步骤103：根据所述人脸模型的眼部关键点，确定眼部特征向量，具体包括：

为描述某一时刻眼睑的张合情况，定义一种基于上下眼睑距离与内外眼角距离的眼睑张合率eyeratio的计算方法，即根据结合上下眼睑2个关键点的欧式距离以及内外眼角两个关键点的欧式距离，通过与剩余关键点的欧式距离作比，计算眼睑的张合率。

提取指令视频中所有帧的眼睑张合率eyeratio以及帧与帧之间的眼角张合率差δeyeratio，并基于pandas提供的7种统计接口计算出维数为14的眼部特征向量。

步骤104：根据所述人脸模型的嘴部关键点，确定嘴部特征向量，具体包括：

定义左侧嘴角关键点p[0]右侧嘴角关键点p[4]与水平轴夹角为α，定义左侧嘴角关键点p[i]与其余关键点p[j]为β(p[i],p[j])，由α与β(p[i],p[j])求和计算嘴巴补偿角θ(p[i],p[j])，依次求得θ(p[0],p[1])、θ(p[1],p[2])、…θ(p[6],p[7])、θ(p[7],p[0])8个嘴部特征向量。

由上侧关键点与下侧关键点的相对距离eudis(p[2],p[6])对比左侧关键点与右侧关键点的相对距离eudis(p[0],p[4])，计算嘴唇张合率mthratio。

步骤105：构建融合网络模型，具体包括：

构建由特征融合阶段和全连接阶段组成的融合网络模型，所述特征融合阶段包括输入层和输出层，所述融合全连接阶段包括输入层、第一隐藏层、第二隐藏层和输出层。

步骤106：根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型，具体包括：

设置惩罚因子c，该参数代表分类器对于“松弛变量”的容错性，即对于误分类的“容忍度”，选用核函数kernal默认的′rbf′。

基于上述提取的特征及skrlearn.svm模块提供的svc方法训练不同的模型后选取最优模型。通过交叉验证手段，通过交叉验证手段，将数据集d划分为f个大小相似的互斥子集，对于每个子集di用于测试时，其它的1/f数据用于训练模型，得到该子集di测试下的测试结果ri，对所有r取平均得该在f倍交叉验证下的测试结果，比较不同参数c(k)对应fb倍交叉验证的测试结果rbk，选取当前数据样本下的最优模型。

步骤107：根据所述最优模型，确定帕金森患者。

本发明将嘴部特征与眼部特征综合起来分析，将差分的思想引入到动态特征提取中，按指令设计分帧段进行特征的统计学计算，最后运用支持向量机算法训练模型，提高了帕金森检测的正确率，提高了检测准确率。

图2是本发明基于指令视频的帕金森非接触式智能检测系统结构图。如图2所示，一种基于指令视频的帕金森非接触式智能检测系统包括：

数据集获取模块201，用于获取帕金森患者和非帕金森患者的音视频数据集；

人脸模型构建模块202，用于构建人脸模型，并标记关键点；

眼部特征向量确定模块203，用于根据所述人脸模型的眼部关键点，确定眼部特征向量；

嘴部特征向量确定模块204，用于根据所述人脸模型的嘴部关键点，确定嘴部特征向量；

融合网络模型构建模块205，用于构建融合网络模型；

最优模型训练模块206，用于所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型；

帕金森患者确定模块207，用于根据所述最优模型，确定帕金森患者。

实施例1：

为了更为详尽的论述本发明，以下提供一个具体的实施例，具体步骤如下：

步骤一、获取帕金森患者和非帕金森患者的指令视频数据集：

本实施例构建了一个由200个受试者组成的通过临床验证的数据集，其中帕金森患者与非患者比例为1：1。要求受试者根跟随指令1“请放松并直视前方”以及指令2“请微笑并露出牙齿”，“眼睛-嘴巴”的分步式指令模式运动，并录制受试者运动的过程，将录制的视频选取拼接最有效的时长为15s作为本方法的视频流数据集。

步骤二、构建人脸模型，标定关键点：

基于dlib库提供的人脸识别以及关键点标定的多任务接口，本文对受试者视频按帧提取68个人脸关键点。由于针对性的指令设计，在全脸68个关键点中，我们真正需要关注的只有眼部和嘴巴的关键点，具体到本方法中为前32个关键点，其中no.37-no.42链接左眼，no.43-no.48链接右眼，no.49-no.68接嘴巴。如图3所示，其为帧序列中关键点坐标(x,y)的提取，其中蓝色圈代表关键点位置，数字表示其对应序号。

步骤三、根据所述人脸模型的眼部关键点，确定眼部特征向量：

基于步骤二中得到左眼和右眼共计12个关键点坐标，考虑关键帧序列(总视频的前1/3段)中眼部的静态与动态信息，如图4所示。

为了描述某一时刻眼睑的张合情况，我们基于上下眼睑距离与内外眼角距离定义眼睑张合率。

s.t.eudis(p[0],p[3]≠0

其中p[·]表示坐标形如(x,y)的眼部关键点，eudis表示两点之间的欧氏距离

因眼部运动贯穿整个视频本身，所以所有视频帧均计算eyeratio以及帧与帧之间的δeyeratio，其反映了一段时间内眼睑张合率的变化情况，其中δeyeratio的计算方法如下

其中m为总帧数，dopna(·)是删缺函数，若·为空则丢弃，反之取本身。然后基于pandas提供的7种统计特征接口计算维数为14的眼部特征向量eyefeat，

eyefeat＝(ef1；ef2；…；ef7；ef8；…；ef14)

其中ef1～ef7源于eyeratio，ef8～ef14源于δeyeratio。

步骤四、根据所述人脸模型的嘴部关键点，确定嘴部特征向量：

基于步骤二中得到嘴的8个关键点坐标，定义“微笑仰角”α，如图5所示。

研究嘴部运动时真正有价值的参考量应该是相邻内嘴关键点连线与嘴角连线的夹角即图4所示的θ角，β角为相邻点连线与水平线的夹角。显然，α，β，θ满足以下关系式：

θ＝α+β式(4-1)

我们将p[0],p[1]两点对应的θ记为θ(p[i],p[j])，同理β记为β(p[i],p[j])，其它点以此类推，且点p[·]的x,y坐标分别用p[·]x，p[·]y表示，则有

s.t.p[0]x-p[4]x≠0

其中，atan()为tan()的反函数，用于求正切值对应弧度。同理，

s.t.p[0]x-p[1]x≠0

将式(3-11)，式(3-12)代入式(3-10)可得

θ(p[0],p[1])＝α+β(p[0],p[1])式(4-4)

s.t.p[0]x-p[1]x≠0

p[0]x-p[4]x≠0

根据现实情况我们有理由相信上述约束条件恒成立。

计算嘴唇张合率的公式写为

s.t.eudis(p[0],p[4])≠0

参照式(4-1)，式(4-2)，式(4-3)的原理，将θ(p[0]，p[1])，θ(p[1]，p[2])，θ(p[2]，p[3])，θ(p[3]，p[4])，θ(p[4]，p[5])，θ(p[5]，p[6])，θ(p[6]，p[7])，θ(p[7]，p[0])8个开合角以及mthratio作为关键帧(总视频的中间1/3段)对应9值特征，特征向量mthfeat，

mthfeat＝(mt1；mt2；…；mt8；mt9)

其中mt1～mt8源于θ，mt9源于mthratio。

步骤五、构建融合网络模型：

构建由特征融合阶段和全连接阶段组成的融合网络模型，所述特征融合阶段包括输入层和输出层，所述融合全连接阶段包括输入层、第一隐藏层、第二隐藏层和输出层。

步骤六、根据所述嘴部特征向量、所述眼部特征向量和所述融合网络模型，训练最优模型：

基于上述提取的特征及skrlearn.svm模块提供的svc方法训练不同的模型后选取最优模型。svc方法需要设置惩罚因子c，该参数代表分类器对于“松弛变量”的容错性，即对于误分类的“容忍度”：c趋于无穷大时，容错性小，要求所有样本满足约束

s.t.yi(w^txi+b)≥1,i＝1,2,…,m式(6-1)

如此一来，容易发生过拟合情况，训练出的模型泛化能力弱；c取有限值时，允许一些样本不满足约束。根据以往经验，令

在本节中，选用核函数kernal默认的′rbf′。

通过交叉验证手段，将数据集d划分为f个大小相似的互斥子集，对于每个子集di用于测试时，其它的1/f数据用于训练模型，得到该子集di测试下的测试结果ri，对所有r取平均得该在f倍交叉验证下的测试结果。本节中，对于每一种分类器m(c(k))选取最优测试折数fb即fb倍交叉验证对应均值结果最好其中fb∈{fb|3,4,5,6}。比较不同参数c(k)对应fb倍交叉验证的测试结果rbk，选取当前数据样本下的最优模型，记rk＝max(rbk)。将不同特征输入时训练的最优模型进行比较，具体结果如表5-1所示。

表5-1不同输入特征对应结果

可以看到，无论特征源为嘴巴还是眼睛，计算差分的效果总体优于未差分的情况；在嘴巴的特征项中，相邻关键点连线与嘴角的夹角θ及δθ不及嘴巴张合率的差分δmr的训练效果好；对于指令式帕金森智能检测，嘴巴的研究价值明显优于眼睛，训练效果也比眼睛更好。经过多次对比，本文最终采用特征量δmr的方案，δmr＝(mean,var,skew,kurt,max,min,ptp)，该方案预测混淆矩阵如图6所示。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。