一种通过面部图片分析预测冠心病发病风险的系统的制作方法

本发明属于人工智能及临床医学领域，涉及一种通过面部图片分析预测冠心病发病风险的系统。

背景技术：

冠状动脉粥样硬化性心脏病(简称“冠心病”)是我国致死致残率第2位的疾病。冠心病疾病发展周期长，早期发现可防可治，因此，急需可用于社区、效果可靠的冠心病筛查工具以促进疾病早发现、早诊治，改善患者远期预后，减少疾病负担。

目前临床最常用的冠心病预测模型是diamond-forrester模型，该模型通过患者年龄、性别、症状以预测患者冠心病患病概率，指导进一步诊疗方案：概率>15％的患者推荐进行进一步无创检查；概率在5-15％的患者推荐进一步根据病史和危险因素评估风险，指导决策；概率<5％的患者可继续观察。该模型简单实用，但存在预测效能不足、建模人群年代久远等局限性。随后基于该模型的拓展模型纳入了大量病史、实验室检查信息。其中，最有代表性且临床较为常用的是cadconsortium模型，该模型包含年龄、性别、症状、糖尿病、高血压、高脂血症、吸烟。这些拓展模型的预测效能显著提升，但模型应用非常繁琐，且需要临床医生辅助应用，对于临床就诊信息基于医生辅助的依赖使得既往工具无法达到社区大范围疾病早筛目的。

除了传统基于临床变量的模型外，人类的面部特征被发现与罹患冠心病相关。男性脱发、耳褶症、睑黄瘤、角膜环、肥胖面容等面部特点已被证实独立于年龄、性别与冠心病及急性心肌梗死相关。由于面部特征获取简便，可进行自我筛查，可能成为一项冠心病早筛的工具。但目前已发现的面特征种类较少、定义不明确、人工评判可重复性较差，这使得面部特征无法常规应用于冠心病筛查。

因此，如何获得一种通过面部特征来进行冠心病筛查的方法成为亟待解决的问题。

技术实现要素：

为了解决上述问题，本发明的目的在于提供一种通过面部图片分析预测冠心病发病风险的系统，该系统通过深度学习算法整合患者面部特征进行疾病预测为冠心病筛查提供一种便捷、可行的筛查方式。

为了实现上述目的，本发明提供一种通过面部图片分析预测冠心病发病风险的系统，由如下模块组成：

数据采集模块、数据预处理模块、机器学习模块、风险性评估模块、专家系统模块、显示输出模块；

所述的数据采集模块的输出端与数据预处理模块的输入端连接，所述的数据预处理模块的输出端与机器学习模块和风险性评估模块的输入端连接，所述的机器学习模块的输出端与专家系统模块的输入端连接，所述的专家系统模块的输出端与风险性评估模块输入端连接，风险性模块的输出端与显示输出模块的输入端连接；

所述数据采集模块为一数码照相装置；

所述的数据预处理模块负责数据的预处理工作，包含两部分工作，数据清洗、数据标准化，数据清洗负责筛选数据采集模块获取图片，选取其中各角度质量最好的图片，清洗出无效数据和错误数据；数据标准化为去除多余的背景和衣服部分，将图片像素调整为256×256分辨率标准化的rgb图像；

所述机器学习模块包括基础学习模块和深度学习模块，所述一般学习模块利用交叉熵损失函数公式通过反向传播算法对模型的参数进行更新，其中，交叉熵损失函数公式为：

n代表训练样本总数，c为输出类型数，其中c＝2，代表患病和不患病两种类型；

yn,c和分别代表第n个样本在第c类型上的预测值和真实值；

所述深度学习模块负责解决所述基础学习模块出现的过拟合现象，主要包括：

i.迁移学习

利用imagenet数据集上训练好的参数对冠心病诊断模型的参数进行初始化；

ii.数据增广

通过随机平移、旋转、翻转等对输入数据进行增广；

iii.固定部分参数

训练初始阶段，所有参数参与更新；之后，固定住网络中靠近输入层的参数，只更新网络中靠近输出层的参数；

iv.固定部分参数

网络中引入随机丢弃(dropout)、批归一化(batchnormalization)等特殊操作；

所述专家系统模块负责应用c-统计量、灵敏度、特异度、阴性预测值(negativepredictivevalue，npv)、阳性预测值(positivepredictivevalue，ppv)和判断正确率来验证模型对于冠心病的预测效能；

所述风险性评估模块指基于50层的残差卷积神经网络来构建冠心病诊断模型，在获得模型中各个参数之后，通过输入患者面部分辨率为256×256的三通道rgb图像，输出为两个概率值p1和p2，其总和为1，其大小分别对应患和不患冠心病的风险概率；

所述显示输出模块根据患者的实际判断数据，做出相应的输出。

优选地，所述数码照相装置为一两千万以上像素的数码相机或摄像头，设置p档，ios1600，连拍模式。

优选地，所述数据采集模块收集数据需要满足如下要求：(1)在患者进行冠脉确诊性检查之前拍摄；(2)数据收集时采用白色背景、直射室内光；(3)患者免冠、正常表情、不佩戴饰品、头发避免遮盖面部主要特征；(4)连续拍摄正面、两侧60°及头顶共4个角度照片，每角度3-5张；(5)照片上需高过头顶，下可看到男性喉结处，两侧耳朵轮廓应清晰可见，前额不被遮挡。

优选地，所述专家系统模块验证模型对于冠心病的预测效能的方法为：将模型给出的“是否患病”与“真实是否患病”进行对比后得出4个值；

其中，“真阳性”为模型诊断阳性，实际也为阳性；

“假阳性”为模型诊断阳性，实际为阴性；

“真阴性”为模型诊断阴性，实际也为阴性；

“假阴性”：模型诊断阴性，实际阳性；

将上述4个值进行各种加减组合形成评价模型的值：

灵敏度＝真阳性/(真阳性+假阴性)；

特异度＝真阴性/(真阴性+假阳性)；

阴性预测值＝真阴性/(真阴性+假阴性)；

阳性预测值＝真阳性/(真阳性+假阳性)；

同时，模型将进行c统计量的计算。

预测模型为概率模型，根据模型设置的不同cut-off值，将得到连续变化的灵敏度和特异度。以“1-特异度”为横坐标，“灵敏度”为纵坐标，可画出受试者工作特征曲线(roc，receiveroperatingcharacteristiccurve)，该曲线下面积即为c统计量，该统计量值在0-1之间，越接近于1，模型效果越好。一般的，c统计量为0.5时说明模型完全不起作用，0.5<c统计量≤0.7表明诊断价值较低，0.7<c统计量≤0.9表示诊断价值中等，c统计量>0.9表示诊断价值较高。

本发明还提供一种终端设备，该终端设备包含存储介质及处理器；其中，所述存储介质存储如上所述的系统，所述该系统可被至少一个处理器执行，以使所述至少一个处理器执行冠心病发病风险的预测，再将预测结果及相关建议反馈给用户。

本发明的特点在于：

第一，本发明应用深度学习的方法，整合了所有可能与冠心病发生相关的人类面部特征(耳褶症、男性脱发、睑黄瘤、角膜环、肥胖面容等)进行高危人群的冠心病预测，与既往发明相比，本发明解决了既往应用面部特征进行冠心病预测时存在的问题。

第二，本发明应用深度学习算法分析面部图片获得了一项c-统计量为0.730，灵敏度为0.80，特异度为0.54的高效能冠心病筛查模型。与既往发明的diamond-forrester及其拓展模型相比，本发明是基于resnet50神经网络进行训练的冠心病诊断模型的预测效能显著提高。

第三，由于该发明仅需要用户根据要求进行拍照即可进行疾病预测，使得用户可完全通过自报实现冠心病筛查，简便易用，与现有技术相比，更适用于大范围社区高危人群筛查。

本发明的有益效果在于：

本发明提供一种通过面部图片分析预测冠心病发病风险的系统，该系统通过深度学习算法分析面部图片，并预测冠心病发病风险，无需临床就诊即可实现用户筛查，可实现社区大范围疾病早筛目的。

附图说明

图1为本发明所提供的通过面部图片分析预测冠心病发病风险的系统的一优选实施例的组成图。

图2为采用本发明所提供的系统建立分析预测冠心病发病风险的模型的一优选实施例的流程图。

图3为采用本发明所提供的系统建立模型的c统计量结果图。

图4为采用本发明所提供的系统建立的模型的测试流程图。

图5为采用本发明所提供的系统建立模型的c统计量结果图。

图6为采用本发明所提供的系统建立的模型的应用流程图。

具体实施方式

下面将对本发明的实施例进行详细、完善的描述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。同时，下列实施例仅是示例性和解释性的，而非限制本公开。

随着人工智能技术的发展，通过分析面部图片进行疾病预测逐渐成熟。通过深度学习算法整合患者面部特征进行疾病预测可能是一项便捷、可行的冠心病筛查方式。

imagenet数据集是目前深度学习图像领域应用得非常多的一个领域，关于图像分类、定位、检测等研究工作大多基于此数据集展开。imagenet数据集有1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置的标注。

实施例1通过深度学习算法分析面部图片以预测冠心病模型的建立

实施例1为本发明提供的一种通过面部图片分析预测冠心病发病风险的系统的一优选实施例，如图1所示，由如下模块组成：

数据采集模块、数据预处理模块、机器学习模块、风险性评估模块、专家系统模块、显示输出模块；

所述的数据采集模块的输出端与数据预处理模块的输入端连接，所述的数据预处理模块的输出端与机器学习模块和风险性评估模块的输入端连接，所述的机器学习模块的输出端与专家系统模块的输入端连接，所述的专家系统模块的输出端与风险性评估模块输入端连接，风险性模块的输出端与显示输出模块的输入端连接；

针对上述系统进行冠心病模型的确立，流程如图2所示：

收集5216例冠心病患者的20864张面部图片及患者冠脉ct或冠脉造影结果作为训练集用于模型建立。收集580例冠心病患者的2320张面部图片及患者冠脉ct或冠脉造影结果作为验证集用于模型验证。所有患者都经过面部图片及数据采集的知情同意。

在一种可能的实现方式中，针对模型建立的冠心病患者，判断患者其是否满足如下标准：(1)既往无经皮冠状动脉介入治疗(percutaneouscoronaryintervention，pci)史；(2)既往无冠状动脉旁路移植术(coronaryarterybypassgrafting，cabg)史；(3)合并其他器质性心脏疾病(如先天性心脏病、心脏瓣膜病或大血管疾病)；(4)曾有人为面部改变(如整形手术、化妆或面部创伤等)；(5)不接受拍照或无法熟练使用终端相机。

当患者满足上述使用条件，使用数据采集模块采集患者面部图片，数据采集模块为一两千万像素数码相机，设置p档，ios1600，连拍模式。收集数据需要满足如下要求：(1)在患者进行冠脉确诊性检查之前拍摄；(2)数据收集时采用白色背景、直射室内光；(3)患者免冠、正常表情、不佩戴饰品、头发避免遮盖面部主要特征；(4)连续拍摄正面、两侧60°及头顶共4个角度照片，每角度3-5张；(5)照片上需高过头顶，下可看到男性喉结处，两侧耳朵轮廓应清晰可见，前额不被遮挡。

在一种可能的实现方式中，患者的冠脉ct或冠脉造影结果作为用于模型建立和验证的参数，并不需要输入到模型中。由于冠脉ct或冠脉造影结果用于模型建立和验证，因此其准确性关系到模型结果的准确性，为此，为了避免单个医生有可能会阅片出错。因此，要求两个医生独立看片子给结果，有异议请第三位医生，以保证冠脉ct或冠脉造影结果的正确性。

然后进入数据预处理模块，包含两部分工作，数据清洗、数据标准化，数据清洗负责筛选各角度质量最好的图片，清洗出无效数据和错误数据；数据标准化为：去除多余的背景和衣服部分，将图片像素调整为256×256分辨率标准化的rgb图像。通过数据预处理模块可降低模型训练噪声。

在一种可能的实现方式中，在风险性评估模块中构建基于50层的残差卷积神经网络(resnet50神经网络)来构建冠心病诊断模型，在获得模型中各个参数之后，通过输入患者面部分辨率为256×256的三通道rgb图像，输出为两个概率值p1和p2，其总和为1，其大小分别对应患和不患冠心病的风险概率；

在一种可能的实现方式中，利用机器学习模块中的基础学习模块的交叉熵损失函数公式通过反向传播算法对模型的参数进行更新，其中，交叉熵损失函数公式为：

n代表训练样本总数，c为输出类型数，其中c＝2，代表患病和不患病两种类型；

yn,c和分别代表第n个样本在第c类型上的预测值和真实值；

在一种可能的实现方式中，由于基础学习模块很多时候会出现过拟合现象，过拟合指训练好的模型在训练集上效果好，而在实际的测试集上效果很差，即模型过度拟合训练集的样本，在其他样本上效果很差，模型缺乏泛化能力。判断依据就是“模型在训练集上效果好(比如达到较高的准确率)，而在验证集上效果差(测试准确率低)，因此还需要一个测试集来解决过拟合问题。

在一种可能的实现方式中，采用验证集和深度学习模块负责解决所述基础学习模块出现的过拟合现象，主要包括：

i.迁移学习

利用imagenet数据集上训练好的参数对冠心病诊断模型的参数进行初始化；

这里初始化指用模型用在imagenet数据集上训练好的参数作为初始参数，在冠心病数据集上继续训练。

ii.数据增广

通过随机平移、旋转、翻转等对输入数据进行增广；

增广指对数据进行扩增，基于已有训练样本，生成更多的训练样本，比如通过对已有训练样本(图片)进行随机平移、翻转、旋转等操作生成更多训练样本。

iii.固定部分参数

训练初始阶段，所有参数参与更新；之后，固定住网络中靠近输入层的参数，只更新网络中靠近输出层的参数；

iv.固定部分参数

网络中引入随机丢弃(dropout)、批归一化(batchnormalization)等特殊操作；

然后利用专家系统模块采用c-统计量、灵敏度、特异度、阴性预测值(negativepredictivevalue，npv)、阳性预测值(positivepredictivevalue，ppv)和判断正确率来评价模型对于冠心病的预测效能。

在一种可能的实现方式中，将模型给出的“是否患病”与“真实是否患病”进行对比后能得出4个值；

其中，“真阳性”为模型诊断阳性，实际也为阳性；

“假阳性”为模型诊断阳性，实际为阴性；

“真阴性”为模型诊断阴性，实际也为阴性；

“假阴性”：模型诊断阴性，实际阳性；

将上述4个值进行各种加减组合就形成了评价模型的值：

灵敏度＝真阳性/(真阳性+假阴性)；

特异度＝真阴性/(真阴性+假阳性)；

阴性预测值＝真阴性/(真阴性+假阴性)；

阳性预测值＝真阳性/(真阳性+假阳性)；

同时，模型将进行c统计量的计算。预测模型为概率模型，根据模型设置的不同cut-off值，将得到连续变化的灵敏度和特异度。以“1-特异度”为横坐标，“灵敏度”为纵坐标，可画出受试者工作特征曲线(roc，receiveroperatingcharacteristiccurve)，该曲线下面积即为c统计量，该统计量值在0-1之间，越接近于1，模型效果越好。一般的，c统计量为0.5时说明模型完全不起作用，0.5<c统计量≤0.7表明诊断价值较低，0.7<c统计量≤0.9表示诊断价值中等，c统计量>0.9表示诊断价值较高。

最后在显示输出模块中做出相应的输出。

如图3所示，在验证样本中，算法的c-统计量为0.757(95％可信区间[confidenceinterval,ci],0.710-0.805)，灵敏度为0.80，特异度为0.61，ppv为0.87，npv为0.47。在与传统模型的比较中，算法显著优于diamond-forrester模型(c统计量0.631，95％ci0.579-0.683，p<0.001)及cadconsortium模型(c统计量0.694，95％ci0.645-0.743，p＝0.03)，与复杂的logistic回归模型效能无显著差异(c统计量0.750，95％ci0.701-0.799，p＝0.79)。此外，在算法基础上进一步融合diamond-forrester模型(c统计量0.755，95％ci0.710-0.805，p＝0.87)和logistic回归模型(c统计量0.786，95％ci0.740-0.833，p＝0.08)未显著改善模型效能。

实施例2通过面部图片分析预测冠心病发病风险的系统预测患者冠心病的发病概率的测试

1013例冠心病患者的4052张照片及患者冠脉ct或冠脉造影结果作为测试集进行模型测试。所有患者都经过面部图片及数据采集的知情同意，流程如图4所示。

患者冠脉ct或冠脉造影结果处理方法同实施例1。

在一种可能的实现方式中，将上述患者使用数据采集模块采集患者面部图片，数据采集模块为一两千万像素数码相机，设置p档，ios1600，连拍模式。收集数据需要满足如下要求：(1)在患者进行冠脉确诊性检查之前拍摄；(2)数据收集时采用白色背景、直射室内光；(3)患者免冠、正常表情、不佩戴饰品、头发避免遮盖面部主要特征；(4)连续拍摄正面、两侧60°及头顶共4个角度照片，每角度3-5张；(5)照片上需高过头顶，下可看到男性喉结处，两侧耳朵轮廓应清晰可见，前额不被遮挡。

通过风险性评估模块和专家系统模块预测冠心病发病风险，显示输出模块中做出相应的输出。

如患者被模型预测为“冠心病患者”，则提示患者采取如下措施：(1)密切关注可疑冠心病症状变化；(2)必要时就诊进行冠脉确证性检查；(3)注意疾病危险因素的控制及一级、二级预防。

如图5所示，在测试样本中的c-统计量为0.730(95％ci,0.699-0.761)，灵敏度为0.80，特异度为0.54，ppv为0.66，npv为0.68。

比较临床指南推荐的diamond-forrester模型、广泛应用的cadconsortium模型和复杂logistic回归模型，在测试样本中，深度学习模型效能显著优于临床指南推荐的diamond-forrester模型(0.730vs.0.623,p<0.001)、广泛应用的cadconsortium模型(0.730vs.0.652,p<0.001)以及26个临床变量建立的复杂logistic回归模型(0.730vs.0.660,p<0.001)。此外，算法融合diamond-forrester模型(c统计量0.726，95％ci0.695-0.757，p＝0.66)和logistic回归模型(c统计量0.724，95％ci0.693-0.755，p＝0.52)未显著改善模型效能。

实施例1论证了算法具有较高的诊断效能，并优于传统工具。与实施例1相比，实施例2中，算法的c统计量有0.027的衰减，该衰减属于正常测试现象，且在测试集中算法的效能仍明显优于传统工具，这提示算法除具有较高的诊断效能，还具有较好的外推效果，具有很高的推广应用价值。

综上，本发明建立的面部图片分析预测冠心病发病风险的系统，能够切实有效地对冠心病发病风险给出预测。

实施例3实际应用面部图片分析预测冠心病发病风险的系统预测患者冠心病的发病概率

在一种可能的实现方式中，将上述系统搭载至一套终端设备。该设备包含存储介质及处理器。所述存储介质存储有基于深度学习的冠心病判断程序，所述基于深度学习的冠心病判断程序可被至少一个处理器执行，以使所述至少一个处理器执行如上所述的基于深度学习的冠心病预测，再将预测结果及相关建议反馈给用户，流程如图6所示。

如患者被模型预测为“冠心病患者”，则提示患者采取如下措施：(1)密切关注可疑冠心病症状变化；(2)必要时就诊进行冠脉确证性检查；(3)注意疾病危险因素的控制及一级、二级预防。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑等可具有图像获取功能(带有摄像头)的终端，以及诸如数字tv、台式计算机等可具有图像获取功能的固定终端。

从上述实施例可以看出，本发明提供一种通过面部图片分析预测冠心病发病风险的系统，该系统搭载一套深度学习模型，可以通过分析人类面部图片进行冠心病预测，得到的结果优于现有临床模型，操作简单，拍照即可，无需医生辅助，使得用户可完全通过自报实现冠心病筛查，简便易用，与现有技术相比，更适用于大范围社区高危人群筛查。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干修改或变化，这修改或变化也应视为本发明的保护范围所涵盖。