一种基于深度置信网络的退行性膝骨关节炎早期预警方法

1.本发明涉及医疗智能技术领域，更具体地说是一种基于深度置信网络的退行性膝骨关节炎早期预警方法。


背景技术：

2.膝骨关节炎是指由多种因素引起关节软骨(关节表面的“脆骨”)纤维化、皲裂、溃疡、脱失而导致的以关节疼痛为主要症状的退行性疾病(退行性指的是随着年龄增大而身体发生的一系列不可避免的疾病，如骨质增生、脑萎缩等等)。到目前为止，基于人群的膝关节oa观察性研究大多在发达国家进行，只有少数研究在中国进行。因此，我国老年人膝关节oa患病率及其潜在危险因素的研究资料较少。根据中国健康与养老追踪调查数据库(china health and retirement longitudinal study,charls)的研究结果显示：我国膝关节症状性oa(膝关节kellgren&lawrence评分≥2分，同时存在膝关节疼痛)的患病率为8.1％；膝骨关节炎女性(10.3％)患病率高于男性(5.7％)；呈现明显的地域差异，即西南地区(13.7％)和西北地区(10.8％)最高，华北地区(5.4％)和东部沿海地区(5.5％)相对较低；从区域特征来看，农村地区膝关节症状性oa患病率高于城市地区；受教育年限较长或居住在较发达地区的人，其膝关节oa的发病率远低于同龄人。骨关节炎(osteoarthritis,oa)是一种严重影响患者生活质量的关节退行性疾病，影响全球数百万人，给患者、家庭和社会造成巨大的经济负担。
3.退行性膝骨关节炎目前通用诊断标准是近一个月反复膝关节疼痛并且x先片显示关节间隙变窄、软骨下骨硬化、货囊性变、关节缘骨赘形成。考虑到有的患者行动不便以及无法承担去医院检查所耗费的高额费用，各医院普遍推出线上远程诊断，通过线上远程交互，实现远程诊断，便捷用户的目的。
4.深度学习受到科研机构和行业的广泛关注，在初始阶段，图像识别和自然语音识别领域最早引入了深度学习的方法。深度学习目前直接应用与诸多领域，包括机器人技术、语音识别、图像识别、计算机图像识别、文本识别、搜索引擎、邮件自动回复、机器翻译、杀毒软件、视频的智能化处理等。深度学习发展到现在呈现百花齐放的态势，但从基本结构上来说，最具代表性的深度学习模型是dbn(deep belief network，深度置信网络)、cnn(convolution neural networks，卷积神经网络)、rnn(recurrent neural network，循环神经网络)。dbn通常用于分类操作以及对特征信息的提取与识别，有时也可以使用dbn来对某些数据进行生成操作。dbn由形成堆叠关系的多个rbm(restricted boltzmann machine，受限玻尔兹曼机)以及bp(back propagation，反向传播)神经网络组成。
5.dbn的优点是将传统神经网络的训练方式进行了开拓式的创新。传统的深度神经网络因为层数多且每一层的神经元数量较大，神经网络的各种参数也非常多，因而训练时间很长。并且因为深度神经网络层数较多，传统的随机梯度下降算法将面临梯度消失的问题，无法对神经网络及其参数进行有效地训练。而dbn通过逐层训练的方法，将深度神经网络的训练问题化整为零，通过逐层训练rbm来使深度神经网络获得较好的初始参数，大大减
少了深度神经网络训练的时间和难度，并有效缓解了梯度消失的问题。


技术实现要素：

6.针对临床就诊患者多状态兼挟，且诊断信息的来源具有多样性，本发明提供一种基于深度置信网络的退行性膝骨关节炎早期预警方法。
7.为实现上述目的，本发明提供如下技术方案：一种基于深度置信网络的退行性膝骨关节炎早期预警方法，包括以下步骤：
8.步骤一：原始数据预处理；
9.步骤二：采用最大相关最小冗余特征选择算法(minimum redundancy maximum relevance，mrmr)对从合作医院获取的病人退行性膝骨关节炎原始数据进行相关性分析；采用最大相关最小冗余特征选择算法确定退行性膝骨关节炎预测模型的输入变量；
10.步骤三：采用dbn(deep belief networks，深度置信网络)实现基于深度学习的退行性膝骨关节炎早期预测模型构建，其结构是由多层rbm(restricted boltzmann machine，受限玻尔兹曼机)和多层bp(back propagation，反向传播)神经网络组成，其中，rbm层采用无监督的学习，而bp层采用有监督学习，输入数据是经过最大相关最小冗余特征选择对原始数据进行筛选后的去除冗余特征后的数据；
11.步骤四：在线检测阶段。
12.优选地，步骤一的具体步骤如下：
13.s1：去除数据集中空缺比例大的行和列；
14.s2：使用最值归一化对连续型数据进行归一化处理。
15.优选地，步骤三具体步骤如下：
16.s1：rbm层无监督学习逐层训练(预训练)：
17.采用五折交叉验证方法对算法进行验证：将处理好的标准化数据按照4：1的比例进行划分，分为训练数据和测试数据；
18.首先输入划分后的数据集到第一个rbm，输入数据是经过mrmr筛选后的没有标签的数据子集，是病人生理特征构成的多维数据，自下而上的对第一个rbm进行训练，每训练好一个rbm，就固定其网络参数和结构，将其隐藏层的输出作为下一个rbm可见层的输入，依次进行迭代训练，直到所有rbm都预训练完成，每一层rbm自底向上对输入的病人特征数据进行抽象，提取特征；
19.rbm层与训练结束后，将rbm最后一层的输出数据作为bp层的输入数据，经过多个bp层构成的神经网络进行有监督训练，输出数据是预测当前病人患有退行性膝骨关节炎的概率；
20.s2：微调：在预训练结束后，将rbm的最后一层输出作为bp的输入，计算输出病人是否患有退行性膝骨关节炎和其准确标签的误差，将误差反向传播，自顶向下对dbn网络参数进行微调。
21.优选地，步骤四具体步骤如下：受检人在嵌入了算法模型的网页或者微信小程序上填写退行性膝骨关节炎调查问卷，系统对收集的数据进行预处理之后输入到模型，计算出受检人患有膝骨关节炎的概率。
22.本发明的技术效果和优点：
23.本发明主要原理是：在离线构建阶段，对收取的病人生理数据，使用最大相关最小冗余特征选择的方法选取与病种相关的重要特征，将提取出的重要特征输入到深度置信网络中，通过深度置信网络学习到生理特征与退行性膝骨关节炎之间的关系。深度置信网络的结构是由多层受限玻尔兹曼机和多层反向传播神经网络组成，网络的参数学习过程包括无监督预训练和有监督学习逐层训练以及微调三个阶段；在在线检测阶段，受检人在微信小程序上，填写与退行性膝骨关节炎有关的调查卷，将获取的数据传入到服务器，利用训练好的深度置信网络模型对该病人进行预测，将结果显示在最终界面以供受检人参考。本发明使用最大相关最小冗余特征选择的方法，提取出与退行性膝骨关节炎相关的特征，简化输入数据，提出的算法可以达到比普遍流行的支持向量机(svm)和随机森林(random forest)等算法更好的效果，该方法可以更准确地判断早期退行性膝骨关节炎是否发生。
附图说明
24.图1为构建退行性膝骨关节炎预测模型的流程图；
25.图2为小程序问卷界面；
26.图3为小程序问卷界面；
27.图4为小程序正确提交问卷后反馈的结果图；
28.图5为当有问题未填写但提交问卷后的提示图；
29.图6为小程序二维码。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.实施例1
32.本发明提供一种基于深度置信网络的退行性膝骨关节炎早期预警方法，包括以下步骤：
33.步骤一：原始数据预处理，具体步骤如下：
34.s1：去除数据集中空缺比例大的行和列；
35.s2：使用最值归一化对连续型数据进行归一化处理。
36.步骤二：采用最大相关最小冗余特征选择算法(minimum redundancy maximum relevance，mrmr)对从合作医院获取的病人退行性膝骨关节炎原始数据进行相关性分析；采用最大相关最小冗余特征选择算法确定退行性膝骨关节炎预测模型的输入变量；
37.步骤三：采用dbn(deep belief networks，深度置信网络)实现基于深度学习的退行性膝骨关节炎早期预测模型构建，其结构是由多层rbm(restricted boltzmann machine，受限玻尔兹曼机)和多层bp(back propagation，反向传播)神经网络组成，其中，rbm层采用无监督的学习，而bp层采用有监督学习，输入数据是经过最大相关最小冗余特征选择对原始数据进行筛选后的去除冗余特征后的数据，具体步骤如下：
38.s1：rbm层无监督学习逐层训练(预训练)：
39.采用五折交叉验证方法对算法进行验证：将处理好的标准化数据按照4：1的比例进行划分，分为训练数据和测试数据；
40.首先输入划分后的数据集到第一个rbm，输入数据是经过mrmr筛选后的没有标签的数据子集，是病人生理特征构成的多维数据，自下而上的对第一个rbm进行训练，每训练好一个rbm，就固定其网络参数和结构，将其隐藏层的输出作为下一个rbm可见层的输入，依次进行迭代训练，直到所有rbm都预训练完成，每一层rbm自底向上对输入的病人特征数据进行抽象，提取特征；
41.rbm层与训练结束后，将rbm最后一层的输出数据作为bp层的输入数据，经过多个bp层构成的神经网络进行有监督训练，输出数据是预测当前病人患有退行性膝骨关节炎的概率；
42.s2：微调：在预训练结束后，将rbm的最后一层输出作为bp的输入，计算输出病人是否患有退行性膝骨关节炎和其准确标签的误差，将误差反向传播，自顶向下对dbn网络参数进行微调；
43.步骤四：在线检测阶段：受检人在嵌入了算法模型的网页或者微信小程序上填写退行性膝骨关节炎调查问卷，系统对收集的数据进行预处理之后输入到模型，计算出受检人患有膝骨关节炎的概率。
44.实施例2
45.本实例包括如下步骤：
46.步骤一：获取数据集和数据集预处理：
47.(1)采集5000例临床就诊患者的中、西医数据，共计406个特征，对数据进行预处理，具体步骤如下：
48.(2)去除空缺数量比例太大的行和列(本实例中选取的是30％)；
49.(3)使用最值归一化对连续型数据进行归一化处理。
50.步骤二：采用最大相关最小冗余特征选择算法(minimum redundancy maximum relevance，mrmr)进行特征压缩，找出对膝骨关节炎患病敏感度高的特征子集，并将样本集映射到高维空间，实现非线性暂态稳定评估问题的线性转化；将筛选出的特征子集作为退行性膝骨关节炎预测模型的输入。
51.采用最大相关最小冗余特征选择算法中互信息概念用于交通数据相关性分析。
52.互信息是mrmr算法的基础，主要是为了表示两个随机变量之间的相互关联程度，本发明所述模型采用互信息值分析各变量的相关性。膝骨关节炎数据中含有大量“望”、“闻”、“问”、“切”等中医数据，也有例如血小板计数、白细胞计数、血糖、心率等西医数据。模型输入的具体参数需要采用特征选择算法得到。采用互信息值可以用于膝骨关节炎病理特征的相关性分析。
53.采用最大相关最小冗余特征选择算法用于退行性膝骨关节炎预测模型输入提取，并对模型输入变量数目进行参数寻优，过滤掉冗余特征信息，进而确定模型输入。
54.步骤三：进行深度置信网络的参数学习：
55.本发明利用深度置信网络进行膝骨关节炎预测模型的训练，网络由多个rbm组成的概率生成性模型，以及多层bp神经网络组成。
56.采用五折交叉验证方法对算法进行验证：将处理好的标准化数据按照4：1的比例
进行划分，分为训练数据和测试数据。
57.网络训练过程主要包括两个阶段：
58.预训练及微调。在整个训练过程中，无监督预训练被认为是数据向前传播。最后通过原始数据与恢复数据之间的距离来进行后向传播，实现网络参数的微调。
59.预训练：首先将按4：1划分的训练数据集输入到第一个rbm，自下而上地对第一个rbm进行训练，每训练好一个rbm，就固定其网络结构，将其隐藏层的输出作为下一个rbm可见层的输入，依次进行迭代训练，直到所有rbm都预训练完成，每一层rbm自底向上对输入的病人特征数据进行抽象，提取特征。
60.采用多次循环可充分训练每一个rbm，经过多次训练隐藏层可尽可能地精准地显示可见层的特征且能够尽可能地还原显层。在充分训练一层rbm后，将最终隐藏层的结果输入到下一层rbm，依次进行迭代训练，直到dbn中所有的rbm都训练完成。将最后一层rbm的输出数据作为bp的输入数据，经过多个bp层构成的神经网络进行有监督训练，输出数据是预测当前病人患有退行性膝骨关节炎的概率。
61.微调：计算输出病人是否患有退行性膝骨关节炎和其准确标签的误差，将误差反向传播，自顶向下对dbn网络参数进行微调。由于dbn网络模型中bp网络的输入已经过若干层rbm网络的优化，因此可以解决bp网络因随机初始值而容易陷入局部最小值和收敛速度慢的问题。至此，完成微调阶段。
62.将使用深度置信网络构建的退行性膝骨关节炎模型预测结果分别与svm和random forest方法进行比较，实验结果如表1所示。算法1对应的是本发明所使用的深度置信网络的验证结果；算法2对应的是svm对应的验证结果；算法3对应的是random forest对应的验证结果。从表1可以看出，本发明提出的模型构建方法在相关的性能指标上都优于其他算法。
63.表1
64.算法accuracyrecallf1 scoreauc10.91030.32430.43630.892620.90460.26650.38050.879230.90160.17740.28400.8801
65.步骤四：在线检测阶段：
66.受检人在嵌入了所述算法模型的网页或者微信小程序上填写退行性膝骨关节炎调查问卷，调查问卷样式如图2、图3所示。系统对收集的数据进行预处理之后上传到服务器，服务器使用训练好的对应的深度置信网络模型，计算出受检人患有膝骨关节炎的概率，将结果反馈给受检人。
67.正常完全填写问卷后，点击提交，小程序将表单提交到后台，后台将预测的概率反馈到小程序前端，结果如图4所示。
68.问卷要求填写所有问题，当有问题没有填写但提交表单之后，小程序会提示有问题没有按要求填写，提示如图5所示。
69.程序二维码如图6所示。
70.最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。