一种基于深度学习的职业性尘肺病多模态分析方法

本发明属于尘肺病分析领域，具体涉及一种基于深度学习的职业性尘肺病多模态分析方法。

背景技术：

近年来，我国安全生产实现了持续稳定好转，生产安全事故死亡人数实现了连续多年快速下降，但职业健康工作面临的形势仍然十分严峻。职业性尘肺病作为职业病的一种，主要分布在煤炭、有色、机械、建材、轻工等工业行业中。例如在煤矿生产过程中，岩巷爆破、岩巷装载、岩巷掘进、煤巷爆破、煤巷加固、选煤运输等诸多环节会产生许多的粉尘(主要包括煤尘和矽尘)，过多粉尘的吸人是造成尘肺病的元凶。尘肺病是劳动者在职业活动中长期吸入大量游离二氧化硅与其他粉尘而发生的肺组织纤维化为主的疾病。这些粉尘绝大部分被排出，但仍有一部分长期滞留在细支气管与肺泡内，不断被肺泡巨噬细胞吞噬，这些粉尘及吞尘的巨噬细胞是主要致病因素。一系列的研究表明，尘肺病变形成后，肺内残留的粉尘还继续与肺泡巨噬细胞起作用，这是尘肺病人虽然脱离粉尘作业但病变仍继续发展的主要原因。尘肺病患者普遍症状是胸闷、胸痛、气短、咳嗽、全身无力，重者丧失劳动能力，甚至不能平卧，最后造成肺功能衰竭，跪着而死，其状目不忍睹。

尘肺病是可防不可治的疾病，目前世界上没有能治愈尘肺病的特效药，洗肺只能在一定程度上减轻病人的痛苦，减缓病情的发展，但无法从根本上逆转病情。而针对人员的肺部健康状况进行早期检测可以实现职业性尘肺病的早期识别，提高职业性尘肺病的早期发现率，减少职业性尘肺病给人员带来的严重负担。因此，开发针对这一特殊群体的职业性尘肺病的诊断装置及分析方法是必要且重要的，其能够实现人员肺部健康状态的准确、实时测量分析，对于部分职业性尘肺病的前期预警以及保障人员的生命健康具有重要的意义。

现阶段，判别职业性尘肺病主要是依赖于《职业性尘肺病的诊断》(gbz70-2015)，医生通过对比分析患者的胸片和尘肺病x射线诊断标准片，在相关诊断标准和原则的基础上，依赖于个人经验进行尘肺病的诊断分析。随着人工智能算法的不断发展和应用，将人工智能算法用于胸片影像数据的辅助分析成为一个研究热点，并取得了一系列的成功应用。然而，胸片采集过程中受到被照体位置、曝光条件、操作误差和胶片等多种因素的影响，因此胸片的图像质量层次不齐，其特征提取和分析难度大，将传统的人工智能算法直接用于胸片的分析是存在识别精度低、耗时长等不足。随着深度学习理论的提出和数值计算设备的改进，卷积神经网络(convolutionalneuralnetwork，cnn)得到了快速发展，cnn作为图像处理和文本分析中特征提取最好的方式之一，并被应用于计算机视觉、自然语言处理等领域。虽然cnn模型具有优良的性能，但是如何针对具体应用问题设计合适的网络结构、找到最佳的模型参数是cnn应用过程中的一个难题。

鉴于此，本发明提供了一种基于深度学习的职业性尘肺病多模态分析方法。

技术实现要素：

为了克服上述现有技术存在的不足，本发明提供了一种基于深度学习的职业性尘肺病多模态分析方法。

为了实现上述目的，本发明提供如下技术方案：

一种基于深度学习的职业性尘肺病多模态分析方法，包括以下步骤：

采集人员的胸部x片影像信息和个人基础信息；

对所述个人基础信息进行词向量化处理；

构建一维卷积神经网络(one-dimensionalconvolutionalneuralnetwork，1d-cnn)和二维卷积神经网络(two-dimensionalconvolutionalneuralnetwork，2d-cnn)，并在此基础上建立多模态卷积神经网络(multi-modalconvolutionneuralnetwork，mm-cnn)模型；

将人员的胸部x片影像信息和词向量化处理后的个人信息作为多模态卷积神经网络mm-cnn模型的输入，建立用于职业性尘肺病分析的多分类mm-cnn尘肺病分析模型，在满足相应约束下形成目标函数；

采用混合跳蛙算法(shuffledfrogleapingalgorithm，sfla)优化多分类mm-cnn尘肺病分析模型的超参数；

采用优化后的多分类mm-cnn尘肺病分析模型对人员的胸部x片影像信息和词向量化处理后的个人信息进行分析，并输出职业性尘肺病分析的结果。

优选地，对所述个人基础信息进行词向量化处理中，采用word2vec中的skip-gram模型来进行人员个人基础信息的词向量化转换，上下文窗口大小设置为10，词向量维度大小设置为50，采样大小设置为1e-3。

优选地，所述构建一维卷积神经网络1d-cnn具体为，通过连接多个一维卷积单元的方式实现一维卷积神经网络层数的加深，卷积核的大小都设置为3，当一个卷积层为第l个卷积层则其卷积核数量为8×l，一维池化层采用最大池化方式，池化大小为2；

所述构建二维卷积神经网络具体为，通过连接多个二维卷积单元的方式实现二维卷积神经网络层数的加深，卷积核的大小都设置为3×3，当一个卷积层为第l个卷积层则其卷积核数量为8×l，二维池化层采用最大池化方式，池化大小为2×2。

优选地，所述建立用于职业性尘肺病分析诊断的多分类mm-cnn模型，并将mm-cnn分析模型的预测精度作为目标函数。

优选地，所述采用混合跳蛙算法sfla优化多分类mm-cnn尘肺病分析模型的超参数，包括1d-cnn网络层数m、1d-cnn激活函数、2d-cnn网络层数n、2d-cnn激活函数、优化器以及学习率，其具体步骤为：

青蛙种群初始化；

青蛙分类：对种群s中的青蛙按照适应度递增的顺序排序，记录s中适应度最好的青蛙位置px为f(1)；

族群划分：根据下式划分文化基因体；

m^k＝[f^k(j),f^k(j)|f^k(j)＝f(k+m(j-1)),f^k(j)＝f(k+m(j-1)),j＝1,2,…,n；k＝1,2,…,m]；

文化基因体传承进化：每个文化基因体m^k(k＝1,2,…,m)根据局部搜索步骤独立进化；

将各文化基因体进行混合：在每个文化基因体都进行过一轮局部搜索之后，将重新组合种群s，并再次根据适应度递增排序，更新种群中最优青蛙，并记录全局最优青蛙的位置px；

检验停止条件：若满足了算法收敛条件，则停止算法执行过程；否则，返回执行族群划分。

优选地，所述局部搜索过程实现的具体步骤为：

步骤a：定义计算器：设mi＝0，其中mi是文化基因体的计数器，标记当前进化文化基因体的序号；设ni＝0，其中ni是独立进化次数的计数器，标记并比较当前文化基因体的独立进化次数是否小于最大独立进化次数；

步骤b：初始化计算器：mi＝mi+1；

步骤c：初始化计算器：ni＝ni+1；

步骤d：根据pj＝2(n+1-j)/n(n+1)，j＝1,2,…,n来构建子文化基因体：

步骤e：青蛙位置更新：根据来更新最差青蛙位置，并利用f(q)＝pw+l来计算新位置f(q)，若f(q)在可行域，计算新的适应度f(q)；否则进入步骤f执行；若新的适应度比旧的适应度好，即产生一个更好的结果，则用新f(q)替换旧f(q)，并转入步骤h执行；否则进入步骤f执行；

其中，l为子文化基因体中适应度最差青蛙的跳跃步长，r为[0，1]区间的随机数，pb为子文化基因体中青蛙最好的位置，pw为子文化基因体中青蛙最差的位置，lmax为青蛙被感染之后的最大跳跃步长；

步骤f：若步骤d不能产生较好的结果，再次更新最差青蛙位置，根据来计算跳跃步长；若f(q)在可行域，则计算新的适应度f(q)，否则转人步骤g；若新的适应度比旧的适应度好，即产生一个更好的结果，则用新f(q)替换旧f(q)，并转人步骤h执行；否则进人步骤g执行；

其中，px为青蛙的全局最好位置；

步骤g：随机产生青蛙的新位置：若新位置不可行，又不比旧位置好，则在可行域内随机产生一个新青蛙f(r)取代原来青蛙，以终止有缺陷文化基因的传播，并计算适应度f(r)；

步骤h：升级文化基因体：子文化基因体中最差青蛙经过传承进化后，替换其在文化基因体m^mi的出处，并以适应度递减的顺序排列m^mi；

步骤i：检查进化次数：若ni＜n，则跳转到步骤c，进行下一次传承进化；

步骤j：检查文化基因体数：若mi＜m，则跳转到步骤b，进行下一个文化基因体传承进化；否则回到全局搜索以混合文化基因体。

优选地，所述个人信息基础信息包括人员的性别、年龄、身高、体重、职业史(包括工作单位、科区(车间)、工种、有害因素及防护措施等)、烟酒史、既往史(包括是否有高血压、糖尿病、结核病等，及其时间)等基础信息，用来辅助胸片分析。

本发明提供的基于深度学习的职业性尘肺病多模态分析方法具有以下有益效果：

1、通过采集人员的胸部x片影像信息和个人基础信息，能够综合考虑作业人员的个体差异；

2、采用的卷积神经网络算法具有良好分类性能，考虑到个人基础信息词向量后的信息是一维数据，而胸片x片影像信息是二维数据，分别设计相应的一维卷积网络和二维卷积神经网络来进行多模态数据的特征提取，并在此基础上构建了适用于职业性尘肺病分析诊断的mm-cnn模型；

3、在进行mm-cnn模型超参数选择的过程中，采用了混合跳蛙算法来进行mm-cnn职业性尘肺病分析诊断模型的1d-cnn网络层数m、1d-cnn激活函数、2d-cnn网络层数n、2d-cnn激活函数、优化器以及学习率的参数寻优，解决了人工选择df参数的不足；

4、该方法能够对特殊群体人员进行肺部健康状况以及职业性尘肺病的快速检测分析，实现人员肺部健康的准确、实时检测分析，完成部分职业性尘肺病的早期预警，保障人员的生命健康。

附图说明

为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的基于深度学习的职业性尘肺病多模态分析方法的流程图；

图2为一维卷积神经网络结构示意图；

图3为二维卷积神经网络结构示意图；

图4为混合跳蛙算法优化mm-cnn模型超参数流程图；

图5为部搜索流程图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本发明提供了一种基于深度学习的职业性尘肺病多模态分析方法，具体如图1所示，包括以下步骤：包括以下步骤：

s1、采集人员的胸部x片影像信息和个人基础信息；其中胸片采集单元主借助直接数字化x射线摄影(digitalradiography，dr)系统来实现人员胸部x片影像的采集，个人信息采集单元主要是采集人员的性别、年龄、身高、体重、职业史(包括工作单位、科区(车间)、工种、有害因素及防护措施等)、烟酒史、既往史(包括是否有高血压、糖尿病、结核病等，及其时间)等基础信息；

人员的胸部x片影像信息的采集过程中，需要保证以下几点：

第一：对于摄影体位的要求：胸部后前立位，受检者应将胸壁紧贴摄影架，双脚自然分开，双臂内旋转，使肩胛骨尽量不和肺野重叠；

第二：对于源像距的要求：源像距保持为180cm；

第三：对于焦点的要求：使用小焦点；

第四：对于球管位置的要求：调整球管位置，中心线在第六胸椎水平；

第五：对于曝光控制的要求：采用自动曝光控制，曝光时间小于100ms，且曝光应在充分吸气后屏气状态时进行；

第六：对于摄像电压的要求：摄影电压控制在100-125kv。

s2、对个人基础信息进行词向量化处理；

具体的，对个人基础信息进行词向量化处理中，采用word2vec中的skip-gram模型来进行人员个人基础信息的词向量化转换，上下文窗口大小设置为10，词向量维度大小设置为50，采样大小设置为1e-3。

s3、基于词向量化处理后的个人信息和人员的胸部x片影像信息分别构建一维卷积神经网络1d-cnn和二维卷积神经网络2d-cnn，并在此基础上建立多模态卷积神经网络mm-cnn模型；

进一步地，构建一维卷积神经网络1d-cnn如图2所示，具体为：通过连接多个一维卷积单元的方式实现一维卷积神经网络层数的加深，卷积核的大小都设置为3，当一个卷积层为第l个卷积层则其卷积核数量为8×l，一维池化层采用最大池化方式，池化大小为2；

构建二维卷积神经网络如图3所示，具体为：通过连接多个二维卷积单元的方式实现二维卷积神经网络层数的加深，卷积核的大小都设置为3×3，当一个卷积层为第l个卷积层则其卷积核数量为8×l，二维池化层采用最大池化方式，池化大小为2×2。

s4、将人员的胸部x片影像信息和词向量化处理后的个人信息作为多模态卷积神经网络mm-cnn模型的输入，建立用于职业性尘肺病分析的多分类mm-cnn尘肺病分析模型，在满足相应约束下形成目标函数；具体的，将mm-cnn分析模型的预测精度作为目标函数。

s5、采用混合跳蛙算法sfla优化多分类mm-cnn尘肺病分析模型的超参数；

本实施例中，采用混合跳蛙算法sfla优化多分类mm-cnn尘肺病分析模型的超参数，包括1d-cnn网络层数m、1d-cnn激活函数、2d-cnn网络层数n、2d-cnn激活函数、优化器以及学习率，如图4所示，其具体步骤为：

s51：青蛙种群初始化；

s52：青蛙分类：对种群s中的青蛙按照适应度递增的顺序排序，记录s中适应度最好的青蛙位置px为f(1)；

s53：族群划分：根据下式划分文化基因体

m^k＝[f^k(j),f^k(j)|f^k(j)＝f(k+m(j-1)),f^k(j)＝f(k+m(j-1)),j＝1,2,…,n；k＝1,2,…,m]；

s54：文化基因体传承进化：每个文化基因体m^k(k＝1,2,…,m)根据局部搜索步骤独立进化。

进一步地，本实施例中，如图5所示，局部搜索过程实现的具体步骤为：

s541：定义计算器：设mi＝0，其中mi是文化基因体的计数器.标记当前进化文化基因体的序号；设ni＝0，其中ni是独立进化次数的计数器，标记并比较当前文化基因体的独立进化次数是否小于最大独立进化次数。

s542：初始化计算器：mi＝mi+1；

s543：初始化计算器：ni＝ni+1；

s544：根据pj＝2(n+1-j)/n(n+1)，j＝1,2,…,n来构建子文化基因体：

s545：青蛙位置更新：根据来更新最差青蛙位置，并利用f(q)＝pw+l来计算新位置f(q)，若f(q)在可行域，计算新的适应度f(q)；否则进人步骤s546执行。若新的适应度比旧的适应度好，即产生一个更好的结果，则用新f(q)替换旧f(q)，并转入步骤s548执行；否则进入步骤s546执行。

其中，l为子文化基因体中适应度最差青蛙的跳跃步长，r为[0，1]区间的随机数，pb为子文化基因体中青蛙最好的位置，pw为子文化基因体中青蛙最差的位置，lmax为青蛙被感染之后的最大跳跃步长；

s546：若步骤s544不能产生较好的结果，再次更新最差青蛙位置。根据来计算跳跃步长。若f(q)在可行域，则计算新的适应度f(q)，否则转人步骤s547；若新的适应度比旧的适应度好，即产生一个更好的结果，则用新f(q)替换旧f(q)，并转人步骤s548执行；否则进人步骤s547执行。

其中，px为青蛙的全局最好位置；

s547：随机产生青蛙的新位置：若新位置不可行，又不比旧位置好，则在可行域内随机产生一个新青蛙f(r)取代原来青蛙，以终止有缺陷文化基因的传播，并计算适应度f(r)；

s548：升级文化基因体：子文化基因体中最差青蛙经过传承进化后，替换其在文化基因体m^mi的出处，并以适应度递减的顺序排列m^mi；

s549：检查进化次数：若ni＜n，则跳转到步骤s543，进行下一次传承进化；

s5410：检查文化基因体数：若mi＜m，则跳转到步骤s542，进行下一个文化基因体传承进化；否则回到全局搜索以混合文化基因体。

s55：将各文化基因体进行混合：在每个文化基因体都进行过一轮局部搜索之后，将重新组合种群s，并再次根据适应度递增排序，更新种群中最优青蛙，并记录全局最优青蛙的位置px；

s56：检验停止条件：若满足了算法收敛条件，则停止算法执行过程；否则，返回步骤s53执行。

s6、采用优化后的多分类mm-cnn尘肺病分析模型对人员的胸部x片影像信息和词向量化处理后的个人信息进行分析，并输出职业性尘肺病分析的结果。

以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。