一种基于全卷积网络的DR片肺轮廓提取方法与流程

本发明涉及图像处理领域，具体涉及一种基于全卷积网络的DR片肺轮廓提取方法。

背景技术：

胸部的透视影像是诊断肺部疾病的关键技术，通过X光成像，是体检筛查肺部疾病的主要手段，如肺部炎症、肿块、结核、肺癌等；随着数字成像技术的发展，数字化照影图像即DR(Digital Radiography)逐步取代了传统的胸部透视成像方式；DR指在计算机控制下直接进行数字化X线摄影的一种新技术，即采非晶硅平板探测器把穿透人体的X线信息转化为数字信号，并由计算机重建图像及进行一系列的图像后处理；DR系统主要包括X线发生装置、直接转换平板探测器、系统控制器、影像监示器、影像处理工作站等几部分组成；由于DR技术动态范围广，X线光量子检出效能(DQE)高，具有很宽的曝光宽容度，即使曝光条件稍差，也能获得很好的图像；DR成像清晰度高，而辐射低，在我国已经成为广大医院和基层体检中心的主要技术设备。

在我国，拍摄胸部DR片的通常目的是做肺结核或肺癌等肺部重大和传染性疾病的筛查；结核病由结核分枝杆菌引起，容易经空气中飞沫甚至气溶胶传播；结核病患者主体是青壮年，导致家庭和社会劳动力损失；世界卫生组织指出结核病是全球重要的公共卫生问题。在我国，目前有500万活动性肺结核患者，每年有5万人死于结核病；结核病是我国重点防控的主要传染病之一；鉴于结核病的危害严重，防治工作难度大，地方各级结核病防治队伍规模仍较小，力量和经费尚不能适应防治需求，需要加强技术和资金投入，建立医防结合机制，形成切实有效的防治体系；当前在结核病防治的实施上，存在着早期发现和治疗管理两个薄弱、困难环节；在此形势下，国内逐步开展利用基本公共卫生服务开展重点人群肺结核病人筛查项目；和肺结核相比，肺癌对病患身体健康的破坏严重程度胜于前者；众所周知，肺癌的死亡率远远高于其他癌症，而且近些年来还呈逐年增加的趋势；影像学检查是癌症诊断、检测和防治方面的重要技术手段之一；通常意义上的胸部影像学的主要研究对象就是肺部癌症，它一般通过建立肺窗来观察相应肺部影像；肺癌是与吸烟、大气污染和免疫功能低下有关的肿瘤性疾病；诸如近年来雾霾等因素对肺部反复的炎症刺激会带来慢性损害，影响支气管粘上皮的正常功能和机体的免疫抗病毒状态，对肺癌的发生有促进作用。

DR片成像的原理是，人体组织有密度和厚度的差别，当X线穿透人体不同组织时，X线被吸收的程度不同，所以到达荧屏上的X线量就有差异，形成黑白对比不同的影像；利用人体组织的不同密度在X射线下成像差异，分析组织厚度和密度差别，推测估计其中可能的病变部位，为医生的诊断提供依据；但人体组织结构复杂，胸腔和腹腔包含了人体的主要关键器官，包含了高密度和低密度的各种脏器；因此各器官组织的影像互相交叠，对观察和判断的影响很大；因此阅读和判别DR片对医生的经验和精力要求很高，容易遗漏早期和非典型病例。尽管在基层医院和体检点展开一定规模的DR片检查，但超大规模的DR片检查很难在现有人力和技术资源下真正展开。

尽管DR片的阅片和诊断具有相当难度，但由于其采用数字技术，为根据临床需要针对性图像后处理提供了基础技术条件；图像后处理是数字图像的最大特点；只后要保留原始数据，就可以根据诊断需要，并通过研发算法和软件功能，有针对性的对图像进行处理，以提高诊断率；在当前技术条件下，针对性的DR片图像处理和分析尚有难度；现有设备中只能实现DR片的通用形式的功能，如边缘增强清晰、放大漫游、图像拼接、兴趣区窗宽窗位调节等，或者基本的距离、面积、密度的测量；针对特定脏器或者病变类型的特应性功能难以实现，是因为面向任务和对象的图像处理技术在应用层面仍存在较多技术困难；就胸部DR片而言，其数字化图像智能化处理的一大难点既是如何确定肺叶的区域；若能准确确定肺叶范围，减弱或消除肺部以外的干扰，就能更有利于发现细微的病变；此外，肺叶轮廓的形状本身也是判断体检者相关生理指标的重要因素；可靠的肺叶轮廓提取算法可以使体检者减少复检的次数，拍摄更少的胸片，可以在较低辐射剂量的代价下获取医生对病灶确诊；目前，还没有面向DR片处理的肺叶轮廓提取方法。

技术实现要素：

本发明提供一种提高肺部疾病筛查处理效率，并提高病灶检测准确率和重大传染病监测效率的基于全卷积网络的DR片肺轮廓提取方法。

本发明采用的技术方案为：一种基于全卷积网络的DR片肺轮廓提取方法，包括以下步骤：

建立肺轮廓分割的全卷积网络结构；

离线训练全卷积网络的权重参数；

读取DR图像和全卷积网络权重参数；

将DR图像输入全卷积网络，通过网络逐层前馈由网络终端输出图像分割结果，根据分割结果构建肺轮廓。

进一步的，所述全卷积网络以网络的层为单位，按照输入到输出的顺序包括，数据层、CONV1-MAXPOOL1-RELU1层、CONV2-MAXPOOL2-RELU2层、CONV3-MAXPOOL3-RELU3层、CONV4-MAXPOOL4-RELU4层、FC1层、Dropout1层、FC2层、Dropout2层、DECONV1层、Crop1层、FUSE1层、DECONV2层、Crop2层、ADD1层、DECONV3层、Crop3层、SoftMax层。

进一步的，所述离线训练全卷积网络的权重参数包括以下步骤：

A、采集一定的DR图像作为样板数据集；

B、对样板数据集中的图像进行肺叶轮廓标注；

C、提取轮廓标注中的轮廓，根据其重心区分左、右肺轮廓并形成左、右肺轮廓集；

D、将左、右肺轮廓集随机的划分为训练集合测试集；

E、将训练集合测试集中的左、右肺轮廓输入全卷积网络，计算其输出值与标注结果比较后计算总体差异值；

F、对全卷积网络逆向信息传播，计算各网络层的参数更新；

G、如果迭代次数未达到设定值则返回步骤E，否则进入步骤H；

H、得到需要的网络载入参数值。

进一步的，所述DR图像输入全卷积网络之前对图像一次进行以下处理：

将DR图像转化为浮点型矩阵；

将浮点型矩阵进行尺寸标准化处理；

对图像进行白化处理。

进一步的，所述总体差异值的计算方法采用软最大值算法Softmax。

进一步的，所述计算各网络层的参数更新采用批量随机梯度下降算法Batch-SGD。

进一步的，所述浮点型矩阵的转化方法为：将DICOM格式图像的12位或14位深度像素值除以2¹²或2¹⁴，将其转化为浮点型矩阵。

进一步的，所述尺寸标准化处理的方法为将图像采用高斯平滑算法Gaussian缩放至512×512像素尺寸。

进一步的，所述白化处理的方法为将标准化尺寸的浮点数化的图像减去所有训练样本的平均值，再除以所有训练样本的标准差。

本发明的有益效果为：

(1)本发明通过提取肺部轮廓，使后续的肺病诊断更具针对性，提升后续计算机辅助处理的可靠性和准确性；可以降低医生的视觉负荷，并提高整体的识别准确率和处理效率；降低医生因经验差异对病情判别的影响；

(2)本发明能够自动处理胸部DR片，能够适应不同设备的DR片，适应不同身形、性别和年龄的拍摄者；

(3)本发明可以有效利用网络资源，实现远程会诊和疾病回访，提高疑难病症的会诊可靠性；

(4)本发明可作为计算机辅助诊断的基础，去除肋骨干扰后的图像有助于后续自动化病变判别方法的设计；

(5)本发明集成了现有医疗设备和信息化网络资源，提高了设备的使用率，避免设备闲置和资源浪费。

附图说明

图1为本发明流程图。

图2为本发明中全卷积网络的权重参数的离线训练流程图。

图3为本发明中胸部DR片的肺轮廓自动提取方法的处理流程。

具体实施方式

本发明采用计算机图像处理技术自动获取DICOM(Digital Imaging and Communications in Medicine即医学数字成像和通信)图像中可能的肺轮廓边界的后续区域，从高可能性候选区域中进一步筛选最佳匹配方案，解决目前大规模居民体检产生数据量太大，而医生在有限时间逐个人工标注且难以保持高精度检测的问题；利用医疗信息化的优势，能适应医疗人员的主观因素导致偏差、体检点的设备变更、操作人员的计算机水平差异等问题；整个处理过程简单方便，可从基础上提高肺结核筛查的处理效率，同时降低了体检点医护人员的工作负担，因而可使计算机辅助筛查及时推广到缺乏肺结核胸透影像评估经验的基层医疗机构，更有利于针对重点传染病的居民规模体检进一步常态化和规范化。

本发明可自动处理各种胸透DR图像，提取肺叶轮廓；本发明利用新技术手段可降低医护人员人工检验胸透影像的工作量，并提升病灶检测准确率和重大传染病监测效率，为制定传染病的预防控制的方案决策和调整群众卫生健康的政策提供信息基础。

一种基于全卷积网络的DR片肺轮廓提取方法，包括以下步骤：

建立肺轮廓分割的全卷积网络结构；

离线训练全卷积网络的权重参数；

读取DR图像和全卷积网络权重参数；

将DR图像输入全卷积网络，通过网络逐层前馈由网络终端输出图像分割结果，根据分割结果构建肺轮廓。

进一步的，所述全卷积网络以网络的层为单位，按照输入到输出的顺序包括，数据层、CONV1-MAXPOOL1-RELU1层、CONV2-MAXPOOL2-RELU2层、CONV3-MAXPOOL3-RELU3层、CONV4-MAXPOOL4-RELU4层、FC1层、Dropout1层、FC2层、Dropout2层、DECONV1层、Crop1层、FUSE1层、DECONV2层、Crop2层、ADD1层、DECONV3层、Crop3层、SoftMax层。

本发明首先建立肺轮廓分割的全卷积网络FCN-LUNG结构；该网络结构是本发明实现的基础，在使用过程中保持稳定不变，以网络的层为单位，按照输入到输出的顺序包括以下结构：

1、数据层，输入为单通道的512×512像素的灰度图像矩阵，矩阵数据类型为浮点型。

2、CONV1-MAXPOOL1-RELU1层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为20×9×9，池化层中每2×2的像素聚合为1个像素并取其中的最大值。

3、CONV2-MAXPOOL2-RELU2层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为40×7×7，池化层中每2×2的像素聚合为1个像素并取其中的最大值。

4、CONV3-MAXPOOL3-RELU3层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为80×5×5，池化层中每2×2的像素聚合为1个像素并取其中的最大值。

5、CONV4-MAXPOOL4-RELU4层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为160×5×5，池化层中每2×2的像素聚合为1个像素并取其中的最大值。

6、FC1层，全联通层，实现卷积核尺寸为1×1的卷积，输出为1024层。

7、Dropout1层，实现50％概念的部分参数置零。

8、FC2层，全联通层，实现卷积核尺寸为1×1的卷积，输出为2048层。

9、Dropout2层，实现50％概念的部分参数置零。

10、DECONV1层，通过10×10尺寸的逆卷积算子，和步长8的间隔，计算逆卷积输出图像，输出层数为50层。

11、Crop1层，截取DECONV1层的输出结果，使其输出的图像长和宽的像素尺寸与CONV3-MAXPOOL3-RELU3层的输出一致。

12、FUSE1层，将Crop1层输出结果和CONV3-MAXPOOL3-RELU3层的输出在对应像素位将其值相加。

13、DECONV2层，通过10×10尺寸的逆卷积算子，和步长8的间隔，计算逆卷积输出图像，输出层数为20层。

14、Crop2层，截取DECONV2层的输出结果，使其输出的图像长和宽的像素尺寸与CONV1-MAXPOOL1-RELU1层的输出一致。

15、ADD1层，将Crop2层输出结果和CONV1-MAXPOOL1-RELU1层的输出在对应像素位将其值相加。

16、DECONV3层，通过5×5尺寸的逆卷积算子，和步长4的间隔，以ADD1层的结果为输入计算逆卷积输出图像，输出层数为3层，分别对应左肺、右肺和背景区域。

17、Crop3层，截取DECONV3层的输出结果，使其输出的图像长和宽的像素尺寸与数据层的输出一致。

18、SoftMax层，计算Crop3层的软最大值Softmax，用以评价输出结果的准确性。

建立肺轮廓分割网络的拓扑结构之后，需离线地利用带标注的肺部DR影像数据集，对肺轮廓分割网络的权重参数进行训练，以获取轮廓的特征表达；其中带标注的肺部DR影像数据集包括DR片图像和相对应的轮廓标注图像两部分；网络权重参数的离线训练过程包括以下步骤：

A、采集一定的DR图像作为样板数据集；一般情况下，数据集中DR图像的数量需达到5000张以上；

B、对样板数据集中的图像进行肺叶轮廓标注；通过标注软件，人工手动绘制与样板相对应的黑白图像，其中的白色区域对应肺叶区域，而黑色区域为其他区域；保存黑白图像文件，作为数据集中的样板肺叶的轮廓标注；

C、提取轮廓标注中的轮廓，根据其重心区分左、右肺轮廓并形成左、右肺轮廓集；遍历数据集中所有标注图像，提取每张轮廓标注图像中的轮廓，根据轮廓的重心，区分左、右肺轮廓，分别将左、右肺轮廓的像素集合按左、右加入左肺轮廓集和右肺轮廓集；

D、将左、右肺轮廓集随机的划分为训练集合测试集；其中测试集约占总数据量的20％；

E、将训练集合测试集中的左、右肺轮廓输入全卷积网络，计算其输出值与标注结果比较后计算总体差异值；输入全卷积网络后，计算其输出，将输出值与人工标注结果进行比较，利用软最大值算法Softmax计算总体差异值；

F、对全卷积网络逆向信息传播，计算各网络层的参数更新；以减小前一步的总体差异值为目标，采用批量随机梯度下降算法Batch-SGD计算各个网络层的参数更新；

G、如果迭代次数未达到设定值则返回步骤E继续读取新样板以训练，否则进入步骤H；

H、得到需要的网络载入参数值。

建立肺分割网络拓扑结构及其权重参数后，系统即具备了完整的肺叶轮廓分割能力；在此，可以实现在线地肺叶图像轮廓检测，即对于任意新录入DR图像，将其传入网络输入并通过网络逐层前馈，最终由网络终端输出轮廓模板图像；其中的非零像素灰度值联通区域分别代表左右肺叶轮廓；

进一步的，所述DR图像输入全卷积网络之前对图像一次进行以下处理：

将DR图像转化为浮点型矩阵；

将浮点型矩阵进行尺寸标准化处理；

对图像进行白化处理。

在此基础上肺叶图像进行轮廓在线检测的处理步骤如下：

胸部DR片肺叶区域提取系统初始化；

从DR片数据库中读取一副DICOM图像；

将DICOM图像的12位或14位深度像素值除以2¹²或2¹⁴，将其转化为0到1的浮点数值；

将浮点化的DICOM图像，用高斯平滑算法Gaussian缩放至512×512像素尺寸；

将标准化尺寸的浮点化DICOM图像做白化处理，即将其减去所有训练样本的平均值，再除以所有训练样本的标准差；

将白化处理后的测试样本数据输入FCN-LUNG网络，通过网络前馈计算网络输出；

根据网络输出最佳匹配值，组合生成轮廓形状。

本发明提供的方法作为肺疾病诊断的基础步骤，将本发明与计算机自动化处理和相应的程序结合，应用于规模化的基层体检点的重大疾病和传染病筛查，设备通过以下检测步骤：

1)体检点工作人员将装配有DR片管理模块的计算机连接至DR片数据库，并配置DICOM图像文件读取的参数；

2)将体检点计算机连接至远程的医疗图像数据服务器；

3)在完成体检后，体检点计算机在空余时间将当日新增DR片自动上传到远程服务器；

4)系统服务器接收新增DR片，并给予其标签，并将其标签加入待处理队列，处理的优先级由时间先后确定；

5)系统服务器在扫描到未处理队列中存在数据时，自动运行肺叶轮廓自动化提取模块，并将提取结果保存到文件；

6)系统服务器在批量化处理一定数量DR图像后，生成包含DR原始图像和轮廓提取结果的融合图像形的处理报告；

7)根据系统等级的医师记录，系统服务器将汇报发送给不同医生，以人工确认分割结果的可靠性；

8)医生使用智能终端打开汇报，对认可的肺叶轮廓提取接口，可点击确认按钮；对不认可的分割结果，可根据DR图像的难易程度，选择人工处理或者延后处理；其中，人工处理一般是针对疑难病例，用手工方式以打开人工标注的程序界面标注出肺叶区域；而延后处理是将图像重新加入待处理队列，但降低其处理优先级，使系统延后处理；

9)系统同时支持交叉评估的方式，由多名医生共同判别分割可靠性较低的肺部轮廓；

10)在未对医生的用户终端设备服务的时段，系统会根据医生的反馈，自动调用自适应状态更新模块，以根据医生新手动标记的图像特征对现有处理模块的参数改进和深化训练；

11)系统服务在进行状态更新后，会对待处理列表中的剩余图像进行重新处理；由于系统参数的优化，原来不能处理的DR图像在改进后的系统中可以正确提取肺野形状；

12)体检点DR片的某一批次处理结束之后，由系统服务器向体检点计算机发出处理结束的消息，并有体检点信息员接收处理结果。

在以上各步骤中，系统会以图形化的人机交互方式提示医生远程操作，再通过计算机自动识别和动态学习，减少医生需人工介入的工作频率，从而降低医生的工作负担和提高处理效率和改善用户体验，使枯燥的标注和验证工作变得容易让人接受；此外，系统采用浏览器-服务器(BS)架构，使医生只要有用户名和密码即可在任意连接互联网络的计算机上进行肺结核影像的标注和评估，使工作平台从局部化的专用网络扩展到广域通用网络；不仅利于医生的工作和协调，而且有利于地方卫生部门和疾控单位对基层工作的把握及数据分析和挖掘。

本发明是一种面向胸部DR片数字图像的利用计算机视觉技术提取肺部轮廓的算法和实现方法，以DICOM数字格式的医学影像文件为处理对象，以现有医学影像设备和计算服务器及互联网络为基础；与现有医疗设备和网络资源相结合，可以降低设备使用率，避免设备闲置和资源浪费，并且可实现远程会诊和疾病回访，提高了疑难病症的会诊可靠性；本发明可作为计算机辅助诊断的基础，有助于后续自动化病变判别方法的设计；并且与计算机程序相结合之后可以根据医生的反馈信息，动态持续地改进系统参数，以提高识别性能。