一种基于深度卷积神经网络的图像识别方法、设备与流程

1.本发明涉及医疗技术领域，尤其是涉及一种基于深度卷积神经网络的图像识别方法、设备。


背景技术：

2.胸部x光片是常见的检查或诊断胸部疾病的工具。在三甲医院中，日均产生的x光片数量非常大，一方面，阅片医生在长时间的阅片过程中会逐渐累积疲劳度，进而可能会出现诊断错误的情况；另一方面，在城镇小医院中，日均拍片量虽然不多，但阅片医生的经验不足，也可能出现诊断错误的情况。这就亟需一种可以帮医生减少误诊或提供诊断信息的辅助诊断工具。
3.随着深度学习的发展，越来越多的深度卷积神经网络算法技术被应用到了医学图像中，ai智能辅助诊断系统应运而生。
4.现有的大多数ai智能辅助诊断方法，大多数是利用国际公开的数据集(如chestxray14)，或者从医院收集的带报告数据，经过自然语言处理从报告中获取片级的疾病标签，然后训练一个多标签分类网络模型或多个单疾病分类模型，然后对胸部x光片进行预测，采用类激活映射(或加权梯度类激活映射)的方法，将深度卷积神经网络模型学到的疾病特征信息转化成热力图的形式，在热力图上可以看到疾病大致的病灶区域在哪里，以此来更进一步地辅助医生诊断。
5.首先，国际公开数据集的片子质量参差不齐，存在过度曝光、位置不正、成像不好等质量差的片子；此外，国际公开数据集或医院收集的数据，这些数据集的标签绝大部分是从诊断报告中提取的，提取的方法不能保证标签百分百正确；用这种数据训练出来的深度卷积神经网络会严重偏离实际医生诊断的结果。
6.其次，上述方式的预测结果或者是一个2分结果，或者只能标出可疑病灶区域，却没有该可疑病灶区域对应的疾病种类或者征象，或者只能提示可疑病种，却无法给出相应的病灶区域，即现有技术基本上都是基于整片的疾病分类，并没有具体定位到疾病所在的位置，即使采用类激活映射技术实现弱监督语义分割能力，但得到的病灶区域信息往往不够准确，假阳很高。
7.临床医生由于需要准确地将疾病的具体位置写在诊断报告中，所以现有的技术方法与临床诊断的情况不相符，很难在协助医生诊断方面上提供有效的帮助。


技术实现要素：

8.针对上述技术问题，本发明实施例提供了一种基于深度卷积神经网络的图像识别方法、设备，以解决传统算法给出的ai智能辅助诊断方法无法给出病灶区域对应的疾病种类，可解释性不强的技术问题。
9.本发明实施例在第一方面提供一种基于深度卷积神经网络的图像识别方法，其特征在于，包括：对胸部的x光片进行预处理，得到符合格式要求的x光片初始图像；对所述x光
片初始图像进行筛查，检测所述x光片初始图像是否为胸部正位图像；将所述胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类；将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注；显示所述胸部正位图像对应的所述疾病类型和所述病灶区域。
10.可选地，所述对胸部x光片进行预处理，得到符合格式要求的x光片初始图像包括：将所述胸部x光片所有的像素值映射到正态分布上，得到窗宽和窗位；将所述窗宽区间外的噪音像素点去除，并将去除后的所述像素映射到0
‑
255的区间范围，得到x光片初始图像。
11.可选地，所述对所述x光片初始图像进行筛查，具体为：将所述x光片初始图像输入至胸部正位筛查模型中进行筛查，所述胸部正位筛查模型包括：resnet
‑
34特征提取网络和2个全连接神经网络，所述resnet
‑
34特征提取网络用于对所述x光片初始图像进行胸部特征提取；第一全连接神经网络用于判断所述胸部特征是否为胸部正位；第二全连接神经网络用于确认所述胸部特征的光度学解释。
12.可选地，在将所述胸部正位图像输入至深度卷积神经网络的二分类模型中之前，所述方法还包括：如果所述胸部特征的光度学解释为灰度范围从亮到暗地上升像素值，则将所述x光片初始图像的像素进行处理以得到光度学解释为灰度范围从暗到亮地上升像素值。
13.可选地，所述深度卷积神经网络的二分类模型用于对所述x光片初始图像进行胸部特征提取，并对提取的所述胸部特征进行阴阳性分类。
14.可选地，所述深度卷积神经网络的检测模型包括：特征提取网络、特征融合网络、区域生成网络、定性器、定位器和分割器，所述特征提取网络的输出为所述特征融合网络的输入；所述特征融合网络的输出为所述区域生成网络的输入；所述区域生成网络的输出为所述定性器的输入，所述定性器用于检测所述所述胸部正位图像的疾病类型；所述区域生成网络输出为所述定位器的输入，所述定位器用于对所述病灶区域定位；所述定位器输入为所述分割器的输出，所述分割器用于对所述病灶区域的轮廓进行标注。
15.可选地，所述方法还包括：在所述深度卷积神经网络的二分类模型中的分类结果为阳性，但是所述深度卷积神经网络的检测模型输出的疾病置信度都小于设定阈值时，所述深度卷积神经网络的检测模型强制输出最大置信度对应的所述病灶区的轮廓以及疾病类型。
16.可选地，所述方法还包括：在胸部疾病报告中可视化的显示所述病灶区域以及所述病灶区域对应的所述疾病类型。
17.可选地，所述深度卷积神经网络的二分类模型和所述深度卷积神经网络的检测模型的训练集均来自于影像归档和通信系统。
18.本发明实施例在第二方面提供一种图像识别设备，所述图像识别设备包括：存储器、处理器，通信总线以及存储在所述存储器上的图像识别程序，所述通信总线用于实现处理器与存储器间的通信连接；所述处理器用于执行所述图像识别程序，以实现上述图像识别方法的步骤。
19.本发明实施例提供的基于深度卷积神经网络的图像识别方法和系统既能筛查x光胸片的阴阳性，也能定位出病灶区域，同时能标出病灶区域的疾病种类或者征象，从而给医
生提供更具有可解释性的参考意见，以提升医生出报告的效率和减少工作量。
附图说明
20.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
21.图1为本发明实施例的一种基于深度卷积神经网络的图像识别方法的流程示意图；
22.图2是本发明实施例提供的胸部正位筛查模型的结构框架图；
23.图3是本发明实施例提供的基于深度卷积神经网络的胸部正位筛查过程示意图；
24.图4是本发明实施例提供的深度卷积神经网络的二分类模型的结构框架图；
25.图5是本发明实施例提供的深度卷积神经网络的检测模型的结构框图；
26.图6是本发明实施例提供的一种图像识别设备的结构示意图。
具体实施方式
27.为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
28.除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
29.本发明提出了一个既能快速筛查胸部x光片阴阳性又能对胸部病灶区域进行精准定位的智能辅助诊断方法及系统，该方法和系统最主要的功能是首先通过一个深度卷积神经网络的二分类模型，迅速筛查出阳性片，达到快速排阴的效果，然后再通过另一个深度卷积神经网络的检测模型，准确的定位阳性片中的病灶区域并预测其属于哪种疾病，从而更有效的给医生提供可解释性的参考意见，这样就能更大的提高医生的工作效率并减少医生的工作量。
30.以下首先详述该方法的具体实现过程以及深度卷积神经网络的二分类模型和深度卷积神经网络的检测模型的训练过程。
31.请参阅图1，图1是本发明实施例提供的一种基于深度卷积神经网络的图像识别方法，如图1所示，该方法包括如下步骤：
32.101、对胸部x光片进行预处理，得到符合格式要求的x光片初始图像。
33.此步骤是将胸部x光片转换成后面几个模型所要求的格式。
34.具体地，本发明首先通过将x光片上的所有像素值映射到正态分布上，将得到像素区间(μ
‑
3σ,μ+3σ)的宽度作为窗宽(σ是标准差，μ是均值)，区间中心作为窗位；然后，将窗宽区间外的约0.3％噪音像素点去掉，再将去除噪音后的像素映射到0至255的范围；最后根据不同模型的输入需求对x光片进行缩放到相应的尺寸。
35.在本发明中，下述用于胸部正位片筛查的胸部正位筛查模型的输入尺寸要求为：256
×
256；下述用于胸部阴阳性筛查的深度卷积神经网络的二分类模型的输入尺寸要求为：256
×
256。
36.102、对所述x光片初始图像进行筛查，检测所述x光片初始图像是否为胸部正位图像。
37.对所述x光片初始图像进行筛查，具体为：将x光片初始图像输入至胸部正位筛查模型中进行筛查。在本发明实施例中，胸部正位筛查模型的主要功能是判断输入的x光片初始图像是否是胸部正位片，以及其光度学解释是灰度范围从亮到暗地上升像素值(monochrome1)还是从暗到亮地上升像素值(monochrome2)该模型的结构框架如图2所示。
38.由于本发明的方法只适用于胸部正位片，所以需要对胸部是否正位进行筛查。在实际操作过程中，由于医生或拍片工作人员的操作失误，可能会将光度学解释的信息录入错误，导致出现成像完全相反的情况。由于实际操作中，医生可以在阅片时手动将其monochrome1调整成monochrome2，来挽救这种操作失误，而本发明的方法不会读取数据头部信息的光度学解释属性信息，因此胸部正位筛查模型添加了光度学解释，以自动判断光度学解释的信息录入是否有误。
39.具体地，胸部正位筛查模型包括：resnet
‑
34特征提取网络和2个全连接神经网络，resnet
‑
34特征提取网络用于对所述x光片初始图像进行胸部特征提取；第一全连接神经网络用于判断所述胸部特征是否为胸部正位；第二全连接神经网络用于确认所述胸部特征的光度学解释。
40.在步骤101中得到了用于胸部正位片筛查的尺寸要求为：256
×
256的图片数据，将256
×
256的图片数据输入至胸部正位筛查模型的处理过程如下：
41.首先对256
×
256的图片数据复制两次，然后重叠成3
×
256
×
256的结构再转换成1
×3×
256
×
256的结构。
42.然后将1
×3×
256
×
256结构图片数据输入至resnet
‑
34特征提取网络进行网络提取得到1
×
1024
×8×
8的特征图，
43.对1
×
1024
×8×
8的特征图经过平均池化层(average pooling layer)处理后得到1
×
1024
×1×
1的向量再转换成1
×
1024的结构，接着将其分别输入到两个输出通道数为1的第一全连接神经网络和第二全连接神经网络，最后将分别得到的2个值用sigmoid激活函数层对其进行处理。
44.最终得到两个阈值范围在0到1之间的概率值，其中，第一全连接神经网络对应的概率值表示该输入的图片数据是胸部正位片的概率。在默认情况下，若该概率值大于或等于0.5，则表示该图片数据为胸部正位片，否则是非胸部正位片，筛查结果如图3所示。
45.第二全连接神经网络对应的概率值表示该输入的图片数据的光度学解释是monochrome2的概率。在默认情况下，若该数值大于或等于0.5，则表示该图片数据的光度学解释是monochrome2，否则是monochrome1。
46.在光度学解释是monochrome1时，需要将该输入的图片数据转变为：每个值的相反数加上255，以将monochrome1调整成monochrome2。
47.需要说明的是，所述胸部正位筛查模型、下述用于胸部阴阳性筛查的深度卷积神经网络的二分类模型以及下述用于胸部病灶区域定位定性的深度卷积神经网络的检测模型均由与临床真实环境相符的训练数据训练得到。
48.制作该训练数据具体包括如下步骤：
49.1、从医院收集胸部x光影像及相应的诊断报告；
50.2、对收集的胸部x光影像进行脱敏与质控；
51.3、基于诊断报告提前分析影像；
52.4、医生对胸部x光影像的审核与标注；
53.5、算法人员再审核。
54.本发明中从医院收集胸部x光影像及相应的诊断报告，是通过dicom协议从医院的pacs系统(picture archiving and communication systems，影像归档和通信系统)或者dr、cr设备上获取胸部x光影像数据再根据严格的搜索条件(如表1)，收集片子及其诊断报告。
55.表1
[0056][0057]
对收集的胸部x光影像进行脱敏和质控，需要消除一些敏感的信息，比如病人姓名、检测机构名字、医生姓名等；然后从收集的胸部x光影像初步筛选出胸部正位片，从而去掉大量侧位片及非胸部x光片；并通过人工质控审核的方式，进一步去掉遗漏的非胸部正位片，以及其他质量不好的片子，如过度曝光，成像差，床旁片，小儿片等不满足训练要求的图片数据。
[0058]
基于诊断报告提前分析x光影像时,由于从医院收集的数据体量大，且大多数为阴性片(即使在操作时已经挑选了“阳性”)，不可能把所有数据都拿去给医生标注，因此本发明在训练数据时提出了从诊断报告中提取关键字的方法，当疾病关键字与已治疗的关键字同时存在时，则认为该病人没有该种疾病，从而快速地挑选出阳性数据，并根据具体需求，不同疾病类别分别挑选出一定的数量去标注，这样就能大大减少标注的成本。
[0059]
医生标注与审核时,可先由低年资医生对x光影像片子进行标注，用多边形的形式将病灶区域勾勒出来。再通过高年资的医生对其标注进行审核，主要审核低年资生是否存在标错或漏标的情况，若有漏标的情况就补上，若有错标的情况就修改正确。
[0060]
算法人员再审核是因为算法人员具有专业的训练深度卷积神经网络的经验，只有严谨且准确的标注数据才能训练出精确的网络模型。所以算法人员会对医生标好的数据进行审核，主要审核的内容为标注的多边形的严谨程度，比如有一些关于胸腔积液的多边形太大，囊括到了肺外的背景区域，就需要对其进行纠正。
[0061]
利用上述方法制作得到的训练数据贴近临床真实环境，数据质量高。
[0062]
103、将胸部正位图像输入至深度卷积神经网络的二分类模型中进行阴阳性分类。
[0063]
在本发明实施例中，深度卷积神经网络的二分类模型的主要功能是快速分析胸部x光片的阴阳性，该模型的结构框架如图4所示。
[0064]
在步骤101中得到了用于胸部正位片筛查的尺寸要求为：256
×
256的图片数据，将256
×
256的图片数据输入至深度卷积神经网络的二分类模型进行处理的过程如下：
[0065]
首先对256
×
256的图片数据复制两次，然后重叠成3
×
256
×
256的结构再转换成1
×3×
256
×
256的结构。
[0066]
然后将1
×3×
256
×
256结构图片数据输入至densenet
‑
121的特征提取网络进行网络提取得到1
×
1024
×8×
8的特征图，
[0067]
对1
×
1024
×8×
8的特征图经过平均池化层处理后得到1
×
1024
×1×
1的向量再转换成1
×
1024的结构，接着将其输入到通道数为1的全连接神经网络中，最后用sigmoid激活函数对得到的值进行处理。
[0068]
最终得到阈值范围在0到1之间的概率值，该概率值表示该输入的图片数据是阳性片的概率。在默认情况下，若该概率值大于或等于0.5，则表示该图片数据为为阳性片，否则是阴性片。
[0069]
104、将阳性结果的所述胸部正位图像输入至深度卷积神经网络的检测模型中检测所述胸部正位图像的疾病类型并对所述胸部正位图像中的病灶区域进行轮廓标注。
[0070]
在本发明实施例中，深度卷积神经网络的检测模型的主要功能是将阳性片中具体的病灶区域定位出来，并对每个定位出来的区域进行具体的疾病类型定性分析，胸部病灶区域的疾病类型包括以下17种：肺不张、心影增大、胸腔积液、浸润、肿块、结节、肺炎、气胸、肺实变、肺水肿、肺气肿、肺纤维化、胸膜增厚、膈疝、肺结核、肋骨骨折以及主动脉钙化。
[0071]
该深度卷积神经网络的检测模型的结构框架如图5所示。主要包括：特征提取网络、特征融合网络、区域生成网络、定性器、定位器和分割器。
[0072]
其中，特征提取网络采用efficientnet
‑
b2的结构，特征融合网络采用双向特征金字塔融合结构这样可以更有效的提取出更具代表性的特征，以及更好地融合浅层
‑
高层语义特征的信息，为后续定位定型提供基础。
[0073]
区域生成网络由一个卷积层和两个独立卷积层构成，第一个卷积层的作用是初步解析输入的图片数据的特征信息，并在训练时缓冲反向传播的梯度对主干线的直接影响；两个独立的卷积层，一个用于预测病灶区域的候选框，另一个用于预测该候选框是病灶区域的概率值。
[0074]
定性器是对区域生产网络输出的候选框进行定性分析，分析其是否有病，若有病
则再预测其属于上述17种疾病或征象的哪一种；定位器是对区域生成网络输出的候选框进一步优化，从而输出更准确的定位框；分割器的作用则是对定位器优化过的病灶区域进行分割，从而找出病灶区域的精确轮廓。
[0075]
在步骤101中得到了用于胸部正位片筛查的尺寸要求为：640
×
640的图片数据，将640
×
640的图片数据输入至深度卷积神经网络的检测模型进行处理的过程如下：
[0076]
将1
×3×
768
×
768结构的图片作为输入数据经过特征提取网络和特征融合网络后，由区域生成网络生成1000个病灶区域候选框；然后结合这1000个病灶区域候选框及其对应的特征图，用双线性差值法缩放成1000
×
256
×7×
7结构的特征图再输入到定性器、定位器，每个候选框会被分析并输出18个类别的置信度(17类疾病或征象+1类无病)及对应类的精修框(共18个精修框)，然后挑选置信度最大的类别及该类别对应的精修框作为输出，最终再经由分割器分割出病灶区域的轮廓(轮廓的坐标信息会最终经过缩放操作回到原图768
×
768的尺寸)。
[0077]
在上述不走均检测完毕后，还需要对胸部正位片筛查模型、深度卷积神经网络的二分类模型和深度卷积神经网络的检测模型的输出信息进行整理和输出。在一些实施例中，如果深度卷积神经网络的二分类模型中的分类结果为阳性，但是深度卷积神经网络的检测模型输出的疾病置信度都小于设定阈值时，则在后处理阶段，深度卷积神经网络的检测模型强制输出最大置信度对应的疾病类型及标注的病灶区的轮廓。
[0078]
105、显示所述胸部正位图像对应的所述疾病类型和可视化的所述病灶区域。
[0079]
此步骤即在在胸部正位图像中勾勒出病灶区域的轮廓，并标明该轮廓对应的疾病名称或者征象，同时，根据病灶区域的可疑概率，可以做出热力图，供医生诊断参考。
[0080]
在一些实施例中，还可以在胸部疾病报告中可视化的显示病灶区域以及病灶区域对应的疾病类型。
[0081]
本发明实施例提供的基于深度卷积神经网络的图像识别方法既能筛查x光胸片的阴阳性，也能定位出病灶区域，同时能标出病灶区域的疾病种类或者征象，从而给医生提供更具有可解释性的参考意见，以提升医生出报告的效率和减少工作量。
[0082]
请参阅图6，本发明实施例还提供一种该图像识别设备600，该设备可以包括：处理器1001，例如cpu，存储器1003，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1003之间的连接通信。存储器1003可以是高速ram存储器，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储设备。
[0083]
可选地，该图像识别设备还可以包括用户接口、网络接口、摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wifi模块等等。用户接口可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接口)。本领域技术人员可以理解，图6中示出的图像识别设备结构并不构成对图像识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0084]
如图6所示，作为一种计算机存储介质的存储器1003中可以包括操作系统、网络通信模块以及图像识别程序。操作系统是管理和控制图像识别设备硬件和软件资源的程序，支持图像识别程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1003内
部各组件之间的通信，以及与图像识别设备中其它硬件和软件之间通信。
[0085]
在图6所示的图像识别设备中，处理器1001用于执行存储器1003中存储的图像识别程序，实现上述实施例中的图像识别方法的步骤。
[0086]
本发明图像识别设备具体实施方式与上述图像识别方法各实施例基本相同，在此不再赘述。
[0087]
本发明实施例提供的基于深度卷积神经网络的图像识别设备，也能定位出病灶区域，同时能标出病灶区域的疾病种类或者征象，从而给医生提供更具有可解释性的参考意见，以提升医生出报告的效率和减少工作量。
[0088]
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
[0089]
本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
[0090]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。