医疗图像分类模型的训练方法、系统、存储介质及医疗图像处理装置与流程

[0001]
本发明涉及医疗图像处理技术领域，尤其是医疗图像分类模型的训练方法、系统、存储介质及医疗图像处理装置。


背景技术：

[0002]
随着电子计算机技术的发展，通过软件算法实现的图像自动识别和分类已经能够初步实现。医学上一般使用图像分析系统用于医疗图像中的检测及分类，但当遇到真实复杂的疾病信息时，无论是分类准确率还是假阳率都不足以支撑其在实际生活的应用。
[0003]
间质性肺疾病代表了200多种导致肺组织瘢痕形成的病变，通常会影响肺实质，小肺气道和肺泡。使用高分辨率计算机断层扫描对间质性肺病进行初步分类通常被认为是最合适的方案。然而某些类型的间质性可能由于放射科医生对肺部ct扫描的主观诊断而被误诊。因此，计算机辅助检测系统是改善间质性肺病分类的强大辅助工具。使用传统方法提取描述肺部纹理的特征，例如一阶灰度统计，灰度共现矩阵和分形分析，然而它们均存在分类准确率上的不足，并没有达到完全自动化。


技术实现要素：

[0004]
本发明的目的就是为了解决现有技术中存在的上述问题，提供一种医疗图像分类模型的训练方法、系统、存储介质及医疗图像处理装置。
[0005]
本发明的目的通过以下技术方案来实现：
[0006]
医疗图像分类模型的训练方法，包括如下步骤：
[0007]
s1，获取由不同类型间质性肺病的肺部ct切面图及正常肺部的肺部ct切面图转变而成的普通rgb色彩图，从获取的每张普通rgb色彩图中提取出具有一种类型间质性肺病或正常肺部的图像块并对图像块进行标记；
[0008]
s2，提取每个图像块所在的医疗位置数据，并分析肺部种类与医疗位置数据的相关性；
[0009]
s3，将s1中提取的图像块根据人体器官对应的亨氏单位扩充为三通道亨氏单位图；
[0010]
s4，将s2、s3处理得到的肺部种类与医疗位置数据的相关性信息及三通道亨氏单位图输入到基于复合卷积神经网络的医疗图像分类模型中进行训练，至模型收敛。
[0011]
优选的，所述的医疗图像分类模型的训练方法中，所述间质性肺病类型包括肺气肿，肺部毛玻璃样，肺部纤维化与肺部微结节。
[0012]
优选的，所述的医疗图像分类模型的训练方法中，所述s1包括通过滑动窗口在每张普通rgb色彩图上逐行滑动提取图像块，所述滑动窗口的尺寸为32
×
32。
[0013]
优选的，所述的医疗图像分类模型的训练方法中，所述s1中，当滑动窗口中间质性肺病区域面积或正常肺部区域面积占比不低于75％时，提取相应的图像块，并进行标记，同
一种间质性肺病对应的图像块采用同一种标记，不同间质性肺病对应的图像块及正常肺部对应的图像块采用不同的标记。
[0014]
优选的，所述的医疗图像分类模型的训练方法中，所述s2步骤包括
[0015]
s21，提取每个图像块所对应的医疗位置数据，并将其与图像块的标记存储为一个字符对；
[0016]
s22，将全部字符对进行统计学分析以验证肺部种类与医疗位置数据的相关性。
[0017]
优选的，所述的医疗图像分类模型的训练方法中，所述s3包括将每张普通rgb色彩图根据人体器官所对应的亨氏单位，产生用于区分肺部不同区域的三通道亨氏单位图；所述三通道包括用于展现肺部一般特征的正常通道、用于描述低强度区域的低衰减通道以及用于描述高强度区域的高衰减通道。
[0018]
优选的，所述的医疗图像分类模型的训练方法中，所述s4包括
[0019]
s41，使用复合卷积神经网络提取各个三通道亨氏单位图的图像特征；
[0020]
s42，使用包括但不限于relu的激活函数对所提取的图像特征采用非线性变换进行降采样操作；
[0021]
s43，使用最大池化层获得三通道亨氏单位图的低分辨率图像，并使用步骤s41、s42中所提方法提取不同分辨率下的图像特征并进行降采样操作；
[0022]
s44，模型的最后一层卷积层使用softmax函数
[0023][0024]
获得每个三通道亨氏单位图属于各个肺部种类的概率；
[0025]
s45，使用肺部种类与医疗位置数据的相关性信息产生位置向量与上述产生的属于各个肺部种类的概率相乘，得到每个三通道亨氏单位图属于各个肺部种类的最终概率；
[0026]
s46，模型使用交叉熵损失函数
[0027][0028]
进行训练。
[0029]
优选的，所述的医疗图像分类模型的训练方法中，所述s41复合卷积神经网络包括xception卷积神经网络和inception-v3卷积神经网络。
[0030]
优选的，所述的医疗图像分类模型的训练方法还包括s5，使用格点搜索法自动选取最优的超参数进而决定最优化模型。
[0031]
医疗图像分类模型的训练模型，包括
[0032]
图像块生成模块，用于获取由不同类型间质性肺病的肺部ct切面图及正常肺部的肺部ct切面图转变而成的普通rgb色彩图，从获取的每张普通rgb色彩图中提取出具有一种类型间质性肺病或正常肺部的图像块并对图像块进行标记；
[0033]
相关性分析模块，用于提取每个图像块所在的医疗位置数据，并分析肺部种类与医疗位置数据的相关性；
[0034]
亨氏单位图生成模块，用于将图像块生成模块图像块根据人体器官对应的亨氏单位扩充为三通道亨氏单位图；
[0035]
模型训练模块，用于将相关性分析模块、亨氏单位图生成模块处理得到的结果输入到基于复合卷积神经网络的医疗图像分类模型中进行训练，至模型收敛。
[0036]
存储介质，存储有用于实现上述任一方法的程序。
[0037]
医疗图像处理装置，包括上述任一方法训练得到的医疗图像分类模型。。
[0038]
本发明技术方案的优点主要体现在：
[0039]
本发明的方法相较于传统人工观察区分方法，极大的提高了效率，节省工作的时间与成本；与现有传统学习模型相比，大幅度提高了分类效率与准确度，实用性强；与现有深度学习模型相比，加入了额外的医疗与位置信息，使得该方法更加适用于医疗图像的分类。
附图说明
[0040]
图1为步骤s1中选取的四种间质性肺病及正常肺部的图像块；其中(a)为正常肺部；(b)为肺气肿；(c)为磨玻璃片化；(d)为肺部纤维化；(e)为肺微结节。
[0041]
图2为s3中采用的基于亨氏单位的三种不同的通道的亨氏单位图，其中(f)为原始ct图；(g)为低衰减通道亨氏单位图；(h)为正常通道亨氏单位图；(i)高衰减通道亨氏单位图。
具体实施方式
[0042]
本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。
[0043]
在方案的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。并且，在方案的描述中，以操作人员为参照，靠近操作者的方向为近端，远离操作者的方向为远端。
[0044]
下面结合附图对本发明揭示的医疗图像分类模型的训练方法，进行阐述，其包括如下步骤：
[0045]
s1，获取由不同类型间质性肺病的肺部ct切面图及正常肺部的肺部ct切面图转变而成的普通rgb色彩图，从获取的每张普通rgb色彩图中提取出具有一种类型间质性肺病或正常肺部的图像块并对图像块进行标记。
[0046]
具体来说，包括如下步骤：
[0047]
由医生选取x张肺部ct切面图，将所述x张肺部ct切面图导入计算机中，同时导入每张ct切面图在肺部上的切面位置信息。
[0048]
s11，计算机将获取的x张肺部ct切面图转化至普通rgb色彩图。
[0049]
s12，从x张肺部ct切面图中获取y张具有典型间质性肺病以及正常肺部的肺部ct切面图，由于在所有间质性肺病中，占比最大的几种间质性肺病包括肺气肿，肺部毛玻璃样，肺部纤维化与肺部微结节，因此，所选取的具有间质性肺病的肺部ct切面图是上述四种
类型的间质性肺病的肺部ct切面图。当然，在其他实施例中，从x张肺部ct切面图中选取y张肺部ct切面图的过程不是必须，导入计算机的肺部ct切面图本身就是上述四种类型的间质性肺病的肺部ct切面图及正常肺部的肺部ct切面图，此时，需将获取的肺部ct切面图转换至普通rgb色彩图。
[0050]
s13,使用滑动窗口在所获取的每张肺部ct切面图转换而成的普通rgb色彩图上逐行滑动提取图像块，并存储每个图像块对应的信息，所述信息包括图像块所对应的质性肺部疾病种类、图像块在普通rgb色彩图上的坐标及图像块对应的医疗位置数据，所述医疗位置数据即图像块显示区域在真实肺部中的位置，所述医疗位置包括肺部顶端，肺的基部，扩散位置，肺部周区以及胸膜下的区域，所述医疗位置信息即所述图像块显示区域在真是肺部中的位置信息。
[0051]
所述滑动窗口的尺寸优选为32
×
32，当然，在其他实施例中也可以采用其它尺寸，之所以采用这一尺寸的原因是现有技术中存在一些预训练模型可以使用，可以减少不必要的参数拟合过程，并且这个尺寸在原始图上可以更灵活的进行滑动，不会因为过大而占有过多的不必要范围，也不会因为过小而得不到关键的特征信息。
[0052]
当滑动窗口中某种间质性肺病区域面积或正常肺部区域面积占比不低于75％时，则提取相应的图像块，并进行标记。不同类型的间质性肺病或正常肺部区域用不同的数字进行标记，例如在一种可行的实施例中，肺气肿对应的图像块标记为1，肺部毛玻璃样对应的图像块标记为2，肺部纤维化对应的图像块标记为3，肺部微结节对应的图像块标记为4，正常肺部区域对应的图像块标记为5，当然，在其他实施例中，也可以采用其他数字和/或文字和/或字母和/或符合来进行标记。对于未满足上述面积占比要求的滑动窗口中的区域去除。
[0053]
获得的所有图像块按照5-折交叉验证来进行复合卷积神经网络的训练，验证与自学习模型参数的调整。
[0054]
s2，提取每个图像块所在的医疗位置数据，并分析肺部种类与医疗位置数据的相关性；这是由于原始肺部ct切面图是在真实肺部(三维的)的一个切面的图像，因此，不同肺部类型与医疗位置数据之间必然存在一定的联系，从而需要验证肺部类型(所述肺部类型是指上述四种间质性肺病或正常肺部)与医疗位置数据的相关性。
[0055]
具体的包括，
[0056]
s21，提取每个图像块所对应的医疗位置数据，并将其与图像块的标记存储为一个字符对；
[0057]
s22，将全部字符对进行统计学分析以验证肺部种类与医疗位置数据的相关性。可以得到每种间质性肺部疾病在各位置出现的概率。在分析时所属统计学分析方法主要使用卡方检验以及新型的grammer卡方检验，此处所使用的统计学分析方法为已知技术，并不是本方案的创新点，在此不做赘述。
[0058]
s3，将s1中提取的图像块根据人体器官对应的亨氏单位扩充为三通道亨氏单位图。具体的，根据人体器官所对应的亨氏单位，产生用于区分肺部不同区域的三通道亨氏单位图；所述三通道包括用于展现肺部一般特征的正常通道、用于描述低强度区域的低衰减通道以及用于描述高强度区域的高衰减通道。然后将获取的每个图像块由普通rgb色彩图转换为上述的三通道亨氏单位图。之所以要使用三通道模型是由于在三通道亨氏单位图
中，不同器官组织以及空气和骨骼当中有较为清晰的亨氏单位差，这样可以使用三个通道分别加强肺部器官与骨骼肌肉的区分度，以提高特征的提取准确性。此处的三通道模型及图像块由普通rgb色彩图转换为上述的三通道亨氏单位图的转换技术为现有技术，此处不做赘述。
[0059]
s4，将s2、s3处理得到的肺部类型与医疗位置数据的相关性信息及三通道亨氏单位图输入到基于复合卷积神经网络的医疗图像分类模型中进行训练，至模型收敛。
[0060]
所述复合卷积神经网络由两个经典卷积神经网络(xception卷积神经网络和inception-v3卷积神经网络)组成，它们作用是为每一个输入的图像块产生两组不同的特征集，提取多种间质性肺病对应的不同卷积神经网络中的特征，自学习提取的特征、感兴趣区域(四种间质性肺病和正常肺部)所在的医疗位置数据与给定的标记之间的关系。
[0061]
所述s4具体包括
[0062]
s41，使用复合卷积神经网络提取各个三通道亨氏单位图的图像特征；
[0063]
s42，使用包括但不限于relu的激活函数对所提取的图像特征采用非线性变换进行降采样操作；
[0064]
s43，使用最大池化层获得三通道亨氏单位图的低分辨率图像，并使用步骤s41、s42中所提方法提取不同分辨率下的图像特征并进行降采样操作；
[0065]
s44，模型的最后一层卷积层使用softmax函数
[0066][0067]
获得每个三通道亨氏单位图属于各个肺部种类(正常肺部或四种间质性肺病)的概率。
[0068]
s45，使用s2步骤确定的肺部种类与医疗位置数据的相关性信息产生位置向量与上述产生的属于各个肺部种类的概率相乘，得到每个三通道亨氏单位图属于各个肺部种类的最终概率。
[0069]
s46，模型使用交叉熵损失函数
[0070][0071]
进行训练。
[0072]
最后，s5，使用格点搜索法自动选取最优的超参数进而决定最优化模型，格点搜索法具体为已知技术，此处不做赘述。
[0073]
本方案的医疗图像分类模型通过学习基于真实肺部ct图片所对应的亨氏单位生成对应的新型彩色图进行初步的检测，模型通过提取不同的间质性肺部出现的位置分布，根据不同区域发生不同疾病概率差异，进而优化初步检测结果，最后选择概率最大的分类，能够完成医疗图像的分类，
[0074]
在新的间质性肺病图像块进行分类时，根据其特有的医疗位置数据结合复合卷积神经网络进行预测并选择概率最大的分类。最终得到92.3％的分类准确率。
[0075]
本方案进一步揭示了医疗图像分类模型的训练系统，包括
[0076]
图像块生成模块，用于获取不同类型间质性肺病的肺部ct切面图及正常肺部的肺
部ct切面图转变而成的普通rgb色彩图，从每张普通rgb色彩图中提取出具有一种类型间质性肺病或正常肺部的图像块并对图像块进行标记；
[0077]
相关性分析模块，用于提取每个图像块所在的医疗位置数据，并分析肺部种类与医疗位置数据的相关性；
[0078]
亨氏单位图生成模块，用于将图像块生成模块图像块根据人体器官对应的亨氏单位扩充为三通道亨氏单位图；
[0079]
模型训练模块，用于将相关性分析模块、亨氏单位图生成模块处理得到的结果输入到基于复合卷积神经网络的医疗图像分类模型中进行训练，至模型收敛。
[0080]
本方案进一步揭示了一种存储介质，存储有用于实现上述实施例所述方法的程序。
[0081]
本方案最后还揭示了一种医疗图像处理装置，包括上述的存储有实现上述模型训练方法的程序的存储介质。或者包括上述的训练完成的医疗图像分类模型。
[0082]
本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。