一种癌症医学图像数据处理方法、系统、装置和存储介质与流程
本发明涉及图像处理技术领域，尤其是一种癌症医学图像数据处理方法、系统、装置和存储介质。
背景技术：
在癌症诊断和治疗领域，经常要对病人的ct和mri等医学图像进行分析，对病灶进行定位以及提取病灶的特征。但现有医学图像分析技术普遍存在以下问题：
在对病灶区域提取特征前，需要从医学图像中识别并裁剪出小目标的病灶区域，以排除无关信息的干扰，目前这一过程是需要人工操作完成，效率极低，难以实现对大批量医学图像的处理，同时裁剪病灶区域的精度较低；
在特征提取过程中，使用灰度共生矩阵等现有技术提取到的是手工特征，这类特征提取算法依赖数据集的质量，对噪声很敏感，泛化能力差，而且需要占用大量的计算资源；
在使用神经网络进行图像处理时，将单通道的医学图像输入到神经网络中，神经网络能获取到的细节信息较少；
在使用未经改进的unet等传统网络进行图像处理时，在连续采样过程中容易丢失信息。
上述问题造成了现有技术分析精度和效率处于较低的水平。
术语解释：
多层感知机：一种常用的神经网络模型，包含输入层、隐藏层以及输出层，并可使用激活函数进行非线性变化；
卷积神经网络：一种包含若干卷积核的具有深度结构的前馈神经网络，通常用于处理具有结构信息的数据，可用于对图片进行特征提取、目标识别、分类等任务；
特征图：经过卷积核进行特征提取后得到的特征信息，通常由多个二维矩阵堆叠而成；
keras:一个基于python的深度学习框架，对tensorflow和theano等框架进行高度封装，为用户提供更方便简洁的接口；
生物标记：一类与细胞生长增殖有关的标志物，可以标记人体组织结构或功能的改变的生化指标，能为临床医生提供了辅助诊断的依据；
ki-67：人体癌细胞增殖活跃程度衡量的标准，共分为0-100个等级，高级别的ki67值表示癌细胞增值快、恶性度高；
病灶：机体上发生病变的部位，即一个局限的、具有病原微生物的病变组织；
attention机制：即注意力机制，可对源数据序列进行数据加权变换来让模型更加关注某一部分数据，提高模型的预测能力。
全卷积神经网络：不含全连接层的卷积神经网络，主要用于对图像进行像素级别的分类；unet：一种常用的医学图像病灶的分割模型，分为编码和解码两个阶段，并通过横向连接实现不同尺度特征图的结合，从而实现逐像素分割；
图像滤波：在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，可用于突出图像某一类型的特征信息；
clahe：对比度有限的自适应直方图均衡算法，通过对图像的对比度进行变换并且限制局部对比度，从而实现增强图像对比度；
sobel_blur：通过求数字图像的一阶导数来增强图像的边缘信息，主要用于边缘检测；
relu：即修正线性单元，是一种神经网络中常用的激活函数，表达式为f(x)＝max(0,x)；
leakyrelu：修正线性单元(relu)的特殊版，当不激活时，仍然会有非零输出值，从而获得一个小梯度，避免梯度消失问题；
vgg16：一种卷积神经网络模型，其中包含13个卷积层以及3个全连接层，可用于图像识别。
技术实现要素：
为了解决上述技术问题，本发明的目在于提供一种癌症医学图像数据处理方法、系统、装置和存储介质。
一方面，本发明包括一种癌症医学图像数据处理方法，包括以下步骤：
将待处理的癌症医学图像输入到预先建立的病灶区域分割模型，获得所述病灶区域分割模型输出的病灶区域图像标识结果；
对从癌症医学图像裁剪出的病灶区域图像进行多次不同标准的滤波处理；
将未经滤波处理的病灶区域图像和多次滤波处理的结果进行通道堆叠；
将通道堆叠的结果输入到预先建立的特征提取模型，获得所述特征提取模型输出的病理特征向量；所述病理特征向量带有通道堆叠的结果的深度特征信息；
使用特征筛选算法从所获得的病理特征向量中筛选出目标特征；
将目标特征输入到多层感知机中，获得所述多层感知机输出的癌症生物标记状态指标值。
进一步地，在将待处理的癌症医学图像输入到预先建立的病灶区域分割模型这一步骤前，对所述癌症医学图像进行0-1归一化处理。
进一步地，所述多次不同标准的滤波处理具体包括对比度增强滤波处理和边缘信息增强滤波处理。
进一步地，所述特征筛选算法具体包括以下步骤：
利用公式
按计算得到的分数的降序对各病理特征进行排列；
将排在前列的病理特征作为目标特征进行输出。
进一步地，所述病灶区域分割模型是通过以下步骤预先建立的：
对多张标准医学图像进行逐像素的分析，从而构建各标准医学图像对应的标签；所述标签为标注在各标准医学图像上的病灶区域和生物标记状态；
将一部分标准医学图像及其对应的标签组建训练集，将另一部分标准医学图像及其对应的标签组建测试集；
使用所述训练集和测试集对基于unet的分割网络进行训练和测试，从而得到病灶区域分割模型。
进一步地，所述训练集包含的标准医学图像与测试集包含的标准医学图像的数量之比为2:1。
进一步地，所述基于unet的分割网络包括由多个卷积模块串接组成的编码阶段；各所述卷积模块均对应有各自的attention模块；各所述attention模块依次串接；各attention模块用于接收上一attention模块的输出结果以及对应卷积模块的上采样结果，并对所接收的内容进行像素权重调整后进行输出。
另一方面，本发明还包括一种癌症医学图像数据处理系统，包括：
病灶区域分割模块，用于将待处理的癌症医学图像输入到预先建立的病灶区域分割模型，获得所述病灶区域分割模型输出的病灶区域图像标识结果；
滤波模块，用于对从癌症医学图像裁剪出的病灶区域图像进行多次不同标准的滤波处理；
通道堆叠模块，用于对未经滤波处理的病灶区域图像和多次滤波处理的结果进行通道堆叠；
特征提取模块，用于接收通道堆叠的结果并输出病理特征向量；所述病理特征向量带有通道堆叠的结果的深度特征信息；
特征向量筛选模块，用于从所获得的病理特征向量中筛选出目标特征；
指标值输出模块，用于根据目标特征输出癌症生物标记状态指标值。
另一方面，本发明还包括一种癌症医学图像数据处理装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明所述癌症医学图像数据处理方法。
另一方面，本发明还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明所述癌症医学图像数据处理方法。
本发明的有益效果是：通过使用经过改进的病灶区域分割模型，可以自动识别癌症医学图像上的病灶区域，并将病灶区域图像裁剪出来，大幅提高了识别和裁剪效率以及准确性；通过使用病灶区域分割模型、特征提取模型和多层感知机，克服了现有特征提取技术对噪声很敏感、泛化能力差等缺点；通过滤波和通道堆叠处理，将单通道的癌症医学图像变为多通道，使得后续处理过程能够获得更多的细节信息。
附图说明
图1为本发明一种癌症医学图像数据处理方法的流程图；
图2为本发明实施例中特征提取模型的网络结构图；
图3为本发明实施例中多层感知机的网络结构图；
图4为本发明实施例中attention模块的原理图；
图5为本发明实施例中病灶区域分割模型的原理图；
图6为本发明实施例中输入到病灶区域分割模型中的癌症医学图像；
图7为本发明实施例中病灶区域分割模型输出的病灶区域图像。
具体实施方式
一种癌症医学图像数据处理方法，参照图1，包括以下步骤：
s1.将待处理的癌症医学图像输入到预先建立的病灶区域分割模型，获得所述病灶区域分割模型输出的病灶区域图像标识结果；
s2.对从癌症医学图像裁剪出的病灶区域图像进行多次不同标准的滤波处理；
s3.将未经滤波处理的病灶区域图像和多次滤波处理的结果进行通道堆叠；
s4.将通道堆叠的结果输入到预先建立的特征提取模型，获得所述特征提取模型输出的病理特征向量；所述病理特征向量带有通道堆叠的结果的深度特征信息；
s5.使用特征筛选算法从所获得的病理特征向量中筛选出目标特征；
s6.将目标特征输入到多层感知机中，获得所述多层感知机输出的癌症生物标记状态指标值。
本发明癌症医学图像数据处理方法由病灶图像分割阶段和生物标记检测阶段两部分组成，其中病灶图像分割阶段包括步骤s1，生物标记检测阶段包括步骤s2-s6。
本实施例中的癌症医学图像是指通过医疗设备拍摄的病人的ct、mri等图像。
在步骤s1中，经过训练的病灶区域分割模型会对癌症医学图像进行分析，并且将癌症医学图像中的病灶区域部分从癌症医学图像中标识出来，并输出标识结果。病灶区域分割模型可以代替现有技术中依赖的人工操作，大幅提高病灶区域识别的效率和精度。
优选地，在步骤s1，也就是将检测到的癌症医学图像输入到预先建立的病灶区域分割模型这一步骤前，对所述癌症医学图像进行0-1归一化处理。通过0-1归一化处理，可以将癌症医学图像的所有像素的值归一化到[0,1]区间，可以使得步骤s1-s6的执行过程中达到更高的收敛速度和精度。
步骤s2中，根据步骤s1输出的病灶区域图像标识结果，将病灶区域图像从癌症医学图像中裁剪出来，然后进行多次不同标准的滤波处理。进一步作为优选的实施方式，步骤s2所述的多次不同标准的滤波处理具体包括对比度增强滤波处理和边缘信息增强滤波处理。优选地，本实施例中使用clahe滤波器对病灶区域图像进行对比度增强滤波处理，使用sobel_blur滤波器对病灶区域图像进行边缘信息增强滤波处理。
通过对比度增强滤波处理，病灶区域图像的对比度更高，重要的前景区域可以更好地从背景中区分出来。通过边缘信息增强滤波处理，病灶区域图像的边缘轮廓更明显，可以突出病灶区域图像中的器官或组织的位置和形态。
步骤s3中，将未经滤波处理的病灶区域图像、经过对比度增强滤波处理的病灶区域图像以及经过边缘信息增强滤波处理的病灶区域图像进行通道堆叠，形成三通道图像，可以克服病灶区域图像本身只具有单通道、后续处理步骤包含细节信息较少的缺点。
步骤s4中，特征提取模型可以是vgg16、googlenet或resnet等网络，本实施例使用如图2所示的vgg16网络作为特征提取模型，该vgg16网络包括13个卷积层和5个池化层，使用keras中预训练好的模型和权重，将最后一个池化层输出的特征图进行展平可以获得一维的特征向量，这个特征向量带有通道堆叠的结果的深度特征信息，是步骤s4所要输出的病理特征向量。
步骤s5中，使用特征筛选算法从多个病理特征向量中筛选出符合条件的目标特征。本实施例中所使用的特征筛选算法为fisherscore算法，该算法包括以下步骤：
s501.利用公式
s502.按计算得到的分数的降序对各病理特征进行排列；
s503将排在前列的病理特征作为目标特征进行输出。
在步骤s501中，通过fisherscore算法公式为每个病理特征向量计算了相应的分数，fisherscore算法是一种有监督的特征选择算法，其目标是使得经过特征选择后相同类别的样本在新的特征空间中尽可能地相似，不同类别的样本尽可能地分开。本实施例中，fisherscore算法使用python的scikit-feature库实现，并且使用每个样本的生物状态标签作为监督信息训练该特征选择模型，训练完成后保存k个特征的索引，并且保留原始特征向量中对应的索引位置的特征作为特征筛选后的特征向量进行输出。
通过步骤s502的排序，分数越高的病理特征顺序越靠前。
步骤s503中，可以选择固定的前k个病理特征作为目标特征进行输出。
通过步骤s5的处理，可以将包含过多不相关信息的病理特征剔除出去，避免由于病理特征向量的维度较高而导致纯度较低，可以降低后续过程所需的时间和空间复杂度。
步骤s6中，利用多层感知机对筛选出来的目标特征进行处理，输出癌症生物标记状态指标值作为最终结果。本实施例使用如图3所示的网络作为多层感知机，该网络包含5个全连接层，除了最后一层输出层外，其他层均使用leakyrelu作为激活函数以避免梯度消失。多层感知机通过最后一个神经元输出ki67值作为最终结果，并使用均方误差mean_squared_error作为目标函数进行权重优化。在对该多层感知机的训练过程中，可以使用keras进行搭建，训练好之后保存结构和权重参数即可获得一个可重用的生物标记检测模型。
进一步作为优选的实施方式，步骤s1中所用的所述病灶区域分割模型是通过以下步骤预先建立的：
s100.对多张标准医学图像进行逐像素的分析，从而构建各标准医学图像对应的标签；所述标签为标注在各标准医学图像上的病灶区域和生物标记状态；
s200.将一部分标准医学图像及其对应的标签组建训练集，将另一部分标准医学图像及其对应的标签组建测试集；
s300.使用所述训练集和测试集对基于attention机制以及unet的分割网络进行训练和测试，从而得到病灶区域分割模型。
步骤s100和s200用于构建训练集和测试集。训练集和测试集的素材来自标准医学图像。本实施例中，标准医学图像与癌症医学图像属于相同类型，标准医学图像用于训练和测试病灶区域分割模型，而癌症医学图像是经过训练后的病灶区域分割模型的处理对象。
步骤s100中，可以由医护人员对多张标准医学图像进行分析，在各标准医学图像上标注出病灶区域和生物标记状态作为标签，使得每一标准医学图像都有其对应的标签。
步骤s200中，通过随机抽取的方式，从多张标准医学图像选择一部分，将被选中的标准医学图像及其对应的标签组建训练集；将未被选中的标准医学图像及其对应的标签组建测试集。优选地，训练集包含的标准医学图像与测试集包含的标准医学图像的数量之比为2:1。
步骤s300中，对于改进的unet分割网络模型，使用训练集和测试集对其进行训练，从而得到步骤s1所需的病灶区域分割模型。
进一步作为优选的实施方式，在步骤s300中，所述基于unet的分割网络包括由多个卷积模块串接组成的编码阶段；各所述卷积模块均对应有各自的attention模块；各所述attention模块依次串接；各attention模块用于接收上一attention模块的输出结果以及对应卷积模块的上采样结果，并对所接收的内容进行像素权重调整后进行输出。
步骤s300中所用的基于unet的分割网络如图4所示，其由五个卷积模块即模块1-模块5组成，每个卷积模块至少包括两个卷积核大小为3×3、激活函数为relu的卷积层，不同模块之间使用步长为2×2的最大化池把特征图的大小降为原来的一半，并且每个模块中特征图的数量都为上一模块的两倍。
本实施例中，在基于unet的分割网络的上采样阶段设置了attention模块来为每个像素赋予不同的权重。
attention模块的原理如图4所示：每个attention模块具有两个输入端和一个输出端，其中两个输入端分别用于接收原始的特征图f1和经过上采样得到的特征图f2，输出端用于输出经过权重调整得到的特征图f3，f3的尺寸与f2一致。对于特征图f1，使用两个连续的、步长大于1的3×3卷积层进行下采样，使f1的大小变为固定的8×8×64(长×宽×通道数)，展平后获得长度为4096的一维向量c。对于特征图f2，取其不同通道上对应位置的信息组成一维特征向量vi,j(其中i和j分别表示该像素所在的行和列)。然后，对f2中的每个像素均计算其权重值wi,j＝p1·vi,j+p2·c+b，其中p1和p2均为可训练的一维向量，b为可训练参数，训练时通过反向传播算法进行优化，所有像素共享p1、p2和b三个参数。所有wi,j的组成一个权重矩阵w用于表示模型对特征图不同像素位置的关注程度，值越大表示该区域的重要程度越高。最后，f2中每个像素的值均与w对应位置的权重相乘即可获得经过权重调整后的特征图f3。
将attention模块应用到基于unet的分割网络中，原理如图5所示，其中梯形框部分表示attention模块。图5中，编码阶段的模块2至模块5得到的特征图分别采用反卷积的方式进行上采样，使其大小扩大一倍；把模块5得到的特征图m5与经过上采样后得到的特征图m′5输入到attention模块中更新像素信息得到m4，新的特征图m4与模块4经过上采样得到的特征图m′4继续执行attention操作，重复执行此过程得到m1，与模块1得到的特征图执行最后一次attention操作，从而得到一组包含了逐像素预测信息且尺寸大小与原图相等的热力预测图。
最后，本实施例使用两个卷积层进行信息整合，卷积核大小分别为3×3和1×1，并在每个像素上通过softmax进行分类来判断该像素是否始于病灶区域，这里以交叉熵作为损失函数。上述网络使用开源深度学习框架keras搭建，并以预处理后的图像作为输入、病灶区域的标记作为监督信息进行训练，训练完成后即可获得一个可对病灶区域进行逐像素预测的病灶分割模型。
本实施例中设置的attention模块要对每个像素上的特征向量进行计算，所以上述病灶区域分割模型比较耗费计算资源。实际应用中，在硬件资源有限的情况下可以不对特征图尺寸比较大的模块采用attention机制，使用原始unet的方法，把经过上采样的特征图和横向连接的特征图进行拼接后进行信息整合，最后输出病灶区域的预测结果。
将图6所示的癌症医学图像输入到本实施例中如图5所示的病灶区域分割模型中，可以输出图7所示的病灶区域图像。
本发明还包括一种癌症医学图像数据处理系统，包括：
病灶区域分割模块，用于将待处理的癌症医学图像输入到预先建立的病灶区域分割模型，获得所述病灶区域分割模型输出的病灶区域图像标识结果；
滤波模块，用于对从癌症医学图像裁剪出的病灶区域图像进行多次不同标准的滤波处理；
通道堆叠模块，用于对未经滤波处理的病灶区域图像和多次滤波处理的结果进行通道堆叠；
特征提取模块，用于接收通道堆叠的结果并输出病理特征向量；所述病理特征向量带有通道堆叠的结果的深度特征信息；
特征向量筛选模块，用于在得到多个病理特征向量时，从多个病理特征向量中筛选出目标特征；
指标值输出模块，用于根据目标特征输出癌症生物标记状态指标值。
本发明癌症医学图像数据处理系统可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本发明还包括一种癌症医学图像数据处理装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明所述癌症医学图像数据处理方法。
本发明癌症医学图像数据处理装置可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本发明还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明所述癌症医学图像数据处理方法。
综上，本发明的优点是：
通过使用经过改进的病灶区域分割模型，可以自动识别癌症医学图像上的病灶区域，并将病灶区域图像裁剪出来，大幅提高了识别和裁剪效率以及准确性；
通过使用病灶区域分割模型、特征提取模型和多层感知机，克服了现有特征提取技术对噪声很敏感、泛化能力差等缺点；
通过滤波和通道堆叠处理，将单通道的癌症医学图像变为多通道，使得后续处理过程能够获得更多的细节信息；
进一步地，在传统基于unet的分割网络的基础上设置了attention模块，在连续采样过程中保留更多信息；通过fisherscore算法可以筛除包含过多无关信息的病理特征，提高计算效率。
以上是对本发明的较佳实施进行了具体说明，但对本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
- 还没有人留言评论。精彩留言会获得点赞！