基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法与流程

本发明涉及一种垂体瘤质地影像分级方法，具体涉及一种基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法，属于医学图像处理技术领域。

背景技术：

垂体瘤是一组从垂体前叶和后叶及颅咽管上皮残余细胞发生的肿瘤，十分频发，约占颅内肿瘤的10％。垂体瘤的质地软韧影响手术治疗的入路以及手术方案，目前随着微创技术的发展，经蝶窦入路的微创手术已经成为首选的治疗方法，但其仅适应于质地较软的垂体瘤，而对于一小部分质地较韧或者较硬的垂体瘤，采用蝶窦手术入路难以刮除，需要切割甚至反复电凝才能切除。目前对于术前肿瘤质地评估具有一定的困难，因此，术前对肿瘤质地的评估对手术入路的选择以及手术疗效具有重要的意义。

医学图像分割是医学图像处理中的重要手段，通过医学图像分割得到医学图像中的roi(reginaofinterest，感兴趣区域)，医务人员可以更快更准确地进行临床诊断。传统的医学图像分割算法有很多种，大致可分为基于边缘、基于阈值、结合特定理论和基于聚类的图像分割算法这四类。密度峰值(densitypeaksclustering，dpc)算法由rodrigues等人在2014年提出，该算法能够快速寻找到图像上的密度峰值点，且不需要迭代。但是，该算法有一定的局限性：参数截断距离dc需要事先人为决定，而在没有先验知识的情况下很难直接给定合适的值。此外，通过简单的定性分析，基于(ρi，δi)决策图(decisiongraph)去人工选取聚类中心点，具有主观随意性。

医学图像处理对辅助诊断治疗有着重要的意义，常用的医学图像处理方法主要有医学图像分割、医学图像配准、医学图像融合等。但随着大数据时代的到来，以及医学影像设备更加多样化，医学图像的数量也越来越多，仅仅依靠传统的图像分割等方法无法充分挖掘海量医学图像中的信息。近年来发展迅速的深度学习方法为我们在解决相关问题上提供了新的思路。深度学习是机器学习的新领域，通过分析模拟生物的神经网络原理，能够不断学习获取特征，充分挖掘并、处理和表达数据所蕴含的信息。

论文《medicalimagesegmentationusingfruitflyoptimizationanddensitypeaksclustering》为发明人之前提出的一种基于果蝇优化密度峰值foa-dpc算法，将群智能算法与密度峰值相结合，自适应寻找最优参数。首先使用变量量化表示聚类中心个数，将截断距离dc和聚类中心数k作为决策变量，使之对应果蝇优化算法中的x轴和y轴，对这两个参数进行迭代寻优，关键在于构建味道浓度函数(也称适应度函数)来筛选子代中的最优解，然后使用随机步长取代果蝇算法中固定步长，避免陷入局部最优；最后，采用果蝇算法迭代计算图像熵值得到最佳气味浓度值的方法优化选择截断距离(cut-offdistance，dc)和聚类中心，实现图像分割。仿真实验表明该算法能够自适应分割医学图像，定量和定性分析结果较好。

一方面，由于医学图像dicom格式图片灰度级别大，达到几千至上万的灰度级，以上提出的foa-dpc算法，在对灰度聚类过程中，迭代寻优选取截断距离dc和聚类中心数k，容易出现早熟收敛，陷入局部最优。另一方面，以上foa-dpc算法在处理医学图像灰度级的聚类过程中没有细化灰度级，使用计算灰度值直方图的方法进而获得各个灰度级所出现的频率，由于标准医学图像格式dicom灰度级众多，简单的硬性划分不够准确。

论文《transferablemulti-modelensembleforbenign-malignantlungnoduleclassificationonchestct》提出一种tmme模型，对肺结节的良恶性进行分类，提出构建三个卷积神经网络通道，使用矩形框的方法将roi区域提取出来，分别提取结节原图，结节轮廓和结节纹理。将三种数据集输入卷积神经网络中进行训练，依照权值进行分级，实验效果良好。该算法将每张ct图中的结节进行提取，划区域提取后再提取轮廓和纹理，方法比较复杂，且提取轮廓和纹理的方法没有良好的理论支持说明，且对于多模态(如mri的t1、t2、dwi)图像数据不会十分见效，主要由于医学影像设备成像原理复杂且各不相同，单独讨论一种ct图像对其他影像数据类型不能通用。

技术实现要素：

本发明所要解决的技术问题是，提供一种基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法，该法通过细化灰度级，精确分割医学图像，并且解决了医学图像数据集过少的问题，还实现了垂体瘤质地软韧的分级，从而辅助临床诊断。

为解决上述技术问题，本发明采用的技术方案为：

基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法，其特征在于，包括如下步骤：

步骤一：基于细粒度优化果蝇-密度峰值聚类的医学图像分割；

步骤二：基于真值发现的垂体瘤数据扩增；

步骤三：基于步骤一和步骤二的垂体瘤质地影像分级。

步骤一中，首先使用k-means算法对医学图像进行预聚类，将灰度等级分类，之后使用foa-dpc算法对医学图像的各个灰度等级进行分割。

所述垂体瘤医学图像的图像格式为dicom；将所述灰度等级分为256类。

步骤一的具体操作步骤为：

s01，首先输入医学图像，初始化坐标点后输入种群规模sizepop，迭代次数maxgen，赋予果蝇随机初始位置x_axis和y_axis；

s02，其次随机指定256个点作为初始质心，所述的点是指各个灰度等级的灰度值；

s03，根据k-means的k值计算方法，计算比较每个灰度点与初始质心的距离，将每个灰度点指派到最近的初始质心，形成256个簇，然后重新计算已经得到的各个簇的质心，迭代以上s01和s02，直至所有灰度点所属的质心都不再变化时，收敛；

s03中，灰度点的含义为：每张医学图像都由512*512个像素点构成，每个灰度点即为每一个像素点；

图像中的像素值表示图像的大小；像素坐标表示地址；灰度值表示地址中的值；

每张图像由像素点构成，而每一个像素点坐标有一个灰度值，比如普通图像png，jpeg等灰度值范围0～255共256级，反映图像丰富程度，而dicom图像包含丰富的图像信息，灰度值范围0～几万，这也是本发明对dicom预处理的原因之一；

s03中，重新计算的方法步骤为：

a，在每个簇中随机挑选一个灰度点做为“种子点”；

b，对于每个灰度点，计算和其最近的一个“种子点”的欧式距离d(x)并保存在一个数组里，然后把这些欧式距离加起来得到sum(d(x))；

c，然后，再取一个随机值，用权重的方式计算下一个“种子点”；这个算法的实现是，先取一个落在sum(d(x))中的随机值random，然后用random-＝d(x)，直到其<＝0，此时的点就是下一个“种子点”；

其中的random-＝d(x)即为random＝random-d(x)；

d，重复b和c直到k个聚类中心被选出来；k个聚类中心即为所有灰度点所属的质心都不再变化时的质心；

s04，将x_axis，y_axis分别赋予dpc参数的dc值和k值，即dc←x_axis，k←y_axis，然后赋予果蝇个体运动的随机方向和距离，即xa＝x_axis+randi()；ya＝y_axis+randi()，开始嗅觉搜索；

其中，dc代表截断距离；k代表dpc算法的聚类中心个数；xa代表果蝇嗅觉搜索中随机运动后的位置横坐标；ya代表果蝇嗅觉搜索中随机运动后的位置纵坐标；x_axis代表赋予果蝇个体初始的位置横坐标；y_axis代表赋予果蝇个体初始的位置纵坐标；randi()代表果蝇随机运动的距离；

s05，计算数据点间的距离δ和数据点个数ρ，利用图像熵计算味道浓度函数fit，并将测试结果记录到味道浓度数组smell中；

s05中，数据点的含义为：每个簇中的全部灰度点形成一个聚类数据集s，聚类数据集s中的每一个点即为数据点；

s05中，数据点个数ρ反映了数据点密度，数据点密度即为局部密度；

s06，根据初始味道浓度寻找极值smellbest，保留当代果蝇最佳个体和最佳位置；进入视觉搜索，果蝇按照种群规模sizepop和迭代次数maxgen迭代寻优，寻找多元极值，当最优味道浓度值bestsmell大于极值smellbest时，保留此时的果蝇个体和果蝇位置信息x_axis，y_axis，即参数信息；使用该参数信息进行医学图像分割；

s06中，初始味道浓度的含义为：第一代果蝇个体计算所得图像熵，按照以上s04-s06计算寻找最大值。

步骤一分割后的医学图像的集合中的样本数量较少，步骤二则对上述数据进行扩增，具体操作步骤为：

依次分别将与垂体瘤质地相关的医学图像数据中集中各个质地类型的样本输入到深度卷积神经网络，提取内层卷积后的图像特征，构成各个质地垂体瘤特征数据集，假设特征数据集中有n个特征数据，使用滑动窗口技术，选取a个特征数据作为基础数据集，滑动窗口宽度为b，则会产生(n-a)/b个子数据集；将基础数据集和子数据集中的特征数据分别映射到高维空间，依据式(1)求出每个子集的数据模型，作为各个质地垂体瘤特征数据集中的新数据，构成各个质地垂体瘤特征数据扩增集；

式(1)中，假设基础数据集或子数据集中有m个特征数据，wi为第i个特征数据的权重，p*为待求的某质地垂体瘤特征数据；pi代表第i个垂体瘤基础数据集中的特征数据；

子集指的是各个质地垂体瘤特征数据集；

p*为待求的某质地垂体瘤特征数据，其中的某质地垂体瘤特征数据一般包含纹理特征，灰度特征，轮廓特征等。

各个质地类型的样本包括t1图片的集合、t2图片的集合或dwi图片的集合；

t1加权成像(t1wi)侧重反映组织间的t1弛豫时间对比；t2加权成像(t2wi)侧重反映组织间的t2弛豫时间对比；dwi为弥散加权成像，侧重反映组织间水分子弥散情况的对比；t1、t2、dwi是同一个病人不同序列形式的影像图片表达方式，这是为了多方面的判断疾病以确诊。

步骤三的具体操作步骤为：在生成数据扩增的医学图像数据集后，输入多模态卷积神经网络中训练，每个模态都是通过改进的resnet；通过改进是在resnet架构下加入desnetblock，其中，每个desnetblock即为一个神经元，利用resnet的shortcutconnection将两个desnetblock神经元链接，假设输入部分是x，输出是h(x)，那么通过这种结构，网络学习的内容是h(x)-x，即为残差部分；

所述多模态包括t1，t2和dwi；

随后将三个模态的resnet与desnetblock结合而成的子网络并联在一起，三个子网络分别用t1、t2和dwi序列的垂体瘤图像数据进行训练，将三个子网络生成的特征向量输入到卷积神经网络的最后一个全连接层中，进行特征分类，人为设定成二维输出以判定垂体瘤软韧；最后输出的预测向量按照式(2)计算；

式(2)中，pz是输入属于第z类的可能性，ωijt是和xij以及pz相关联的权重矩阵，使用交叉熵作为损失函数，最终通过待测图像多种特征与训练图像特征的比对来确定垂体瘤肿瘤的软韧情况；xij代表每一模态生成的特征向量；t代表t1，t2和dwi这3个模态的数量，t＝3；z代表垂体瘤软韧，z分为两类，分别是质硬和质软；

上述的待测图像多种特征指的是每一种模态经过卷积神经网络后生成的不同类型序列图像的纹理特征。

本发明的有益效果是：

1、细粒度医学图像灰度值划分与foa-dpc算法相结合，生成kfoa-dpc算法，从而对垂体瘤医学图像进行精准分割；

2、实现基于真值发现理论的医学影像数据扩增，解决医学图像数据集过少的问题。

3、将kfoa-dpc分割算法与深度学习相结合，解决dicom格式图像灰度庞杂且特征不易提取的问题，实现垂体瘤质地软韧的分级，辅助临床诊断。

附图说明

图1是现有技术手工选择聚类中心的分割效果图；

其中，(a)为脑卒中ct图；(b)为基于(a)的ρ-δ决策图；(c)为分割结果图；

图2是本发明kfoa-dpc分割效果图；

其中，(a)为γ降序排列图；(b)为果蝇寻优迭代图；(c)为最优适应度变化图；(d)为分割效果图；

图3是本发明改进的resnet学习模块示意图；

图4是本发明多模态resnet卷积神经网络模型图；

图5是本发明kfoa-dpc医学图像分割流程图；

图6是本发明基于细粒度分割与真值发现数据扩增的垂体瘤质地分级流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明基于的密度峰值算法的原理如下：

在dpc算法中，对聚类中心(clustercenters)的选择是其核心思想，所选的聚类中心的特点是局部密度和距离都尽可能大，且与更高密度的任何点有相对较大的距离。考虑待聚类数据集s＝{χi}ni＝1，(n∈n+)，根据上面两个特征，算法对数据集s中的每一个数据点χi为其定义局部密度ρi和相对距离δi。这两个变量与数据点之间的距离dij相关。

数据点χi的局部密度定义为：

其中函数

式中参数dc>0是截断距离，需事先指定；dij＝dist(χi,χj)，表示数据点χi和χj之间的距离。

对于距离δi可以定义为：

如果一个数据点同时拥有较高的ρi和较大的δi，那么这个点作为聚类中心的可能性就比较大，现有技术采用定性分析，即使用决策图画出ρi和δi的分布情况，人工选取聚类中心点，然后将剩余数据点进行归类，最终得到聚类结果。

dpc在用于医学图像分割时，实际是对所有灰度值进行聚类，对每一个灰度值都要定义其局部密度ρi，及其与其他更大密度峰值点间的距离即差值δi，局部密度ρi就是算法中的定义小于dc内灰度值的点累加值。先对医学图像进行预处理，提取图像灰度值，灰度直方图横坐标是灰度级，纵坐标是其出现的频率。在这里计算每个点之间相邻距离，以灰度个数的差值作为距离数据。

聚类中心定义为δi和ρi同时较大的点。

如图1(a)选取一张哈佛全脑图中神经影像学入门(neuroimagingprimer)模块异常组织(abnormaltissue)图片，一张典型的缺血性脑卒中ct图片。可见病灶为左侧脑室皮层下梗死，并伴有大脑中动脉供血区皮层水肿即低密度灶(黑暗)环绕。

如图1(b)所示，画出ρ-δ决策图并且人工选取ρi值和δi值都较大的点作为聚类中心，得出聚类结果。实验发现，不同于其他数据集，人工可选取的聚类中心较少，进行图像分割后定性分析的效果不佳。

如图1(c)所示，给定不同的截断距离dc，手工选取聚类中心点，发现分割效果图不能清晰地体现出病灶部位、坏死区域，属于欠分割。多次实验表明现有算法对聚类中心点的选择敏感。

使用传统的dpc分割算法去分割医学图像存在着缺陷：需要事先人为决定参数截断距离dc，如果没有先验知识，很难选取到合适的值；使用决策图去人工选取聚类中心点时，往往具有主观随意性，这会影响最终的分割效果。上文中使用的果蝇-密度峰值(foa-dpc)算法进行医学图像分割，使用变量量化表示聚类中心个数，再使用随机步长取代果蝇算法中固定步长，最后迭代计算图像熵得到最佳气味浓度值，优化选择截断距离和聚类中心，实现较好的效果。但是上文中的方法在处理医学图像灰度级的聚类过程中没有细化灰度级，使用计算灰度直方图的方法进而获得各个灰度级所出现的频率。由于标准医学图像格式dicom含有几千或上万的灰度等级，简单的硬性划分不够准确。

针对上述问题，本发明提供了一种基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级方法。

dicom格式的医学图像的灰度级很多，本发明首先使用k-means算法对医学图像进行预聚类，将灰度等级分为256类，之后再使用foa-dpc算法对图像的256级别进行分割，赋予每一个果蝇进行沿着x轴和y轴进行嗅觉搜索的随机方向和固定步长，计算每只果蝇与原点之间的距离与味道浓度判定值，使得分割后的图像熵最大，记录当代果蝇群体中最佳的味道浓度值及对应的最佳位置。同时视觉搜索为了避免陷入局部最优计算最优味道浓度值，保留最优味道浓度值bestsmell与其坐标位置信息，群体其他个体飞往该位置，记录每一代的最优味道浓度。分割结果如图2所示，可以看出，分割后的病灶、水肿部位依然清晰可见，有助于医生做出判断，图2(a)中，纵坐标γ代表数据点间的距离δ和数据点个数ρ的乘积。本发明构造的kfoa-dpc医学图像分割算法具体分割步骤如下所示。

步骤一：基于细粒度优化果蝇-密度峰值聚类的医学图像分割：

如图5所示，首先以一张医学图像为例，输入一张垂体瘤医学图像，初始化坐标点后输入种群规模sizepop为15，迭代次数maxgen为10，赋予果蝇随机初始位置x_axis和y_axis，其次随机指定256个点(这里的点是指灰度值)作为初始质心，根据k-means的k值计算方法(计算比较每个灰度点与质心的距离即差值)将每个点指派到最近的质心，形成256个簇，然后重新计算已经得到的各个类的质心，迭代以上两步直至所有灰度值所属的质心都不再变化时，收敛。之后将x_axis，y_axis分别赋予dpc参数的dc值和k值，然后赋予果蝇个体运动的随机方向和距离，开始嗅觉搜索，计算数据点间的距离δ和数据点个数ρ，利用图像熵计算味道浓度函数fit，并将测试结果记录到味道浓度数组(smell)中，根据初始味道浓度寻找极值smellbest，保留当代果蝇最佳个体和最佳位置；进入视觉搜索，果蝇按照种群规模sizepop和迭代次数maxgen迭代寻优，寻找多元极值，当最优味道浓度值bestsmell大于极值smellbest时，保留此时的果蝇个体和果蝇位置信息x_axis(即dc＝1)，y_axis(即k＝27)，bestsmell值为4.685。分割后的图像如图2所示，从图中可以看出kfoa-dpc算法在5次迭代后基本达到收敛，收敛速度快。

步骤二：基于真值发现的垂体瘤数据扩增：

对于分割后的医学图像集，数据集样本较少，一般需要数据扩增，即给定多个数据源提供的对于多个真实对象的大量的描述信息，从这些信息中找出每一个真实对象最准确的描述，依据这些信息生成准确的数据集合。

一般情况下，垂体瘤质地硬的样本最少，下面以生成垂体瘤质地硬的t1图片为例，说明基于真值发现理论的医学影像数据扩增。

依次将kfoa-dpc分割的垂体瘤t1模态数据集中质地硬的样本输入到深度卷积神经网络，提取内层卷积后的图像特征，构成t1模态硬质地垂体瘤特征数据集(假设有n个特征数据)。使用滑动窗口技术，选取a个特征数据作为基础数据集，滑动窗口宽度为b，则会产生(n-a)/b个子数据集。将基础数据集和子数据集中的特征数据分别映射到高维空间，依据式(1)(假设基础数据集或子数据集中有m个特征数据，wi为第i个特征数据的权重，p*为待求的t1模态硬质地垂体瘤特征数据)求出每个子集的数据模型，作为t1模态硬质地垂体瘤特征数据集中的新数据，构成t1模态硬质地垂体瘤特征数据扩增集，以解决此类图像数据不足的问题。

子集指的是各个质地垂体瘤特征数据集；

t1模态硬质地垂体瘤特征数据一般包含纹理特征，灰

度特征，轮廓特征等。

同样构建与垂体瘤质地相关的t2、dwi序列的医学图像卷积特征扩增数据集，做到对小样本和不均衡数据的扩增。

步骤三：基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级：

如图6所示，在生成数据扩增的医学图像数据集后，我们对resnet网络进行改进，形成多模态卷积神经网络。通过改进主要思想是在resnet架构下加入desnetblock思想，其中，将每个desnetblock看做一个神经元，图3中共有两个desnetblock神经元，利用resnet的shortcutconnection思想将两个desnetblock神经元链接，假设输入部分是x，输出是h(x)，那么通过这种结构，网络学习的内容是h(x)-x，即为残差部分。具体结构如图3所示。

随后将三个resnet与desnetblock结合而成的子网络并联在一起，三个子网络分别用t1、t2和dwi序列的垂体瘤图像数据进行训练，将三个子网络生成的特征向量输入到网络的最后一个全连接层中，进行特征分类，人为设定成二维输出以判定垂体瘤软韧。整个网络最后输出的预测向量就由此确定，其计算公式是：

式(2)中，pz是输入属于第z类的可能性，ωijt是和xij以及pz相关联的权重矩阵，使用交叉熵作为损失函数，最终通过待测图像多种特征与训练图像特征的比对来确定垂体瘤肿瘤的软韧情况；xij代表每一模态生成的特征向量；t代表t1，t2和dwi这3个模态的数量，t＝3；z代表垂体瘤软韧，z分为两类，分别是质硬和质软。

具体的多模态网络结构如图4所示。

通过对垂体瘤三种不同形式的数据集进行kfoa-dpc分割，分别获得t1、t2和dwi的分割整图。随后提取经内层卷积后分割整图的图像特征，映射到高维空间，并取每一维的均值构成多模态垂体瘤特征数据集。将多模态垂体瘤特征数据集放入改进的resnet模型中训练，获取大量的特征信息，最终通过待测图像多种特征与训练图像特征的比对来确定垂体瘤肿瘤的软韧情况。通过试验测试本实施例的基于细粒度医学图像分割与真值发现数据扩增的垂体瘤质地影像分级准确率(accuracy)可达到84.30％。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。