一种目标图像提取方法、系统及终端设备与流程
本发明属于脊柱重建技术领域，尤其涉及一种目标图像提取方法、系统及终端设备。
背景技术：
椎板减压术通过骨钻对椎板磨削来去除棘突部分，扩大椎管空间，释放被压迫的神经和脊髓，恢复其正常功能。在实际磨削中，如若骨钻磨削力和磨削深度控制不合适，将会发生骨钻穿透内层骨皮质的情况，严重伤害到脊髓和神经，可能导致病人瘫痪甚至死亡。事实上，脊髓和神经是包含在椎管里面，可以基于病人脊柱ct图像采用移动立方体算法(marchingcubesalgorithm)对椎管单独三维重建，提取出椎管曲面，然后在导航系统引导下，建立约束使得骨钻在磨削椎板过程中始终不能越过椎管曲面，保护脊髓和神经在手术中不受到骨钻伤害，这对于医疗和病人都是大有裨益的。
然而，由于病人脊柱ct图像中50％以上的椎孔是不封闭，无法单独提取每张ct图像的椎孔，也就无法单独实现该ct图像的椎管的三维重建。
技术实现要素：
有鉴于此，本发明实施例提供了一种目标图像提取方法、系统及终端设备，以解决现有ct图像中的椎孔不封闭而导致无法实现椎管的三维重建的问题。
本发明实施例的第一方面提供了一种目标图像提取方法，包括：
对目标图像进行分割处理后生成第一图像；
将所述第一图像输入至神经网络中进行分类，以得到所述第一图像中的非封闭椎孔的闭合类型；
根据所述第一图像的非封闭椎孔的闭合类型，对所述第一图像的非封闭椎孔的非封闭区域进行标记；
将所述第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，以对所述第一图像中的所有非封闭椎孔进行椎孔封闭化，得到完成椎孔补全的第二图像；
提取所述第二图像中的所有椎孔的轮廓，并对所述轮廓进行填充；
根据所填充的轮廓进行三维重建，完成对脊柱椎管的提取。
本发明实施例的第二方面提供了一种目标图像提取系统，包括：
图像分割单元，用于对目标图像进行分割处理后生成第一图像；
图像分类单元，用于将所述第一图像输入至神经网络中进行分类，以得到所述第一图像中的非封闭椎孔的闭合类型；
区域标记单元，用于根据所述第一图像的非封闭椎孔的闭合类型，对所述第一图像的非封闭椎孔的非封闭区域进行标记；
图像补全单元，用于将所述第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，以对所述第一图像中的所有非封闭椎孔进行椎孔封闭化，得到完成椎孔补全的第二图像；
轮廓提取及填充单元，用于提取所述第二图像中的所有椎孔的轮廓，并对所述轮廓进行填充；
三维重建单元，用于根据所填充的轮廓进行三维重建，完成对脊柱椎管的提取。
本发明实施例的第三方面提供了一种终端设备，包括：
存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明实施例的第一方面提供的目标图像提取方法的步骤。
其中，所述计算机程序包括：
图像分割单元，用于对目标图像进行分割处理后生成第一图像；
图像分类单元，用于将所述第一图像输入至神经网络中进行分类，以得到所述第一图像中的非封闭椎孔的闭合类型；
区域标记单元，用于根据所述第一图像的非封闭椎孔的闭合类型，对所述第一图像的非封闭椎孔的非封闭区域进行标记；
图像补全单元，用于将所述第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，以对所述第一图像中的所有非封闭椎孔进行椎孔封闭化，得到完成椎孔补全的第二图像；
轮廓提取及填充单元，用于提取所述第二图像中的所有椎孔的轮廓，并对所述轮廓进行填充；
三维重建单元，用于根据所填充的轮廓进行三维重建，完成对脊柱椎管的提取。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明实施例的第一方面提供的目标图像提取方法的步骤。
其中，所述计算机程序包括：
图像分割单元，用于对目标图像进行分割处理后生成第一图像；
图像分类单元，用于将所述第一图像输入至神经网络中进行分类，以得到所述第一图像中的非封闭椎孔的闭合类型；
区域标记单元，用于根据所述第一图像的非封闭椎孔的闭合类型，对所述第一图像的非封闭椎孔的非封闭区域进行标记；
图像补全单元，用于将所述第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，以对所述第一图像中的所有非封闭椎孔进行椎孔封闭化，得到完成椎孔补全的第二图像；
轮廓提取及填充单元，用于提取所述第二图像中的所有椎孔的轮廓，并对所述轮廓进行填充；
三维重建单元，用于根据所填充的轮廓进行三维重建，完成对脊柱椎管的提取。
本发明实施例与现有技术相比存在的有益效果是：通过对目标图像进行分割处理后生成第一图像后，将其输入至神经网络中进行分类得到第一图像中的非封闭椎孔的闭合类型，再根据第一图像的非封闭椎孔的闭合类型，对第一图像的非封闭椎孔的非封闭区域进行标记，然后将第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，得到完成了椎孔补全的第二图像，再提取第二图像中的所有椎孔的轮廓并填充，根据所填充的轮廓进行三维重建，通过对分类后的第一图像的非封闭椎孔的非封闭区域进行标记后，再将该标记和对应的非封闭椎孔的图像输入到生成式对抗网络中完成对椎孔的封闭化，从而使得能够根据封闭化的椎孔实现椎管的三维重建，实现对脊柱椎管的提取。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标图像提取方法的实现流程图；
图2(a)是本发明实施例提供的一种脊柱ct原始图像的示意图；
图2(b)是本发明实施例提供的一种分割后的脊柱ct图的示意图；
图3是本发明实施例提供的椎孔的闭合类型的分类图的示意图；
图4是本发明实施例提供的一种经闭运算弥补狭窄连接后的图像b的示意图；
图5是本发明实施例提供的一种椎孔环形区域的示意图；
图6是本发明实施例提供的另一种椎孔环形区域的示意图；
图7是本发明实施例提供的一种椎孔狭窄缺失图像的标记结果的示意图；
图8是本发明实施例提供的一种椎孔大面积缺失图像的标记结果的示意图；
图9是本发明实施例提供的一种hadamard积的示意图；
图10是本发明实施例提供的一种对生成式对抗网络进行训练的方法的具体实现流程图；
图11是本发明实施例提供的一种训练样本图像的示意图；
图12是本发明实施例提供的一系列待补全脊柱ct图像的示意图；
图13是本发明实施例提供的一系列待补全区域的标记的示意图；
图14是本发明实施例提供的一系列椎孔补全图像的示意图；
图15是本发明实施例提供的一种椎管的示意图；
图16是本发明实施例提供的一种目标图像提取系统的示意图；
图17是本发明实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。请参考图1，图1示出了本发明实施例提供的一种目标图像提取方法的实现流程，详述如下：
在步骤s101中，对目标图像进行分割处理后生成第一图像。
在本发明实施例中，目标图像中包含有多张图像，具体为一套病人脊柱ct图像，由于在脊柱ct图像中，本发明实施例，最感兴趣的部位就是脊柱所在的区域，而不关心包含其余器官、组织等背景区域，这些背景区域会对后期计算机对于图像的分析造成干扰，因此，有必要对脊柱ct图像进行图像分割，以减少干扰和降低训练难度。
在这里，第一图像为对目标图像进行分割处理后所得到的二值图像，椎体所在区域像素值为1，背景为0。图2示出了本发明实施例提供的一种脊柱ct图像的分割结果，其中图2(a)为脊柱ct原始图像，图2(b)为分割后的脊柱ct图。
在这里，由于卷积神经网络具有强大的学习能力，高效的特征表达能力，从像素级原始数据到抽象的语义概念逐层提取信息。这使得它在提取图像的全局特征和上下文信息方面具有突出的优势，鲁棒性好且性能优越，本发明实施例将其作为图像分割处理的分割模型，即步骤s101具体为：
通过卷积神经网络，对目标图像进行分割处理后生成第一图像。
在步骤s102中，将所述第一图像输入至神经网络中进行分类，以得到所述第一图像中的非封闭椎孔的闭合类型。
在本发明实施例中，在将分割处理后得到的第一图像输入至生成式对抗网络之前，为使得生成式对抗网络能够完成对脊柱ct图像椎孔的补全，需要将椎孔缺失的位置标记和对应椎孔非封闭图像输入到生成对抗式网络中。也即需要标记椎孔缺失的位置，但在一套病人脊柱ct图像中，由于病人脊柱ct图像中椎孔缺失的位置是不定的或者其椎孔是封闭的并不需要补全椎孔。因此需要借助残差网络对脊柱图像中的椎孔进行分类，总共可以分为10类。
图3示出了本发明实施例提供的10类椎孔的闭合类型，分别为：图3(a)左侧不封闭、图3(b)右侧不封闭、图3(c)下侧不封闭、图3(d)左右侧不封闭、图3(e)左下侧不封闭，图3(f)右下侧不封闭、图3(g)左右下侧不封闭、图3(h)上侧不封闭、图3(i)上下侧不封闭、图3(j)封闭。从图3中可以看到，非封闭椎孔的闭合类型共9类。
在步骤s103中，根据所述第一图像的非封闭椎孔的闭合类型，对所述第一图像的非封闭椎孔的非封闭区域进行标记。
在本发明实施例中，在通过残差神经网络得到第一图像中的所有非封闭椎孔的闭合类型后，根据非封闭椎孔的闭合类型，对非封闭椎孔的非封闭区域进行自动标记。
在这里，标记非封闭椎孔的非封闭区域，即标记椎孔缺失区域分为两种情况：
(1)缺失区域较为狭窄，如椎孔缺失左侧、右侧、下侧及其组合情况，采用形态学闭运算标记椎孔缺失区域；
(2)缺失区域较大，如椎孔上侧、下侧或者上下侧等椎孔大面积缺失的情况，根据相邻图像标记椎孔缺失区域。
即步骤s103具体为：
根据所述第一图像的非封闭椎孔的闭合类型，通过采用形态闭运算或者根据相邻图像对所述第一图像的非封闭椎孔的非封闭区域进行标记。
在这里，上述采用形态闭运算或者根据相邻图像均是基于matlab进行。
在采用形态闭运算标记椎孔缺失区域的过程中，使用结构元素s对第一图像中的所有为非封闭椎孔的图像a进行闭运算，记为a·s，表示为：
(1)结构元素
(2)提取b的椎孔c的轮廓d，并对d进行膨胀运算获得环形区域e，通过f＝im2bw(e-c)获得椎孔向外膨胀后的环形区域f，通过提取f中相关区域可以得到椎孔缺失区域的标记。如图5所示
(3)通过matlab代码计算获得椎孔c二值图像中像素值为1的最大x值xcmax和最小的x值xcmin，像素值为1的最大的y值ycmax。环形区域f类似于矩形，矩形可以分为四条边，环形区域f可以类似分为四个区域(上下左右)，通过xcmin、xcmax与ycmax计算可获取环形区域f的(a)左侧i_l、(b)右侧i_r与(c)下侧i_b的区域，如图6所示，用于后续标记提取。
(4)通过训练好的残差神经网络模型判别椎孔缺失区域，然后获取标记补丁p，如若椎孔缺失左侧标记补丁p＝i_l，缺失右侧p＝i_r，缺失下侧p＝i_b等等。
(5)对标记补丁p进行膨胀运算，使得补丁能够涵盖更多的缺失区域。由于此时补丁p涵盖了椎孔非缺失区域，会在生成对抗神经网络对椎孔进行补全时改变椎孔原有属性，所以采用运算im2bw(p-a)获得椎孔缺失区域标记，得到的椎孔狭窄缺失图像的标记结果如图7所示，其中图7(a)为椎孔非封闭图，图7(b)为对应的椎孔缺失位置标志图。
在这里，脊柱ct相邻图像的脊柱形状、大小等变化较小，使用相邻椎孔封闭的图像标记椎孔大面积缺失区域能够保证其标记精准性，使得生成对抗神经网络的图像补全结果更加精准，根据相邻图像标记椎孔缺失区域的具体流程如下：
(1)根据所述第一图像的非封闭椎孔的闭合类型，先基于形态学闭运算标记椎孔缺失区域的方法，获取椎孔区域缺失较为狭窄的区域的图像的标记，然后将该标记添加到脊柱ct图像缺失区域，使得其椎孔成为封闭化，将该椎孔封闭化之后的图像称为人工椎孔封闭化的图像，其和原椎孔封闭图像可用于相邻椎孔大面积缺失标记。
(2)将人工椎孔封闭化的所有图像再次输入至残差神经网络进行分类。此时，椎孔仍然缺失的图像无法采用基于形态学闭运算标记椎孔缺失位置的方法获取标记，于是采用其相邻图像对其缺失区域进行标记。
(3)采用相邻椎孔封闭图像对大面积缺失区域标记分为前向标记与后向标记。假设有一组相邻二值图像a、b、c、d、e、f，其中a与f为椎孔封闭图像，b、c、d、e、为椎孔大面积缺失图像，获取标记流程如下：a->b，f->e，b->c，e->d，其中a->b与b->c为前向标记，f->e与e->d为后向标记。采用此种方法相比一味使用前向标记或者后向标记可以使得标记更加精准。其中，获取图像b的标记p的方法为：p＝im2bw(a-b)。
(4)使用加上标记p后具有封闭椎孔的图像b获取图像c的标记。依次类推便可以获取所有椎孔大面积缺失图像的标记结果如图8所示，其中图8(a)为椎孔非封闭图，图8(b)为对应的椎孔缺失位置标志图。
在这里，通过上述介绍的基于形态学闭运算标记椎孔缺失区域和根据相邻椎孔封闭图像标记椎孔大面积缺失区域的方法，便能够标记所有椎孔缺失的区域位置。在使用生成对抗神经网络进行图像补全时，图像标记区域的二值掩码m设置为0，其余区域设置为1。
在步骤s104中，将所述第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，以对所述第一图像中的所有非封闭椎孔进行椎孔封闭化，得到完成椎孔补全的第二图像。
在本发明实施例中，第二图像为所有非封闭椎孔的图像进行了椎孔补全之后的图像。
在这里，生成式对抗网络包括但不限于，深度卷积对抗生成网络dcgan、wgan、wgan-gp、边界均衡生成对抗网络began(boundaryequilibriumgenerativeadversarialnetworks)。本发明实施例所使用的生成对抗式网络为began，其中包括有生成器和判别器。
在这里，在将图像标记区域的二值掩码m设置为0，其余区域设置为1后，将标记获得的二值掩码中值为1表示图像该区域保持不变，值为0表示该区域需要补全。获取待补全图像，将第二图像y中的所有元素与二值掩码m对应元素相乘，用m⊙y表示，称为哈达玛(hadamard)积，如图9所示。
通过hadamard积可以完成图像y的补全，假设已经找到了一个随机噪声
因此，为了能够对图像y合理的重构，必须找到生成器生成的合适图像
(1)语境损失lcontextual(z)：为了得到和输入图像y尽可能相同的图像，则需要确保图像y已知像素与生成对抗式网络的生成的图像g(z)对应位置像素尽可能相同。因此，如若g(z)与y的概率分布不相同时，则需要对g(z)进行惩罚。为此，我们用m⊙g(z)-m⊙y以获得g(z)与y的不相似程度：
lcontextual(z)＝||m⊙g(z)-m⊙y||1
在理想情况下，已知像素部分的g(z)与y的概率分布是一致的，即为：
|m⊙g(z)-m⊙y||1＝0
(2)感知损失lperceptual(z)：除了使重建图像g(z)与y已知像素分布概率一致，还要保证g(z)看起来是真实的图像，生成对抗神经网络判别器判别g(z)为真。最后将语境损失和感知损失组合起来，就可以找到
l(z)＝lcontextual(z)+λlperceptual(z)
其中λ是超参数，用来调节感知损失lperceptual(z)与语境损失lcontextual(z)重要程度比。
接下来，将标记有椎孔缺失区域二值掩码m与对应待补全图像送入到训练好的生成对抗神经网络模型，采用adam优化器不断更新优化z以获得更好的重建图像g(z)，这里的g(z)为不一定都能对图像y的缺失区域进行合理的重构的图像，因此需要寻找最优的
可选的，在使用该生成对抗式网络之前，还需要对该生成对抗式网络进行训练，以使得其能够输出逼真的，椎孔封闭的图像。请参考图10，图10示出了本发明实施例提供的一种对生成式对抗网络进行训练的方法的具体实现流程，详述如下：
在步骤s1001中，获取训练样本图像，所述训练样本图像包括与椎孔非封闭图像对应的第一椎孔封闭图像，所述对应的第一椎孔封闭图像为对所述椎孔非封闭图像进行封闭化处理后所得到的图像。
在本发明实施中，为了使得生成式对抗网络能够完成对非封闭椎孔的补全，即使得非封闭椎孔变为封闭椎孔，首先需要制作所有图像均为椎孔封闭的图像作为训练样本图像，然而，在获取病人的脊柱ct图像中，椎孔封闭的图像仅占一半，而且该类图像多样性不够，并不能精准完成ct图像椎孔的补全。所以需要制作将所有椎孔非封闭的图像椎孔封闭化的数据集，最终得到的数据集可参考图11，该数据集即为训练样本图像，制作数据集的具体流程如下：
利用二值分割图a制作椎孔封闭的二值图b；
通过matlab代码获取补丁c，其中c＝im2bw(a-b)；
利用补丁c补全原始ct图像，使得原始ct图像椎孔封闭。
在步骤s1002中，将所述训练样本图像输入至所述生成式对抗网络进行训练，以使得所述生成式对抗网络能够生成与所述第一椎孔封闭图像相接近的第二椎孔封闭图像。
在本发明实施中，将如图12所示的待补全脊柱ct图像输入至残差神经网络之后，基于形态学闭运算标记法和/或根据相邻图像标记法对椎孔非封闭区域进行标记后，得到如图13所示的待补全区域的标记，然后将该待补全区域的标记和对应的椎孔非封闭图像输入至生成式对抗网络以实现椎孔补全，最终得到如图14所示的椎孔补全图像。
在步骤s105中，提取所述第二图像中的所有椎孔的轮廓，并对所述轮廓进行填充。
在本发明实施例中，在得到椎孔补全的第二图像之后，第二图像中的所有椎孔均为封闭的，此时，可以通过canny算子提取所有椎孔的轮廓，并对所提取的轮廓进行填充。
在这里，还可以通过其他的边缘检测算子来提取椎孔的轮廓，比如梯度算子、高斯-拉普拉斯算子；或者利用其他方法提取椎孔的轮廓，例如：
二值图像a为待提取椎孔的图像(椎孔封闭的图像)，二值图像b为图a填充了椎孔后(使椎孔像素与椎体一致)的图像，采用matlab中的代码im2bw(b-a)也可以直接获取椎孔。
在步骤s106中，对所填充的轮廓进行三维重建，完成对脊柱椎管的提取。
在本发明实施例中，采用移动立方体算法对所提取并完成轮廓填充的椎体进行三维重建，完成对脊柱椎管的提取，所提取的椎管请参考图15。
可以理解的是，对所填充的轮廓进行三维重建所采用的方法并不仅限于移动立方体算法，还可以采用其他的三维重建算法，这里不做具体限制。
在本发明实施例中，通过对目标图像进行分割处理后生成第一图像后，将其输入至神经网络中进行分类得到第一图像中的非封闭椎孔的闭合类型，再根据第一图像的非封闭椎孔的闭合类型，对第一图像的非封闭椎孔的非封闭区域进行标记，然后将第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，得到完成了椎孔补全的第二图像，再提取第二图像中的所有椎孔的轮廓并填充，根据所填充的轮廓进行三维重建，通过对分类后的第一图像的非封闭椎孔的非封闭区域进行标记后，再将该标记和对应的非封闭椎孔的图像输入到生成式对抗网络中完成对椎孔的封闭化，从而使得能够根据封闭化的椎孔实现椎管的三维重建，实现对脊柱椎管的提取。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑控制，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种目标图像提取方法，图16示出了本发明实施例提供的一种目标图像提取系统的示意图，为了便于说明，仅示出了与本发明实施例相关的部分。
参照图16，该系统包括：
图像分割单元161，用于对目标图像进行分割处理后生成第一图像；
图像分类单元162，用于将所述第一图像输入至神经网络中进行分类，以得到所述第一图像中的非封闭椎孔的闭合类型；
区域标记单元163，用于根据所述第一图像的非封闭椎孔的闭合类型，对所述第一图像的非封闭椎孔的非封闭区域进行标记；
图像补全单元164，用于将所述第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，以对所述第一图像中的所有非封闭椎孔进行椎孔封闭化，得到完成椎孔补全的第二图像；
轮廓提取及填充单元165，用于提取所述第二图像中的所有椎孔的轮廓，并对所述轮廓进行填充；
三维重建单元166，用于根据所填充的轮廓进行三维重建，完成对脊柱椎管的提取。
可选的，该系统还包括：
训练样本图像获取单元，用于获取训练样本图像，所述训练样本图像包括与椎孔非封闭图像对应的第一椎孔封闭图像，所述对应的第一椎孔封闭图像为对所述椎孔非封闭图像进行封闭化处理后所得到的图像；
网络训练单元，用于将所述训练样本图像输入至所述生成式对抗网络进行训练，以使得所述生成式对抗网络能够生成与所述第一椎孔封闭图像相接近的第二椎孔封闭图像。
可选的，所述闭合类型包括：左侧不封闭、右侧不封闭、下侧不封闭、左右侧不封闭、左下侧不封闭，右下侧不封闭、左右下侧不封闭、上侧不封闭、上下侧不封闭和封闭。
可选的，所述区域标记单元163具体用于：
根据所述第一图像的非封闭椎孔的闭合类型，基于形态学闭运算标记法和/或根据相邻图像标记法，对所述第一图像的非封闭椎孔的非封闭区域进行标记。
可选的，所述区域标记单元163还具体用于
使用结构元素s对所述第一图像中的所有为非封闭椎孔的图像a进行闭运算，记为a·s；其中，
通过循环迭代运算使得n从1不断增大，直到闭运算b＝imclose(a,s)能够弥合椎孔狭窄间断区域时，得到第三图像b；
提取所述第三图像b的椎孔c的轮廓d，并对所述轮廓d进行膨胀运算获得环形区域e；并通过f＝im2bw(e-c)获得所述椎孔c向外膨胀后的环形区域f；
计算所述椎孔c的二值图像中像素值为1的最大x值xcmax和最小的x值xcmin，以及像素值为1的最大的y值ycmax，并通过xcmin、xcmax与ycmax计算所述环形区域f的左侧i_l、右侧i_r与下侧i_b的区域；
根据所述第一图像的非封闭椎孔的闭合类型，获取对应的标记补丁p；
对标记补丁p进行膨胀运算，以使得所述标记补丁p能够涵盖椎孔的所有非封闭区域，并采用运算im2bw(p-a)获得椎孔非封闭区域标记。
在本发明实施例中，通过对目标图像进行分割处理后生成第一图像后，将其输入至神经网络中进行分类得到第一图像中的非封闭椎孔的闭合类型，再根据第一图像的非封闭椎孔的闭合类型，对第一图像的非封闭椎孔的非封闭区域进行标记，然后将第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，得到完成了椎孔补全的第二图像，再提取第二图像中的所有椎孔的轮廓并填充，根据所填充的轮廓进行三维重建，通过对分类后的第一图像的非封闭椎孔的非封闭区域进行标记后，再将该标记和对应的非封闭椎孔的图像输入到生成式对抗网络中完成对椎孔的封闭化，从而使得能够根据封闭化的椎孔实现椎管的三维重建，实现对脊柱椎管的提取。
图17是本发明一实施例提供的一种终端的示意图。如图17所示，该实施例的终端设备17包括：处理器170、存储器171以及存储在所述存储器171中并可在所述处理器170上运行的计算机程序172。所述处理器170执行所述计算机程序172时实现上述各个目标图像提取方法实施例中的步骤，例如图1所示的步骤161至163。或者，所述处理器170执行所述计算机程序172时实现上述各系统实施例中各单元的功能，例如图16所示模块161至163的功能。
示例性的，所述计算机程序172可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器171中，并由所述处理器170执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序172在所述终端设备17中的执行过程。例如，所述计算机程序172可以被分割成图像分割单元161、图像分类单元162、区域标记单元163、图像补全单元164、轮廓提取及填充单元165、三维重建单元166，各单元具体功能如下：
图像分割单元161，用于对目标图像进行分割处理后生成第一图像；
图像分类单元162，用于将所述第一图像输入至神经网络中进行分类，以得到所述第一图像中的非封闭椎孔的闭合类型；
区域标记单元163，用于根据所述第一图像的非封闭椎孔的闭合类型，对所述第一图像的非封闭椎孔的非封闭区域进行标记；
图像补全单元164，用于将所述第一图像中的所有为非封闭椎孔的图像及其非封闭区域的标记输入至生成式对抗网络，以对所述第一图像中的所有非封闭椎孔进行椎孔封闭化，得到完成椎孔补全的第二图像；
轮廓提取及填充单元165，用于提取所述第二图像中的所有椎孔的轮廓，并对所述轮廓进行填充；
三维重建单元166，用于根据所填充的轮廓进行三维重建，完成对脊柱椎管的提取。
可选的，所述计算机程序172可以被分割成训练样本图像获取单元、网络训练单元，各单元具体功能如下：
训练样本图像获取单元，用于获取训练样本图像，所述训练样本图像包括与椎孔非封闭图像对应的第一椎孔封闭图像，所述对应的第一椎孔封闭图像为对所述椎孔非封闭图像进行封闭化处理后所得到的图像；
网络训练单元，用于将所述训练样本图像输入至所述生成式对抗网络进行训练，以使得所述生成式对抗网络能够生成与所述第一椎孔封闭图像相接近的第二椎孔封闭图像。
可选的，所述闭合类型包括：左侧不封闭、右侧不封闭、下侧不封闭、左右侧不封闭、左下侧不封闭，右下侧不封闭、左右下侧不封闭、上侧不封闭、上下侧不封闭和封闭。
可选的，所述区域标记单元163具体用于：
根据所述第一图像的非封闭椎孔的闭合类型，基于形态学闭运算标记法和/或根据相邻图像标记法，对所述第一图像的非封闭椎孔的非封闭区域进行标记。
可选的，所述区域标记单元163还具体用于
使用结构元素s对所述第一图像中的所有为非封闭椎孔的图像a进行闭运算，记为a·s；其中，
通过循环迭代运算使得n从1不断增大，直到闭运算b＝imclose(a,s)能够弥合椎孔狭窄间断区域时，得到第三图像b；
提取所述第三图像b的椎孔c的轮廓d，并对所述轮廓d进行膨胀运算获得环形区域e；并通过f＝im2bw(e-c)获得所述椎孔c向外膨胀后的环形区域f；
计算所述椎孔c的二值图像中像素值为1的最大x值xcmax和最小的x值xcmin，以及像素值为1的最大的y值ycmax，并通过xcmin、xcmax与ycmax计算所述环形区域f的左侧i_l、右侧i_r与下侧i_b的区域；
根据所述第一图像的非封闭椎孔的闭合类型，获取对应的标记补丁p；
对标记补丁p进行膨胀运算，以使得所述标记补丁p能够涵盖椎孔的所有非封闭区域，并采用运算im2bw(p-a)获得椎孔非封闭区域标记。
所述终端设备17可以是桌上型计算机、笔记本、服务器、大型计算机等终端设备。所述终端设备17可包括，但不仅限于，处理器170、存储器171。本领域技术人员可以理解，图17仅仅是终端设备17的示例，并不构成对终端设备17的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器170可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器171可以是所述终端设备17的内部存储单元，例如终端设备17的硬盘或内存。所述存储器171也可以是所述终端设备17的外部存储设备，例如所述终端设备17上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器171还可以既包括所述终端设备17的内部存储单元也包括外部存储设备。所述存储器171用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器171还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的系统/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，系统或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！