一种CT结肠影像内容物的标注方法及系统

一种ct结肠影像内容物的标注方法及系统
技术领域
1.本发明涉及医学图像处理领域，尤其涉及一种ct结肠影像内容物的标注方法及系统。


背景技术：

2.近年来，随着射频技术的不断进步，其应用领域越加广泛，随着生活习惯、饮食结构和环境因素的改变，结直肠癌已经成为危害健康的常见重大疾病，ct结肠成像技术作为诊断结直肠癌的有效手段，面临着结肠内容物干扰的问题。由于当前没有使用深度学习技术进行ct结肠影像内容物标注的研究，去除结肠内容物的工作高度依赖人工，容易产生人为误差并且工作量繁重。相较于ct结肠影像与其他ct器官影像相比，存在更难处理与识别的难点，主要体现在：(1)个体间的结肠内容物的结构存在较大差异，因此识别难度大，导致可能出现漏判；(2)ct结肠影像存在相似肠道的干扰，导致可能出现误判；(3)结肠内容物的结构复杂，难以寻找不同内容物间的关系，导致精度较低；(4)结肠相对于其他器官体积更大，导致单个样例大小是其他器官单个样例大小的数倍，但样例总数较少，加大了网络模型的设计难度。现有深度学习的网络模型都采用结构明确、影像简单的ct影像数据集，因此不适用于ct结肠影像内容物标注。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供一种ct结肠影像内容物的标注方法及系统，能够标注并去除ct结肠影像内容物。
4.本发明所采用的第一技术方案是：一种ct结肠影像内容物的标注方法，包括以下步骤：
5.获取ct结肠影像数据集并进行标注，得到带标注的ct影像数据集；
6.对带标注的ct结肠影像数据集进行预处理，得到预处理后的ct影像数据集；
7.基于预处理后的ct影像数据集训练预构建的3dinception网络和改进的u
‑
net网络，并以训练好的3dinception网络辅助训练改进的u
‑
net网络，得到训练完成的dm
‑
unet网络；
8.获取待测图像并基于训练完成的dm
‑
unet网络进行预测，得到结肠内容物标注。
9.进一步，所述获取ct结肠影像数据集并进行标注，得到带标注的ct影像数据集这一步骤，其具体包括：
10.获取ct结肠影像数据集并采用karl 3d迭代重建法进行图像重建，得到重建影像数据集；
11.基于itk
‑
snap对重建影像数据集进行标注，并以颜色区分结肠空腔区域和结肠内容物，得到带标注的ct影像数据集。
12.进一步，所述对带标注的ct结肠影像数据集进行预处理，得到预处理后的ct影像数据集这一步骤，其具体包括：
13.基于2d resnet网络识别感兴趣区域，去除从腿部到直肠的区域、从降结肠与横结肠交界处到胸腔的区域，得到感兴趣区域；
14.将感兴趣区域中的结肠内容物标注与结肠空腔标注合并；
15.基于灰度值先验知识与区域生长算法对标注边缘进行填充，得到预处理后的ct影像数据集。
16.进一步，所述基于预处理后的ct影像数据集训练预构建的3d inception网络和改进的u
‑
net网络，并以训练好的3d inception网络辅助训练改进的u
‑
net网络，得到训练完成的dm
‑
unet网络这一步骤，其具体包括：
17.基于预处理后的ct影像数据集训练3d inception网络，得到训练完成的3d inception网络；
18.所述3d inception采用relu作为激活函数，对数据进行批标准化、拼接操作，并将四条子路的输出合并；
19.基于预处理后的ct影像数据集训练改进的u
‑
net网络并以训练好的3d inception网络辅助训练，得到训练完成的dm
‑
unet网络；
20.所述训练完成的dm
‑
unet网络包括编解码结构和边缘检测机制。
21.进一步，所述3d inception网络的损失函数公式如下：
[0022][0023]
上式中，θ表示可训练的网络参数，l(θ)表示损失函数，n表示样例总数，i{
·
}表示指示函数，y
(j)
表示第j份样例的目标输出值，表示第j份样例的实际输出值，c表示目标分割区域，p表示输入，表示实际输出y
(j)
属于目标分割区域的估计概率。
[0024]
进一步，所述训练完成的dm
‑
unet网络的工作步骤如下：
[0025]
对输入ct影像进行四层编码，得到压缩的特征图；
[0026]
对压缩的特征图进行四层解码，并将同层的特征图进行拼接；
[0027]
通过一个1*1卷积输出预测区域；
[0028]
在dm
‑
unet外部引入边缘检测机制，通过canny算子检测ct影像数据中的横断面、实际输出与目标输出，得到实际输出边缘图与目标输出边缘图。
[0029]
进一步，所述dm
‑
unet网络的损失函数为：
[0030][0031]
上式中，l
dice
表示dice损失函数，n表示样例总数，p
i
表示第i个像素点的目标输出，y
i
表示第i个像素点的实际输出，γ为平滑系数，实际取0.0001。
[0032]
进一步，所述获取待测图像并基于训练完成的dm
‑
unet网络进行预测，得到结肠内容物标注这一步骤，其具体包括：
[0033]
获取待测图像并输入至训练完成的dm
‑
unet网络；
[0034]
基于dm
‑
unet网络识别出待测图像的标注区域和异常区域；
[0035]
遍历与标注区域对应的输入横断面的每个像素点，并根据预设的灰度阈值区分结肠内容物与结肠空腔两类标注。
[0036]
本发明所采用的第二技术方案是：一种ct结肠影像内容物的标注系统系统，包括：
[0037]
标注模块，用于获取ct结肠影像数据集并进行标注，得到带标注的ct影像数据集；
[0038]
预处理模块，用于对带标注的ct结肠影像数据集进行预处理，得到预处理后的ct影像数据集；
[0039]
网络训练模块，用于基于预处理后的ct影像数据集训练预构建的3d inception网络和改进的u
‑
net网络，并以训练好的3d inception网络辅助训练改进的u
‑
net网络，得到训练完成的dm
‑
unet网络；
[0040]
应用模块，用于获取待测图像并基于训练完成的dm
‑
unet网络进行预测，得到结肠内容物标注。
[0041]
本发明方法及系统的有益效果是：本发明使用训练好的3d inception辅助训练dm
‑
unet，为dm
‑
unet标注出异常区域，并通过权重项反馈给dm
‑
unet，使其可以区分三维结构错误与二维结构错误，并使用灰度值先验知识，重新区分两类标注，得到ct结肠影像内容物预测图，从而能够大幅度降低ct结肠影像内容物标注与去除工作的耗时，有利于ct成像技术的应用。
附图说明
[0042]
图1是本发明一种ct结肠影像内容物的标注方法的步骤流程图；
[0043]
图2是本发明一种ct结肠影像内容物的标注系统的结构框图；
[0044]
图3是本发明具体实施例应用dm
‑
unet网络的示意图。
具体实施方式
[0045]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0046]
参照图1，本发明提供了一种ct结肠影像内容物的标注方法，该方法包括以下步骤：
[0047]
s1、获取ct结肠影像数据集并进行标注，得到带标注的ct影像数据集；
[0048]
s2、对带标注的ct结肠影像数据集进行预处理，得到预处理后的ct影像数据集；
[0049]
s3、基于预处理后的ct影像数据集训练预构建的3d inception网络和改进的u
‑
net网络，并以训练好的3d inception网络辅助训练改进的u
‑
net网络，得到训练完成的dm
‑
unet网络；
[0050]
s4、获取待测图像并基于训练完成的dm
‑
unet网络进行预测，得到结肠内容物标注。
[0051]
进一步作为本方法的优选实施例，所述获取ct结肠影像数据集并进行标注，得到带标注的ct影像数据集这一步骤，其具体包括：
[0052]
获取ct结肠影像数据集并采用karl 3d迭代重建法进行图像重建，得到重建影像数据集；
[0053]
基于itk
‑
snap对重建影像数据集进行标注，并以颜色区分结肠空腔区域和结肠内容物，得到带标注的ct影像数据集。
[0054]
具体地，用上海联影公司u760ct机进行采集工作，其球管电压为120kv，球管电流自适应球管电压的变化，层厚为1mm，采用karl 3d迭代重建方法。数据集标注阶段采用itk
‑
snap软件，调节窗位50，窗宽2048，将结肠空腔区域标注为红色，将结肠内容物标注为绿色。
[0055]
另外，得到nitfi格式的原始ct结肠影像与nitfi格式的ct结肠影像内容物标注。
[0056]
进一步作为本方法的优选实施例，所述对带标注的ct结肠影像数据集进行预处理，得到预处理后的ct影像数据集这一步骤，其具体包括：
[0057]
基于2d resnet网络识别感兴趣区域，去除从腿部到直肠的区域、从降结肠与横结肠交界处到胸腔的区域，得到感兴趣区域；
[0058]
具体地，本发明感兴趣区域为乙状结肠末端到降结肠与横结肠交界处，均存在较明显的特征，因此使用两个标准的18层2d resnet分别找到横结肠与降结肠交界处和乙状结肠末端，包含17层卷积层和1层全连接层，采用3*3卷积，当输入和输出具有相同维度时(实线)使用跳连恒等连接，当输入和输出具有不同维度时(虚线)，跳连由1*1卷积、2步长完成，输入经过17层卷积和平均池化后，得到输出结果。
[0059]
将感兴趣区域中的结肠内容物标注与结肠空腔标注合并；
[0060]
具体地，本发明基于结肠内容物与结肠空腔区域构成完整结肠结构、结肠内容物与结肠空腔区域的灰度值差距较大这两个先验知识，将结肠内容物标注与结肠空腔标注合并，以此将结肠内容物标注问题转化为结肠肠腔标注问题。
[0061]
基于灰度值先验知识与区域生长算法对标注边缘进行填充，得到预处理后的ct影像数据集。
[0062]
具体地，本发明使用灰度值先验知识与区域生长算法对标注边缘进行填充，在边缘填充过程中，以合并后的肠腔标注作为区域生长算法的种子，遍历初始种子区域附近八邻域的灰度值，如果低于阈值(本发明实际取阈值为0)，则向该邻域生长，并不断遍历，直至没有一个种子可以生长。
[0063]
进一步作为本方法的优选实施例，所述基于预处理后的ct影像数据集训练预构建的3d inception网络和改进的u
‑
net网络，并以训练好的3d inception网络辅助训练改进的u
‑
net网络，得到训练完成的dm
‑
unet网络这一步骤，其具体包括：
[0064]
基于预处理后的ct影像数据集训练3d inception网络，得到训练完成的3d inception网络；
[0065]
所述3d inception采用relu作为激活函数，对数据进行批标准化、拼接操作，并将四条子路的输出合并；
[0066]
具体地，3d inception的每条子路都进行了1*1*1卷积降维，并用两个3*3*3卷积替代5*5*5卷积，最大程度的减少参数量。
[0067]
基于预处理后的ct影像数据集训练改进的u
‑
net网络并以训练好的3d inception网络辅助训练，得到训练完成的dm
‑
unet网络；
[0068]
具体地，使用训练好的3d inception辅助训练，区别于通过与二维横断面目标输出对比得到的错误区域，3d inception将为dm
‑
unet标注出根据三维结构特征得到的异常区域，并通过对应的权重项使得dm
‑
unet能够关注异常区域，进一步使得dm
‑
unet可以区分三维结构错误与二维结构错误，从而关注更难以训练的三维结构错误。在具体训练过程中，首先将经过预处理的nifti文件及其横断面分别输入3d inception和dm
‑
unet中学习，将
dm
‑
unet的输出与3d inception的输出进行比对，再由3d inception找出肠道结构的异常区域，通过对应的权重项，提升dm
‑
unet的分割精确度。
[0069]
所述训练完成的dm
‑
unet网络包括编解码结构和边缘检测机制。
[0070]
进一步作为本方法优选实施例，所述3d inception网络的损失函数公式如下：
[0071][0072]
上式中，θ表示可训练的网络参数，l(θ)表示损失函数，n表示样例总数，i{
·
}表示指示函数，y
(j)
表示第j份样例的目标输出值，表示第j份样例的实际输出值，c表示目标分割区域，p表示输入，表示实际输出y
(j)
属于目标分割区域的估计概率。
[0073]
进一步作为本方法优选实施例，所述训练完成的dm
‑
unet网络的工作步骤如下：
[0074]
对输入ct影像进行四层编码，得到压缩的特征图；
[0075]
对压缩的特征图进行四层解码，并将同层的特征图进行拼接；
[0076]
通过一个1*1卷积输出预测区域；
[0077]
具体地，本发明通过结合空洞卷积、传统卷积和拼接，得到改进的编解码结构。本发明在单层编码过程中，首先对特征图进行一次卷积操作，然后进行三次不同尺度的空洞卷积(空洞率分别为1、2、5)，以此提取到多尺度信息，再使用拼接操作和卷积，将一次卷积和三次空洞卷积得到的特征图进行拼接。本发明的单层解码与单层编码过程相同，以此保证网络模型的对称性。
[0078]
在dm
‑
unet外部引入边缘检测机制，通过canny算子检测ct影像数据中的横断面、实际输出与目标输出，得到实际输出边缘图与目标输出边缘图。
[0079]
在dm
‑
unet外部引入边缘检测机制，通过在损失函数中加入边缘不匹配损失的额外项，使得dm
‑
unet更关注边缘不匹配区域：
[0080]
l
total
＝l
image
+λl
marg
.
[0081]
l
total
表示总损失值，l
image
表示分割区域损失值，由实际输出与目标输出对比计算损失值得到，l
marg
表示边缘不匹配损失值，由实际输出边缘图与目标输出边缘图对比计算损失值得到。
[0082]
具体地，本发明首先通过对输入横断面的边缘检测得到边缘检测图，再提取实际输出的边缘，以此得到实际输出边缘图，然后提取目标输出的边缘与边缘检测图叠加，并仅保留目标结肠肠腔分割区域内的边缘，以此得到目标输出边缘图，最后对比实际输出边缘图与目标输出边缘图，得到实际输出与目标输出边缘不匹配的区域。
[0083]
进一步作为本方法优选实施例，所述dm
‑
unet网络的损失函数为：
[0084][0085]
上式中，l
dice
表示dice损失函数，n表示样例总数，p
i
表示第i个像素点的目标输出，y
i
表示第i个像素点的实际输出，γ为平滑系数，实际取0.0001。
[0086]
具体地，使用改进的dice损失函数提升dm
‑
unet标注结肠内容物精度。发明通过添加系数，使得网络模型关注错误程度较高的区域；通过添加指数项，避免网络模型在训练后
期，因为正确分割区域占有较大比重，导致网络产生无法关注难分样本的缺陷；通过平衡分子与分母的期望值，使得损失函数的期望值为零，以此加快收敛速度。
[0087]
如图3所示，结合u
‑
net、改进的编解码结构与边缘检测机制，最终得到dm
‑
unet，该网络模型的深度为四层，每一层都有一次编码操作与一次对应的解码操作，编码得到的特征图通过跳跃连接与下一层上采样得到的特征图相结合。编码操作依次有一个卷积核大小为3*3的卷积层、一个批标准化层、三个空洞卷积层(空洞率分别为1、2、5)、一次拼接操作(将通过一次卷积与三次空洞卷积所得到的四幅特征图拼接)、一个卷积核大小为1*1的卷积层，一个2*2的最大池化层，解码操作与编码操作类似，但卷积核为2*2的反卷积层替代了2*2的最大池化层。每次编码操作，卷积核个数增加一倍，分别设定为16、32、64；每次解码操作，卷积核个数递减，分别设定为64、16、1。最终dm
‑
unet的输出通过一个卷积核大小为1*1的卷积层，再经过sigmoid函数，得到一个与输入横断面大小相同的结肠肠腔区域预测图。
[0088]
进一步作为本方法优选实施例，所述获取待测图像并基于训练完成的dm
‑
unet网络进行预测，得到结肠内容物标注这一步骤，其具体包括：
[0089]
获取待测图像并输入至训练完成的dm
‑
unet网络；
[0090]
基于dm
‑
unet网络识别出待测图像的标注区域和异常区域；
[0091]
遍历与标注区域对应的输入横断面的每个像素点，并根据预设的灰度阈值区分结肠内容物与结肠空腔两类标注。
[0092]
具体地，本发明通过设置阈值，在后处理阶段遍历与标注区域对应的输入横断面的每个像素点，区分结肠内容物与结肠空腔两类标注。灰度映射的公式为：
[0093][0094]
其中，y
i
表示第i个像素点的实际输出值，表示经过灰度映射后的灰度值。
[0095]
如图2所示，一种ct结肠影像内容物的标注系统系统，包括：
[0096]
标注模块，用于获取ct结肠影像数据集并进行标注，得到带标注的ct影像数据集；
[0097]
预处理模块，用于对带标注的ct结肠影像数据集进行预处理，得到预处理后的ct影像数据集；
[0098]
网络训练模块，用于基于预处理后的ct影像数据集训练预构建的3d inception网络和改进的u
‑
net网络，并以训练好的3d inception网络辅助训练改进的u
‑
net网络，得到训练完成的dm
‑
unet网络；
[0099]
应用模块，用于获取待测图像并基于训练完成的dm
‑
unet网络进行预测，得到结肠内容物标注。
[0100]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0101]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。