基于深度神经网络的胆管结石识别系统

本发明属于医学图像处理领域，具体涉及基于深度神经网络的胆管结石识别系统。

背景技术：

1、目前，胆管结石的诊断主要依靠医生的经验和传统的影像学检查，如超声、ct扫描和mri等。然而，传统的方法存在一些限制和挑战，导致诊断结果不够准确和可靠。

2、首先，传统的影像学检查方法对于胆管结石的识别和区分存在一定的困难。由于胆管结石的形态各异，大小不一，密度和纹理变化复杂，传统的影像学方法往往难以准确地分割和识别胆管结石，容易导致诊断的误差和漏诊。其次，传统的影像学方法对于胆管结石的定位和定量分析有一定的局限性。由于胆管结石常常位于胆管的内部，而且胆管的形态和位置与周围组织密切相关，传统的影像学方法难以准确地定位和测量胆管结石的大小、形状和数量，限制了对胆管结石的全面评估和治疗决策的制定。此外，传统的影像学方法对于胆管结石的检测和诊断需要经验丰富的医生进行解读和判断，存在主观性和人为误差的问题。由于胆管结石的特殊性和复杂性，不同医生对于胆管结石的识别和解释可能存在差异，导致诊断结果的不一致性和不确定性。

技术实现思路

1、本发明的目的在于提供一种能够准确、自动地检测胆管结石的基于深度神经网络的胆管结石识别系统，以提高诊断的准确性和可靠性。

2、本发明提供的基于深度神经网络的胆管结石识别系统，包括：胆管、结石图像数据标注模块，胆管、结石识别模型，模型训练模块；其中：

3、(一)胆管、结石图像数据标注模块：

4、首先构建内镜下逆行胆胰管造影(endoscopic retrograde cholangio-pancreatography，简称ercp)图像数据集；其包括约五千张不含结石的胆管医学图像，约一千张的含结石胆管医学图像，对ercp图数据集图像关键点进行人工标注，得到胆管、结石位置、直径等信息，并进行人工掩膜生成与存储；

5、具体地，包括五个方面：确定手术导管的直径，通过对导管末端水平面的两个端点进行标注，得到导管直径；确定手术导管末端与胆管之间的角度，通过标记导管末端线段上的两个点，以及与其相接的胆管上的一个点，构成可确定导管进入胆管角度的三个点；确定胆管直径，通过对胆管末端端点进行标注，得到胆管直径，一般来说胆管直径与手术导管直径存在一定差异；确定完整的胆管位置，沿着胆管的边缘，标记一定数量的孤立的点，通过多边形的方式标记胆管，多边形内的区域即完整胆管；确定完整的结石位置(如有)，使用与上述标记胆管相同的方法，记录完整结石位置。上述标记样例见图1所示，所记录的所有离散点都以json格式存储下来，通过python程序将json中记录的所有点的信息转回到图1形式的可用于网络训练的标注。

6、(二)胆管、结石识别模型：

7、本发明构建深度神经网络作为胆管、结石识别模型，对目标图像进行特征提取，并添加控制器对分割网络的特征提取环节进行干预，能够通过输入不同信号，控制分割器在结石预测与胆管预测任务中进行选择，从而帮助网络提取胆管、结石共享特征与独立特征。

8、作为胆管、结石识别模型的深度神经网络，本发明采用具有多任务控制的u型视觉深度神经网络；该u型视觉深度神经网络由分割器、控制器和预测器组成，如图2所示。其中，分割器对目标图像进行特征提取，并预测得到结石与胆管的预测掩膜；预测器对分割器给定的输出掩膜进行判断与评价，来决定图像中是否具有胆管、结石；控制器则对分割器的特征提取环节进行干预，通过输入不同信号，控制分割器在结石预测与胆管预测任务中进行选择。

9、具体地：

10、所述分割器的骨干网络为一个u型分割网络，该网络由编码器、解码器、连接两个部分的卷积操作块和不同级别之间的通道级连接作为捷径组成；

11、编码器部分由八个编码块组成，每个块将通道数增加两倍，包括卷积层、归一化层和激活单元。特征的空间尺寸通过带有步幅2的池化层来减小。因此，编码部分的输出特征大小是原始图像的

12、解码器部分也由八个解码块组成，每个块扩展输入的空间尺寸，并将通道数减少两倍，包括步幅(stride)为二的转置卷积层(transposed convolution)、谱归一化层(spectral normalization)和指数线性激活单元(exponential linear unit，一般简称为elu)。在将特征传递到下一个解码块之前，来自编码部分和解码部分的相同级别的特征被拼接在一起。

13、在解码器部分的最后一个块之后，通过应用1*1卷积层和tanh激活函数生成最终输出。

14、在编码部分和解码部分之间，设有一个额外的卷积块，用于进一步处理图像高维特征，该块使用空洞卷积层。

15、此外，本发明在每个级别中引入一个额外的卷积块来替换简单的连接，同时，为了实现对分割器的特征提取环节进行干预，本发明让额外卷积块的下三级的输出由控制器的输出进行条件控制，分别采用两个独的五层多层感知器(multi-layer perceptron，简称mlp)，让最后三层学习映射函数，输出控制特征标准差和均值的调制参数对，记为a和b：

16、[a0，a1，a2]＝mlpa(k)，[b0，b1，b2]＝mlpb(k)，         (1)

17、fout,i＝ai·conv(fin,i)+bi，                              (2)

18、其中，ai、bi分别代表在上述mlp的倒数第i层输出的用于控制特征的标准差与方差，k为控制信号，规定输入“0”为预测胆管，输入“1”为预测结石。fin,i和fout,i分别表示额外卷积块在第i级的输入和输出特征，conv代表卷积操作；i＝0，1，2。

19、接下来，在生成预测掩膜之后，预测器进一步判断该掩膜的属性，也即图像中是否具有胆管、结石。预测器的输出形式为多标签输出，记为：

20、p＝[p0,p1]，                                           (3)

21、其中，p0和p1分别代表的是具有胆管、结石的概率，将其归一化到[0,1]区间内，并在测试阶段以0.5为门限对其进行二值化，要求二值化后的预测结果必须和真实结果相同。

22、对于预测器的构建，考虑到胆管与结石的识别的主要特征部分存在于较高的频率范围内，例如边缘搜寻与灰度值跳变等，因此并行使用一个常规的卷积网络层、一个srm卷积网络层和一个bayar卷积网络层，作为一般卷积的信息补充，随后使用典型的下采样全卷积网络和一个三层mlp进行结果预测。

23、(三)模型训练模块：

24、目前对于胆管结石的检测工作相对较少，所以在现有的模型基础上对胆管内结石提出一个两阶段融合检测的方法：第一阶段先识别出胆管的位置，第二阶段再识别结石的位置。同时，在对目标图像进行胆管、结石分割时，进一步对图像是否含有胆管、结石进行二值化分类预测，进一步提升预测准确率，上述两阶段融合能够准确且可靠地检测胆管结石，为医生提供辅助诊断和治疗决策的依据。

25、具体来说，由于结石一定位于胆管的内部，因此本发明利用该先验知识，首先用深度神经网络训练对胆管区域识别，设k为控制信号，规定输入“0”为预测胆管；输入“1”为预测结石。即将k设置为“0”，进行胆管预测；而后，添加网络对结石区域位置的识别，即将k设置为“1”，进行结石预测；从而使结石模型能够依赖胆管区域信息，更准确地识别与分割结石。此外，在上述两个阶段中，本发明令预测器对分割器提供的掩膜进行是否含有胆管、结石的判决，将分割任务退化为分类任务，作为额外监督，进一步提升网络准确性。

26、对于本发明构建的胆管、结石识别模型，通过大量的训练样本和迭代优化，得到的深度神经网络可以提高胆管结石的检测准确性和稳定性。

27、此外，在胆管结石检测中，本发明提出的深度神经网络还可以结合其他辅助技术，例如，在胆管、结石图像数据标注模块中，还包括数据增强模块，该模块通过旋转、缩放、翻转、图像有损jpeg压缩操作，对标注好的图像进行轻微扰动，生成更多的训练样本，扩大网络的泛化能力。

28、又如，在模型训练模块中，还包括自适应阈值模块和后处理模块；

29、所述自适应阈值模块是在网络训练阶段除了对胆管图像进行预测外，还额外对于每个图像的分割结果二值化阈值进行预测。具体来说，传统的二值化分割方法一般会手动指定0.5作为阈值，而本发明提出令分割网络额外输出自适应阈值，可以根据不同的胆管结石特征进行调整，使得分割结果更加准确。在训练阶段，该自适应阈值的标签设为能够使灰度图像形式的网络输出经过二值化后与标签掩膜之间的iou值最大的阈值，本发明将网络输出的阈值与该标签进行额外的有监督回归学习。

30、所述后处理模块，是通过对网络预测的二值化后的图像进行噪声去除、空洞填充和平滑边界等操作，进一步优化分割结果，提高胆管结石的检测效果。具体来说，首先对预测得到的二值化掩膜进行以像素宽度为3、核形状为正方形的图像腐蚀运算，对预测噪点进行消除，再利用像素宽度为3、核形状为正方形的图像膨胀运算，重新填充图像。再对处理后的图像经过宽度为3的图像膨胀与腐蚀操作，连接断开的预测结果。

31、综上所述，本发明提出的胆管结石检测系统，通过深度学习和图像分割技术，能够准确、自动地检测和识别胆管结石，提高诊断的准确性和可靠性。具有较高的应用价值和推广潜力，在临床实践中有望为医生提供有力的工具，改善胆管结石的诊断和治疗效果。