基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质的制作方法

本发明涉及图像识别技术与图像分割技术领域，特别涉及基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质。

背景技术：

胆结石是世界范围内的常见病，在传统诊断方法中，医师通过采集的医学图像，按照以往的经验对胆结石进行提取和标记，这种依靠经验的诊断方法带来极大的主观性，同时胆结石的ct影像特征与急性胆囊炎等疾病的特征及其相似，极易造成漏诊和误诊，对于医生的经验及专业素养有极大的依赖，诊断的准确性受到限制。

医疗领域逐步开始借助人工智能技术与计算机视觉的相关技术进行辅助诊断，而且有很多成功的案例，在肺结节人工智能识别以及皮肤病的人工智能识别方面，人工智能技术已经超过人类医师的诊断效果，胆结石作为一种常见且漏诊和误诊率高的疾病，亟需一种人工智能识别手段对医生进行辅助，胆结石的大小和形状对后续的治疗也具有重要影响，现阶段也是通过医师对轮廓进行手动勾画，存在极大的主观性，因此对胆结石的形态进行自动提取也是及其必要的。

技术实现要素：

本发明实施例提供了一种基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种基于深度学习的胆结石自动识别及自动分割系统。

在一些可选实施例中，所述系统包括目标检测与目标分割模型，目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部ct图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，可以清晰地定量分析胆结石的大小及形状等特征。

可选的，所述特征提取网络使用跳跃金字塔模块对胆结石ct图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。

可选的，所述的目标检测网络中候选区生成器的对特征提取后的特征图进行筛选，生成胆结石的候选区域的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类和限定框回归，过滤掉一部分候选区域，对剩下的候选区域进行roialign操作，即把原图的特征图与像素对应起来。

可选的，所述的目标分割网络即对腹部ct图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个u形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。

可选的，所述视觉注意力机制，使用视觉注意力机制提升目标分割的能力，模拟医生检查ct图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。

可选的，对所述的特征提取网络使用imagenet的预训练模型进行初始化，对所述的目标检测网络使用imagenet的预训练模型进行初始化。

根据本发明的实施的第二方面，提供一种计算机设备。

在一些可选实施例中，所述计算机设备，包括存储器，显卡，中央处理器，以及存储在所述存储器上的可被所述中央处理器以及显卡并行处理的可执行程序，器特征在于，所述中央处理器所执行所述程序时实现一下步骤：构建目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部ct图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，即掩膜，可以清晰地定量分析胆结石的大小及形状等特征。

可选的，所述特征提取网络使用跳跃金字塔模块对胆结石ct图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。

所选的，所述的目标分割网络即对腹部ct图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个u形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数后获得最终的输出特征图，即每个像素的分类结果。

可选的，所述视觉注意力机制，其特征在于，使用视觉注意力机制提升目标分割的能力，模拟医生检查ct图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。

可选的，对所述的特征提取网络使用imagenet的预训练模型进行初始化，对所述的目标检测网络使用imagenet的预训练模型进行初始化。

本发明实施例提供的技术方案可以包括以下有益效果：

利用计算机视觉技术及人工智能技术对ct序列进行智能处理，能够避免医生诊断带来的主观影响，自动对胆结石的识别与分割，能够协助医生完成对胆结石更加精确地诊断，并标定胆结石的形态与位置，减少人工操作，处理速度快，有利于集成和大规模的应用。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性示出的一种深度学习的胆结石自动识别及分割系统的框图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

图1出示了深度学习的胆结石自动识别及分割系统的一个可选实施架构。

该可选实例中，所述系统包括目标检测与目标分割模型，所述目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部ct图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，可以清晰地定量分析胆结石的大小及形状等特征。

可选的，所述特征提取网络使用跳跃金字塔模块对胆结石ct图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。

可选的，所述的目标检测网络中候选区生成器的对特征提取后的特征图(featuremap)进行筛选，生成胆结石的候选区的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类和限定框回归，过滤掉一部分候选区域，对剩下的候选区域进行roialign操作，即把原图的特征图与像素对应起来。

可选的，所述的目标分割网络即对腹部ct图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个u形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数(softmax)后获得最终的输出特征图，即每个像素的分类结果。

可选的，所述视觉注意力机制，使用视觉注意力机制提升目标分割的能力，模拟医生检查ct图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。

可选的，对所述的特征提取网络使用imagenet的预训练模型进行初始化，对所述的目标检测网络使用imagenet的预训练模型进行初始化。

可选的，所述标检测与目标分割模型还包括训练过程，下边给出标检测与目标分割模型的训练过程的一个具体实施例。

该实施例中,在目标检测与目标分割模型的训练过程中,首先,人工标记出胆结石上腹部增强ct图像数据作为训练数据,训练过程中使用在imagenet中预训练好的resnet模型用于对特征提取网络进行初始化:使用批处理归一化(batchnormalization)对输入层重新定心和重新缩放进行归一化，从而使人工神经网络更快、更稳定，然后,对两个网络同时进行训练，初始学习率为1e-3，对两个分支网络分别设置损失函数(lossfuction)，在训练过程中通过计算预测值与真实值之间的误差，利用adam优化器调节网络参数,然后通过不断迭代，不断降低两个并行的损失函数值，我们使用验证集尽早停止训练，监测平均iou并使用20的忍耐度(patience)，使两个分支网络最终都能够收敛。

可选地，所述人工标记出胆结石ct图像数据作为训练数据的步骤，具体为:使用由3名专业的影像科医师通过连续回放腹部增强ct全序列图像，交叉进行标注，观察图像的胆囊及胆管，以及重要血管周围等位置，同时加上规范化调窗技术并辅以局部缩放和测量功能，按照最新胆结石腹部增强ct的诊断标准，结合相应的影像学报告，标记出淋胆结石上腹部增强ct图像数据以及标记胆结石的轮廓作为训练数据。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成以下步骤:构建目标检测与目标分割模型，目标检测与目标分割模型包括：特征提取网络，以及两个分支网络包括目标检测网络和目标分割网络，首先利用特征提取网络对输入的腹部ct图像进行卷积池化等操作特征提取；将提取的特征图利用目标检测网络进行回归以及分类，输出胆结石的位置与概率；同时，图像分割网络利用反卷积将卷积和池化的特征图进行上采样，将图像恢复到原图像大小，并最终得到胆结石的分割后的轮廓，可以清晰地定量分析胆结石的大小及形状等特征。

可选的，所述特征提取网络使用跳跃金字塔模块对胆结石ct图像的特征进行多尺度提取，其核心思想在于使用多个不同大小的卷积核对全局特征及精细特征进行提取，多个不同大小的卷积核进行并联，提取不同尺度特征后将所有特征图进行连接。

可选的，所述的目标检测网络中候选区生成器的对特征提取后的特征图(featuremap)进行筛选，生成胆结石的候选区的步骤，其具体包括：将经过特征提提取网络后的特征图设定预定个数的候选区域，从而获取特定个数的候选区域，将这些候选区域送入区域候选网络进行二值分类和限定框回归，过滤掉一部分候选区域，对剩下的候选区域进行roialign操作，即把原图的特征图与像素对应起来。

可选的，所述的目标分割网络即对腹部ct图像的每个像素点进行分类，确定每个点所属的类别，目标分割网络作为一个分支连接到特征提取网络之后，主要进行反卷积操作，形成一个u形网络，其具体包括：特征提取网络后得到的特征图反卷积进行上采样，与裁剪之前的低层特征图，进行融合；然后再次上采样。重复这个过程，直到获得输出与原图大小相同的特征图，最后经过归一化指数函数(softmax)后获得最终的输出特征图，即每个像素的分类结果。

可选的，所述视觉注意力机制，使用视觉注意力机制提升目标分割的能力，模拟医生检查ct图像时的习惯，将注意力主要集中在病灶常发的部位，其核心思想在于在进行上采样的反卷积时对每个特征通道进行编码进行重要性学习，通过反向传播和梯度下降，经过不断的迭代优化调整通道的权重，对于影响结果越大的特征图进行加权处理，削弱对结果影响小的特征图。

可选的，对所述的特征提取网络使用imagenet的预训练模型进行初始化，对所述的目标检测网络使用imagenet的预训练模型进行初始化。

上述非临时性计算机可读存储介质可以是只读存储器(readonlymemory,rom)、随机存取存储器(randomaccessmemory,ramd、磁带和光存储设备等。

本发明利用计算机视觉技术及人工智能技术对ct序列进行智能处理，能够避免医生诊断带来的主观影响，自动对胆结石的识别与分割，能够协助医生完成对胆结石更加精确地诊断，并标定胆结石的形态与位置，减少人工操作，处理速度快，有利于集成和大规模的应用。

本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应当理解的是,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。