基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统

1.本发明属于深度学习领域，尤其涉及一种基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.消化道黏膜下肿瘤(smt)是指起源于消化道黏膜层以下各层(主要包括黏膜肌层、黏膜下层、固有肌层)的隆起性病变。粘膜下肿瘤的病理组织学类型复杂，根据不同病理类型，需选择不同处理方式，因此，早期、正确的识别粘膜下肿瘤的类型十分重要。超声内镜(eus)是目前评估消化道黏膜下肿瘤最准确的影像学检查方法,对于消化道各种类型粘膜下肿瘤的鉴别诊断以及对肿瘤的定位和选择治疗方法方面均有重要作用。研究显示，超声内镜鉴别粘膜下肿瘤良、恶性的敏感度和特异度分别为64％和80％；且对于肿瘤直径《2cm的病变要优于电子计算机断层扫描(ct)和核磁共振成像(mri)等检查。但超声内镜具有以下局限性：(1)超声内镜检查中，各类型粘膜下肿瘤的超声图像没有明确的鉴别诊断标准，完全依靠操作者的经验来识别病变并做出分类诊断。所以不同水平操作者之间，甚至同一操作者进行的两次检查，都可能做出不同的分类诊断，诊断一致性较差；(2)超声成像的干扰因素较多，易产生伪影，影响操作者观察；(3)超声内镜扫查过程中，超声图像处于动态变化的状态，图像变化速度非常快，在检查过程中很难迅速准确地对粘膜下肿瘤进行识别和定位。
4.现有技术中提出了针对间质瘤和平滑肌瘤辅助鉴别的二分类人工智能诊断系统，但临床实践中粘膜下肿瘤组织病理学复杂，类型多种多样。发明人发现，现有的二分类诊断系统根本无法解决临床实践中面临的粘膜下肿瘤多分类问题，难以应用于临床工作。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统，其能够解决临床实践中面临的粘膜下肿瘤区域定位和多分类问题，提高超声内镜下诊断胃肠道粘膜下肿瘤的灵敏度及特异度，以辅助超声内镜操作者在检查过程中对黏膜下肿瘤进行识别、定位和分类诊断。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统，其包括：
8.超声视频片段获取模块，其用于获取胃肠道粘膜下超声视频片段；其中，所述胃肠道粘膜下超声视频片段由若干帧具有时间序列的胃肠道粘膜下超声图像构成；
9.肿瘤类型预测模块，其用于基于训练好的诊断模型按照时间序列逐帧对胃肠道粘膜下超声图像的肿瘤类型进行预测；
10.肿瘤诊断及位置确定模块，其用于筛选出胃肠道粘膜下超声视频片段中预测的病灶个数最高的肿瘤类型，作为胃肠道粘膜下肿瘤诊断类型，并标注出该肿瘤诊断类型的所在位置。
11.本发明的第二个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
12.获取胃肠道粘膜下超声视频片段；其中，所述胃肠道粘膜下超声视频片段由若干帧具有时间序列的胃肠道粘膜下超声图像构成；
13.基于训练好的诊断模型按照时间序列逐帧对胃肠道粘膜下超声图像的肿瘤类型进行预测；
14.筛选出胃肠道粘膜下超声视频片段中预测的病灶个数最高的肿瘤类型，作为胃肠道粘膜下肿瘤诊断类型，并标注出该肿瘤诊断类型的所在位置。
15.本发明的第三个方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
16.获取胃肠道粘膜下超声视频片段；其中，所述胃肠道粘膜下超声视频片段由若干帧具有时间序列的胃肠道粘膜下超声图像构成；
17.基于训练好的诊断模型按照时间序列逐帧对胃肠道粘膜下超声图像的肿瘤类型进行预测；
18.筛选出胃肠道粘膜下超声视频片段中预测的病灶个数最高的肿瘤类型，作为胃肠道粘膜下肿瘤诊断类型，并标注出该肿瘤诊断类型的所在位置。
19.与现有技术相比，本发明的有益效果是：
20.本发明提供了一种基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统，其基于诊断模型按照时间序列逐帧对胃肠道粘膜下超声图像的肿瘤类型进行预测，将胃肠道粘膜下超声视频片段中预测的病灶个数最高的肿瘤类型作为胃肠道粘膜下肿瘤诊断类型，同时能够准确标注出该肿瘤诊断类型的所在位置，实现了胃肠道粘膜下肿瘤多分类的准确性，解决了现有的二分类诊断系统根本无法解决临床实践中面临的粘膜下肿瘤多分类问题，提高了超声内镜下诊断胃肠道粘膜下肿瘤的灵敏度及特异度，能够辅助超声内镜操作者在检查过程中对黏膜下肿瘤进行识别、定位和分类诊断。
21.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
22.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
23.图1是本发明实施例的基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统的结构图；
24.图2(a)-图2(b)是本发明实施例的胃肠道粘膜下肿瘤超声图像真实病例示例图；
25.图3是本发明实施例的胃肠道粘膜下肿瘤超声图像标注实例；
26.图4是本发明实施例的胃肠道粘膜下肿瘤超声图像标注训练集的分布；
27.图5是本发明实施例的胃肠道粘膜下肿瘤超声图像数据增强示例图；
28.图6是本发明实施例的csp-block结构图；
29.图7是本发明实施例的backbone的结构图；
30.图8(a)-图8(f)是本发明实施例的fpn系列结构示意图；
31.图9是本发明实施例的head部分的结构图；
32.图10是本发明实施例的胃肠道粘膜下超声图像的肿瘤类型及其位置。
具体实施方式
33.下面结合附图与实施例对本发明作进一步说明。
34.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
35.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
36.术语解释：
37.超声图像的成像原理：
38.超声图像需要三个步骤：发射声波，接收反射声波，信号分析处理得到图像；超声波探头是通过压电陶瓷换能器发射超声波，不同的探头能够发射的声波频率不同。声学超声波的频率一般在2-13mhz，声波频率越高衍射越弱，成像分辨率越高；但与此同时，频率越高，声波衰减也越快，穿透的深度也越小。因此，在探测心脏的时候，只能用频率较低的声波，否则探测的深度不厚，此时的成像效果会差一些；而在探测颈动脉，股动脉等表皮下方的血管时，就用频率高的声波，此时的成像清晰。临床试验中采用的心脏探头为2-4mhz，血管探头为10mhz。而接受反射波的依旧是同一个超声探头，压电陶瓷换能器将声波信号转换为电信号，之后电脑上的系统进行信号处理成像。对于b型超声波显示的是探头面向的组织切面的二维灰度图。我们知道确定二维灰度图上的每个点需要3个信息(x,y,灰度)，由于超声波在人体内接触到组织会反射，不同的组织声阻抗不同，根据接收到的回波反射率计算得到的声阻抗，对应于图像上的灰度(比如血管壁的组织声阻抗差不多，在图像上的灰度值就差不多，就可以在超声下看到血管的形状)，假设探头是1维的，那么探头上每一个探针的位置就对应1个横坐标x，纵坐标是由发射和接收声波的时间差决定的，假设声波在人体传播的速度相同，那么时间越长表示反射组织的位置越深，由后得到的灰度图，可以看到组织轮廓，并可以进行测量，如血管的直径，面积，eus的成像原理即是上述描述的过程，其成像结果如图2(a)-图2(b)所示。
39.实施例一
40.如图1所示，本实施例的基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统，其具体包括如下模块：
41.(1)超声视频片段获取模块，其用于获取胃肠道粘膜下超声视频片段；其中，所述胃肠道粘膜下超声视频片段由若干帧具有时间序列的胃肠道粘膜下超声图像构成。
42.(2)肿瘤类型预测模块，其用于基于训练好的诊断模型按照时间序列逐帧对胃肠
道粘膜下超声图像的肿瘤类型进行预测。
43.在具体实施过程中，所述诊断模型由有backbone、neck和head三部分构成，所述backbone部分用于从各帧胃肠道粘膜下超声图像中提取特征，所述neck部分用于融合所述backbone部分提取的特征，所述head部分用于基于所述neck部分融合的特征耦合预测得到肿瘤类型标签(label)概率及其对应的边界框位置(bounding box的坐标)。其中，head部分结构如图9所示。
44.其中，所述backbone部分由若干个重复的csp-block结构串联构成，每个csp-block结构由cbw结构和res结构构成，如图6所示。图6中的csp-block也可应用在不同的网络结构中，比如densenet,resnet,se-net等等，其基本构成方式有2部分分别为cbw和res，cbw是卷积(conv),批标准化(bn)和swish激活函数构成的基本单元；res本质是一个残差结构其中一个分支由2个cbw模块串联，然后另一个恒等变换的分支与之进行逐元素相加(add)作为该结构的output。有了上述两个基本结构，我们定义csp-block_x,csp-block_x表示该csp-block结构中的某些基本结构有x个重复的串联结构实现，如图6所示，csp-block_x其中一个主要分支是由x个cbw结构和x个res结构构成。
45.这里需要说明的是，x可以很好的控制网络结构的复杂度和深度，更好的兼容不同硬件的部署，本发明实施例建议x＝2或3。
46.如图7所示，所述backbone部分的基本结构是由csp-block_x构成的。
47.图8(a)-图8(f)为fpn系列结构示意图。其中，图8(a)为fpn结构，图8(b)为panet结构，图8(c)为nas-fpn结构，图8(d)为fully-connected fpn结构，图8(e)为simplified fpn结构，图8(f)为bifpn结构。为了兼顾大小目标的检测精度，所述neck部分采用bifpn结构，如图8(f)所示。其中，不同特征提取阶段分别有p1-p5的结点输出，随着网络深度的变化，浅层网络的特征图小，对于小目标的检测效果相对较好比如这里的p1输出结点，深层网络的特征图大，对于大目标的检测效果较好比如这里的p5输出结点。
48.neck部分的作用就是更好地融合/提取backbone所给出的feature，从而提高网络的性能，兼顾小目标，中等目标，大目标和超大目标的检测和识别。这部分除了使用本发明实施例介绍的fpn类型的结构外还有诸如asff，rfb，spp等模块。
49.在具体实施过程中，在所述诊断模型训练之前，还包括构建训练样本集，所述训练样本集由若干标注的胃肠道粘膜下超声图像构成。
50.消化道粘膜下肿瘤(smt)的超声内镜表现不论食管，胃，结直肠都是类似的，但是疾病谱有所不同，总体可以分成两大类：
51.a：偏良性的smt比如平滑肌瘤，脂肪瘤，颗粒细胞瘤，施万细胞瘤/神经鞘瘤，异位胰腺，布氏腺腺瘤，囊肿；
52.b：偏恶性的smt比如间质瘤：低危，高危神经内分泌肿瘤低危，高危血管球瘤，平滑肌肉瘤，消化道转移癌或呈smt表现的原发癌。
53.其一般的规律性为：
54.1)布氏腺腺瘤只存在于十二指肠；
55.2)食管的smt平滑肌瘤最常见；
56.3)神经内分泌肿瘤多见于直肠，其次是胃，白光下呈黄色，表面可见微血管；
57.4)间质瘤最好发于胃，结直肠少见，食管最少见；
58.5)异位胰腺多数见于胃窦，白光下可见病变中央有脐样凹陷；
59.6)颗粒细胞瘤常见于食管，白光下呈淡黄色；
60.7)脂肪瘤常见于结肠，其次是胃窦，白光内镜呈黄色；
61.8)神经鞘瘤多见于胃，其次为结直肠。
62.基于开源的标注工具labelimg，标注平滑肌瘤(liomyoma)，脂肪瘤(lipoma)，异位胰腺(pancreatic rest)，间质瘤(gist)，囊肿(cyst)，神经内分泌肿瘤(net)，消化道转移癌或呈smt表现的原发癌(cancer)，其标注效果如图3所示，最终标注的数据分布如图4所示。
63.在一个或多个实施例中，构建训练样本集之后，还包括：对训练样本集中的样本数据进行增强操作。
64.其中，数据增强的目的是：提升特征的鲁棒性与模型的泛化性。一般来讲，数据增强是可以提升模型性能，但是并不是所有方法都成立，要考虑性价比。数据增强与数据集和任务存在一定关联性。色彩增强对分类问题有效、翻转等对目标检测有效。
65.具体地，数据增强可采用如下操作方式：
66.a.数据增强-基于pixel：
67.亮度：像均值反应。也就是改变了图像的均值。
68.对比度：均值不变的情况下，缩放差别。也就是图像均值不变，各色彩的方差增大。
69.颜色饱和度：rgb转向hsv，再增加饱和度。
70.b.数据增强-基于位置变换：如：水平或垂直翻转，平移，旋转，缩放，剪裁。
71.c.数据增强-其他：如mixup方法，两个目标融合成一个目标，cutout随机丢弃图像中的一部分，就相当于针对遮挡问题的增强。在图像中随机找到一个部分，像素全部置0，cutmix，mosaic。
72.上述的数据增强方法在训练过程中分别以分层随机的概率进行增强，并且在每个训练批次中仅对图像中的30％进行数据增强操作。其随机增强的效果如图5所示。
73.本实施例采用深度学习的训练方式比如后向传播，采用sgd作为优化器，为了避免过拟合问题，我们采用label smoothing，l2正则化和early stopping的方式，损失函数方面分类损失采用focal loss，回归损失采用ciou loss，在v100显卡上训练epoch＝300，初始学习率设为0.001，wormup设为1，采用余弦学习率衰减方式训练模型。
74.(3)肿瘤诊断及位置确定模块，其用于筛选出胃肠道粘膜下超声视频片段中预测的病灶个数最高的肿瘤类型，作为胃肠道粘膜下肿瘤诊断类型，并标注出该肿瘤诊断类型的所在位置。最终的预测和推断结果展示如图10所示。
75.本实施例通过人工智能辅助诊断的方式，对eus下多种smt进行多目标检测，其检测精度如表1所示：
76.表1检测精度
[0077][0078]
通过表1可看出：本实施例的该诊断模型识别精度高，并且对硬件依赖度低，无论从识别精度还是识别速度及硬件成本考虑，该发明实施例均可实时完成eus检查过程中的smt辅助多目标检测诊断的需求。
[0079]
为了消除目前目标检测类问题带来的通用的问题：部分假阳性目标误识别的问题，在后处理部分本发明实施例增加了基于视频帧的时序判断，该方式仅存在于eus(超声内镜)检查过程中的smt(消化道黏膜下肿瘤)诊断过程，而无需在训练阶段标注大量的基于视频帧的标注数据实现。其主要的实现逻辑是基于视频片段中每一帧的检测结果，统计该视频片段中检测到的各类别smt的病灶个数，最终的诊断模型在该视频片段的预测结果是预测病灶个数最高的smt类别和对应的该类别所在的位置。这种基于视频帧的后处理方式的优点是简单，并且可以有效的减少目标检测中因特征表达原因导致的假阳性误识别。
[0080]
实施例二
[0081]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
[0082]
获取胃肠道粘膜下超声视频片段；其中，所述胃肠道粘膜下超声视频片段由若干帧具有时间序列的胃肠道粘膜下超声图像构成；
[0083]
基于训练好的诊断模型按照时间序列逐帧对胃肠道粘膜下超声图像的肿瘤类型进行预测；
[0084]
筛选出胃肠道粘膜下超声视频片段中预测的病灶个数最高的肿瘤类型，作为胃肠道粘膜下肿瘤诊断类型，并标注出该肿瘤诊断类型的所在位置。
[0085]
其中，所述诊断模型由有backbone、neck和head三部分构成，所述backbone部分用于从各帧胃肠道粘膜下超声图像中提取特征，所述neck部分用于融合所述backbone部分提取的特征，所述head部分用于基于所述neck部分融合的特征耦合预测得到肿瘤类型标签概率及其对应的边界框位置。
[0086]
此处需要说明的是，本实施例中的各个步骤与实施例一中的各个模块，其具体实施过程相同，此处不再累述。
[0087]
实施例三
[0088]
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
[0089]
获取胃肠道粘膜下超声视频片段；其中，所述胃肠道粘膜下超声视频片段由若干帧具有时间序列的胃肠道粘膜下超声图像构成；
[0090]
基于训练好的诊断模型按照时间序列逐帧对胃肠道粘膜下超声图像的肿瘤类型进行预测；
[0091]
筛选出胃肠道粘膜下超声视频片段中预测的病灶个数最高的肿瘤类型，作为胃肠道粘膜下肿瘤诊断类型，并标注出该肿瘤诊断类型的所在位置。
[0092]
其中，所述诊断模型由有backbone、neck和head三部分构成，所述backbone部分用于从各帧胃肠道粘膜下超声图像中提取特征，所述neck部分用于融合所述backbone部分提取的特征，所述head部分用于基于所述neck部分融合的特征耦合预测得到肿瘤类型标签概率及其对应的边界框位置。
[0093]
此处需要说明的是，本实施例中的各个步骤与实施例一中的各个模块，其具体实施过程相同，此处不再累述。
[0094]
本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0095]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。