胶囊式内窥镜检查中小肠病变的自动检测和区分的制作方法

本发明涉及医学图像数据中的病变检测和分类。更具体地，涉及胶囊式内窥镜图像中小肠病变的自动识别以评估病变严重性和随后的医学治疗。

背景技术：

1、胶囊式内窥镜检查已成为小肠检查的主要内窥镜方式。通过仔细检查胶囊的视频帧，医生能够检测、识别和表征胃肠道内壁中的病变。然而，这种视频胶囊式内窥镜检查对于胃肠病学家来说是非常耗时的，并且容易出现人为错误和疏忽。相反，在胶囊式内窥镜检查中，这样的图像的记录是容易获得的，并且被数字地存储用于后验检查和比较。在此背景下，图像数据为使用用于病变表征以及随后的决策制定的机器学习系统的计算机辅助诊断创造了稳健的基础。小肠病变的病变检测和分类的目标是产生病变严重性的更准确、彻底的自动化表征，并有助于医学诊断和治疗。

2、valério,maria teresa et al.在"lesions multiclass classification inendoscopic capsule frames."procedia computer science 164(2019):637-645中提高了医学专家对小肠病变的耗时和易错识别的认识。此外，作者提出了一种基于医学注释的无线胶囊式内窥镜检查图像上的深度学习网络来识别这些病变的自动方法。

3、li,xiuli,et al.在"exploring transfer learning for gastrointestinalbleeding detection on small-size imbalanced endoscopy images."2017 39thannual international conference of the ieee engineering in medicine andbiology society(embc).ieee,2017中探索了在大型图像表示上使用神经网络、在内窥镜检查图像的小型同期群上用于胃肠出血检测的迁移学习。

4、文献cn 110705440将图像过滤进入三个通道并将它们分别输入到用kvasir数据集训练的卷积网络模型中。

5、文献us 2020/065961 a1使用卷积网络来将数据分类到不同的颗粒尺度以检测生物组织中的病变。数据要求在图像中识别缺陷/损伤区域。

6、文献cn 111127412a提供了一种基于生成对策网络的病理图像识别设备，旨在解决现有其他病理识别方法对经验的依赖、耗时的人工注释成本、低识别效率、精度差的问题。该方法用于评估克罗恩病病变，但不区分每个图像呈现哪种类型的病变。

7、文献cn 107730489a公开了一种具有小肠病变计的无线胶囊式内窥镜，用于有效且准确地检测小肠病变。小肠病变的分类和定位通过图像分割算法实现。本文档不使用迁移学习，不区分病变类型，也不主动使用新数据更新训练数据，以便进行下一个训练生成。

8、文献cn 111739007a公开了一种由卷积神经网络训练的气泡区域识别器，其不考虑小肠病变的分类。

9、胃肠疾病，例如小肠的内部病变，是流行病学上常见的疾病。通常，当不诊断和治疗这些病变时，可能具有不利的临床结果。胃肠内窥镜检查在诊断和治疗消化癌症、炎性肠病和其他胃肠病状中具有关键作用。例如，如果早期检测到结肠直肠息肉，则可以安全地除去结肠直肠息肉并预防结肠直肠癌。因此，必须检测所有息肉。胃肠内窥镜检查的关键作用的另一个例子是通过检测小肠和结肠中的溃疡和糜烂来内窥镜评估炎性肠活动。评估炎性肠病活性对于诊断、治疗和控制炎性肠病患者是至关重要的。然而，胃肠内窥镜检查是费时费力且具有挑战性的任务。有时，内窥镜医师可能出现疲劳迹象或注意力缺陷、无法准确识别所有相关的内窥镜检查结果。更具体地，胶囊式内窥镜检查是用于评估胃肠道，特别是用于小肠内窥镜检查的微创选择。实际上，胶囊式内窥镜检查是评估小肠(即不明原因的胃肠道出血和小肠病理)的金标准和一线检查。

10、内窥镜图像采集是了解患者肠道的最先进技术。通常，内窥镜元件设置有便携式图像记录设备和将这些捕获转换为数字化表示并能够存储在个人计算机中的装置。

11、由于内窥镜图像的采集的性质，通常缺乏光或其他摄影条件以允许直接执行小肠的分类。在此背景下，已经提出了机器学习技术来自动地执行这样的任务，但是最新的机器学习技术未能呈现可以在临床实践中使用的总体精度或假阴性率，并且因此导致不适当的治疗。

技术实现思路

1、本发明提供了一种用于基于深度学习的识别内窥镜图像中的小肠的普遍病变并对其进行准确区分的方法。这种小肠病变的自动识别、分类和出血风险估算在临床实践中用于诊断和治疗计划。

2、最初，通过使用具有imagenet1集的给定体系结构的预训练卷积层并使用每个胶囊的内窥镜检查图像的子集进一步测试它们，示出了检测损伤的可能性。本发明的临床中断(clinical disruptive)性质由人工智能系统能力支持，从而不仅检测而且准确区分所有相关内窥镜发现/病变。实际上，神经网络区分细微多形性病变的能力在临床实践中是最重要的，允许完整的胶囊式内窥镜检查诊断。

3、此外，每个损伤的出血潜在性的分层是本发明引入到现有技术的相关新颖性。进行胶囊式内窥镜检查的最重要和最常见的适应症之一是不明原因的胃肠道出血，正确评估内窥镜发现物(finding)的出血潜在性对于临床随访管理至关重要。因此，通过准确预测胶囊式内窥镜发现物/病变的出血潜在性，本发明帮助临床团队更好地定义患者的诊断和治疗管理，这可以转化为优化的临床结果。

4、该技术可应用于胶囊式内窥镜软件，以帮助胃肠病学家检测小肠病变。此外，胶囊式内窥镜检查是一项昂贵的检查，在临床实践中具有越来越多的相关性和应用。

5、以下被认为与从本领域已知的在胶囊式内窥镜检查中检测和区分小肠病变的方法中突出本发明解决的问题有关。

6、优选的是使用机器学习技术对图像进行分类的方法。深度学习使用算法以对使用具有多重过程(multiple processing)的深度图(deep graph)的数据中的高级抽象(high-level abstraction)建模。使用多层体系结构，采用深度学习技术的机器处理原始数据以找到高度相关值或区别主题的组。

7、该方法检测胶囊式内窥镜检查图像中的相关小肠病变，并使用saurin分类系统根据其出血潜在性进行区分。saurin分类系统测量小肠病变的出血潜在性。它是患者的评估和治疗策略的有用工具。其使用对临床医生的诊断和决策具有直接影响。本发明的这样的实施方式使用迁移学习和半主动学习。迁移学习允许使用合理的数据集尺寸进行特征提取和高精度分类。半主动实现允许分类系统的连续改进。本发明的优选实施方式优选地可以根据用于胶囊式内窥镜检查图像的saurin分类系统或半主动学习策略来使用用于胶囊式内窥镜检查图像上的特征提取的迁移学习。

8、随后，该方法将数据集分成多个分层的份(stratified fold)，优选地，其中相对于给定患者的图像仅包括在一个份中。此外，附加地或可替换地，通过将患者分组至随机的份来训练和验证这些数据，即，来自任意患者的图像属于训练集或验证集。

9、优选的是这样的方法，其使用选择的训练集和验证集来进一步训练一系列网络体系结构组合，所述网络体系结构组合尤其包括特征提取和分类组件。要训练的一系列卷积神经网络包括但不限于：vgg16、inceptionv3、xception efficientnetb5、efficientnetb7、resnet50和resnet125。优选地，它们的权重被冻结，除了批量归一化层之外，并且与分类组件耦合。分类组件包括至少两个密集连接层(dense layer)，优选尺寸为2048和1024，以及至少一个在它们之间优选为0.1英寸的丢弃层(dropout layer)。

10、可替换地，但不是优选地，分类组件可与更多密集连接层或与不同尺寸的密集连接层一起使用。可替换地，但不是优选地，也可以在没有丢弃层的情况下使用分类组件。

11、此外，另外，根据总体精度和灵敏度来选择最佳执行体系结构。性能指标(performance metrics)包括但不限于f1指标。此外，该方法优选地使用最佳执行的体系结构来训练一系列分类组件组合，所述分类组件组合优选地包括但不限于从4096开始并减半直到512的顺序的二到四个密集连接层。在最后两层之间有0.1丢弃速度的丢弃层。

12、最后，使用具有患者分组的整个数据集来训练最佳执行解(solution)。本发明的其他实施方式可以包括类似的分类网络、训练权重和超参数(hyperparameter)。

13、这些可以包括使用任何图像分类网络，新的或尚未设计的。

14、通常，该方法包括两个模块，其为其余模块提供所需数据：预测收集器和输出收集器。预测收集器读取视频并选择具有发现物的图像。输出收集器传播(pass)这些具有发现物图像用于处理。

15、本发明的有利效果的实例包括：使用来自基于云的每日递增的数据集的机器学习结果的参数进行训练；通过使用深度学习方法自动预测内窥镜检查图像，以便可以根据saurin分类系统识别和区分来自胶囊式内窥镜图像输入的小肠病变；迁移学习的使用提高了图像分类速度和相应的分类精度。