一种基于集成学习的消化道内镜检查辅助系统

本发明涉及检查辅助设备，具体涉及一种基于集成学习的消化道内镜检查辅助系统，该辅助系统调控消化道中不同区域的图像采集数量，其工作过程不属于诊断方法。

背景技术：

1、随着社会发展，人们饮食习惯变化，我国消化道疾病的发病率逐年增加。有研究表明，结肠镜检查中腺瘤检出率与结直肠癌的发生率及死亡率呈负相关。而借助消化道内窥镜技术(endoscopy)，如胃镜(gastroscopy)、结肠镜(colonoscopy)、无线胶囊内镜(wireless capsule endoscopy，wce)等，可直观地检查消化道肠腔黏膜病变，是检测消化道疾病的重要手段。

2、目前临床的内镜检查术中诊断主要依赖于医生人工诊断。而医生人工诊断往往容易因为采集的病灶区域图像数量不足而产生漏诊和误诊，导致检查准确率和效率较低。虽然有部分研究也针对术中的实时病灶检测，以此来对医生术中检查提供帮助，如：公开号为“cn113990456a”的专利申请提供了“一种基于深度学习的消化道早期癌症图形分析筛查系统”，其需要医生手动的对可疑区域进行截取分析后获得病灶检测数据；公开号为“cn114569043a”的专利申请提供了“一种基于人工智能的内窥镜辅助检查方法及装置”，其需要医生针对可疑区域手动选择不同模型来检测不同的病灶。

3、上述现有技术依赖于医生的主观意识、效率较低，无法自动在增加高风险区域的图像采集数量，或向医生提示高风险区域的出现，难以在术中为医生提供实时的预警以及高效的帮助。

技术实现思路

1、本发明的目的在于提供一种基于集成学习的消化道内镜检查辅助系统；该辅助系统调控消化道中不同区域的图像采集数量，其工作过程不属于诊断方法。

2、第一方面，本发明提供一种基于集成学习的消化道内镜检查辅助系统，其包括数据获取模块、识别模块、预警模块和图像采集控制模块。数据获取模块连接至内镜检查设备，实时接收内镜检查设备采集的消化道图像，并将消化道图像输送至识别模块。识别模块通过异常分析模型实时判断消化道图像中是否存在疑似目标。预警模块用于在识别模块检测到疑似目标时发出预警信号，使得内镜检查设备增加发现疑似目标的区域的图像采集数量。所述的异常分析模型包括依次相连的主干特征提取模块、网络层模块和预测模块。图像采集控制模块用于控制内镜检查设备的采样频率。

3、作为优选，所述的主干特征提取模块采用resnet50vd_dcn网络。

4、作为优选，所述的网络层模块包括路径聚合网络(即panet网络，pathaggregation network)、position embedding模块和transformer encoder模块。positionembedding模块将输入异常分析模型的图像分为多个块(patch)及对应的位置信息；position embedding模块和主干特征提取模块输出的特征信息结合后输入transformerencoder模块；transformer encoder模块对输入的特征信息进行重新编码，合成带有位置信息的特征图；transformer encoder模块输出的特征图与主干特征提取模块低层、中层输出的特征信息均输入路径聚合网络；路径聚合网络对输入的特征进行融合。

5、作为优选，所述的预测模块采用yolov5的分类回归层对经过网络层模块处理的图像特征进行预测。

6、第二方面，本发明提供一种消化道内镜检查辅助方法，其使用前述的消化道内镜检查辅助系统。

7、该消化道内镜检查辅助方法，包括以下步骤：

8、s1、获取多张带标签的消化道内窥镜图像，划分为数据集d和数据集t。其中，数据集d用于对初级异常模型的训练，数据集t用于对最终的强化异常分析模型的测试。利用自助采样法从数据集d中进行随机采样，从而得到构建初级异常分析模型的训练集，每个训练集均对应有一个来自于数据集d的测试集。利用自助采样法获得n个训练集

9、s2、使用步骤s1中所获得的n个不同的训练集，分别对异常分析模型进行训练；得到n种不同的初级异常分析模型，即基模型。

10、s3、使用加权平均法将步骤s2中所获得的n个基模型集成为一个强化异常分析模型并进行优化。

11、s4、使用内镜检查设备对被检测者的消化道进行图像采集；采集过程中获得的消化道图像实时输入强化异常分析模型h(x)；强化异常分析模型h(x)判断消化道图像中是否存在疑似目标；当强化异常分析模型h(x)在实时回传的消化道图像中检测到疑似目标时，内镜检查设备增加存在疑似目标的区域的图像采集数量。

12、作为优选，步骤s1的具体过程如下：

13、s11、将带标签的消化道内窥镜图像集合，划分为数据集d和数据集t。其中，数据集d用于初级异常分析模型的训练，数据集t用于对最终的强化异常分析模型的测试和优化。

14、s12、通过自助采样法对数据集d进行采样，每次随机从数据集d中挑选一个样本，并将其拷贝后放入初始为空集的采样数据集d'，所选样本在数据集d依然保留；假设数据集共有m个样本，则采样过程重复执行m次，得到一个同样包含m个样本的采样数据集d'。由于有放回采样的缘故，数据集d中一部分样本将不会被采样到采样数据集d'中，其未被采样的概率为(1-1/m)m。将数据集d中未被采样到采样数据集d'中的样本数据作为初级异分析模型的测试集。初级异常分析模型测试集和训练集的比例由m决定。

15、s13、重复步骤s12中的步骤n次，获得n个不同的训练集及其对应的测试集。

16、作为优选，步骤s2的具体过程如下：

17、s21、使用步骤s1得到的n个训练集分别进行模型训练，获得n个不同的初级异常分析模型；分别利用各训练集对应的测试集，对这n个模型进行测试，分别得到n个模型的置信得分，以及各模型在不同目标大小下的准确率和召回率。

18、s22、根据对应的准确率和召回率分别对n个不同初级异常分析模型进行参数调整后继续训练模型，直到对于每一个训练集都训练得到一个最优的模型，作为初级异常分析模型hi(x)。

19、作为优选，步骤s3的具体过程如下：

20、s31、提取n个初级异常分析模型的总体精确率ap、小目标下的精确率aps、中等目标下的精确率apm、大目标下的精确率apl、总体查全率ar；将第i个初级异常分析模型hi(x)的上述五个指标分别记为i＝1,2,...,n；分别设定指标的权重的初始值。构建n个初级异常分析模型hi(x)的权重wi的表达式如下：

21、

22、s32、根据n个初级异常分析模型hi(x)及其对应的权重wi，构建强化异常分析模型h(x)如下：

23、

24、s33、使用数据集t对强化异常分析模型h(x)的性能进行评估，根据评估结果调整各基模型的指标并重新构建强化异常分析模型h(x)。

25、s34、重复步骤s33，直到获得最优的异常分析模型h(x)。

26、作为优选，指标的权重的初始值分别设定为0.4，0.2，0.15，0.15，0.1；j＝1,2,3,4,5。

27、作为优选，所述的强化异常分析模型h(x)检测到疑似目标时，预警模块发出提示音和/或点亮警示灯。

28、本发明具有的有益效果是：

29、1、本发明在内镜检查设备采集消化道图像的同时，对所得消化道图像进行实时分析，从而增加消化道中存在异常风险较高的区域的图像采集数量，提高了内镜检查设备采集图像的针对性，有助于提高医生对消化道图像的分析效率。

30、2、本发明采用集成学习和深度学习结合的方法来生成强化异常分析模型，能够提高模型识别的准确率，从而更有针对性地提高局部图像采样数量。