肠道内镜检查的监控方法及装置与流程

1.本技术主要涉及图像处理技术领域，具体涉及一种肠道内镜检查的监控方法及装置。


背景技术：

2.肠道内镜，也叫内窥镜，是一种通过管道进入人体，观察人体内部状况的医疗仪器。肠道内镜检查能以最少的伤害，达成观察人体内部器官的目的，是现代医学非常重要一种的观察和治疗手段。目前结直肠癌的发病率和死亡率均呈现上升趋势，其早期发现及治疗是提高肿瘤患者生存率及改善患者术后生活质量的重要方式。高质量的结直肠镜检查是提高腺瘤检出率、降低结直肠癌死亡率的关键。
3.现有技术主要靠医生手动操作进行肠道内镜检查，一般根据退镜时间、总检查时间和其他因素等粗略的对肠道内镜检查进行监控，无法准确反映医生操作质量，降低了病损检出率。
4.也即，现有技术中肠道内镜检查的监控方式不准确。


技术实现要素：

5.本技术提供一种肠道内镜检查的监控方法及装置，旨在解决现有技术中肠道内镜检查的监控方式不准确的问题。
6.第一方面，本技术提供一种肠道内镜检查的监控方法，该肠道内镜检查的监控方法包括：获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像；基于所述肠道内镜检查视频提取多张肠道内镜图像；对所述多张肠道内镜图像进行三维重建，得到肠道三维模型；将肠道三维模型展开，得到肠道内壁二维展开图，所述肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域；基于所述多张肠道留图图像确定留图区域的面积；计算所述留图区域的面积与所述肠道扫描区域的面积的留图面积占比；基于所述留图面积占比确定肠道内镜检查监控结果。
7.可选地，所述基于所述留图面积占比确定肠道内镜检查监控结果，包括：将所述多张肠道留图图像输入病灶检测模型，得到所述多张肠道留图图像中的病灶检测类别；分别将每个病灶检测类别确定为目标病灶检测类别；将目标病灶检测类别对应的肠道留图图像输入拍摄角度分类模型进行拍摄角度分类，得到目标病灶检测类别对应的肠道留图图像中的图像拍摄角度类别，其中，所述图像拍摄角度类别包括正视图角度类别、侧视图角度类别，俯视图角度类别，其中，正视图类别
为图像拍摄视角平行于肠道延伸线且由外向内的角度类别，俯视图类别为图像拍摄视角平行于肠道延伸线且由内向外的角度类别，侧视图类别为图像拍摄视角垂直于肠道延伸线的角度类别；将目标病灶检测类别对应的肠道留图图像中图像拍摄角度类别相同的肠道留图图像确定为一个病灶角度类别，得到目标病灶检测类别的病灶角度类别数量；根据目标病灶检测类别的病灶角度类别数量确定目标病灶检测类别的病灶角度参数，得到各个病灶检测类别的病灶角度参数；对各个病灶检测类别的病灶角度参数求和，得到病灶角度总参数；基于所述病灶角度总参数和所述留图面积占比确定肠道内镜检查监控结果。
8.可选地，所述基于所述病灶角度总参数和所述留图面积占比确定肠道内镜检查监控结果，包括：获取属于目标病灶检测类别的肠道留图图像的数量；基于属于目标病灶检测类别的肠道留图图像的数量确定目标病灶检测类别的留图数量参数，得到各个病灶检测类别的留图数量参数；对各个留图数量参数求和，得到留图数量总参数；基于所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果。
9.可选地，所述基于所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果，包括：获取退镜时的退镜速度信息；根据所述退镜速度信息确定退镜超速次数和每次超速的超速时长，其中，退镜速度大于给定速度阈值时确定退镜超速；基于每次超速的超速时长确定每次超速的超速时长参数；根据每次超速的超速时长参数确定超速时长总参数；根据退镜超速次数确定超速次数总参数；基于所述超速次数总参数、所述超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果。
10.可选地，所述基于所述超速次数总参数、所述超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果，包括：获取肠道扫描区域在肠道内壁二维展开图的扫描面积占比；基于扫描面积占比确定扫描视野参数；基于所述扫描视野参数、所述超速次数总参数、所述超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果。
11.可选地，所述基于所述多张肠道留图图像确定留图区域的面积，包括：从所述多张肠道留图图像中获取目标病灶检测类别的侧视图角度类别的多张侧视肠道留图图像；获取所述肠道内壁二维展开图和多张侧视肠道留图图像上的病灶检测区域；将多张侧视肠道留图图像粘贴至所述肠道内壁二维展开图，其中，肠道内壁二维展开图和侧视肠道留图图像上属于同一病灶检测区域的区域重合；
将多张侧视肠道留图图像在肠道内壁二维展开图上的占有区域与所述肠道扫描区域的重叠区域确定为所述留图区域；计算所述留图区域的面积。
12.可选地，所述基于扫描面积占比确定扫描视野参数，包括：若所述扫描面积占比不小于0.9，则确定扫描视野参数为10；若所述扫描面积占比小于0.9且不小于0.7，则确定扫描视野参数为5；若所述扫描面积占比小于0.7，则确定扫描视野参数为-2；所述基于所述扫描视野参数、所述超速次数总参数、所述超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果，包括：基于所述留图面积占比确定留图视野参数，其中，若留图面积占比不小于0.1，则确定留图视野参数为10，若留图面积占比小于0.1且不小于0.05，则确定留图视野参数为5，若留图面积占比小于0.05，确定留图视野参数为0；对所述扫描视野参数、所述超速次数总参数、超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图视野参数求和，得到内镜检查监控总参数；基于内镜检测总参数确定肠道内镜检查监控结果。
13.第二方面，本技术提供一种肠道内镜检查的监控装置，所述肠道内镜检查的监控装置包括：获取单元，用于获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像；提取单元，用于基于所述肠道内镜检查视频提取多张肠道内镜图像；三维重建单元，用于对所述多张肠道内镜图像进行三维重建，得到肠道三维模型；二维展开单元，用于将肠道三维模型展开，得到肠道内壁二维展开图，所述肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域；第一确定单元，用于基于所述多张肠道留图图像确定留图区域的面积；计算单元，用于计算所述留图区域的面积与所述肠道扫描区域的面积的留图面积占比；第二确定单元，用于基于所述留图面积占比确定肠道内镜检查监控结果。
14.可选地，所述第二确定单元，用于：将所述多张肠道留图图像输入病灶检测模型，得到所述多张肠道留图图像中的病灶检测类别；分别将每个病灶检测类别确定为目标病灶检测类别；将目标病灶检测类别对应的肠道留图图像输入拍摄角度分类模型进行拍摄角度分类，得到目标病灶检测类别对应的肠道留图图像中的图像拍摄角度类别，其中，所述图像拍摄角度类别包括正视图角度类别、侧视图角度类别，俯视图角度类别，其中，正视图类别为图像拍摄视角平行于肠道延伸线且由外向内的角度类别，俯视图类别为图像拍摄视角平行于肠道延伸线且由内向外的角度类别，侧视图类别为图像拍摄视角垂直于肠道延伸线的角度类别；
将目标病灶检测类别对应的肠道留图图像中图像拍摄角度类别相同的肠道留图图像确定为一个病灶角度类别，得到目标病灶检测类别的病灶角度类别数量；根据目标病灶检测类别的病灶角度类别数量确定目标病灶检测类别的病灶角度参数，得到各个病灶检测类别的病灶角度参数；对各个病灶检测类别的病灶角度参数求和，得到病灶角度总参数；基于所述病灶角度总参数和所述留图面积占比确定肠道内镜检查监控结果。
15.可选地，所述第二确定单元，用于：获取属于目标病灶检测类别的肠道留图图像的数量；基于属于目标病灶检测类别的肠道留图图像的数量确定目标病灶检测类别的留图数量参数，得到各个病灶检测类别的留图数量参数；对各个留图数量参数求和，得到留图数量总参数；基于所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果。
16.可选地，所述第二确定单元，用于：获取退镜时的退镜速度信息；根据所述退镜速度信息确定退镜超速次数和每次超速的超速时长，其中，退镜速度大于给定速度阈值时确定退镜超速；基于每次超速的超速时长确定每次超速的超速时长参数；根据每次超速的超速时长参数确定超速时长总参数；根据退镜超速次数确定超速次数总参数；基于所述超速次数总参数、所述超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果。
17.可选地，所述第二确定单元，用于：获取肠道扫描区域在肠道内壁二维展开图的扫描面积占比；基于扫描面积占比确定扫描视野参数；基于所述扫描视野参数、所述超速次数总参数、所述超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图面积占比确定肠道内镜检查监控结果。
18.可选地，所述第一确定单元，用于：从所述多张肠道留图图像中获取目标病灶检测类别的侧视图角度类别的多张侧视肠道留图图像；获取所述肠道内壁二维展开图和多张侧视肠道留图图像上的病灶检测区域；将多张侧视肠道留图图像粘贴至所述肠道内壁二维展开图，其中，肠道内壁二维展开图和侧视肠道留图图像上属于同一病灶检测区域的区域重合；将多张侧视肠道留图图像在肠道内壁二维展开图上的占有区域与所述肠道扫描区域的重叠区域确定为所述留图区域；计算所述留图区域的面积。
19.可选地，所述第二确定单元，用于：若所述扫描面积占比不小于0.9，则确定扫描视野参数为10；若所述扫描面积占比小于0.9且不小于0.7，则确定扫描视野参数为5；若所述扫描面积占比小于0.7，则确定扫描
视野参数为-2；所述第二确定单元，用于：基于所述留图面积占比确定留图视野参数，其中，若留图面积占比不小于0.1，则确定留图视野参数为10，若留图面积占比小于0.1且不小于0.05，则确定留图视野参数为5，若留图面积占比小于0.05，确定留图视野参数为0；对所述扫描视野参数、所述超速次数总参数、超速时长总参数、所述留图数量总参数、所述病灶角度总参数以及所述留图视野参数求和，得到内镜检查监控总参数；基于内镜检测总参数确定肠道内镜检查监控结果。
20.第三方面，本技术提供一种计算机设备，所述计算机设备包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的肠道内镜检查的监控方法。
21.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的肠道内镜检查的监控方法中的步骤。
22.本技术提供一种肠道内镜检查的监控方法及装置，该肠道内镜检查的监控方法包括：获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像；基于肠道内镜检查视频提取多张肠道内镜图像；对多张肠道内镜图像进行三维重建，得到肠道三维模型；将肠道三维模型展开，得到肠道内壁二维展开图，肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域；基于多张肠道留图图像确定留图区域的面积；计算留图区域的面积与肠道扫描区域的面积的留图面积占比；基于留图面积占比确定肠道内镜检查监控结果。本技术可以准确监控肠道内镜检查的过程，可以准确评估肠道内镜检查的质量。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本技术实施例提供的肠道内镜检查的监控系统的场景示意图；图2是本技术实施例提供的肠道内镜检查的监控方法一实施例的流程示意图；图3是本技术实施例提供的肠道内镜检查的监控方法一实施例中肠部位识别模型识别结果的示意图；图4是本技术实施例提供的肠道内镜检查的监控方法一实施例中遮挡物识别模型识别结果的示意图；图5是本技术实施例提供的肠道内镜检查的监控方法一实施例中冲洗识别模型识别结果的示意图；图6是本技术实施例提供的肠道内镜检查的监控方法一实施例中定图质量评价模
型识别结果的示意图；图7是本技术实施例提供的肠道内镜检查的监控方法一实施例中病灶检测模型识别结果的示意图；图8是本技术实施例提供的肠道内镜检查的监控方法一实施例中腺瘤识别模型识别结果的示意图；图9是本技术实施例中提供的肠道内镜检查的监控装置的一个实施例结构示意图；图10是本技术实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
27.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
28.本技术实施例提供一种肠道内镜检查的监控方法及装置，以下分别进行详细说明。
29.请参阅图1，图1为本技术实施例所提供的肠道内镜检查的监控系统的场景示意图，该肠道内镜检查的监控系统可以包括计算机设备100，计算机设备100中集成有肠道内镜检查的监控装置。
30.本技术实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本技术实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
31.本技术实施例中，上述的计算机设备100可以是一个通用计算机设备或者是一个
专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑（personal digital assistant，pda）、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定计算机设备100的类型。
32.本领域技术人员可以理解，图1中示出的应用环境，仅仅是本技术方案的一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该肠道内镜检查的监控系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。
33.另外，如图1所示，该肠道内镜检查的监控系统还可以包括存储器200，用于存储数据。
34.需要说明的是，图1所示的肠道内镜检查的监控系统的场景示意图仅仅是一个示例，本技术实施例描述的肠道内镜检查的监控系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着肠道内镜检查的监控系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
35.首先，本技术实施例中提供一种肠道内镜检查的监控方法，肠道内镜检查的监控方法包括：获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像；基于肠道内镜检查视频提取多张肠道内镜图像；对多张肠道内镜图像进行三维重建，得到肠道三维模型；将肠道三维模型展开，得到肠道内壁二维展开图，肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域；基于多张肠道留图图像确定留图区域的面积；计算留图区域的面积与肠道扫描区域的面积的留图面积占比；基于留图面积占比确定肠道内镜检查监控结果。
36.如图2所示，图2是本技术实施例中肠道内镜检查的监控方法的一个实施例流程示意图，该肠道内镜检查的监控方法包括如下步骤s201~s207：s201、获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像。
37.本技术实施例中，医生在对患者进行肠道内镜检查时，肠道内镜会拍摄视频，得到肠道内镜检查视频。医生会进行留图得到多张肠道留图图像。
38.s202、基于肠道内镜检查视频提取多张肠道内镜图像。
39.具体的，将肠道内镜检查视频按照24帧/秒解析得到多张肠道内镜图像。在一个优选的实施例中，将肠道内镜检查视频按照24帧/秒解析得到多张帧图像，对多张帧图像去重，将去重后的多张帧图像中的关键帧确定为多张肠道内镜图像。
40.s203、对多张肠道内镜图像进行三维重建，得到肠道三维模型。
41.具体的，通过三维建模软件vkt对多张肠道内镜图像进行三维重建，得到肠道三维模型。肠道三维模型可以模拟出肠道的形态。
42.s204、将肠道三维模型展开，得到肠道内壁二维展开图，肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域。
43.肠道内壁二维展开图展示的是肠道内壁的平面图。肠道扫描区域是肠道内镜拍摄到的区域，也就是医生可以观察到的视野。肠道非扫描区域为扫描盲区，为肠道内镜没有扫描到的区域，医生无法观察到。
44.s205、基于多张肠道留图图像确定留图区域的面积。
45.留图区域是医生进行过留图的区域。
46.在一个具体的实施例中，将多张肠道留图图像输入病灶检测模型，得到多张肠道留图图像中的病灶检测区域和对应的病灶检测类别，每个病灶检测类别的图像仅保留一张肠道留图图像，将保留的多张肠道留图图像的面积相加，得到留图区域的面积。
47.其中，病灶检测模型预先训练，病灶检测模型可以为yolov3、yolov4、yolov5以及ssd等目标检测模型。病灶检测模型的训练集中的图像标注有溃疡性肠炎了别、息肉类别、腺瘤类别等病灶。将肠道留图图像输入病灶检测模型，病灶检测模型会在肠道留图图像检测出病灶检测区域和病灶检测类别。病灶检测区域为病灶的最小外接矩形框。
48.在另一个具体的实施例中，基于多张肠道留图图像确定留图区域的面积，之前，包括：（1）将多张肠道留图图像输入病灶检测模型，得到多张肠道留图图像中的病灶检测类别。
49.（2）分别将每个病灶检测类别确定为目标病灶检测类别。
50.（3）将目标病灶检测类别对应的肠道留图图像输入拍摄角度分类模型进行拍摄角度分类，得到目标病灶检测类别对应的肠道留图图像中的图像拍摄角度类别，其中，图像拍摄角度类别包括正视图角度类别、侧视图角度类别，俯视图角度类别，其中，正视图类别为图像拍摄视角平行于肠道延伸线且由外向内的角度类别，俯视图类别为图像拍摄视角平行于肠道延伸线且由内向外的角度类别，侧视图类别为图像拍摄视角垂直于肠道延伸线的角度类别。
51.拍摄角度分类模型优选为resnet50，训练拍摄角度分类模型的训练集中训练样本的标签为正视图角度类别、侧视图角度类别，俯视图角度类别。
52.分别将每个病灶检测类别确定为目标病灶检测类别，即可得到各个肠道留图图像的图像拍摄角度类别。
53.具体的，基于多张肠道留图图像确定留图区域的面积，可以包括：（1）获取肠道内壁二维展开图和多张侧视肠道留图图像上的病灶检测区域。
54.具体的，将肠道内壁二维展开图和多张侧视肠道留图图像输入病灶检测模型，得到病灶检测区域和对应的病灶检测类别。侧视肠道留图图像为图像拍摄角度类别为侧视图角度类别的肠道留图图像。侧视肠道留图图像和肠道内壁二维展开图都是沿着垂直于肠道延伸线的方向拍摄的。
55.（2）将多张侧视肠道留图图像粘贴至肠道内壁二维展开图，其中，肠道内壁二维展开图和侧视肠道留图图像上属于同一病灶检测区域的区域重合。
56.具体的，将多张侧视肠道留图图像分别确定为待粘贴侧视肠道留图图像，获取待粘贴侧视肠道留图图像上待匹配病灶检测区域的长宽尺寸，获取肠道内壁二维展开图上各个病灶检测区域的长宽尺寸，将待粘贴侧视肠道留图图像上待匹配病灶检测区域的长宽尺寸与肠道内壁二维展开图上各个病灶检测区域的长宽尺寸分别匹配，得到肠道内壁二维展开图上与待粘贴侧视肠道留图图像上待匹配病灶检测区域的长宽尺寸匹配的匹配病灶检测区域。优选的，当待粘贴侧视肠道留图图像有多个病灶检测区域时，将多个病灶检测区域中面积最大的病灶检测区域确定为待匹配病灶检测区域。获取匹配病灶检测区域的位置信
息，其中，匹配病灶检测区域的位置信息为匹配病灶检测区域的四个顶点坐标。基于匹配病灶检测区域的位置信息，将待粘贴侧视肠道留图图像移动至待匹配病灶检测区域与匹配病灶检测区域重合的状态。分别将多张侧视肠道留图图像确定为待粘贴侧视肠道留图图像进行粘贴，将多张侧视肠道留图图像粘贴至肠道内壁二维展开图。
57.进一步的，若匹配病灶检测区域为至少两个，分别基于各个匹配病灶检测区域的位置信息将待粘贴侧视肠道留图图像移动至待匹配病灶检测区域与匹配病灶检测区域重合的状态，得到各个匹配病灶检测区域粘贴重合后的肠道内壁二维展开图，计算粘贴重合后的肠道内壁二维展开图上待粘贴侧视肠道留图图像与待粘贴侧视肠道留图图像在肠道内壁二维展开图所占区域的图像相似度，保留图像相似度最大的粘贴重合后的肠道内壁二维展开图，在图像相似度最大的粘贴重合后的肠道内壁二维展开图上进行下一张待粘贴侧视肠道留图图像的粘贴。若图像相似度最大，说明该次粘贴确实是将待粘贴侧视肠道留图图像粘贴到了对应位置，可以进行下一张待粘贴侧视肠道留图图像的粘贴。
58.在另一个具体的实施例中，若匹配病灶检测区域为至少两个，将匹配病灶检测区域内的图像和待匹配病灶检测区域内的图像输入unet++分割模型进行图像分割，得到匹配病灶检测区域内的病灶分割区域和待匹配病灶检测区域内的病灶分割区域，将各个匹配病灶检测区域内的病灶分割区域和待匹配病灶检测区域内的病灶分割区域进行匹配，从各个匹配病灶检测区域中得到待匹配病灶检测区域对应的分割后匹配病灶检测区域，分割后匹配病灶检测区域的病灶分割区域与待匹配病灶检测区域的病灶分割区域匹配。获取分割后匹配病灶检测区域的位置信息，基于分割后匹配病灶检测区域的位置信息将待粘贴侧视肠道留图图像移动至待匹配病灶检测区域与分割后匹配病灶检测区域重合。可以确保准确匹配并粘贴，进而提高后续计算留图区域面积的准确率，提高确定肠道内镜检查监控结果的准确率。
59.（3）将多张侧视肠道留图图像在肠道内壁二维展开图上的占有区域与肠道扫描区域的重叠区域确定为留图区域。
60.具体的，在多张侧视肠道留图图像均粘贴至肠道内壁二维展开图上后，对多张侧视肠道留图图像各自所占区域求并集，得到多张侧视肠道留图图像在肠道内壁二维展开图上的占有区域，将多张侧视肠道留图图像在肠道内壁二维展开图上的占有区域与肠道扫描区域的重叠区域确定为留图区域。留图区域的面积可以表示医生重点观察的区域。
61.（4）计算留图区域的面积。
62.其中，留图区域的面积为 aeraz。
63.s206、计算留图区域的面积与肠道扫描区域的面积的留图面积占比。
64.具体的，留图面积占比，留图区域的面积为aeraz，肠道扫描区域的面积为aerag，根据如下公式计算留图面积占比。
65.s207、基于留图面积占比确定肠道内镜检查监控结果。
66.在一个具体的实施例中，基于留图面积占比确定肠道内镜检查监控结果，包括：（1）将多张肠道留图图像输入病灶检测模型，得到多张肠道留图图像中的病灶检
测类别。
67.具体的，若肠道留图图像存在多个病灶检测区域和对应的病灶检测类别，则获取各个病灶检测区域的形心，将各个病灶检测区域中形心与肠道留图图像形心最近的病灶检测区域的病灶检测类别确定为肠道留图图像中的病灶检测类别。
68.（2）分别将每个病灶检测类别确定为目标病灶检测类别。
69.（3）将目标病灶检测类别对应的肠道留图图像输入拍摄角度分类模型进行拍摄角度分类，得到目标病灶检测类别对应的肠道留图图像中的图像拍摄角度类别，其中，图像拍摄角度类别包括正视图角度类别、侧视图角度类别，俯视图角度类别，其中，正视图类别为图像拍摄视角平行于肠道延伸线且由外向内的角度类别，俯视图类别为图像拍摄视角平行于肠道延伸线且由内向外的角度类别，侧视图类别为图像拍摄视角垂直于肠道延伸线的角度类别。
70.拍摄角度分类模型优选为resnet50，训练拍摄角度分类模型的训练集中训练样本的标签为正视图角度类别、侧视图角度类别，俯视图角度类别。每一张肠道留图图像对应一个图像拍摄角度类别。其中，正视图类别为图像拍摄视角平行于肠道延伸线且由外向内的角度类别，俯视图类别为图像拍摄视角平行于肠道延伸线且由内向外的角度类别，侧视图类别为图像拍摄视角垂直于肠道延伸线的角度类别。分别将每个病灶检测类别确定为目标病灶检测类别，即可得到各个肠道留图图像的图像拍摄角度类别。
71.（4）将目标病灶检测类别对应的肠道留图图像中图像拍摄角度类别相同的肠道留图图像确定为一个病灶角度类别，得到目标病灶检测类别的病灶角度类别数量。
72.例如，目标病灶检测类别为息肉类别，息肉类别对应的肠道留图图像有10张，其中，10张图像中有4张正视图角度类别、2张侧视图角度类别，2俯视图角度类别，2张其他视图角度类别。则目标病灶检测类别的病灶角度类别数量为4个，分别为正视图角度类别、侧视图角度类别，俯视图角度类别、其他视图角度类别。即医生从4个角度观察了病灶并留图。
73.（5）根据目标病灶检测类别的病灶角度类别数量确定目标病灶检测类别的病灶角度参数，得到各个病灶检测类别的病灶角度参数。
74.在一个具体的实施例中，共有i个病灶检测类别，目标病灶检测类别为第i个类别，目标病灶检测类别i的病灶角度参数为。若病灶角度类别数量为1，即有1个角度，即，；若病灶角度类别数量为2，即有2个角度，；若病灶角度类别数量为3，有3个角度，；若病灶角度类别数量为4，有4个角度，；若病灶角度类别数量为5，有5个角度，。
75.（6）对各个病灶检测类别的病灶角度参数求和，得到病灶角度总参数。
76.具体的，病灶角度总参数为，，其中，i表示共有i个病灶。
77.（7）基于病灶角度总参数和留图面积占比确定肠道内镜检查监控结果。
78.进一步的，基于病灶角度总参数和留图面积占比确定肠道内镜检查监控结果，可以包括：（1）获取属于目标病灶检测类别的肠道留图图像的数量。
79.（2）基于属于目标病灶检测类别的肠道留图图像的数量确定目标病灶检测类别的留图数量参数，得到各个病灶检测类别的留图数量参数。
80.其中，目标病灶检测类别为i，若属于目标病灶检测类别i的肠道留图图像的数量为1-4，则确定目标病灶检测类别的留图数量参数为4-8分。
81.（3）对各个留图数量参数求和，得到留图数量总参数。
82.具体的，留图数量总参数为，，其中，i表示共有i个病灶。
83.（4）基于留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果。
84.具体的，基于留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果，可以包括：（1）获取退镜时的退镜速度信息。
85.具体的，在医生进行肠道内镜检查时记录退镜时的退镜速度信息。退镜速度信息包括退镜过程的速度时间曲线，可以记录各个时间点的速度。
86.（2）根据退镜速度信息确定退镜超速次数和每次超速的超速时长，其中，退镜速度大于给定速度阈值时确定退镜超速。
87.其中，给定速度阈值可以根据具体情况设定。根据退镜速度信息确定退镜超速次数n和每次超速的超速时长。
88.（3）基于每次超速的超速时长确定每次超速的超速时长参数。
89.具体的，退镜超速次数为n，每次超速的超速时长为，每次超速的超速时长参数为，若超速时长，，若，，若，。
90.（4）根据每次超速的超速时长参数确定超速时长总参数。
91.具体的，超速时长总参数为。，其中，。
92.（5）根据退镜超速次数确定超速次数总参数。
93.具体的，退镜超速次数为n，超速次数总参数为s9。若超速时长，超速次数总参数；若，超速次数总参数；若，超速次数总
参数s
9 = 0。
94.（6）基于超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果。
95.在一个具体的实施例中，基于超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果，可以包括：（1）获取肠道扫描区域在肠道内壁二维展开图的扫描面积占比。
96.扫描面积占比为肠道扫描区域与肠道内壁二维展开图的面积之比。肠道内壁二维展开图的面积为，肠道扫描区域的面积为，扫描面积占比为，扫描面积占比根据如下公式求得，；（2）基于扫描面积占比确定扫描视野参数。
97.具体的，扫描面积占比为，扫描视野参数为s
17
。若扫描面积占比不小于0.9，则确定扫描视野参数s
17
为10；若扫描面积占比小于0.9且不小于0.7，则确定扫描视野参数s
17
为5；若扫描面积占比小于0.7，则确定扫描视野参数s
17
为-2。即，若，；若，；若，。
98.（3）基于扫描视野参数、基于超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果。
99.在一个具体的实施例中，基于扫描视野参数、基于超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果，可以包括：（1）基于留图面积占比确定留图视野参数s
19
，其中，若留图面积占比不小于0.1，则确定留图视野参数s
19
为10，若留图面积占比小于0.1且不小于0.05，则确定留图视野参数s
19
为5，若留图面积占比小于0.05，确定留图视野参数s
19
为0。
100.留图面积占比为，留图视野参数为。若，；若，；若，。
101.（2）对扫描视野参数、基于超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图视野参数求和，得到内镜检查监控总参数。
102.具体的，内镜检查监控总参数为s，内镜检查监控总参数s=病灶角度总参数s
13
+ 留图数量总参数s
12
+ 超速时长总参数s
10 + 超速次数总参数s
9 +扫描视野参数s
17
+ 留图视野参数s
19
。
103.（3）基于内镜检测总参数确定肠道内镜检查监控结果。
104.具体的，肠道内镜检查监控结果包括4个等级。若内镜检查监控总参数s低于60，则内镜检查结果为不合格等级；内镜检查监控总参数s在60和80之间，则内镜检查结果为合格等级；内镜检查监控总参数s在80和95之间，则内镜检查结果为良好等级，等级内镜检查监控总参数s在95以上，则内镜检查结果为优秀等级。
105.进一步的，根据肠道内镜检查监控结果发出提示信息。具体的，通过语言播报的方式发出提示信息，以提示医护人员。根据不同等级的肠道内镜检查监控结果发出不同的提示信息。使医护人员能够尽改善操作质量。
106.进一步的，肠道内镜检查的监控方法还包括：训练肠部位识别模型。优先选择resnet125，标签为肛门、回盲部、回肠末端、升结肠、横结肠、降结肠、乙状结肠、直肠、无效图像。无效图像指太模糊导致无法辨识的肠部位图像。肠道部位图像如图3所示。
107.训练遮挡物识别模型，优先选择vgg16，标签为有遮挡物、无遮挡物。遮挡物指粪便、粘液、食物残渣等会遮挡肠道内壁的物体，遮挡物效果图如图4所示。
108.训练冲洗识别模型，优先选择vgg16，标签为冲洗、未冲洗。冲洗指图像中有水柱或冲洗水流等现象，冲洗动作如图4所示。
109.训练定图质量评价模型，优先选择resnet50，标签为清晰度较好、清晰度一般、清晰度较差。清晰度较差：图像模糊看不清或有大片光斑；清晰度一般：图像稍微模糊或有较小光斑，定图质量展示图如图5所示。
110.训练病灶检测模型，图像标注时阳性标签包含溃疡性肠炎、息肉、腺瘤等病灶，病灶检测效果如图6所示。
111.训练拍摄角度分类模型，优先选择resnet50，标签为白光、nbi、远景、正视图、侧视图，多角度留图如图7所示。
112.训练腺瘤识别模型，优先选择vgg16，标签为非腺瘤、腺瘤。其它病灶值萎缩、糜烂、息肉等非腺瘤病灶，腺瘤/非腺瘤展示图如图8所示。
113.在训练完模型后，进入内镜检查阶段，内镜检查阶段包括下列步骤：当医生汇报“开始进镜”时，根据语音交互系统转化为文本信息，在日志中记录“开始进镜”，系统启动进镜计时功能。
114.当医生汇报“已抵达回盲部”，则根据语音交互系统转化为文本信息，在日志中记录“回盲部”和进镜耗时t0；若医生留图，则在留图文件夹中保留回盲部图像，并以含有“回盲部”字样的文字进行命名；系统启动退镜计时功能。
115.若医生汇报“已抵达回肠末端”，则根据语音交互系统转化为文本信息，在日志中记录“回肠末端”；若医生留图，则在留图文件夹中保留回盲部图像，并以含有“回肠末端”字样的文字进行命名。
116.若医生汇报“已抵达升结肠”，则根据语音交互系统转化为文本信息，在日志中记录“升结肠”；若医生留图，则在留图文件夹中保留回盲部图像，并以含有“升结肠”字样的文字进行命名。
117.若医生汇报“已抵达横结肠”，则根据语音交互系统转化为文本信息，在日志中记录“横结肠”；若医生留图，则在留图文件夹中保留回盲部图像，并以含有“横结肠”字样的文字进行命名。
118.若医生汇报“已抵达降结肠”，则根据语音交互系统转化为文本信息，在日志中记录“降结肠”；若医生留图，则在留图文件夹中保留回盲部图像，并以含有“降结肠”字样的文字进行命名。
119.若医生汇报“已抵达直肠”，则根据语音交互系统转化为文本信息，在日志中记录“直肠”；若医生留图，则在留图文件夹中保留回盲部图像，并以含有“直肠”字样的文字进行命名。
120.当医生汇报“已抵达肛门”，则根据语音交互系统转化为文本信息，在日志中记录“肛门”和进镜总耗时t2。
121.内镜检查阶段是进行退镜速度监测与超速时长统计：在整个退镜过程中，对退镜速度进行监测，当速度超过给定速度阈值时，在日志中记录超速次数cn和每次超速持续时长ctimen。
122.在整个退镜过程中，加载遮挡物识别模型，若模型提示当前画面“有遮挡物”，在日志中记录“有遮挡物”及当前画面的时间ztimei。
123.在整个退镜过程中，加载病灶检测模型，若模型提示当前画面有病灶框，在日志中记录“有病灶i”及当前画面的时间btime
i0
和该病灶结束画面时间btime
i1
，若医生留图，则在留图文件夹中保留病灶图像，并以含有“病灶ij”字样的文字进行命名，其中i—表示第i个病灶，j—表示该病灶第j张留图。
124.各项指标数据及得分情况统计，将肠镜视频按照24帧/秒进行解析成帧图像。
125.进镜时间得分s0：查看日志，获得进镜时间t0并对进镜操作进行打分，若得，；若，；若，。
126.回盲部得分s1：留图中若无图像名字含有“回盲部”字样得2分；若有，通过肠部位识别模型加载含有“回盲部”字样的留图图像，若模型识别结果为“回盲部”，，若模型识别结果为其它，。
127.回肠末端得分s2：查看日志，若无“回肠末端”字样，；若有“回肠末端”字样，留图中若无图像名字含有“回肠末端”字样，；若有“回肠末端”字样，留图中若有图像名字含有“回肠末端”字样，通过肠部位识别模型加载含有“回肠末端”字样得留图图像，模型识别结果为“回肠末端”，，模型识别结果为其它，。
128.升结肠得分s3：查看日志，若无“升结肠”字样，；若有“升结肠”字样，留图中若无图像名字含有“升结肠”字样，；若有“升结肠”字样，留图中若有图像名字含有“升结肠”字样，通过训练的肠部位识别模型加载含有“升结肠”字样得留图图像，模型识别结果为“升结肠”，，模型识别结果为其它，。
129.横结肠得分：查看日志，若无“横结肠”字样，；若有“横结肠”字样，留图中若无图像名字含有“横结肠”字样，；若有“横结肠”字样，留图中若有图像
名字含有“横结肠”字样，通过训练的肠部位识别模型加载含有“横结肠”字样得留图图像，模型识别结果为“横结肠”，，模型识别结果为其它，。
130.降结肠得分：查看日志，若无“降结肠”字样，；若有“降结肠”字样，留图中若无图像名字含有“降结肠”字样，；若有“降结肠”字样，留图中若有图像名字含有“降结肠”字样，通过训练的肠部位识别模型加载含有“降结肠”字样得留图图像，模型识别结果为“降结肠”，，模型识别结果为其它，。
131.乙状结肠得分s6：查看日志，若无“乙状结肠”字样，；若有“乙状结肠”字样，留图中若无图像名字含有“乙状结肠”字样，；若有“乙状结肠”字样，留图中若有图像名字含有“乙状结肠”字样，通过训练的肠部位识别模型加载含有“乙状结肠”字样得留图图像，模型识别结果为“乙状结肠”，，模型识别结果为其它，。
132.直肠得分：查看日志，若无“直肠”字样，；若有“直肠”字样，留图中若无图像名字含有“直肠”字样，；若有“直肠”字样，留图中若有图像名字含有“直肠”字样，通过训练的肠部位识别模型加载含有“直肠”字样得留图图像，模型识别结果为“直肠”，，模型识别结果为其它，。
133.肛门得分s8：查看日志，若无“肛门”字样，；若有，。
134.冲洗得分s
11
：查看日志，若无“遮挡物”字样，，若有“遮挡物”字样，则获得“遮挡物”对应的时间ztimej。根据时间ztimei找到视频中对应的画面，从后续图像中找出与ztimej时刻相似度超过90%的图像。通过训练的冲洗识别模型加载后续满足相似度条件的图像，若有图像识别结果为“冲洗”，；若无图像识别结果为“冲洗”，。，其中，j—表示共有j个遮挡物。
135.定图质量得分s
18
：从视频解析后的帧图像中找出相似度超过98%的定图片段并选择其中一张图像进行图像质量评价，那么共k个定图片段共有k张定图。通过训练的图像质量评价模型加载每张定图，若结果为“清晰度较好”则一张定图，；若结果为“清晰度一般”则一张定图，；若结果为“清晰度较差”则一张定图，。。
136.腺瘤加分：查看留图文件夹中名字带有“有病灶i”字样的图片，通过训练腺瘤识别模型加载每个病灶所有留图，若该病灶属于腺瘤并取活检，；若该病灶不
属于腺瘤，。，共m个腺瘤，。
137.病灶观察时长得分s
15
：查看日志，若无“有病灶i”字样，；若有“有病灶i”字样，获得该病灶观察起止时间和，。若，；若，；若，。，其中，i—表示共有i个病灶。
138.退镜耗时得分s
16
：查看日志，获得退镜总耗时t2，则退镜操作耗时，其中i表示退镜过程中发现病灶的总个数。对退镜操作进行打分，若，；若，；若，。
139.内镜检查监控总参数为s，内镜检查监控总参数s=进镜时间得分s0+回盲部得分s1+回肠末端得分s2+升结肠得分s3+横结肠得分s4+降结肠得分s5+乙状结肠得分s6+直肠得分s7+肛门得分s8+超速时长总参数s
10 + 超速次数总参数s9+冲洗得分s
11
+定图质量得分s
18
+病灶角度总参数s
13
+ 腺瘤加分s
14
+留图数量总参数s
12
+病灶观察时长得分s
15
+退镜耗时得分s
16
+扫描视野参数s
17
+ 留图视野参数s
19
。
140.各个参数参阅下表：
为了更好实施本技术实施例中肠道内镜检查的监控方法，在肠道内镜检查的监控方法基础之上，本技术实施例中还提供一种肠道内镜检查的监控装置，如图9所示，肠道内镜检查的监控装置300包括：获取单元301，用于获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像；提取单元302，用于基于肠道内镜检查视频提取多张肠道内镜图像；三维重建单元303，用于对多张肠道内镜图像进行三维重建，得到肠道三维模型；二维展开单元304，用于将肠道三维模型展开，得到肠道内壁二维展开图，肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域；第一确定单元305，用于基于多张肠道留图图像确定留图区域的面积；计算单元306，用于计算留图区域的面积与肠道扫描区域的面积的留图面积占比；第二确定单元307，用于基于留图面积占比确定肠道内镜检查监控结果。
141.可选地，第二确定单元307，用于：将多张肠道留图图像输入病灶检测模型，得到多张肠道留图图像中的病灶检测类别；分别将每个病灶检测类别确定为目标病灶检测类别；将目标病灶检测类别对应的肠道留图图像输入拍摄角度分类模型进行拍摄角度分类，得到目标病灶检测类别对应的肠道留图图像中的图像拍摄角度类别，其中，图像拍摄
角度类别包括正视图角度类别、侧视图角度类别，俯视图角度类别，其中，正视图类别为图像拍摄视角平行于肠道延伸线且由外向内的角度类别，俯视图类别为图像拍摄视角平行于肠道延伸线且由内向外的角度类别，侧视图类别为图像拍摄视角垂直于肠道延伸线的角度类别；将目标病灶检测类别对应的肠道留图图像中图像拍摄角度类别相同的肠道留图图像确定为一个病灶角度类别，得到目标病灶检测类别的病灶角度类别数量；根据目标病灶检测类别的病灶角度类别数量确定目标病灶检测类别的病灶角度参数，得到各个病灶检测类别的病灶角度参数；对各个病灶检测类别的病灶角度参数求和，得到病灶角度总参数；基于病灶角度总参数和留图面积占比确定肠道内镜检查监控结果。
142.可选地，第二确定单元307，用于：获取属于目标病灶检测类别的肠道留图图像的数量；基于属于目标病灶检测类别的肠道留图图像的数量确定目标病灶检测类别的留图数量参数，得到各个病灶检测类别的留图数量参数；对各个留图数量参数求和，得到留图数量总参数；基于留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果。
143.可选地，第二确定单元307，用于：获取退镜时的退镜速度信息；根据退镜速度信息确定退镜超速次数和每次超速的超速时长，其中，退镜速度大于给定速度阈值时确定退镜超速；基于每次超速的超速时长确定每次超速的超速时长参数；根据每次超速的超速时长参数确定超速时长总参数；根据退镜超速次数确定超速次数总参数；基于超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果。
144.可选地，第二确定单元307，用于：获取肠道扫描区域在肠道内壁二维展开图的扫描面积占比；基于扫描面积占比确定扫描视野参数；基于扫描视野参数、超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图面积占比确定肠道内镜检查监控结果。
145.可选地，第一确定单元305，用于：从多张肠道留图图像中获取目标病灶检测类别的侧视图角度类别的多张侧视肠道留图图像；获取肠道内壁二维展开图和多张侧视肠道留图图像上的病灶检测区域；将多张侧视肠道留图图像粘贴至肠道内壁二维展开图，其中，肠道内壁二维展开图和侧视肠道留图图像上属于同一病灶检测区域的区域重合；将多张侧视肠道留图图像在肠道内壁二维展开图上的占有区域与肠道扫描区域的重叠区域确定为留图区域；
计算留图区域的面积。
146.可选地，第二确定单元307，用于：若扫描面积占比不小于0.9，则确定扫描视野参数为10；若扫描面积占比小于0.9且不小于0.7，则确定扫描视野参数为5；若扫描面积占比小于0.7，则确定扫描视野参数为-2；第二确定单元307，用于：基于留图面积占比确定留图视野参数，其中，若留图面积占比不小于0.1，则确定留图视野参数为10，若留图面积占比小于0.1且不小于0.05，则确定留图视野参数为5，若留图面积占比小于0.05，确定留图视野参数为0；对扫描视野参数、超速次数总参数、超速时长总参数、留图数量总参数、病灶角度总参数以及留图视野参数求和，得到内镜检查监控总参数；基于内镜检测总参数确定肠道内镜检查监控结果。
147.本技术实施例还提供一种计算机设备，其集成了本技术实施例所提供的任一种肠道内镜检查的监控装置，计算机设备包括：一个或多个处理器；存储器；以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述肠道内镜检查的监控方法实施例中任一实施例中的肠道内镜检查的监控方法中的步骤。
148.如图10所示，其示出了本技术实施例所涉及的计算机设备的结构示意图，具体来讲：该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；处理器401可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
149.存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比
如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
150.计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
151.该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
152.尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像；基于肠道内镜检查视频提取多张肠道内镜图像；对多张肠道内镜图像进行三维重建，得到肠道三维模型；将肠道三维模型展开，得到肠道内壁二维展开图，肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域；基于多张肠道留图图像确定留图区域的面积；计算留图区域的面积与肠道扫描区域的面积的留图面积占比；基于留图面积占比确定肠道内镜检查监控结果。
153.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
154.为此，本技术实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆体（ram，random access memory）、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本技术实施例所提供的任一种肠道内镜检查的监控方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：获取肠道内镜在肠道内镜检查时拍摄的肠道内镜检查视频和医生在肠道内镜检查时留图得到的多张肠道留图图像；基于肠道内镜检查视频提取多张肠道内镜图像；对多张肠道内镜图像进行三维重建，得到肠道三维模型；将肠道三维模型展开，得到肠道内壁二维展开图，肠道内壁二维展开图上包括肠道内镜拍摄到的肠道扫描区域和肠道扫描区域之间的肠道非扫描区域；基于多张肠道留图图像确定留图区域的面积；计算留图区域的面积与肠道扫描区域的面积的留图面积占比；基于留图面积占比确定肠道内镜检查监控结果。
155.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
156.具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法
实施例，在此不再赘述。
157.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
158.以上对本技术实施例所提供的一种肠道内镜检查的监控方法及装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。