一种基于二维重建的电子内窥镜质控方法及装置与流程

1.本技术涉及视频图像处理技术领域，特别是涉及一种基于二维重建的电子内窥镜质控方法及装置。


背景技术：

2.内窥镜作为一款常规的医疗设备，在各种类型的手术中均发挥着重要的作用。例如利用电子鼻咽喉镜检查鼻咽喉区域是否发生病变，以及利用电子膀胱镜去判断膀胱内部是否存在病变区域等等。由于人体内部结构复杂且需要检查的部位较多，在检查过程中需要医生根据经验实时的对检查结果进行评估。
3.但由于医生水平的参差不齐，操作不够规范，易出现评估不够准确等问题，导致对内镜检查过程质量的判断存在差异，影响对患者的后续诊断。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够规范的对内镜检查过程进行质量监控的基于二维重建的电子内窥镜质控方法及装置。
5.第一方面，本技术提供了一种基于二维重建的电子内窥镜质控方法。所述方法包括：对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在所述关键标志位的原始图像组合得到重建图像库；从所述重建图像库中选取拼接起始图像，对所述拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与所述拼接起始图像进行图像拼接，得到第一拼接图像；从所述重建图像库中继续选取第二目标图像与所述第一拼接图像继续进行图像拼接，得到第二拼接图像，对所述重建图像库进行更新操作；重复执行得到所述第二拼接图像的操作，直至所述重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像；将所述二维重建图像与预设的标准图像进行比对，基于比对结果对所述电子内窥镜的拍摄过程进行评估。
6.在其中一个实施例中，在所述对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在所述关键标志位的原始图像组合得到重建图像库之后，还包括：对所述重建图像库内的原始图像进行预处理，提取预处理后图像的关键点；对所述预处理后图像之间的所述关键点进行匹配，得到所述预处理后图像之间的匹配程度。
7.在其中一个实施例中，所述从所述重建图像库中选取拼接起始图像，对所述拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与所述拼接起始图像进行图像拼接，得到第一拼接图像，包括：从所述重建图像库中选取存在预设特殊标志位的原始图像作为拼接起始图像；
从所述重建图像库中选取存在所述关键标志位的所述原始图像与所述拼接起始图像进行匹配度计算；选取匹配度最高的所述原始图像作为第一目标图像，使用所述第一目标图像与所述拼接起始图像进行拼接，得到第一拼接图像。
8.在其中一个实施例中，所述从所述重建图像库中选取存在预设特殊标志位的原始图像作为拼接起始图像，包括：从所述重建图像库中选取存在预设特殊标志位的原始图像；对所述存在预设特殊标志位的图像进行校正，得到拼接起始图像。
9.在其中一个实施例中，所述从所述重建图像库中继续选取第二目标图像与所述第一拼接图像继续进行图像拼接，得到第二拼接图像，对所述重建图像库进行更新操作，包括：从所述重建图像库中选取与所述第一拼接图像匹配度最高的图像作为第二目标图像；将所述第二目标图像与所述第一拼接图像进行拼接，得到第二拼接图像；从所述重建图像库中删除所述第二目标图像。
10.在其中一个实施例中，所述将所述第二目标图像与所述第一拼接图像进行拼接，得到第二拼接图像，包括：选取所述第二目标图像与所述第一拼接图像中的目标特征点，基于所述目标特征点计算用于拼接的目标单应性矩阵；基于所述目标单应性矩阵将所述第二目标图像与所述第一拼接图像进行拼接，得到第二拼接图像。
11.在其中一个实施例中，所述将所述二维重建图像与预设的标准图像进行比对，基于比对结果对所述电子内窥镜的拍摄过程进行评估，包括：对比所述二维重建图像与预设的标准图像的面积，得到第一评估权值；对比所述二维重建图像与所述标准图像的关键标志位数量，得到第二评估权值；基于所述第一评估权值和所述第二评估权值，对所述电子内窥镜的拍摄过程进行评估。
12.第二方面，本技术还提供了一种基于二维重建的电子内窥镜质控装置，所述装置包括：重建图像库模块，用于对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在所述关键标志位的原始图像组合得到重建图像库；第一拼接模块，用于从所述重建图像库中选取拼接起始图像，对所述拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与所述拼接起始图像进行图像拼接，得到第一拼接图像；第二拼接模块，用于从所述重建图像库中继续选取第二目标图像与所述第一拼接图像继续进行图像拼接，得到第二拼接图像，对所述重建图像库进行更新操作；第三拼接模块，用于重复执行得到所述第二拼接图像的操作，直至所述重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像；评估模块，用于将所述二维重建图像与预设的标准图像进行比对，基于比对结果
对所述电子内窥镜的拍摄过程进行评估。
13.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在所述关键标志位的原始图像组合得到重建图像库；从所述重建图像库中选取拼接起始图像，对所述拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与所述拼接起始图像进行图像拼接，得到第一拼接图像；从所述重建图像库中继续选取第二目标图像与所述第一拼接图像继续进行图像拼接，得到第二拼接图像，对所述重建图像库进行更新操作；重复执行得到所述第二拼接图像的操作，直至所述重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像；将所述二维重建图像与预设的标准图像进行比对，基于比对结果对所述电子内窥镜的拍摄过程进行评估。
14.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在所述关键标志位的原始图像组合得到重建图像库；从所述重建图像库中选取拼接起始图像，对所述拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与所述拼接起始图像进行图像拼接，得到第一拼接图像；从所述重建图像库中继续选取第二目标图像与所述第一拼接图像继续进行图像拼接，得到第二拼接图像，对所述重建图像库进行更新操作；重复执行得到所述第二拼接图像的操作，直至所述重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像；将所述二维重建图像与预设的标准图像进行比对，基于比对结果对所述电子内窥镜的拍摄过程进行评估。
15.上述基于二维重建的电子内窥镜质控方法及装置，通过对关键标志位识别，滤除了检查过程中拍摄的无效画面，通过将存在所述关键标志位的原始图像组合得到重建图像库，作为后续二维展开重建的数据来源，减少二维展开重建时进行数据处理的负担，在二维展开重建的过程中通过首先确定拼接起始图像，再根据原始图像之间的匹配度确定目标图像，实现重建图像库中原始图像的一一拼接，从而得到准确的二维重建图像，方便检查结果回溯，并将所述二维重建图像与预设的标准图像进行比对和评估，完成对内窥镜的拍摄过程质量的规范化监控，从而避免医生根据主观判断导致对内镜检查检查过程质量的判断存在偏差的问题。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为一个实施例中基于二维重建的电子内窥镜质控方法的应用环境图；图2为一个实施例中基于二维重建的电子内窥镜质控方法的流程示意图；
图3为一个优选实施例中基于二维重建的电子内窥镜质控方法的流程示意图；图4a为一个优选实施例中电子内窥镜拍摄到的原始图像一；图4b为一个优选实施例中包含线框的电子内窥镜拍摄到的原始图像二；图4c为一个优选实施例中包含线框的电子内窥镜拍摄到的原始图像三；图4d为一个优选实施例中包含线框的电子内窥镜拍摄到的原始图像四；图4e为一个优选实施例中拼接完成的二维重建图像；图5为一个实施例中基于二维重建的电子内窥镜质控装置的结构框图；图6为一个实施例中计算机设备的内部结构图。
具体实施方式
17.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
19.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
20.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、
ꢀ“
具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
21.在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的基于二维重建的电子内窥镜质控方法的终端的硬
件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
22.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的基于二维重建的电子内窥镜质控方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
23.传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
24.在本实施例中提供了一种基于二维重建的电子内窥镜质控方法，图2是本实施例的基于二维重建的电子内窥镜质控方法的流程图，如图2所示，该流程包括如下步骤：步骤s210，对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在关键标志位的原始图像组合得到重建图像库。
25.以逐帧或者跳帧的方式从电子内窥镜拍摄的视频画面中得到原始图像，将原始图像送入后端服务器，利用深度模型判断原始图像中是否存在关键标志位。其中，深度模型的获取过程为，从大量的实际手术视频中挑选的带关键标志位图像数据，人工标注带关键标志位图像数据后，将数据分为训练数据和测试数据，训练数据用于模型训练，测试数据用于判断训练后的该深度模型的特异度和灵敏度是否达标。如果深度模型从原始图像中识别到了关键标志位，则将此幅原始图像置入重建图像库以待后续分析使用。除此之外，图像存储接口开放给进行检查的医生，医生可以自行决定是否将当前帧存入重建图像库。考虑到检查过程中医生行为的不可预知性，不将图像拍摄顺序的先验信息引入，这可以很好的改善后续的配准质量。
26.步骤s220，从重建图像库中选取拼接起始图像，对拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与拼接起始图像进行图像拼接，得到第一拼接图像。
27.其中，拼接起始图像为带有预设特殊标志位的原始图像，预设特殊标志位表征待检查器官的某个部位或局部区域。从重建图像库中选取原始图像与拼接起始图像进行匹配度计算；选取匹配度最高的原始图像作为第一目标图像，使用第一目标图像与拼接起始图像进行拼接，得到第一拼接图像。
28.步骤s230，从重建图像库中继续选取第二目标图像与第一拼接图像继续进行图像拼接，得到第二拼接图像，对重建图像库进行更新操作。
29.其中，重建图像库中除拼接起始图像外都可作为目标图像。从重建图像库中选取与第一拼接图像匹配度最高的图像作为第二目标图像，将第二目标图像与第一拼接图像进行拼接，得到第二拼接图像，从重建图像库中删除目标图像。拼接起始图像被使用后不再被作为目标图像，可以从重建图像库中删除拼接起始图像。
30.步骤s240，重复执行得到第二拼接图像的操作，直至重建图像库中的待拼接图像的数量为零，得到拼接完成的二维重建图像。
31.在完成第二次拼接的基础上，重复执行上述步骤s230，将重建图像库中的目标图像依次进行拼接，当重建图像库中的图像已经被全部使用后，二维重建图像的拼接操作完成。可以将二维重建图像输出至显示设备上，从而将电子内窥镜的检查结果全面的集中在一张二维图像上，方便检查结果的展示和医生后期对检查结果的追溯。
32.步骤s250，将二维重建图像与预设的标准图像进行比对，基于比对结果对电子内窥镜的拍摄过程进行评估。
33.其中，对比二维重建图像与预设的标准图像的面积大小和关键标志位数量，二者的面积大小和关键标志位数量越接近，内窥镜的拍摄过程完整性的得分越高。根据内窥镜的拍摄过程完整性的得分，评估电子内窥镜的拍摄过程的规范程度，提高内窥镜检查质量。
34.上述基于二维重建的电子内窥镜质控方法中，通过对关键标志位识别滤除了检查过程中拍摄的无效画面，通过将存在关键标志位的原始图像组合得到重建图像库，作为后续二维展开重建的数据来源，减少二维展开重建时进行数据处理的负担，在二维展开重建的过程中通过首先确定拼接起始图像，再根据原始图像之间的匹配度确定目标图像，实现重建图像库中原始图像的一一拼接，从而得到准确的二维重建图像，将二维重建图像与预设的标准图像进行比对和评估，完成对内窥镜的拍摄过程质量的监控，从而避免医生根据主观判断导致对内镜检查检查过程质量的判断存在偏差的问题。
35.在一个实施例中，基于上述步骤s210，在对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在关键标志位的原始图像组合得到重建图像库之后，还包括以下步骤：步骤s260，对重建图像库内的原始图像进行预处理，提取预处理后图像的关键点。
36.由于步骤s210是针对所有原始图像进行检测，导致重建库中的图像存在一定的重复率，因此先通过去重算法来对重建库中的图像进行预处理，将较为相似的一组原始图像只保留其中纹理信息更加丰富的几张。示例性的，使用孪生网络判断图像之间的相似度和利用canny纹理计算图像的纹理程度。对于预处理后的重建图像库，利用深度模型或者传统图像处理算法提取其中每幅原始图像的关键点。
37.步骤s270，对预处理后图像之间的关键点进行匹配，得到预处理后图像之间的匹配程度。
38.其中，匹配程度的计算方式如下，针对每一个关键点，利用预训练模型提取其某个邻域范围内特征，获得一个特征向量，接着利用欧式距离或者余弦相似度来度量特征向量间的差异程度，将所有关键点之间相似程度的平均值作为这两幅图像间的匹配程度值，这一步可以引入贪心算法以降低大部分的计算量。
39.在一个实施例中，基于上述步骤s220，从重建图像库中选取拼接起始图像，对拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与拼接起始图像进行图像拼接，得到第一拼接图像，具体可以包括以下步骤：
步骤s221，从重建图像库中选取存在预设特殊标志位的原始图像作为拼接起始图像。
40.在一个实施例中，上述步骤s221，具体包括以下步骤：步骤s2211，从重建图像库中选取存在预设特殊标志位的原始图像。
41.示例性的，利用神经网络模型在图像重建库中检测预设特殊标志位，将检测到预设特殊标志位的原始图像作为拼接的第一个图像。
42.步骤s2212，对存在预设特殊标志位的原始图像进行校正，得到拼接起始图像。
43.示例性的，流程如下，提取图像重建库中存在预设特殊标志位的原始图像关键点，并提取预设起始图像的关键点，该预设起始图像存在预设特殊标志位；对两个图像的关键点进行匹配计算，得到多组对应的关键点，基于对应的关键点，求解旋转矩阵，得到该原始图像所需的旋转角度，将其进行旋转得到用于后续拼接操作的拼接起始图像。
44.自适应地调整作为拼接的第一个图像的方向，可以得到更加贴近使用需求的重建结果。
45.步骤s222，从重建图像库中选取存在关键标志位的原始图像与拼接起始图像进行匹配度计算。
46.其中，提取上述原始图像和拼接起始图像的关键点，对关键点进行相似度计算，依据关键点之间相似程度的平均值作为这两幅图像间的匹配程度值。
47.步骤s223，选取匹配度最高的原始图像作为第一目标图像，使用第一目标图像与拼接起始图像进行拼接，得到第一拼接图像。
48.上述步骤s221至步骤s223的技术方案，作为完成二维重建图像拼接的第一步，通过预设特殊标志位先从重建图像库中匹配得到拼接起始图像，明确了拼接的起始点以及拼接的方向，提高电子内窥镜图像二维展开重建的效率。
49.在一个实施例中，基于上述步骤s230，从重建图像库中继续选取第二目标图像与第一拼接图像继续进行图像拼接，得到第二拼接图像，同时对重建图像库进行更新操作，具体可以包括以下步骤：步骤s231，从重建图像库中选取与第一拼接图像匹配度最高的图像作为第二目标图像。
50.其中，匹配度可以根据步骤s260-步骤s270中的匹配程度得到。
51.步骤s232，将第二目标图像与第一拼接图像进行拼接，得到第二拼接图像。
52.在一个实施例中，上述步骤s232，具体包括以下步骤：步骤s2321，选取第二目标图像与第一拼接图像中的目标特征点，基于目标特征点计算用于拼接的目标单应性矩阵。
53.步骤s2322，基于目标单应性矩阵将第二目标图像与第一拼接图像进行拼接，得到第二拼接图像。
54.其中，通过目标单应性矩阵把不同角度拍摄的图像都转换到同样的视角下，实现图像拼接。
55.步骤s233，从重建图像库中删除第二目标图像。
56.上述步骤s231至步骤s233用于找到用于与拼接起始图像的目标图像，从而完成了二维重建图像拼接的第二步。后续通过步骤s240将二维重建图像逐渐拼接完整。
57.在一个实施例中，上述步骤s250，将所述二维重建图像与预设的标准图像进行比对，基于比对结果对所述电子内窥镜的拍摄过程进行评估，具体可以包括以下步骤：步骤s251，对比二维重建图像与预设的标准图像的面积，得到第一评估权值。其中，计算二维重建图像积与标准图像的面积差异，一般情况下，面积差异的值越小，用于评估内窥镜的拍摄过程完整性的第一评估权值得分越高。
58.步骤s252，对比二维重建图像与标准图像的关键标志位数量，得到第二评估权值。其中，统计组成二维重建图像的目标图像和拼接起始图像中的所有关键标志位的数量，若数量统计结果越接近标准图像中的标志位数量，则用于评估内窥镜的拍摄过程完整性的得分越高。
59.步骤s253，基于第一评估权值和第二评估权值，对电子内窥镜的拍摄过程进行评估。
60.通过上述基于二维重建的电子内窥镜质控方法，通过二维重建图像和对二维重建图像的评估，提升了检查结果回溯的效率，极大的规范电子内窥镜的检查流程，提高检查的质量。
61.下面通过优选实施例对本实施例进行描述和说明。
62.图3是本优选实施例的基于二维重建的电子内窥镜质控方法的流程图。
63.步骤s310，对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在关键标志位的原始图像组合得到重建图像库。
64.步骤s320，对重建图像库内的原始图像进行预处理，提取预处理后图像的关键点；对预处理后图像之间的关键点进行匹配，得到预处理后图像之间的匹配程度。
65.步骤s330，从重建图像库中选取存在预设特殊标志位的原始图像；对存在预设特殊标志位的图像进行校正，得到拼接起始图像；从重建图像库中选取与拼接起始图像匹配度最高的原始图像作为第一目标图像，使用第一目标图像与拼接起始图像进行拼接，得到第一拼接图像。
66.步骤s340，从重建图像库中选取与第一拼接图像匹配度最高的图像作为第二目标图像；将第二目标图像与第一拼接图像进行拼接，得到第二拼接图像；从重建图像库中删除第二目标图像。
67.步骤s350，重复执行得到第二拼接图像的操作，直至重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像。
68.步骤s360，将二维重建图像与预设的标准图像进行比对，基于图像面积大小和关键标志位数量的比对结果对电子内窥镜的拍摄过程进行评估。
69.以对膀胱进行电子内窥镜检查为例，图4a至图4d为电子内窥镜拍摄到的原始图像。对获取到的图4a至图4d进行关键标志位检测，识别出存在右输尿管标志位的图4b、存在左输尿管标志位的图4c、存在顶泡标志位的图4d，上述关键标志位分别位于对应电子内窥镜拍摄到的原始图像的线框内。将上述存在关键标志位的图像组合得到重建图像库。对重建图像库内的原始图像进行预处理，提取预处理后图像的关键点；对预处理后图像之间的关键点进行匹配，得到预处理后图像之间的匹配程度。从重建图像库中选取存在预设特殊标志位的原始图像；对存在预设特殊标志位的图像进行校正，得到拼接起始图像；从重建图像库中选取与拼接起始图像匹配度最高的原始图像作为第一目标图像，使用第一目标图像
与拼接起始图像进行拼接，得到第一拼接图像。从重建图像库中选取与第一拼接图像匹配度最高的图像作为第二目标图像；将第二目标图像与第一拼接图像进行拼接，得到第二拼接图像；从重建图像库中删除第二目标图像。重复执行得到第二拼接图像的操作，直至重建图像库中的目标图像的数量为零，得到如图4e所示的拼接完成的二维重建图像。
70.通过对关键标志位识别，滤除了检查过程中拍摄的如图4a所示的无效画面，通过将存在该关键标志位的原始图像组合得到重建图像库，作为后续二维展开重建的数据来源，减少二维展开重建时进行数据处理的负担，在二维展开重建的过程中通过首先确定拼接起始图像，再根据原始图像之间的匹配度确定目标图像，实现重建图像库中原始图像的一一拼接，从而得到准确的二维重建图像，通过比对得出该二维重建图像中包含右输尿管标志位、左输尿管标志、顶泡标志位，可判断该二维重建图像膀胱内壁完整性，从而便于医生得出此次针对膀胱进行的电子内窥镜检查过程完整的结论。
71.应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
72.基于同样的发明构思，在本实施例中还提供了一种基于二维重建的电子内窥镜质控装置50，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
73.在一个实施例中，如图5所示，提供了一种基于二维重建的电子内窥镜质控装置50，包括：重建图像库模块51、第一拼接模块52、第二拼接模块53、第三拼接模块54、评估模块55，其中：重建图像库模块51，用于对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在关键标志位的原始图像组合得到重建图像库。
74.以逐帧或者跳帧的方式从电子内窥镜拍摄的视频画面中得到原始图像，将原始图像送入后端服务器，利用深度模型判断原始图像中是否存在关键标志位。其中，深度模型的获取过程为，从大量的实际手术视频中挑选的带关键标志位图像数据，人工标注带关键标志位图像数据后，将数据分为训练数据和测试数据，训练数据用于模型训练，测试数据用于判断训练后的该深度模型的特异度和灵敏度是否达标。如果深度模型从原始图像中识别到了关键标志位，则将此幅原始图像置入重建图像库以待后续分析使用。除此之外，图像存储接口开放给进行检查的医生，医生可以自行决定是否将当前帧存入重建图像库。考虑到检查过程中医生行为的不可预知性，不将图像拍摄顺序的先验信息引入，这可以很好的改善后续的配准质量。
75.第一拼接模块52，用于从重建图像库中选取拼接起始图像，对拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与拼接起始图像进行图像拼接，得到第一拼
接图像。
76.其中，拼接起始图像为带有预设特殊标志位的原始图像，预设特殊标志位表征待检查器官的某给个部位或局部区域。从重建图像库中选取原始图像与拼接起始图像进行匹配度计算；选取匹配度最高的原始图像作为第一目标图像，使用第一目标图像与拼接起始图像进行拼接，得到第一拼接图像。
77.第二拼接模块53，用于从重建图像库中继续选取第二目标图像与第一拼接图像继续进行图像拼接，得到第二拼接图像，对重建图像库进行更新操作。
78.其中，重建图像库中除拼接起始图像外都可作为目标图像。从重建图像库中选取与第一拼接图像匹配度最高的图像作为第二目标图像，将第二目标图像与第一拼接图像进行拼接，得到第二拼接图像，从重建图像库中删除目标图像。拼接起始图像被使用后不再被作为目标图像，可以从重建图像库中删除拼接起始图像。
79.第三拼接模块54，用于重复执行得到第二拼接图像的操作，直至重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像。
80.在完成第二次拼接的基础上，重复执行上述步骤s230，将重建图像库中的目标图像依次进行拼接，当重建图像库中的图像已经被全部使用后，二维重建图像的拼接操作完成。可以将二维重建图像输出至显示设备上，从而将电子内窥镜的检查结果全面的集中在一张二维图像上，方便检查结果的展示和医生后期对检查结果的追溯。
81.评估模块55，用于将二维重建图像与预设的标准图像进行比对，基于比对结果对电子内窥镜的拍摄过程进行评估。
82.其中，对比二维重建图像与预设的标准图像的面积大小和关键标志位数量，二者的面积大小和关键标志位数量越接近，内窥镜的拍摄过程完整性的得分越高。根据内窥镜的拍摄过程完整性的得分，评估电子内窥镜的拍摄过程的规范程度，提高内窥镜检查质量。
83.上述基于二维重建的电子内窥镜质控装置50中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
84.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于二维重建的电子内窥镜质控的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于二维重建的电子内窥镜质控方法。
85.本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
86.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
步骤s210，对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在关键标志位的原始图像组合得到重建图像库。
87.步骤s220，从重建图像库中选取拼接起始图像，对拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与拼接起始图像进行图像拼接，得到第一拼接图像。
88.步骤s230，从重建图像库中继续选取第二目标图像与第一拼接图像继续进行图像拼接，得到第二拼接图像，对重建图像库进行更新操作。
89.步骤s240，重复执行得到第二拼接图像的操作，直至重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像。
90.步骤s250，将二维重建图像与预设的标准图像进行比对，基于比对结果对电子内窥镜的拍摄过程进行评估。
91.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：步骤s210，对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在关键标志位的原始图像组合得到重建图像库。
92.步骤s220，从重建图像库中选取拼接起始图像，对拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与拼接起始图像进行图像拼接，得到第一拼接图像。
93.步骤s230，从重建图像库中继续选取第二目标图像与第一拼接图像继续进行图像拼接，得到第二拼接图像，对重建图像库进行更新操作。
94.步骤s240，重复执行得到第二拼接图像的操作，直至重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像。
95.步骤s250，将二维重建图像与预设的标准图像进行比对，基于比对结果对电子内窥镜的拍摄过程进行评估。
96.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：步骤s210，对电子内窥镜拍摄到的原始图像进行关键标志位检测，将存在关键标志位的原始图像组合得到重建图像库。
97.步骤s220，从重建图像库中选取拼接起始图像，对拼接起始图像进行匹配度计算，基于计算结果选出第一目标图像与拼接起始图像进行图像拼接，得到第一拼接图像。
98.步骤s230，从重建图像库中继续选取第二目标图像与第一拼接图像继续进行图像拼接，得到第二拼接图像，对重建图像库进行更新操作。
99.步骤s240，重复执行得到第二拼接图像的操作，直至重建图像库中的目标图像的数量为零，得到拼接完成的二维重建图像。
100.步骤s250，将二维重建图像与预设的标准图像进行比对，基于比对结果对电子内窥镜的拍摄过程进行评估。
101.需要说明的是，本技术所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
102.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机
可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random accessmemory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
103.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
104.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。