基于卷积神经网络的内窥镜评估方法及评估系统与流程

1.本发明涉及图像识别技术领域，尤其涉及一种基于卷积神经网络的内窥镜评估方法及评估系统。


背景技术：

2.在内窥镜领域，基于深度学习的计算机辅助诊断系统因为其很高的应用价值得到了研究人员越来越对的关注。基于卷积神经网的人工智能算法的主要应用领域包括：息肉的自动检出，盲区监测，早癌识别，质量控制。大量的临床研究数据表明，较为成熟的人工智能算法主要集中在书中对于病变的检测和识别，如息肉，早癌识别，而作为实验重要一环的术前设备状况的智能检测，如内窥镜能否正常喷气、喷水的检查还没有与之相关的自动化算法。
3.人工智能在内窥镜操作质量评估上的应用还较为少见，且仅有的一些多为手术途中对医生操作的评估，并没有术前对手术设备能否正常工作的评估。而术前准备中比较重要的一个应用场景，便是评估内窥镜的前端能否顺畅喷气、喷水，以确保手术中的操作能够正常进行。目前内镜内窥镜前端能否喷气、喷水的检测均为医生人工判断，医生通过观察内镜内窥镜前端能否在水中喷出气泡来判断其能否正常喷气，通过观察内窥镜前端喷出的水滴是否顺畅来判断其能否喷水。由于对于肠胃镜检测的需求增加迅速，内窥镜操作医生人数相对缺乏，面对大量的病人，医生有时会误判，漏判术前准备结果，进而增加影响手术正常进程，延误病人病情的概率。


技术实现要素：

4.针对现有技术的不足，本发明的目的在于提供一种基于卷积神经网络的内窥镜评估方法及评估系统。
5.为实现前述发明目的，本发明采用的技术方案包括：
6.第一方面，本发明提供一种基于卷积神经网络的内窥镜评估方法，所述内窥镜至少具有喷气和喷水两种功能，所述的内窥镜评估方法包括：
7.1)通过摄像模块获取内窥镜的评估图像；
8.2)通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端；
9.3)基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述距离和比例对所述特征目标进行特征过滤；
10.4)对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。
11.第二方面，本发明还提供一种内窥镜评估系统，其包括：
12.摄像模块，用于获取内窥镜的评估图像；
13.目标检测器，用于通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端；
14.特征过滤器，用于基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述距离和比例对所述特征目标进行特征过滤；
15.信号计时器，用于对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。
16.基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：
17.本发明提供的基于卷积神经网络的内窥镜评估方法及评估系统能够高效准确的寻找出内窥镜的前端喷气时含有液体及气泡的透明容器，喷水时放入连续液滴以及内窥镜前端，然后对检测目标结果进行处理过滤，仅输出正确结果，最后正确的特征目标信号触发计时器，并基于计时器的计时结果指示内窥镜是否评估通过；该方法及系统能够准确的判断内窥镜术前准备是否完成喷气喷水检查准备工作，并准确给出是否通过术前准备工作的指示，避免术中因术前准备不足的原因而导致手术或检查中断的问题，极大地提高了医生进行术前准备的效率，节省了医生的精力。
18.上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本技术的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。
附图说明
19.图1是本发明一具体实施方案提供的基于卷积神经网络的内窥镜评估方法的使用场景示图；
20.图2是本发明一具体实施方案提供的特征目标的图像示例图；
21.图3是本发明一具体实施方案提供的基于卷积神经网络的内窥镜评估方法的总体流程示意图；
22.图4是本发明一具体实施方案提供的目标检测器结构示意图；
23.图5是本发明一具体实施方案提供的特征过滤器中处理神经网络识别结果的信号处理的详细过程示意图；
24.图6是本发明一具体实施方案提供的信号计时器的结构示意图。
具体实施方式
25.需要首先声明，虽然内窥镜属于医疗器械的一种，但仍然需强调的是，本发明所基于的技术构思以及采取的技术方案，均是服务于内窥镜的前期检测，属于一种对器械或设备的自动化视觉检测方法，该方法仅仅给出了上述内窥镜的功能是否正常的相关信息，而丝毫未涉及到直接用于判断生物体是否健康的诊断信息，更与任何疾病的治疗和诊断方法无直接关联，具体而言，医生仅根据本发明实施例所提供的方法完全无法直接单独判断生物体的健康状况和疾病状态，本发明实施例所提供的评估方法仅仅告诉医生，其使用的内窥镜是否功能正常。
26.因此，本发明所保护的技术方案未涉及疾病的诊断与治疗方法，完全属于专利保护客体。
27.在本发明技术方案属于专利保护客体的基础上，鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。
28.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
29.而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。
30.在传统目标检测算法中，通常使用人工设计的形状特征当作模版对图像全局进行索引来找到符合特征的目标。该类型算法通用性较差，需要大量人工设计对应特征，并且大多只能对特定目标进行检测。传统算法应使用中央处理器(cpu)运行算法，其效率也远远低于现在使用显卡运行的深度学习算法。随着深度学习的发展，基于cnn的目标检测算法在准确度和速度方面均有了飞跃的发展。基于cnn的目标检测算法通过骨干cnn提取的特征更加通用，通过训练可以抽取各种目标的特征，搭配区域候选网络等cnn网络，深度学习算法还能更快更准确找到目标。近年来，随着显卡硬件性能的提升以及深度学习算法的快速迭代优化，人工智能(ai)在众多领域都出现了革命性的发展和进步。随着整个社会快速向数字化方向发展，全世界每天都会有大量的数据产生。在这些数据的支撑下，现有深度学习算法的ai系统在许多领域的实际使用性能发生了质的改变，其表现已经可以接近甚至超越人类专家的判断。在医疗领域，基于深度学习的算法也同样展示出了很大的潜力，例如在应对皮肤病变和糖尿病视网膜病变图像的诊断方面，基于深度学习的ai系统在闭包测试过程中已经具备与医学专家相同甚至更佳的识别能力。
31.为了解决基于ai的内窥镜，例如消化内镜cad系统中操作质量评估的问题，本发明提出了基于卷积神经网络的内窥镜术前喷气喷水自动检测评估算法及系统。本发明中所述评估方法主要包含三个部分：(1)用于检测内窥镜前端，内窥镜前端在水杯中正常喷气，以及内窥镜前端喷出水滴的检测器。(2)目标检测信号处理算法，通过计算不同特征目标之间的相对位置以及滑窗算法过滤目标检测器的报告。(3)检测信号计时器，对正确输出信号计时，输出最终检测结果。
32.本发明中，所述的喷水功能为内窥镜喷出液体功能的简称，并非一定限定为喷出的液体为水，也可能是一些水溶液或一些医疗用溶剂或染色剂等等其他液体。
33.具体的，参见图1-图3，本发明实施例提供一种基于卷积神经网络的内窥镜评估方法，所述内窥镜至少具有喷气和喷水两种功能，该内窥镜评估方法包括如下的步骤：
34.1)通过摄像模块获取内窥镜的评估图像；
35.2)通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端；
36.3)基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述
距离和比例对所述特征目标进行特征过滤；
37.4)对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。
38.作为一些典型的应用实例，上述技术方案中所包含的实施方式例如可以包括如图3所示的步骤，具体为：
39.步骤一：通过摆放在术前准备台上的摄像模块获取连续的单帧图像
40.步骤二：将获取的图像用cnn目标检测器进行目标检测
41.步骤三：对目标检测器的结果进行过滤
42.步骤四：计数器对成功检测的目标进行计时，计数器达到阈值，报告术前准备成功。
43.在一些实施方式中，步骤1)中，所述摄像模块固设于术前准备台上，且拍摄方向朝向所述术前准备台的操作平台；
44.在一些实施方式中，所述摄像模块距离所述操作平台的中心15-24cm。
45.作为一些具体的功能应用场景示例，如图1-图2所示的使用场景图片所示，图1从左到右分别为喷水操作场景，喷气操作场景，摄像模块的视角图片。图中红框为摄像模块摆放位置。图2从左到右依次为盛放液体但无气泡的透明容器(一水杯)、有气泡的透明容器、连续液滴以及内窥镜的前端图像。
46.在一些实施方式中，步骤2)中，利用目标检测器执行所述目标检测；
47.在一些实施方式中，所述目标检测器包括依次串联的骨干神经网络、区域候选网络以及分类器；
48.所述骨干神经网络用于基于所述评估图像转化生成特征图像；
49.所述区域候选网络用于基于所述特征图像获取检测目标及其位置信息；
50.所述分类器用于将所述检测目标分类为不同种类的所述特征目标。
51.在一些实施方式中，所述骨干神经网络包括resnet、squeezenet、shufflennet、vggnnet以及densenet中的任意一种；
52.在一些实施方式中，所述分类器包括softmax分类器。
53.作为一些具体的应用实例，所述的目标检测器是基于单帧评估图像的内窥镜喷气喷水检测器。例如，该检测器可以将对准消化内镜术前准备操作台的摄像模块的单帧评估图像作为输入，采用当前通用的基于卷积神经网络，输出内窥镜前端是否能够顺畅喷气喷水的目标位置和类别。
54.更具体的，本实施案例所述的目标检测器所要检测的特征目标有以下三种：
55.1.有气泡的水杯：医生在做术前准备的时候会首先将内窥镜前端插进装有水的水杯进行喷气，若喷气顺利，水杯会出现大量气泡，与无气泡水杯区别很大。因此，若目标检测器可检测到有含有大量气泡的水杯，则可基于此进一步地判断喷气正常。
56.2.内窥镜前端喷出的水滴：在检测内窥镜前端喷水时，医生会将内窥镜前端拔出水杯，进行喷水操作并观察末端喷出的水滴，若水滴连续顺畅，则可确定该设备能够顺畅喷水。若检测器可检测到连续顺畅的水滴，便可确认该设备喷水正常。
57.3.内窥镜前端：在医生进行术前准备操作时，空气以及水均从内窥镜内窥镜前端喷出。通过对内窥镜前端进行检测，并计算其与水杯或水滴的相对位置，可以进一步确认水
杯与水滴检测的准确性。
58.在一些实施方式中，所述目标检测器通过标记训练得到。
59.在一些实施方式中，所述标记训练包括对所述骨干神经网络的预训练。
60.在一些实施方式中，所述预训练在imagenet进行。
61.在一些实施方式中，所述标记训练具体包括：
62.提供目标初始检测器、训练图像及其对应的标签。
63.利用所述目标初始检测器对所述训练图像进行目标检测，获得训练检测结果。
64.基于所述训练检测结果和标签，对所述目标初始检测器进行参数更新，获得所述目标检测器。
65.作为另一些具体的应用实例，可以采用基于监督的机器学习方法，首先采样如图2所示的场景视频图像作为数据来源，对含有气泡的水杯，和含有连续水滴，内窥镜前端的图片进行标注，经过专业医生进行质量审核之后，形成训练数据集，数据集构建完成后再对cnn模型进行训练，经过闭包测试之后，最终获得准确率较高所述目标检测器。
66.图4显示上述步骤二中目标检测系统的流程图，其中骨干神经网络可采用当前通用的卷积神经网络，例如resnet、squeezenet、shufflennet、vggnnet、densenet等。单帧图片通过该网络的处理后生成特征图像将作为区域候选网络的输入。区域候选网络为用于区分检测物体和背景的神经网络，该网络会对特征图进行处理，并选出前景目标并输出检测目标的位置信息，算法随后通过该信息可从特征图中截取相应的特征作为最后分类器的输入。本发明中的三分类分类器为softmax分类器。骨干神经网络会预先在imagenet进行与训练，随后整个网络会在人工收集并标注的水杯，水滴，内窥镜前端图片上进行训练。
67.在一些实施方式中，步骤3)具体包括：
68.使所述特征目标及其位置信息进入距离过滤器。
69.计算所述透明容器与内窥镜的前端之间的第一目标距离。
70.计算所述连续液滴与内窥镜的前端之间的第二目标距离。
71.当所述第一目标距离大于第一预设阈值或所述第二目标距离大于第二预设阈值时，使对应的所述特征目标通过所述距离过滤器。
72.在一些实施方式中，步骤3)具体还包括：
73.使通过距离过滤器的特征目标进入滑窗过滤器，所述滑窗过滤器包括具有预设队列大小的滑窗队列。
74.统计连续多个所述特征目标中同类特征目标的总数。
75.当所述同类特征目标的总数与所述预设队列大小的比值大于预设比例时，使所述特征目标通过所述滑窗过滤器。
76.为了减小图像检测器误报对算法最后结果的不良影响，本发明通过两步对目标检测器的结果信号进行过滤。第一步，通过水杯，水滴，内窥镜前端的相对位置进行误报过滤，当内窥镜前端与水杯，水滴在评估图像中位置较近，小于或等于一定阈值，则可确定含有气泡的水杯或连续水滴检测正确，反之，若二者之间位置较远，大于一定阈值，则可判断检测到的含有气泡的水杯或连续水滴为误报。第二步，增加了滑窗过滤算法，顺利通过第一步过滤的检测器结果会被送入滑窗队列，当滑窗中同一类别目标超过预设滑窗阈值，再输出最后的目标位置及类别信息。
77.图5为本发明实施例中目标检测结果信号处理系统(特征过滤器)的结构示例，为本发明实施例中的第二个模块。具体的一些示例中，首先可以通过计算冒泡水杯(即上述含有液体以及气泡的透明容器的简称，下同)与如内窥镜前端相对距离，连续水滴与内窥镜前端的相对距离对目标检测器结果进行第一次误报过滤。该系统第一检测目标为内窥镜软管前端，其中心坐标记为c1，第二检测目标为冒泡水杯，其中心坐标记为c2，第三检测目标连续水滴中心坐标为c3，检测结果可分为以下几种情况：
78.如图像中检测到冒泡水杯或连续水滴，而未检测到内窥镜软管前端，则判断检测到的水杯，水滴有可能为背景中的噪音，不是真正的目标，判断为错误检测，随后被系统过滤。
79.若图像中检测到冒泡水杯或连续水滴，以及内窥镜软管前端，则设c1与c2之间的直线距离为d1，若d1在较小范围之内，即，d1∈[0，7cm]，则判断冒泡水杯检测为正确，否则如果d1＞7cm，水杯距离软管前端距离过远，为背景噪音误报，判断为错误检测，随后被系统过滤.同理设c1与c3之间的直线距离为d2，若d2在较小范围之内，即d2∈[0，7cm]，则判断连续水滴检测为正确，否则如果d1＞7cm，水滴距离软管前端距离过远，为背景噪音误报，判断为错误检测，随后被系统过滤。
[0080]
为进一步过滤检测结果，通过距离过滤器的目标会被分别送入喷气和喷水的滑窗过滤器的滑窗队列，q1，q2.每个队列的大小均为n，每当有评估图像通过检测器输出目标并通过距离过滤器的冒泡水杯，则向q1插入1，若评估图像无结果输出，则插入0.当则输出检测到喷气信号，其中t＝n/2为预先设定的阈值，q1i为队列q1的第i个元素.同理，每当有评估图像检测到连续水滴并通过距离过滤器，则向q2插入1，若评估图像无结果输出，则插入0.当则输出检测到喷气信号，其中t＝n/2为预先设定的阈值，q2i为队列q2的第i个元素。
[0081]
在一些实施方式中，步骤4)具体包括：
[0082]
当所述特征目标通过所述特征过滤时，与所述特征目标的种类对应的计时器开始计时，当后续评估图像对应的特征目标继续通过所述特征过滤时，使所述计时器的计时结果正向增长。
[0083]
当所述计时结果大于预设时间阈值时，生成所述内窥镜的评估结果为评估通过。
[0084]
在一些实施方式中，所述评估结果包括喷气评估结果和/或喷水评估结果。
[0085]
在一些实施方式中，所述计时器包括对应所述喷气评估结果的喷气计时器，所述喷气计时器对应的特征目标包括所述透明容器和内窥镜的前端。
[0086]
在一些实施方式中，所述计时器还包括对应所述喷水评估结果的喷水计时器，所述喷水计时器对应的特征目标包括所述连续液滴和内窥镜的前端。
[0087]
上述部分中，通过两次过滤的目标信息会激活相对应的计时器，当喷气质检计时器到达预设数值后，系统输出喷气质检通过，同理，当喷水质检计时器到达预设数值后，系统输出喷水质检通过。
[0088]
如图6所示，顺利通过过滤的检测结果(特征目标)会触发与之对应的计时器，每次正确检测目标信号会使计时器增加，当计时器累计数值c大于医生预设时间t，评估通过，即所述的内窥镜功能正常
[0089]
可以理解的，上述的方法以及下述的评估系统，还可以包括输出器，或输出模块，用于将上述内窥镜的功能是否正常的信息输出以使医生能够获知，其输出方式可以是语音，也可以是图像或文本，相应的输出方法及相关设置属于常见的技术手段，在此不再赘述。
[0090]
继续参见图3-图6，本发明实施例还提供一种内窥镜评估系统，其包括：
[0091]
摄像模块，用于获取内窥镜的评估图像。
[0092]
目标检测器，用于通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端。
[0093]
特征过滤器，用于基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述距离和比例对所述特征目标进行特征过滤。
[0094]
信号计时器，用于对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。
[0095]
上述目标检测器、特征过滤器以及信号计时器构成了本发明实施例提供的基于卷积神经网络的术前准备评估算法，具体的，三个模块分别可以是：1.基于卷积神经网络cnn目标检测器，2.目标检测信号处理算法，3.目标成功检测信号计时器，若连续检测到目标时间超过预定阈值则报告术前准备成功。
[0096]
作为一具体的应用场景，采用上述内窥镜评估系统及其对应的评估方法进行评估时，其评估准确性可以达95％，医生肉眼评估相当，但是，采用本发明实施例所提供的系统和方法，无需医生消耗额外的精力进行评判，甚至于基于该方法和系统，可以交待给其他医护人员例如护士来替代医生进行专业化的评估，尤其在面临数量较大的待检查或手术的患者时，可以大大节约医生的精力，提高检查或手术的质量以及效率。
[0097]
综上所述，本发明实施例提供的方法以及系统能够准确的判断内窥镜术前准备是否完成喷气喷水检查准备工作，并准确给出是否通过术前准备工作的指示，避免术中因术前准备不足的原因而导致手术或检查中断的问题，极大地提高了医生进行术前准备的效率，节省了医生的精力。对于内窥镜方法的发展和应用具有巨大意义。
[0098]
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。