肠道内窥镜观察视频中图像的处理方法、装置及存储介质与流程

1.本申请涉及医疗技术领域，尤其涉及一种肠道内窥镜观察视频中图像的处理方法、装置及存储介质。


背景技术：

2.内窥镜是筛查结直肠息肉的重要手段，医生操作内窥镜的手法决定了筛查诊断的质量，其中螺旋退镜是完整观察肠道的重要手法。但是，由于医生水平参差不齐，有些医生可能由于手法不熟练而导致未能观察完整肠道，进而导致漏查。
3.因此，为了对内窥镜筛查进行质量控制,方便医生了解筛查操作情况,提高内窥镜筛查准确性，亟待研发出可以确认内窥镜对肠道观察的完整度的方案。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种内窥镜观察视频中图像的处理方法、装置及存储介质。
5.第一方面，本申请提供了一种内窥镜观察视频中图像的处理方法，所述内窥镜观察视频中图像的处理方法包括：从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像；根据预设像素规格缩放每帧视频图像的肠道观察区域图像，得到多幅检测图像；确定每幅检测图像中显示的肠道远端开口区域的中心点坐标；将各幅检测图像的中心点坐标映射在与所述像素规格相同的检测矩阵的多个检测区域；确定每个检测区域的中心点坐标数量与所述多幅检测图像的中心点坐标数量的平均差；根据所述平均差确定所述多个检测区域的平均差绝对值总和；根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度。
6.在本发明的公开中，所述肠道可以为任意的具有肠道形态和/或结构的介质，例如，人的肠道、人的肠道仿真模型、动物肠道，等，这些都视为包含在本发明的保护范围之内。
7.可选地，所述从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像包括：在每帧视频图像中确定出所述肠道观察区域的有效边界；根据每帧视频图像的有效边界从每帧视频图像中切割出每帧视频图像的肠道观察区域图像。
8.在本发明的公开中，所述从内窥镜观察视频中截取可以为实时截取，也可以为从已存储视频中截取，等。
9.可选地，所述在每帧视频图像中确定出所述肠道观察区域的有效边界包括：将每帧视频图像转换为灰度图；
在每帧视频图像的灰度图中，根据预先确定的肠道观察区域的有效灰度值，将所述灰度图中小于所述有效灰度值的像素点设为0，大于所述有效灰度值的像素点设为255，得到第一二值化图像；清除所述第一二值化图像的噪点，并在清除噪点的第一二值化图像中将大于0像素点的边界值作为所述有效边界。
10.可选地，所述确定每幅检测图像中显示的肠道远端开口区域的中心点坐标包括：根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域，所述最大连通域对应所述肠道远端开口区域；确定出每幅检测图像中所述最大连通域的中心点坐标。
11.可选地，所述根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域包括：将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255，得到与各幅检测图像对应的多幅第二二值化图像；确定多幅第二二值化图像的最大连通域。
12.可选地，所述确定出每幅检测图像中所述最大连通域的中心点坐标包括：保留多幅第二二值化图像的最大连通域，得到多幅第三二值化图像；确定出每幅第三二值化图像中值为0的像素点在每幅第三二值化图像中的第一坐标的均值和第二坐标均值；根据所述第一坐标的均值和所述第二坐标的均值，确定出所述最大连通域的中心点坐标。
13.可选地，所述将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255之前包括：将每幅检测图像中灰度值小于预设视界外灰度值的像素点设为255；所述确定每幅第二二值化图像的最大连通域之后包括：判断黑色区域面积是否不小于预设肠道观察区域图像面积阈值，在不小于时，确定出每幅检测图像中所述最大连通域的中心点坐标。
14.可选地，根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度包括：根据所述多个检测区域的数量确定完整度最大值；根据所述平均差绝对值总和、所述完整度最大值和预设的权重系数，确定通过内窥镜观察肠道的完整度。
15.第二方面，本申请提供了一种内窥镜观察视频的处理装置，所述内窥镜观察视频的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如上任一项所述的内窥镜观察视频中图像的处理方法的步骤。
16.可选地，所述存储器为云存储器。
17.可选地，所述处理装置与医用化验设备和/或医学影像设备连接使用；进一步可选地，所述医学影像设备为核磁共振成像设备。
18.第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜观察视频的处理程序，所述内窥镜观察视频中图像的处理方法程序被处理器执行时，实现如上任一项所述的内窥镜观察视频中图像的处理方法的步骤。
19.本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请各实施例通过肠道远端开口区域的位置检测来确定内窥镜运动均匀程度和整体的完整度，通过本发明实施例中方法可以有效对内窥镜筛查进行质量控制。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1为本申请各个实施例提供的内窥镜观察视频中图像的处理方法的流程图；图2为本申请各个实施例提供的内窥镜观察视频图像；图3为本申请各个实施例的视界外区域示意图；图4为本申请各个实施例的肠道远端开口区域示意图。
具体实施方式
23.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
24.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
25.实施例一本发明实施例提供一种内窥镜观察视频中图像的处理方法，如图1所示，所述内窥镜观察视频中图像的处理方法包括：s101，从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像；如图2所示，内窥镜观察视频的每帧图像包括肠道观察区域图像和信息区域图像；s102，根据预设像素规格缩放每帧视频图像的肠道观察区域图像，得到多幅检测图像；像素规格可以是534*480；s103，确定每幅检测图像的肠道远端开口区域的中心点坐标；s104，将各幅检测图像的中心点坐标映射在与所述像素规格相同的检测矩阵的多个检测区域；s105，确定每个检测区域的中心点坐标数量与所述多幅检测图像的中心点坐标数量的比值；s106，根据所述比值确定所述多个检测区域的平均差绝对值总和；s107，根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度。
26.本发明实施例将内窥镜观察视频中每幅检测图像中肠道远端开口区域的中心点坐标映射在检测矩阵中，通过计算确定检测矩阵的每个检测区域的中心点坐标数量与所有
中心点坐标数量的比值，并计算确定出平均差绝对值总和，然后根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度，从而通过肠道远端开口区域的位置检测来确定内窥镜运动均匀程度和整体的完整度，通过本发明实施例中方法可以有效对内窥镜筛查进行质量控制。
27.在一些实施方式中，从内窥镜观察视频中截取每帧视频图像的肠道观察区域图像可以包括：在每帧视频图像中确定出所述肠道观察区域的有效边界；根据每帧视频图像的有效边界从每帧视频图像中切割出每帧视频图像的肠道观察区域图像。
28.详细地，该步骤包括：将每帧视频图像转换为灰度图；在每帧视频图像的灰度图中，根据预先确定的肠道观察区域的有效灰度值，将所述灰度图中小于所述有效灰度值的像素点设为0，大于所述有效灰度值的像素点设为255，得到第一二值化图像；清除所述第一二值化图像的噪点，并在清除噪点的第一二值化图像中将大于0的边界值作为所述有效边界。
29.例如，肠道观察区域的有效灰度值可以是像素值20，具体地，首先，将当前帧图像转灰度图，然后对灰度图进行二值化处理，令灰度值小于20的像素值为0，大于20的为255，得到二值化处理图像1（即第一二值化图像）。
30.然后，使用opencv进行腐蚀和膨胀操作，清除噪点。
31.并使用numpy计算出大于0的矩阵的上下左右边界值（即有效边界值），根据有效边界值对二值化图像1得到的灰度图进行切割，得到每帧视频图像的肠道观察区域图像。
32.最后，切割出的有效区域图像缩放成534*480，得到检测图像h。
33.在一些实施方式中，所述确定每幅检测图像的肠道远端开口区域的中心点坐标包括：根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域，所述最大连通域对应所述肠道远端开口区域；确定出每幅检测图像中所述最大连通域的中心点坐标。
34.其中，所述根据预设的肠道远端暗区灰度阈值，确定出每幅检测图像中的最大连通域可选地包括：将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255，得到与各幅检测图像对应的多幅第二二值化图像；确定每幅第二二值化图像的黑色区域的最大连通域。
35.其中，所述确定出每幅检测图像中所述最大连通域的中心点坐标可选地包括：保留多幅第二二值化图像的最大连通域，得到多幅第三二值化图像；确定出每幅第三二值化图像中值为0的像素在每幅第三二值化图像中的第一坐标的均值和第二坐标均值；根据所述第一坐标的均值和所述第二坐标的均值，确定出所述最大连通域的中心
点坐标。
36.在一些实施方式中，所述将每幅检测图像中灰度值小于所述肠道远端暗区灰度阈值的像素点设为0，大于所述肠道远端暗区灰度阈值的像素点设为255之前可以包括：将每幅检测图像中灰度值小于预设视界外灰度值的像素点设为255；所述确定每幅第二二值化图像的黑色区域的最大连通域之后包括：判断黑色区域面积是否不小于预设肠道观察区域图像面积阈值，在不小于时，确定出每幅检测图像中所述最大连通域的中心点坐标。
37.详细地，通过检测较暗区域确定肠道远端开口区域。
38.首先，如图3所示，视界为除去角落（四个角）黑色区域内的肠道观察区域图像，角落黑色区域为视界外区域。本实施方式中角落黑色区域的灰度值作为视界外灰度值，本实施方式中视界外灰度值为像素值16。过滤检测图像h中灰度值小于16的像素点值设为255，防止“视界”外的纯黑区域对暗区检测的干扰。
39.然后，对图像进行高斯平滑处理，去除噪点。
40.将图像进行二值化，灰度值小于“肠道远端暗区灰度阈值”的像素点值设为0，大于“肠道远端暗区灰度阈值”的像素点值设为255，二值化图像2（即第二二值化图像）；同时判断二值化图像2的黑色区域面积是否大于整张图片的1%（肠道观察区域图像面积阈值），若小于则视为当前图像无肠道远端开口区域，不进行后续的计算。
41.并使用opencv函数求出图像的最大连通域，即为肠道远端开口区域，如图4所示。
42.将上面的二值化图像2进行筛选，图中仅保留最大连通域，得到图像3（即第三二值化图像）。
43.若存在最大连通域，则进行后续步骤；否则视为当前图像无肠道远端开口，不进行后续的计算。
44.最后，计算肠道远端开口的中心点坐标，统计图像3中，值为0的像素在矩阵中的x坐标均值和y坐标均值，作为中心点坐标.在一些实施方式中，根据所述平均差绝对值总和确定通过内窥镜观察肠道的完整度包括：根据所述多个检测区域的数量确定完整度最大值；根据所述平均差绝对值总和、所述完整度最大值和预设的权重系数，确定通过内窥镜观察肠道的完整度。
45.详细地，视频逐帧检测计算视频整体结果，将上面得到的中心点坐标存储在数组中，得到集合n，存储在数组中的作用为方便后续视频结束后统一进行计算处理。
46.由于所有输入的图像维度均为534*480，所以这里建立一个维度为534*480的检测矩阵，并将矩阵切分成m*m个(共计n个检测区域)，每个检测区域即为区域块x。
47.统计集合n中的所有中心点，将每个中心点的坐标分别对应到相应位置的区域块中，统计每个区域块中的中心点坐标个数（记作xs），将每个区域块中的点数与总点数做比，计算公式为： xs/sum(xs) 。
48.计算这n个区域块的平均差绝对值总和l。
49.最后，使用公式 (l
max
‑
l)/(l
max
‑
β) ，计算出整体检查的完整度(大于1的记为1)。
50.其中，平均差是体现离散程度的指标之一，平均差和越大，离散程度越大，完整度
越低；相反完整度越高。由于计算了n个区域块，那么最优的情况，就是总和 l
min 为0，即每个区域块中占比均为1/n，此时完整度为100%；最差的情况，则是所有点都集中到一个格子中，那么总和 l
max 为 2*(n
‑
1)/n，故公式分子使用l
max
‑
l；分母设置为l
max
‑
β，β为权重系数。
51.本实施方式中，通过减去β做偏移处理，通过若干权威的内窥镜观察视频，假定其为实际情况的金标准操作，通过分析内窥镜观察视频，计算这些手术的完整度，将结果反代入公式中得出β。
52.本实施方式中m取8；n取64；β取0.5。
53.本发明实施例提出了一种内窥镜观察视频中图像的处理方法，基于opencv连通域方法检测肠道远端开口以及通过分块计算平均差从而推导出完整度，可以有效判断内窥镜筛查的完整度，从而量化指标，进而可对内窥镜筛查进行有效地质量控制。
54.实施例二本发明实施例提供一种内窥镜观察视频的处理装置，所述内窥镜观察视频的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如实施例一中任一项所述的内窥镜观察视频中图像的处理方法的步骤。
55.其中，内窥镜观察视频的处理装置可以是内窥镜检测设备。
56.实施例三本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜观察视频的处理程序，所述内窥镜观察视频中图像的处理方法程序被处理器执行时，实现如实施例一中任一项所述的内窥镜观察视频中图像的处理方法的步骤。
57.实施例二和实施例三的具体实现可以参阅实施例一，具有相应的技术效果。
58.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
59.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
60.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。
61.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。