一种判断消化内窥镜检查是否染色的方法及系统与流程

本发明属于人工智能技术领域，尤其涉及一种判断消化内窥镜检查是否染色的方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

由于消化内窥镜检查中经常要用到的染色技术来增加病变的检出率，尤其对于一些食管癌、胃癌等消化道肿瘤高危人群，在内镜检查时要求用化学染色(如冰醋酸、卢戈氏碘、靛胭脂、龙胆紫、亚甲蓝等)或是电子染色(nbi、i-scan、oe等)来增加病变检出率。

而实际操作中，多数医师会忽视内镜染色的重要性，而对于消化道肿瘤高危人群没有进行染色，导致了病变漏诊的可能性增加。

并且，目前通过染色技术进行消化道内窥镜检查时，对于是否染色，均是人为进行记录。若在内窥镜检查过程中进行染色，手动记录对于操作医师而言十分不便。

技术实现要素：

为克服上述现有技术的不足，本发明提供了一种判断消化内窥镜检查是否染色的方法及系统。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种判断消化内窥镜检查是否染色的方法，包括以下步骤：

获取消化道内窥镜操作过程中实时采集的连续视频帧；

基于预先训练的染色动作识别模型，判断是否存在染色动作；

若存在染色动作，将所述染色动作对应的视频帧输入预先训练的染色类别识别模型，判断该染色动作相应的染色类别。

进一步地，获取实时采集的连续视频帧后，还进行降帧预处理。

进一步地，若经染色类别识别模型判断出染色类别为电子染色，还将所述染色动作对应的视频帧按照一张未染色和一张染色进行分组，将多组视频帧输入预先训练的电子染色二次确认模型，确定所述电子染色的类别。

进一步地，所述染色动作识别模型的构建方法包括：

获取染色视频，截取包含染色动作的视频段，并展开成单帧图像；

对得到的单帧图像进行均匀采样得到染色动作训练数据集；

采用染色动作训练数据集训练三维卷积网络，得到染色动作识别模型。

进一步地，所述染色类别识别模型的构建方法包括：

获取包含各类染色图像的染色类别训练数据集，且各类染色图像均包括多幅；

采用染色类别训练数据集训练卷积神经网络，得到染色类别识别模型。

进一步地，所述电子染色二次确认模型的构建方法包括：

获取电子染色类别训练集，所述电子染色类别训练集中的每个样本包括针对同一部位的染色前后2张图像；

采用电子染色类别训练集训练全连接神经网络，得到电子染色类别二次确认模型。

进一步地，对于内窥镜检查过程中识别出的染色动作和染色类别进行自动记录；若整个内窥镜检查过程中没有检测到染色动作，判断病人是否是消化道肿瘤高危病人，若是，生成警示消息并进行输出。

一个或多个实施例提供了一种判断消化内窥镜检查是否染色的系统，包括：

数据获取模块，获取消化道内窥镜操作过程中实时采集的连续视频帧；

染色动作识别模块，基于预先训练的染色动作识别模型，判断是否存在染色动作；

染色类别识别模块，若存在染色动作，将所述染色动作对应的视频帧输入预先训练的染色类别识别模型，判断该染色动作相应的染色类别。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述判断消化内窥镜检查是否染色的方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述判断消化内窥镜检查是否染色的方法。

以上一个或多个技术方案存在以下有益效果：

本发明提供了一种计算机智能判断消化内窥镜检查是否进行染色的方法，对于一些食管癌、胃癌、结肠癌等高危人群，该装置可以通过计算机智能判断内镜检查中是否采用了染色内镜，若没有染色，提示内镜医师完成相应的染色等技能操作，提高了内镜检查的有效性和可靠性，同时也增加了内镜下病变的检出率；

此外，通过智能判断是否染色，可以实现染色这一操作的自动记录，当判断出医师进行了染色动作时，识别染色类别并进行记录，能够让医师专注于病变的检查，提高检查效率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中判断消化内窥镜检查是否染色的方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

如图1所示，本实施例公开了判断消化内窥镜检查是否染色的方法，包括以下步骤：

阶段一：染色动作识别模型和染色类别识别模型训练阶段

步骤1：获取染色动作视频并进行预处理，所述染色动作包括喷洒染色剂行为、电子染色开关行为及切换模式行为。

为了能够实现针对任意染色情形的识别，本实施例针对不同类别、型号的内窥镜，以及内窥镜不同电子染色模式，均采集了染色动作视频。其中，染色动作视频包括染色开始前，染色过程中和染色后的视频帧。

所述预处理为降帧处理，将每秒n帧的染色动作视频下采样到每秒m帧，m<n。

步骤2：训练染色动作识别模型。

获取染色动作训练数据集，从染色动作视频中截取喷洒染色剂行为、开关电子染色动作、电子染色切换模式行为的视频段，展开成单帧图像，每秒均匀采样m张图像，制作成训练样本，具体地，还对采样得到的图像进行去除黑边处理，将属于同一染色动作的图像存入该染色动作对应的文件夹，即，每个文件夹存储一类染色动作对应的训练数据。每种染色剂喷洒过程、每种电子染色开关或者切换过程，各制作100个样本。

构建染色动作识别模型，具体地，所述模型基于三维卷积网络(c3d)进行构建。

采用染色动作训练数据集训练染色动作识别模型。三维卷积网络连续输入一些视频帧，其大小为clhw，其中c为视频帧的通道数，目前取值为3，rgb色彩空间，彩色图像，l为连续视频帧的数量，建议取值为5～20，h、w为视频帧的缩小后的高度和宽度，建议取值为64～265，目前取值为112。

步骤3：训练染色类别识别模型。

收集染色类别训练数据集，每种染色收集500张图像。

构建染色类别识别模型，所述染色类别识别模型基于卷积神经网络(cnn)。

采用染色类别训练数据集训练染色动作识别模型。输入大小为c*h*w的染色图像，其中c为图像通道数，目前取值为3，rgb色彩空间，彩色图像，h、w为染色图像的缩小后的高度和宽度，建议取值为64～512。

步骤4：训练电子染色类别二次确认模型。

由于化学染色种类少，特征区分明显，经由上述步骤3即可进行准确识别。而电子染色种类多，且每种有不同的级别，仅通过上述步骤3识别有识别错误的风险。为了对电子染色类型也能够更精确的识别，本实施例还训练电子染色类别二次确认模型，考虑到电子染色的切换是瞬间完成的，通过采集同一位置染色前和染色后的两张图像，通过2张图像rgb直方图的对应关系，可以更加准确的确定是哪种电子染色。

为了准确判断染色类别，本实施例还构建了电子染色类别二次确认模型，用于对经过染色类别识别模型判断出的类别进行二次确认。

收集电子染色类别训练集，每种电子染色收集500个样本，每个样本包括针对同一部位的染色前后2张图像。

所述电子染色类别二次确认模型基于一个全连接神经网络。采用电子染色类别训练集训练电子染色类别二次确认模型，将每个样本的2张图像，分别获取这2张图像的r、g、b直方图数据，输入至所述全连接神经网络进行训练。

阶段二：判断消化内窥镜检查是否染色阶段

步骤5：内窥镜检测过程中，视频采集卡实时采集内窥镜视频进行预处理；

所述预处理与步骤1中的相同，均是降帧处理，将每秒n帧的染色动作视频下采样到每秒m帧，m<n。视频采集模块实时采集到视频帧，通过下采样模块降低帧率，得到的视频帧输出给染色动作识别模型。

步骤6：将预处理后的视频输入到染色动作识别模型，检测是否发生染色动作，若识别出发生染色动作，执行步骤7，若没有识别出，对输入的视频进行检测；若整个内窥镜检查过程中没有检测到染色动作，判断病人是否是消化道肿瘤高危病人，若是，生成警示消息并进行输出。

具体地，模块按照先后顺序取连续的l帧(从第x帧到第y帧)图像输入到染色动作识别模型检查是否有化学染色的喷洒动作、电子染色的开关或切换动作，如果没有检查到动作，从第x+k帧起，到第y+k帧，再取连续l帧图像，k<＝l/2，继续将它们交给c3d网络识别动作，持续进行这个行为。在识别到动作后，将这l帧输出给染色类别识别模型。

通过病人在预约内镜时填写的相关信息确认该病人是否为高危病人；所述相关信息包括患者主诉、吸烟饮酒史、家族史、既往内镜结果等。这些信息可录入内镜系统中，自动判断是否为高危病人。

其中，所述警示消息可以通过音频也可以通过文字的形式进行输出，在此不做限定。

步骤7：将染色动作对应的视频帧输入到染色类别识别模型，判断染色类别；若染色类别属于电子染色，进一步执行步骤8；

染色类别识别模型将识别到的动作的l帧交给染色识别cnn神经网络，每一帧得到一个标签，除去未染色的标签后，占剩余标签中数量最多的染色类别即为当前这个动作的染色类别。

步骤8：基于所述染色动作对应的视频帧获取所述染色动作的前后多组视频帧，输入到电子染色类别二次确认模型，确定所述电子染色的类别。

如果是电子染色，再次调用电子染色二次确认神经网络，将识别到的动作的l帧按照一张未染色和一张染色进行分组，得到a组图像，每一组计算r、g、b直方图数据，输入电子染色二次确认神经网络，取数量最大的染色类别。最后将染色类别输出给图文报告模块。

步骤9：记录当前染色动作对应的动作类别和染色类别。

具体地，识别出内窥镜检查过程中进行的染色动作和染色类别后，自动写入图文报告模块。并且，还可以记录执行染色动作的时间。

实施例二

本实施例的目的是提供一种判断消化内窥镜检查是否染色的系统

一种判断消化内窥镜检查是否染色的系统，包括：

数据获取模块，获取消化道内窥镜操作过程中实时采集的连续视频帧；

染色动作识别模块，基于预先训练的染色动作识别模型，判断是否存在染色动作；若存在，将所述染色动作对应的视频帧送入染色类别识别模块；

染色类别识别模块，若存在染色动作，将所述染色动作对应的视频帧输入预先训练的染色类别识别模型，判断该染色动作相应的染色类别；若经染色类别识别模型判断出染色类别为电子染色，将所述染色动作对应的视频帧送入电子染色类别识别模块；

电子染色类别识别模块，将所述染色动作对应的视频帧按照一张未染色和一张染色进行分组，将多组视频帧输入预先训练的电子染色二次确认模型，确定所述电子染色的类别；

识别结果记录模块，自动记录识别出的染色动作和染色类别；

信息提醒模块，若整个内窥镜检查过程中没有检测到染色动作，判断病人是否是消化道肿瘤高危病人，若是，生成警示消息并进行输出。

实施例三

本实施例的目的是提供一种电子设备。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：

获取消化道内窥镜操作过程中实时采集的连续视频帧；

基于预先训练的染色动作识别模型，判断是否存在染色动作；

若存在染色动作，将所述染色动作对应的视频帧输入预先训练的染色类别识别模型，判断该染色动作相应的染色类别；

若经染色类别识别模型判断出染色类别为电子染色，还将所述染色动作对应的视频帧按照一张未染色和一张染色进行分组，将多组视频帧输入预先训练的电子染色二次确认模型，确定所述电子染色的类别。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

获取消化道内窥镜操作过程中实时采集的连续视频帧；

基于预先训练的染色动作识别模型，判断是否存在染色动作；

若存在染色动作，将所述染色动作对应的视频帧输入预先训练的染色类别识别模型，判断该染色动作相应的染色类别；

若经染色类别识别模型判断出染色类别为电子染色，还将所述染色动作对应的视频帧按照一张未染色和一张染色进行分组，将多组视频帧输入预先训练的电子染色二次确认模型，确定所述电子染色的类别。

以上实施例二、三和四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具有以下技术效果：

本发明提供了一种计算机智能判断消化内窥镜检查是否进行染色的方法，对于一些食管癌、胃癌、结肠癌等高危人群，该装置可以通过计算机智能判断内镜检查中是否采用了染色内镜，若没有染色，提示内镜医师完成相应的染色等技能操作，提高了内镜检查的有效性和可靠性，同时也增加了内镜下病变的检出率；

此外，通过智能判断是否染色，可以实现染色这一操作的自动记录，当判断出医师进行了染色动作时，识别染色类别并进行记录，能够让医师专注于病变的检查，提高检查效率。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。