内窥镜图像处理方法、装置、电子设备及存储介质与流程

本发明涉及医疗图像处理技术，尤其涉及基于人工智能技术的内窥镜图像处理方法、装置、电子设备及存储介质。
背景技术：
：基于深度学习所进行的各类别识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。其中，医疗影像的各种图像在不断产生，例如，随着内窥镜在消化道内的不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。但是，现有实时视频流(如结肠内窥镜视频流)目标检测解决方案通常集成一个准确度较高的目标检测模型(如retinanet、fasterrcnn、yolo等各类目标检测算法)，均为将视频流中的图像帧依次输入到模型进行目标检测。但是由于模型的处理速度有限，模型处理速度并不能够与实时视频流速度匹配(大部分检测模型并不能跟上实时视频的帧率)，影响了模型的输出效果。技术实现要素：有鉴于此，本发明实施例提供一种内窥镜图像处理方法、装置、电子设备及存储介质，能够实现通过并行的第一线程和第二线程对原始内窥镜图像进行处理，使得所输出结果与内窥镜视频流的使用环境相匹配。本发明实施例的技术方案是这样实现的：本发明实施例提供了一种内窥镜图像处理方法，所述方法包括：获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。本发明实施例还提供了一种内窥镜图像处理方法，所述方法包括：内窥镜图像处理装置获取内窥镜发送的内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像，用于对目标对象的相应病灶进行窥测；所述内窥镜图像处理装置通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；所述内窥镜图像处理装置通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；所述内窥镜图像处理装置响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程；所述内窥镜图像处理装置根据所述第二线程中经过调整的输出结果，向与所述目标对象相接触的医疗设备发送相应的目标内窥镜图像帧，并由所述医疗设备输出相应的目标内窥镜图像帧。本发明实施例还提供了一种内窥镜图像处理装置，所述装置包括：信息传输模块，用于获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；信息处理模块，用于通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；所述信息处理模块，用于通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；所述信息处理模块，用于响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。上述方案中，所述信息处理模块，用于提取目标对象的病理信息中的内窥镜视频帧；所述信息处理模块，用于对所述内窥镜视频帧进行清晰度提升处理；所述信息处理模块，用于将所述内窥镜视频帧的格式由当前编码格式转换为灰阶值编码格式，以获得多个内窥镜视频帧；所述信息处理模块，用于将所述内窥镜视频帧进行编码压缩，以形成视频流状态的内窥镜视频流。上述方案中，所述信息处理模块，用于通过与目标格式相匹配的编码方法分别对所述内窥镜视频帧进行编码压缩；所述信息处理模块，用于写入所述视频帧对应的序列号和生成所述图像数据包对应的时间戳，以生成与所述内窥镜视频帧的格式相匹配的数据包；所述信息处理模块，用于对所述图像数据包进行拼接处理，以形成多个内窥镜视频帧。上述方案中，所述信息处理模块，用于将所述原始内窥镜图像调整至目标尺寸，生成标准内窥镜图像帧；所述信息处理模块，用于对所述标准内窥镜图像帧进行过滤，删除存在干扰的标准内窥镜图像帧，以形成包括不同目标内窥镜图像帧的目标内窥镜图像帧。上述方案中，所述信息处理模块，用于通过所述第一线程中的检测器，检测所存在的异物获得分布于所述目标内窥镜图像帧的异物框，其中，所述异物框用于指示所述目标内窥镜图像帧中存在异物的区域；所述信息处理模块，用于基于所述异物框对所述目标内窥镜图像帧进行过滤，以定位所述目标内窥镜图像帧中的病灶区域和所属病灶类别；所述信息处理模块，用于将通过所述异物框定位的所述目标内窥镜图像帧中的病灶区域传输至集成器。上述方案中，所述信息处理模块，用于当所述第一线程中的检测器的检测时间超出检测时间阈值时，停止检测当前目标内窥镜图像帧；所述信息处理模块，用于获取后续目标内窥镜图像帧进行检测。上述方案中，所述信息处理模块，用于当所述第二线程中的跟踪器处于继续跟踪状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框相匹配，所述第二线程中的跟踪器输出当前目标内窥镜图像帧；所述信息处理模块，用于当所述第二线程中的跟踪器处于重置状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框未匹配，所述第二线程中的跟踪器输出新的目标内窥镜图像帧。上述方案中，所述信息处理模块，用于通过所述第一线程中的检测器，确定述目标内窥镜图像帧中存在异物框时，确定相应的边框回归参数；所述信息处理模块，用于通过所述边框回归参数激活所述第二线程中的跟踪器。上述方案中，所述信息处理模块，用于当所述第二线程中的跟踪器被激活时，为所述当前目标内窥镜图像帧中的异物分配目标标识；所述信息处理模块，用于当所述第二线程中的跟踪器在激活状态、继续跟踪状态以及重置状态时的目标内窥镜图像帧中的异物统一时，对所述目标标识进行初始化，以实现对当前目标内窥镜图像帧中的异物进行连续跟踪。上述方案中，所述信息处理模块，用于响应于第二线程中的输出结果，发送调整指令，其中，所述调整指令用于调整与目标对象相接触的医疗设备的检测状态，以获取新的病理信息。本发明实施例还提供了一种内窥镜图像处理系统，所述系统包括：内窥镜，用于向内窥镜图像处理装置发送内窥镜视频流；内窥镜图像处理装置，用于获取所述内窥镜发送的内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像，用于对目标对象的相应病灶进行窥测；所述内窥镜图像处理装置，用于通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；所述内窥镜图像处理装置，用于通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；所述内窥镜图像处理装置，用于响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程；所述内窥镜图像处理装置，用于根据所述第二线程中经过调整的输出结果，向与所述目标对象相接触的医疗设备发送相应的目标内窥镜图像帧；所述医疗设备，用于输出相应的目标内窥镜图像帧。本发明实施例还提供了一种电子设备，所述电子设备包括：存储器，用于存储可执行指令；处理器，用于运行所述存储器存储的可执行指令时，实现前序的内窥镜图像处理方法。本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的内窥镜图像处理方法。本发明实施例具有以下有益效果：通过获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，本发明可以实现通过并行的第一线程与第二线程，控制输出结果与内窥镜视频流的使用环境相匹配，提升对内窥镜图像处理的实时精确率、提高实时召回率。附图说明图1是本发明实施例提供的内窥镜图像处理方法的使用环境示意图；图2为本发明实施例提供的电子设备的组成结构示意图；图3为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图；图4a为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图；图4b为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图；图5为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图；图6为本发明实施例中内窥镜图像处理方法中不同线程示意图；图7为本发明实施例中内窥镜图像处理方法中追踪器初始化状态示意图；图8为本发明实施例中内窥镜图像处理方法中继续跟踪状态示意图；图9为本发明实施例中内窥镜图像处理方法重置跟状态继续跟踪状态示意图；图10为本发明实施例中内窥镜图像处理方法重置跟状态继续跟踪状态示意图；图11为本发明实施例中内窥镜图像处理方法中对同一目标的判断过程示意图；图12为本发明实施例中内窥镜图像处理方法的显示效果示意图。具体实施方式为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。2)中文名称计算机辅助诊断(adcomputeraideddiagnosis)其中，cad用于通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。3)内窥镜视频流：用于通过图像采集设备(例如内窥镜)对机体部位(人体的不同目标器官或者体内病灶)进行图像采集所形成视频状态的病理信息。4)病灶：病灶通常指代机体上发生病变的部分。换一种表达方式，一个局限的、具有病原微生物的病变组织，即可称为病灶。5)yuv，灰阶值编码方法，是一种颜色编码方法，其中“y”表示亮度(luminance或luma)，也就是灰阶值，“u”和“v”表示的色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。6)rgb，三原色编码方法，又可以称作rgb色彩模式，是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。图1为本发明实施例提供的内窥镜图像处理方法的使用场景示意图，参见图1，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中获取不同的病理信息进行浏览，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中所获取的病理信息类型既可以相同也可以不相同，例如：终端(包括终端10-1和终端10-2)既可以通过网络300从相应的服务器200中获取与目标对象相匹配的病理图像或者病理视频，也可以通过网络300从相应的服务器200中获取仅与当前目标相匹配的病理视频(例如内窥镜视频流)进行浏览。服务器200中可以保存有不同目标对象各自对应的病理信息，也可以保存与所述目标对象的病理信息相匹配的辅助分析信息。在本发明的一些实施例中，服务器200中所保存的不同类型的病理信息可以由内窥镜所采集的内窥镜视频流。本实施例的内窥镜视频流中不少于两张原始内窥镜图像，是医生在利用内窥镜过程中，通过移动摄像头、切换放大倍率等操作反复观察疑似的病灶区域得到的多视野的病理图片的集合，融合了内窥镜下特定视野的信息。由于内窥镜视频流中记录了医生在观察患者病灶的过程中，内窥镜视野中所有的信息，如此，将医生观察单个患者病灶在内窥镜的视野中的信息，作为连续的视频流加以利用，避免医生在快速移动内窥镜的过程中，忽略微小的病变区域，从而提供比单帧图片更多的信息来辅助医生诊断并发现微小病变区域。需要说明的是，在内窥镜(与所述目标对象相接触的医疗设备)下查看的患者病灶可以包括多种不同的应用场景，如糖网病变筛查，宫颈癌早期筛查等不同视频流筛查等。基于本实施例的内窥镜图像处理方法可以部署到多种应用场景，从而便于医生的远程查阅与使用。服务器200通过网络300向终端(终端10-1和/或终端10-2)发送同一目标对象的病理信息以实现终端(终端10-1和/或终端10-2)的用户对目标对象的病理信息进行分析，，因此。作为一个事例，服务器200部署相应的神经网络模型，用于获取内窥镜设备400的视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。下面对本发明实施例的电子设备的结构做详细说明，电子设备可以各种形式来实施，如带有内窥镜图像处理功能的专用终端，也可以为带有内窥镜图像处理功能的电子设备或者云服务器，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。本发明实施例提供的电子设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。在一些实施例中，本发明实施例提供的内窥镜图像处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的内窥镜图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的内窥镜图像处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld，programmablelogicdevice)、复杂可编程逻辑器件(cpld，complexprogrammablelogicdevice)、现场可编程门阵列(fpga，field-programmablegatearray)或其他电子元件。作为本发明实施例提供的内窥镜图像处理装置采用软硬件结合实施的示例，本发明实施例所提供的内窥镜图像处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的内窥镜图像处理方法。作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digitalsignalprocessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。作为本发明实施例提供的内窥镜图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(asic，applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld，programmablelogicdevice)、复杂可编程逻辑器件(cpld，complexprogrammablelogicdevice)、现场可编程门阵列(fpga，field-programmablegatearray)或其他电子元件执行实现本发明实施例提供的内窥镜图像处理方法。本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何可执行指令，如可执行指令，实现本发明实施例的从内窥镜图像处理方法的程序可以包含在可执行指令中。在另一些实施例中，本发明实施例提供的内窥镜图像处理装置可以采用软件方式实现，图2示出了存储在存储器202中的内窥镜图像处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括内窥镜图像处理装置2020，内窥镜图像处理装置2020中包括以下的软件模块：信息传输模块2081，用于获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；信息处理模块2082，用于通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；所述信息处理模块2082，用于通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；所述信息处理模块2082，用于响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。结合图2示出的电子设备说明本发明实施例提供的内窥镜图像处理方法，参见图3，图3为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行内窥镜图像处理装置的各种服务器执行，例如可以是如带有内窥镜图像处理功能的专用终端、服务器、云服务器或者服务器集群。下面针对图3示出的步骤进行说明。步骤301：内窥镜图像处理装置获取内窥镜视频流。其中，所述内窥镜视频流携带原始内窥镜图像，疗内窥镜视频流，是在医疗环境，例如医院真实使用环境下，经由内窥镜所拍摄的视频流。在内窥镜的移动和拍摄下，内窥镜视频流将呈现内窥镜的镜头捕获的视频内窥。因此，将由内窥镜视频流来获得连续若干帧原始内窥镜图像，所得到的每一帧原始内窥镜图像都描绘了内窥镜在一时间点所拍摄的视频内窥，因此，将得以基于每一帧原始内窥镜图像来实现内窥镜图像的识别。其中，在所实现的内窥镜图像识别中，内窥镜在生物体，例如人体内部拍摄内窥镜视频流。示例性的，内窥镜在与外界相通的腔道或密闭体腔拍摄内窥镜视频流。例如，所指的与外界相通的腔道可以是消化道、呼吸道、泌尿道等，密闭体腔可以是胸腔、腹腔、关节腔等需要通过切口来送入内窥镜的腔体。通过内窥镜所进行的内窥镜视频流拍摄和识别，来获知相应腔道内的器官状况。在使用内窥镜检查腔道的过程中，所获得的内窥镜视频流被接入所进行的内窥镜图像识别中。除此之外，还可就在此之前所获得的内窥镜视频流，例如，历史内窥镜视频流来执行所实现的内窥镜图像识别，所实现的内窥镜图像识别不限于实时识别，还可以面向于所存储的大量内窥镜视频流执行。在本发明的一些实施例中，获取内窥镜视频流，可以通过以下方式实现：提取目标对象的病理信息中的内窥镜视频帧；对所述内窥镜视频帧进行清晰度提升处理；将所述内窥镜视频帧的格式由当前编码格式转换为灰阶值编码格式，以获得多个内窥镜视频帧；将所述内窥镜视频帧进行编码压缩，以形成视频流状态的内窥镜视频流。其中，通过将内窥镜视频帧的格式由当前编码格式转换为灰阶值编码格式，以获得多个内窥镜视频帧；将所获取的所有内窥镜视频帧进行编码压缩以形成视频状态的病理信息，能够减少数据传输量，减少卡顿；另一方面能够改善动态模糊，提高画面质量，进一步提高了用户体验，同时便于远程终端的用户(医生)更加准确的对目标对象的病理信息做出准确判断。在本发明的一些实施例中，将所述内窥镜视频帧的格式由当前编码格式转换为灰阶值编码格式，可以通过以下方式实现：通过与目标格式相匹配的编码方法分别对所述内窥镜视频帧进行编码压缩；写入所述视频帧对应的序列号和生成所述图像数据包对应的时间戳，以生成与所述内窥镜视频帧的格式相匹配的数据包；对所述图像数据包进行拼接处理，以形成多个内窥镜视频帧。其中，在将各图像帧进行编码压缩形成视频流时，可以采用预设的视频编码软件，例如可以采用ffmpeg编解码软件，ffmpeg编解码软件是一个自由软件，可以运行音频和视频多种格式的录影、转换、流功能，包含了音频和视频的解码/压码库。具体地，可以通过视频编码软件中的视频压缩算法，如h264、x264等视频压缩算法，对图像帧进行编码压缩以形成视频流，其中h264、x264是数字视频压缩格式，也是一种视频编解码标准。这一过程中，。yuv格式是指亮度参量和色度参量分开表示的像素格式，而将亮度参量和色度参量分开的好处就是不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。由于yuv不像rgb那样要求三个独立的视频信号同时传输，所以用将图像帧转换为yuv格式进行传送可以占用极少的频宽，节省大量资源。yuv格式分为planar和packed两大类，对于planar的yuv格式，先连续存储所有像素点的明亮度，紧接着存储所有像素点的色彩，随后是所有像素点的饱和度；对于packed的yuv格式，每个像素点的明亮度、色彩和饱和度是连续交叉存储的。对于yuv格式的图像帧，可以采用yuv422p、yuv420、yuv420sp等存储格式进行存储，以节省终端设备的存储资源，同时提高病理信息的传输效率。进一步地，将内窥镜视频流按照预设的传输协议传送到终端设备的过程中，该传输协议可以是udp协议等实时数据传输协议，其中udp协议(用户数据包协议)是一种用于处理数据包的无连接的协议，在本发明中，对数据传输协议的类型不做具体限定。作为本发明的一些可选的实施例，可以通过udp协议将视频流传送到终端设备中。在本发明的一些实施例中，方法还包括：将所述原始内窥镜图像调整至目标尺寸，生成标准内窥镜图像帧；对所述标准内窥镜图像帧进行过滤，删除存在干扰的标准内窥镜图像帧，以形成包括不同目标内窥镜图像帧的目标内窥镜图像帧。步骤302：内窥镜图像处理装置通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器。步骤303：内窥镜图像处理装置通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令。步骤304：内窥镜图像处理装置响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整。其中，所述第一线程与所述第二线程为并行线程。由此，可以实现所述输出结果与所述内窥镜视频流的使用环境相匹配。继续结合图2示出的电子设备说明本发明实施例提供的内窥镜图像处理方法，参见图4a，图4a为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图，可以理解地，图4a所示的步骤可以由运行内窥镜图像处理装置的各种服务器执行，例如可以是如带有内窥镜图像处理功能的专用终端、服务器、云服务器或者服务器集群。下面针对图4a示出的步骤进行说明。步骤401：内窥镜图像处理装置通过所述第一线程中的检测器，检测所存在的异物获得分布于所述目标内窥镜图像帧的异物框。其中，所述异物框用于指示所述目标内窥镜图像帧中存在异物的区域。步骤402：内窥镜图像处理装置基于所述异物框对所述目标内窥镜图像帧进行过滤，以定位所述目标内窥镜图像帧中的病灶区域和所属病灶类别。步骤403：内窥镜图像处理装置将通过所述异物框定位的所述目标内窥镜图像帧中的病灶区域传输至集成器。在本发明的一些实施例中，内窥镜图像处理方法还包括：当所述第一线程中的检测器的检测时间超出检测时间阈值时，停止检测当前目标内窥镜图像帧，并获取后续目标内窥镜图像帧进行检测。在本发明的一些实施例中，第二线程响应于所述控制指令，对所述第二线程中的输出结果进行调整，可以通过以下方式实现：当所述第二线程中的跟踪器处于继续跟踪状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框相匹配，所述第二线程中的跟踪器输出当前目标内窥镜图像帧。在本发明的一些实施例中，在本发明的一些实施例中，第二线程响应于所述控制指令，对所述第二线程中的输出结果进行调整，可以通过以下方式实现：当所述第二线程中的跟踪器处于重置状态时，所述跟踪器对应的跟踪框与所述检测器对应的异物框未匹配，所述第二线程中的跟踪器输出新的目标内窥镜图像帧。在本发明的一些实施例中，内窥镜图像处理方法还包括：通过所述第一线程中的检测器，确定述目标内窥镜图像帧中存在异物框时，确定相应的边框回归参数；通过所述边框回归参数激活所述第二线程中的跟踪器。在本发明的一些实施例中，内窥镜图像处理方法还包括：当所述第二线程中的跟踪器被激活时，为所述当前目标内窥镜图像帧中的异物分配目标标识；当所述第二线程中的跟踪器在激活状态、继续跟踪状态以及重置状态时的目标内窥镜图像帧中的异物统一时，对所述目标标识进行初始化，以实现对当前目标内窥镜图像帧中的异物进行连续跟踪。在本发明的一些实施例中，内窥镜图像处理方法还包括：响应于第二线程中的输出结果，发送调整指令，其中，所述调整指令用于调整与目标对象相接触的医疗设备的检测状态，以获取新的病理信息。继续结合图2示出的电子设备说明本发明实施例提供的内窥镜图像处理方法，内窥镜图像处理系统中，参见图4b，图4b为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图，可以理解地，图4b所示的步骤可以由运行内窥镜图像处理装置的各种服务器执行，例如可以是如带有内窥镜图像处理功能的专用终端、服务器、云服务器或者服务器集群。下面针对图4b示出的步骤进行说明。步骤4001：内窥镜向内窥镜图像处理装置发送内窥镜视频流；步骤4002：内窥镜图像处理装置获取内窥镜发送的内窥镜视频流。其中，内窥镜视频流携带原始内窥镜图像，用于对目标对象的相应病灶进行窥测；步骤4003：内窥镜图像处理装置通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器。步骤4004：内窥镜图像处理装置通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令。步骤4005：内窥镜图像处理装置响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整。由此，可以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，其中，所述第一线程与所述第二线程为并行线程。步骤4006：所述内窥镜图像处理装置根据所述第二线程中经过调整的输出结果，向与所述目标对象相接触的医疗设备发送相应的目标内窥镜图像帧。步骤4007：医疗设备输出相应的目标内窥镜图像帧。通过本实施例所示的技术方案，实现了通过并行的第一线程与第二线程，控制输出结果与内窥镜视频流的使用环境相匹配，提升对内窥镜图像处理的实时精确率、提高实时召回率，通过医疗设备输出相应的目标内窥镜图像帧，可以及时的了解目标对象的窥视情况。下面以通过内窥镜视频流确定结肠图像中的息肉(异物)为例对本发明所提供的内窥镜图像处理方法进行说明，其中，内窥镜设备形成医疗影像的各种图像在不断产生，例如，随着内窥镜在消化道内的不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。为此，人工智能技术(ai，artificialintelligence)提供了训练适当的辅助分析信息形成网络来支持上述应用的方案。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，在ai医疗领域中，也就是通过利用数字计算机或者数字计算机控制的机器实现对低延迟的视频和消息的识别，以实现根据病理分析的结果方便的获取辅助分析信息。但是，现有内窥镜视频流(如结肠内窥镜视频流)目标检测解决方案通常集成一个准确度较高的目标检测模型如视网膜检测算法(retinanet)、区域卷积神经网络算法(fasterrcnn)、只看一次算法(yoloyouonlylookonce)等各类目标检测算法，均为将视频流中的图像帧依次输入到模型进行目标检测。但是由于模型的处理速度有限，模型处理速度并不能够与实时视频流速度匹配(大部分检测模型并不能跟上实时视频的帧率)，影响了模型的输出效果。传统技术中，通过神经网络模型对内窥镜视频流所携带原始内窥镜图像进行处理，确定息肉(异物)的过程包括：1)通过神经网络模型直接对实时视频流中的图像帧进行处理，但是实时视频流的帧率通常不小于25fps，帧间隔小于40ms，模型处理速度并不能够与实时视频流速度匹配。2)仅从视频流中抽取部分帧进行检测(如隔n帧抽取)，对未能及时处理的视频帧则不作处理(跳帧处理)。3)在传统的检测基础上加上跟踪算法(如kcf、csrdcf、siamfc、siamrpn等各类目标跟踪算法)，例如，分段处理法：初始帧由检测模型发现，后续阶段则用跟踪代替检测进行目标定位，该方案虽然实时性有一定保障，但是会造成对息肉检测的准确性下降。或者，模型集成法：把跟踪算法视为另一个检测模型，所有帧都跑检测模型和跟踪算法；该方案虽然对息肉检测的准确性保障，但是会造成实时性下降，不利于医生的连续使用。结合前序对现有技术的总结，传统的通过神经网络模型对结肠内窥镜视频流进行处理的过程中，缺陷主要包括：1)检测模型处理耗时长，跟不上视频帧率，检测停滞且效果失真：当检测模型速度跟不上实时视频流帧率时，通常现象为，画面检测框停滞，检测框停留在原地不动，但视频中的目标早已不在原地。在具体评估数值指标下，该现象会导致实时精确率、实时召回率、实时f值的严重下降；在用户视觉体验的角度来看，该现象会导致用户体验下降，对医生来说，不仅严重影响诊断体验，而且容易漏检。2)检测模型稳定性差、鲁棒性低：在视频流这种多变、难以预料的场景下，检测模型的表现容易抖动、不稳定，常见的触发场景有：镜头模糊、镜头快速变动、目标发生形变、目标被部分遮挡、目标在视野边界出入等。3)缺乏同一目标的id识别：检测模型不具备同一目标的id识别功能，在目标检测这种场景下，我们常常希望在发现新目标的时候触发告警或提醒，但由于检测模型鲁棒性较低，并缺乏同一目标的id识别功能，常常触发重复报警/提醒，容易对使用者/用户产生不必要的骚扰。为解决上述缺陷，参考图5，图5为本发明实施例提供的内窥镜图像处理方法一个可选的流程示意图，其中用户为操作结肠内窥镜的用户，具体包括以下步骤：步骤501：获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像。步骤502：通过第一线程中的检测器对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器。步骤503：集成器根据所述原始内窥镜图像的检测结果，形成控制指令；步骤504：所述第二线程中的追踪器响应于所述控制指令，对所述第二线程中的追踪器的输出结果进行调整，以实现所述输出结果与所述内窥镜视频流的延时参数相匹配，其中，所述第一线程与所述第二线程为并行线程。继续参考图6，图6为本发明实施例中内窥镜图像处理方法中不同线程示意图；其中，1)内窥镜视频流(videostream)的时间线，每个点代表一帧，若实时视频输入帧率为25fps，则点/帧间隔代表40ms，以此类推；2)跟踪器(tracker)，输出的检测框全部由跟踪器实时给出，直接控制视频输出；3)检测器(detector)，通过集成器维持和指导tracker的下一步行为，间接控制视频输出；4)交互虚线：代表器间的信息传递，可注意信息传递的起止时间点；其中，跟踪器(tracker)，用于负责保证实时性、提升鲁棒性；跟踪器可以接受集成器的控制指令，直接实时返回检测框给视频流；进一步地，第二线程中所所使用的跟踪器(tracker)必须满足低延时要求，可采用基于手工特征的跟踪算法(csr-dcf)、siamrpn等任意低延时的实时跟踪器，以实现与视频流直接进行信息交互。其中，检测器(detector)，用于负责保证准确性；具体可以通过集成器发出相应的控制指令，以实现跟踪器的初始化、继续、重新初始化和终止；需要说明的是，检测器(detector)无需满足实时要求，若上一帧未完成，则放弃该帧的检测，可采用yolov3、retinanet、fasterrcnn等任意检测器算法，检测器不直接与视频流进行信息交互。其中，集成器(integrationmodule)，用于负责收集两个并行线的信息，联调检测器和集成器。继续参考图7至图10，第二线程中的追踪器的工作过程中，追踪器的状态包括：空闲状态(wait)；初始化状态(init)；继续跟踪状态(cont)；重置跟状态(reinit)；终止状态(stop)。其中，空闲状态(wait)说明检测器未发现任何目标，跟踪器处于空闲状态。参考图7，图7为本发明实施例中内窥镜图像处理方法中追踪器初始化状态示意图；其中，初始化状态(init)说明检测器发现第一帧目标及其边框回归参数(bboxbounding-boxregression)，用该边框回归参数激活并初始化跟踪器。参考图8，图8为本发明实施例中内窥镜图像处理方法中继续跟踪状态示意图；其中，继续跟踪状态(cont)说明跟踪过程中，若跟踪器给出的框与检测器给出的指导框高度重合(iou>＝μ)，代表目标仍被跟踪器良好追踪(目标未脱离)，因此继续跟踪；参考图9，图9为本发明实施例中内窥镜图像处理方法重置跟状态继续跟踪状态示意图；其中，重置跟状态(reinit)说明跟踪过程中，若跟踪器给出的框与检测器给出的指导框重合程度低(iou<μ)，其中，μ可以根据内窥镜视频流的使用环境进行动态调整，表示目标可能被跟踪器跟丢或跟踪不准确，因此用检测器的bbox重新激活并初始化跟踪器。参考图10，图10为本发明实施例中内窥镜图像处理方法重置跟状态继续跟踪状态示意图；其中，终止状态(stop)说明跟踪过程中，若检测器连续n帧未发现有效目标，代表目标可能已不存在视野内，因此终止跟踪器。继续参考图11，图11为本发明实施例中内窥镜图像处理方法中对同一目标的判断过程示意图，其中，通过本发明所提供的窥镜图像处理方法对患者的内窥镜视频流进行检测中1)、出现新目标：处于init状态的目标，视为第一次发现的新目标，分配新id；2)、保持旧目标：处于init、cont、reinit状态的目标为同一目标，分配之前初始化的id；通过以上识别策略，可帮助减少重复目标的告警和提醒，减少对用户的不必要骚扰。在通过本发明所提供的内窥镜图像处理方法(异步并行框架方案aipdt，asynchronousinparalleldetectionandtracking)确定结肠图像中的息肉的过程中，可以对内窥镜图像处理方法使用效果进行监控，其中，内窥镜视频流的视频评估需要考虑视频帧率，一般实时帧率为25fps，即每帧40ms，若模型耗时超过40ms，则直接采用上一帧结果作为当前结果(表现为画面输出停滞)，在这个评估先验基础上，计算表1所示的指标：表1当检测算法选则yolov3，跟踪算法选择csr-dcf时，(1)速度指标提升参考表2，指标单帧平均延时传统方案(detector方案)84.7ms异步并行框架方案24.4ms表2如果detector采用retinanet以及更加复杂的网络，detector方案延时普遍在100-200ms之间。(2)实时准确性提升参考表3，表3参考图12，图12为本发明实施例中内窥镜图像处理方法的显示效果示意图，其中传统技术中(detector方案的)由于延时高的原因，跟踪器对应的跟踪框与所述检测器对应的异物框不能相互匹配，很多跟踪框沿用了上一帧的结果，导致精确率和召回率都有所下降，造成内窥镜图像的视觉效果严重下降，而通过本发明实施例中内窥镜图像处理方法(aipdt实时异步并行框架)给出的踪框沿不仅位置更加准确、与异物框能够相互匹配，鲁棒性也更好，有利于内窥镜的持续工作。有益技术效果：通过获取内窥镜视频流，其中，所述内窥镜视频流携带原始内窥镜图像；通过第一线程对相应视频帧中的原始内窥镜图像进行检测，将所述原始内窥镜图像的检测结果传输至集成器；通过集成器根据所述原始内窥镜图像的检测结果，形成控制指令；响应于所述控制指令，通过第二线程对所述第二线程中的输出结果进行调整，所述第一线程与所述第二线程为并行线程，由此，可以实现所述输出结果与所述内窥镜视频流的使用环境相匹配，提升对内窥镜图像处理的实时精确率、提高实时召回率。以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12