内窥镜影像智能分析方法及系统与流程

本申请涉及内窥镜影像分析领域，尤其涉及一种内窥镜影像智能分析方法及系统。

背景技术：

目前的交互诊疗系统仅仅将系统重点放在交互式上，医务工作人员在进行诊疗工作时，需付出较大的时间成本，未能真正方便医生和患者。而诊疗系统依赖于医务工作人员的从业经验，在不同的医疗经验层次下可能会导致误诊漏诊。且目前交互式诊疗系统未能与医生专业经验使用起来，未能真正将专业经验作为诊疗的一个手段，未能起到辅助诊疗的作用。

现有技术中，目前交互式系统主要集中在信息通信和信息采集上，不能实现具有信息交互功能的交互式内镜影像智能分析。

技术实现要素：

本申请提供一种内窥镜影像智能分析方法及系统，以解决相关技术中的不足。

根据本申请实施例的第一方面，提供一种内窥镜影像智能分析方法，包括以下步骤：

获取影像以及与所述影像关联的辅助信息；

分析所述影像并对存在病灶区的所述影像进行分类标记；

提取所述影像的病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息；其中，所述病灶区为自动获取所述影像的病灶区和/或通过交互方式选取的病灶区；

接收所述针对于所述病灶区的病灶特性信息并显示。

进一步地，所述获取影像以及与所述影像关联的辅助信息，包括：

获取图像设备传输的影像或视频流以及与所述影像或视频流关联的设备信息；

对获取的所述图像或视频流进行预处理。

进一步地，所述分析所述影像并对存在病灶区的所述影像进行分类标记，包括：

分析所述影像，判断所述影像是否存在病灶区以及确定存在病灶区的所述影像对应病灶特征数据库中一个或多个。

进一步地，所述提取所述影像的病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息，包括：

对所述影像可能存在病灶的区域进行滑动窗口扫描，将扫描获取得到的图像预作为病灶区，和/或获取通过交互方式选取的病灶区；

提取所述影像上的病灶区和/或通过交互方式选取的病灶区；

分析提取的所述病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息。

进一步地，所述的内窥镜影像智能分析方法还包括：

接收所述针对于所述病灶区的病灶特性信息以及通过交互方式输入的病灶特征信息，若所述病灶特征信息未存在病灶特征数据库中，则将该病灶特征信息存入作为新增病灶特征信息病灶特征自学习数据库；

在所述自学习数据库中的新增病灶特征信息达到预设阈值时，将该病灶特征信息作为病灶特征自学习数据库的训练要素。

根据本申请实施例的第一方面，提供一种内窥镜影像智能分析系统，包括：

获取模块，用于获取影像以及与所述影像关联的辅助信息；

筛选模块，用于分析所述影像并对存在病灶区的所述影像进行分类标记；

处理模块，用于提取所述影像的病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息；其中，所述病灶区为自动获取所述影像的病灶区和/或通过交互方式选取的病灶区；

显示模块，用于接收所述针对于所述病灶区的病灶特性信息并显示。

进一步地，所述获取模块包括：

获取子单元，用于获取图像设备传输的影像或视频流以及与所述影像或视频流关联的设备信息；

预处理单元，用于对获取的所述图像或视频流进行预处理。

进一步地，所述筛选模块包括：

筛选子单元，用于分析所述影像，判断所述影像是否存在病灶区以及确定存在病灶区的所述影像对应病灶特征数据库中一个或多个。

进一步地，所述处理模块包括：

选取单元，用于对所述影像可能存在病灶的区域进行滑动窗口扫描，将扫描获取得到的图像预作为病灶区，和/或获取通过交互方式选取的病灶区；

提取单元，用于提取所述影像上的病灶区和/或通过交互方式选取的病灶区；

对比输出单元，用于分析提取的所述病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息。

进一步地，所述的内窥镜影像智能分析系统还包括：

自学习模块，用于接收所述针对于所述病灶区的病灶特性信息以及通过交互方式输入的病灶特征信息，若所述病灶特征信息未存在病灶特征数据库中，则将该病灶特征信息存入作为新增病灶特征信息病灶特征自学习数据库；

在所述自学习数据库中的新增病灶特征信息达到预设阈值时，将该病灶特征信息作为病灶特征自学习数据库的训练要素。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请通过获取影像并对影像的病灶区和通过交互选取的病灶区进行处理，可判断影像中包含的疾病特征信息，为医疗诊断提供了辅助诊断信息，能够解决因基层医生专业经验不足导致的漏诊断、误诊。

附图说明

图1是本申请一实施例中内窥镜影像智能分析方法的流程图。

图2是本申请又一实施例中内窥镜影像智能分析方法的流程图。

图3是本申请另一实施例中一种内窥镜影像智能分析方法的流程图。

图4是本申请一实施例中一种内窥镜影像智能分析系统的模块图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

图1是本申请一实施例中内窥镜影像智能分析方法的流程图。如图1所示，所示内窥镜影像智能分析方法包括以下步骤：

在步骤101中，获取影像以及与所述影像关联的辅助信息。

获取待处理的影像，该影像可以是医院pacs(picturearchivingandcommunicationsystems的缩写，意为影像归档和通信系统)设备的图片、或者移动设备拍摄的图像。而所述影像关联的辅助信息可以是记录数据来源的设备信息，也可以是医务工作人员添加的其他信息，该辅助信息可以作为分类所述影像的依据；当然，分类所述影像的方式方法多种多样，本申请在此不做限制。

在步骤102中，分析所述影像并对存在病灶区的所述影像进行分类标记。

在该步骤中，可先分析所述影像是否存在病灶区，并根据判断结果将存在病灶区的所述影像进行分类标记。该分类标记用于作为选择与所述影像对比的病灶特征数据库。

在步骤103中，提取所述影像的病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息；其中，所述病灶区为自动获取所述影像的病灶区和/或通过交互方式选取的病灶区。

在该步骤中，自动获取病灶区可以为医务工作人员提供初步诊断对比信息，而通过交互方式选取病灶区可进一步精确初步诊断对比信息。其中通过交互方式选取病灶区可以是医务工作人员(也可以是其他操作人员)通过操作显示界面框选出的所述影像的病灶区。与所述影像对比的病灶特征数据库可以有多个，例如可以建立云端服务器，该云端服务器包括多种神经网络组成的数据库，每种或多种神经网络对应一种病理的数据库，该云端服务器存储的病灶特征数据库可以包括图像信息、与图像信息关联的病灶特征信息等，例如，胃内的溃疡或肿瘤图像以及溃疡程度、治疗方案等。将所述影像的病灶区与云端服务器中的数据库对比，即可得出或判断出所述影像包含的病灶信息。该步骤可为医务工作人员提供辅助信息，提示医生目前系统采集的到的信息，可能存在的疾病特征，解决因基层医生专业经验不足导致的漏诊、误诊的可能。

在步骤104中，接收所述针对于所述病灶区的病灶特性信息并显示。

在该步骤中，可以接收上述影像包含的病灶信息并显示在显示设备上，以便医务工作人员查阅，或通过其他方式予以显示，例如打印。

由上述实施例可知，本申请通过获取影像并对影像的病灶区和通过交互选取的病灶区进行处理，可判断影像中包含的疾病特征信息，为医疗诊断提供了辅助诊断信息，能够解决因基层医生专业经验不足导致的漏诊断、误诊。

图2是本申请又一实施例中内窥镜影像智能分析方法的流程图。下面将结合图2所述的流程图以内窥镜图像的辅助分析对本申请作进一步地说明。如图2所示，所述内窥镜影像智能分析方法包括以下步骤。

在步骤201中，获取影像及其关联信息。

获取图像设备传输的影像或视频流以及与所述影像或视频流关联的设备信息。例如，面向医院pacs设备的导入图片，面向移动设备的视像拍摄组件获取的影像，或者面向视频流的图片截取组件等获取得到待处理的图片。所述影像关联的辅助信息可以是记录数据来源的设备信息，也可以是医务工作人员添加的其他信息，如病人症状等，该辅助信息可以作为分类所述影像的依据；当然，分类所述影像的方式方法多种多样，本申请在此不做限制。

在步骤202中，预处理影像。

即对步骤101中获取的待处理图像或视频流进行预处理。该待处理图像或视频流可以交互的显示在显示设备上，操作人员可以利用该显示设备的触摸组件对视频流截取图像，然后进行包括旋转、色温色差的调整等预处理，以完成低性能的本地图片处理。然后经过预处理的影像科通过压缩打包的方式利用远程通信模块发送至云端服务器或本地服务器进行初筛选诊断结果。其中，远程通信模块包括加密单元、推送单元和断线重连单元；加密单元可实现压缩包加密功能，推送单元可实现远程推送功能，断线重连单元可实现高可靠性的本地信息通信要求，可以实现高安全性的远程通信需求。远程通信模块还包括信息接收模块，用以接收云端服务器或本地服务器所提供的信息。

在步骤203中，初筛选诊断结果。

在该步骤中，分析所述影像，判断所述影像是否存在病灶区以及确定存在病灶区的所述影像对应病灶特征数据库中一个或多个。

可对上述步骤中的压缩包进行解压，读取相应的设备信息，分配具体处理网络(例如云端服务器的某一对应内窥镜图像的神经网络)，用于疾病的初步筛选。在一实施例中，可进行所述影像的有无疾病分类，接收操作人员的交互信息，如病灶分割信息，辅助诊断信息等。然后根据病灶分割信息、辅助诊断信息等确定所述影像对应的神经网络数据库，将所述影像进行分类(例如内窥镜图像及其对应的分类)，并与神经网络数据库对比判定当前待诊断影像是否可能存在疾病问题。该步骤为对疾病的辅助诊疗，在诊断结果出具后提供初步就医指导、和诊疗意见，可供操作人员和患者。

在步骤204中，用户交互筛选结果。

在该步骤中，操作人员可参与人机交互，诊断结果交互显示在显示设备上，若诊断结果为有疾病且被操作人员认可，则执行步骤s207；若诊断结果为有疾病且操作人员否认，则执行步骤s205；若诊断结果为无疾病而操作人员认为有疾病，则操作人员完成病灶区框选，然后执行步骤s208，若无疾病且操作人员认可，则诊断完成。

在步骤205中，诊断结束，显示结果。

例如显示某胃疾病。

在步骤206中，用户框选病灶区。

即用户手动框选所述影像上的病灶区。

在步骤207中，病灶分割。

云端服务器通过对所述影像进行扫描方式并在该待处理影像上进行可能区域框选。例如，利用滑动窗口策略完成可疑区域的选取，将滑动窗口滑过的区域作为待处理区域。云端服务器对可疑区域进行标记并选取对应该影像的具体网络。在该步骤中，操作人员同样可以进行人机交互。例如，在交互显示器说提示可疑病灶区域，操作人员可自行增加可疑病灶区域也可以删除可疑病灶区域。其中，新增的可疑病灶区域与原有的可疑病灶区域共同组成新的可疑区域。经操作人员确认后，将确认信息打包压缩，进入特征提取步骤s208。

在步骤208中，特征提取与对比。

在该步骤中，包括对所述影像可能存在病灶的区域进行滑动窗口扫描，每次扫描获取得到的图像作为肯能存在的病灶区，并将扫描获取得到的图像预作为病灶区，和/或获取通过交互方式选取的病灶区。然后提取所述影像上的病灶区和/或通过交互方式选取的病灶区的特性信息，所述信息特征提取包括进行边界清晰度、颜色、表面光滑度、形态等特征的提取。最后分析提取的所述病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息。例如某图像区域中的颜色发红和形态隆起，则该病灶信息为“红肿”。

在一实施例中，将病灶分割得到的影像数据作为输入，从其中扣选出分割的病灶区区域(框选的区域)，扣选的区域将作为输入的图片信息。该图片信息传输至云端服务器，与对应的数据库进行对比，获取对应所述图片信息的疾病特征后，匹配与该疾病特征对应的疾病列表以及治疗方法。例如，将胃图片信息作为输入图片信息，根据该胃图片信息在与所述影像分类标记对应的数据库中查找与之对应的疾病特征，然后匹配与该疾病特征对应的疾病列表以及治疗方法以供显示。

在步骤209中，显示对比结果。

本申请还提供另一种内窥镜影像智能分析方法。图3是本申请一实施例中一种内窥镜影像智能分析方法的流程图，该方法其包括以下步骤：

在步骤301中，获取影像以及与所述影像关联的辅助信息。

在步骤302中，分析所述影像并对存在病灶区的所述影像进行分类标记。

在步骤303中，提取所述影像的病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息；其中，所述病灶区为自动获取所述影像的病灶区和/或通过交互方式选取的病灶区。

在步骤304中，接收所述针对于所述病灶区的病灶特性信息以及通过交互方式输入的病灶特征信息，若所述病灶特征信息未存在病灶特征数据库中，则将该病灶特征信息作为新增病灶特征信息存入病灶特征自学习数据库；在所述自学习数据库中的新增病灶特征信息达到预设阈值时，将该病灶特征信息作为病灶特征自学习数据库的训练要素。

例如，如果出现新的病灶特征，云端服务器将记录这一病灶特征，当新的病灶特征达到某一阈值，则将其作为训练要素，当训练要素达到某一阈值时，云端服务器将重新训练网络，否则利用云端信息存储模块进行信息存储，并重新调整与病灶、病理关联特征，返回新的诊断数据信息结果。

本实施例与上述实施例不同之处在于，本实施例还具有交互式信息录入功能，实现数据库中未包括所有特征的情况下的自学习功能，不断提高信息可用性。

另外本申请还对应以上方法实施例提供一种内窥镜影像智能分析系统。图4是本申请一实施例中一种内窥镜影像智能分析系统的模块图，该系统包括：

获取模块401，用于获取影像以及与所述影像关联的辅助信息；

筛选模块402，用于分析所述影像并对存在病灶区的所述影像进行分类标记；

处理模块403，用于提取所述影像的病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息；其中，所述病灶区为自动获取所述影像的病灶区和/或通过交互方式选取的病灶区；

显示模块404，用于接收所述针对于所述病灶区的病灶特性信息并显示。

可选的，所述获取模块401包括：

获取子单元，用于获取图像设备传输的影像或视频流以及与所述影像或视频流关联的设备信息；

预处理单元，用于对获取的所述图像或视频流进行预处理。

可选的，所述筛选模块402包括：

筛选子单元，用于分析所述影像，判断所述影像是否存在病灶区以及确定存在病灶区的所述影像对应病灶特征数据库中一个或多个。

可选的，所述处理模块403包括：

选取单元，用于对所述影像可能存在病灶的区域进行滑动窗口扫描，将扫描获取得到的图像预作为病灶区，和/或获取通过交互方式选取的病灶区；

提取单元，用于提取所述影像上的病灶区和/或通过交互方式选取的病灶区；

对比输出单元，用于分析提取的所述病灶区并与对应影像分类标记的病灶特征数据库对比，输出针对于所述病灶区的病灶特征信息。

可选的，还包括：

自学习模块，用于接收所述针对于所述病灶区的病灶特性信息以及通过交互方式输入的病灶特征信息，若所述病灶特征信息未存在病灶特征数据库中，则将该病灶特征信息作为新增病灶特征信息存入病灶特征自学习数据库；

在所述自学习数据库中的新增病灶特征信息达到预设阈值时，将该病灶特征信息作为病灶特征自学习数据库的训练要素。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。