胃镜图像智能处理方法及装置与流程

本申请涉及胃镜图像处理领域，尤其涉及一种胃镜图像智能处理方法及装置。

背景技术：

目前，胃镜检查仍然是胃癌最直接、准确、可靠的诊断方法。胃癌的癌前病变往往涉及胃粘膜广泛区域，常规的内镜活检采取分段、随机多点取样方法，漏检局灶癌变组织的可能性很大，特别是经验缺乏的内镜医生则更容易出现“视癌不见”；其次，在显微镜下对于不典型性增生和早期胃癌的判定需要大量的病例积累、训练，在不同的病理医生间或者同一病理医生多次诊断同一组胃镜活检标本，都存在着一定的差异。

但传统的胃镜检查有如下缺点：1、早期胃癌诊断率低，漏检率、误诊率高。2、现有的胃镜系统仅仅给医生提供图像，而并没有对图像进行初筛以及特征提取并进行标注，而医生又不得不面对大量的医学图像，这增加了医生的工作量，效率低而且极易导致医生出现“漏诊”的情况。3、虽能对病灶进行突出显像，但对于癌组织并无针对性，因此对病变性质的判断依旧依靠操作医师的经验。

技术实现要素：

本申请提供一种胃镜图像智能处理方法及装置，以解决相关技术中的不足。

根据本申请实施例的第一方面，提供一种胃镜图像智能处理方法，包括以下步骤：

动态获取第一胃镜图像；

分割出所述第一胃镜图像上存在病灶特征的分割区域，在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像；

接收所述第二胃镜图像，将多个所述第二胃镜图像中的一级特征信息和位置信息进行组合分析形成二级特征信息及对应所述二级特征信息的区域位置信息，输出标注有所述二级特征信息及所述区域位置信息的第三胃镜图像；

接收所述第三胃镜图像并显示。

进一步地，所述分割出所述第一胃镜图像上存在病灶特征的分割区域，在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像，包括：

扫描所述第一胃镜图像，对所述第一胃镜图像上存在病灶特征的区域框选并进行标记，提取标记的所述分割区域中的一级特征信息及所述分割区域的在所述胃镜图像中的位置信息；

在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像。

进一步地，所述接收所述第二胃镜图像，将多个所述第二胃镜图像中的一级特征信息和位置信息进行组合分析以形成二级特征信息及对应所述二级特征信息的区域位置信息，输出标注有二级特征信息及区域位置信息的第三胃镜图像，包括：

接收带有所述第二胃镜图像，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息，并确定所述二级特征信息的在图像上的区域范围，输出标注有所述二级特征信息及所述区域范围的第三胃镜图像。

进一步地，所述接收带有所述第二胃镜图像，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息，并确定所述二级特征信息的在图像上的区域范围，输出标注有所述二级特征信息及所述区域范围的第三胃镜图像，包括：

接收带有所述第二胃镜图像，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息、确定所述二级特征信息的在图像上的区域范围，检索对应所述二级特征信息的特征说明信息，输出标注有所述二级特征信息、所述特征说明信息及所述区域范围的第三胃镜图像。

进一步地，所述动态获取第一胃镜图像之后分割出所述第一胃镜图像上存在病灶特征的分割区域之前，还包括：

将获取的胃镜图像进行初筛选，将所述胃镜图像分为无灶特征的胃镜图像和有病灶特征的胃镜图像。

根据本申请实施例的第二方面，提供一种胃镜图像智能处理装置，其特征在于，包括：

获取模块，用于动态获取第一胃镜图像；

第一处理模块，用于分割出所述第一胃镜图像上存在病灶特征的分割区域，在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像；

第二处理模块，用于接收所述第二胃镜图像，将多个所述第二胃镜图像中的一级特征信息和位置信息进行组合分析形成二级特征信息及对应所述二级特征信息的区域位置信息，输出标注有所述二级特征信息及所述区域位置信息的第三胃镜图像；

显示模块，用于接收所述第三胃镜图像并显示。

进一步地，所述第一处理模块包括：

预处理单元，用于扫描所述第一胃镜图像，对所述第一胃镜图像上存在病灶特征的区域框选并进行标记，提取标记的所述分割区域中的一级特征信息及所述分割区域的在所述胃镜图像中的位置信息；

标注输出单元，用于在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像。

进一步地，所述第二处理模块包括：

第一计算输出单元，用于接收带有所述第二胃镜图像，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息，并确定所述二级特征信息的在图像上的区域范围，输出标注有所述二级特征信息及所述区域范围的第三胃镜图像。

进一步地，所述第二处理模块还包括：

第二计算输出单元，用于接收带有所述第二胃镜图像，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息、确定所述二级特征信息的在图像上的区域范围，检索对应所述二级特征信息的特征说明信息，输出标注有所述二级特征信息、所述特征说明信息及所述区域范围的第三胃镜图像。

进一步地，所述胃镜图像智能处理装置还包括：

筛选模块，用于将获取的胃镜图像进行初筛选，将所述胃镜图像分为无灶特征的胃镜图像和有病灶特征的胃镜图像。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请通过对获取的第一胃镜图像进行分割并针对分割区域进行特征提取并标注形成第二胃镜图像，然后将多个第二胃镜图像进行整合得出带有可供参考的病理特征信息的第三胃镜图像，将所述第三胃镜图像给予显示，可帮助医生进行诊断，获得病理建议区域，大大减少了漏诊、错诊的几率。

附图说明

图1是本申请一实施例中一种胃镜图像智能处理方法的流程图。

图2是本申请另一实施例中一种胃镜图像智能处理方法的流程图。

图3是本申请另一实施例中一种胃镜图像智能处理装置的模块框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有组合。

图1是本申请一实施例中一种胃镜图像智能处理方法的流程图。如图1所示，所述胃镜图像智能处理方法包括以下步骤：

在步骤s101中，动态获取第一胃镜图像。

在该步骤中所述第一胃镜图像可以是由胃镜得到待处理的图像，通过光学处理获取得到白光或nbi(narrowbandimaging内镜窄带成像术)胃镜图像。该胃镜图像是对上述胃镜设备实时动态获取的，具体可以通过一预设置获取预设定的时间间隔的动态图像。所述第一胃镜图像可预先经过包括旋转、色差色温调整在内的操作进行预处理，完成低性能要求的本地图像处理。另外，所述第一胃镜图像还可接收交互显示设备的信息输入。

在步骤s102中，分割出所述第一胃镜图像上存在病灶特征的分割区域，在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像。

在该步骤中，接收所述第一胃镜图像，利用目标检测算法对所述第一胃镜图像进行区域划分，其中包括病灶分隔和特征提取。例如，通过对所述第一胃镜图像上可能存在病灶特征区域进行扫描，在所述第一胃镜图像上的可能存在病灶特征的区域进行分割，并对分割区域进行可疑区域标记。然后，将框选的分割区域得到的图像信息数据作为输入，从第一胃镜图像中抠选出分割区域，记录分割区域之间的位置关系，提取所述分割区域的图像包含的一级特征信息，包括进行边界清晰度、颜色、表面光滑度、形态等特征的提取。最后在所述第一胃镜图像上进行初步的标注，从而得到第二胃镜图像。该步骤中所述第二胃镜图像可以交互显示在显示设备上。

在步骤s103中，接收所述第二胃镜图像，将多个所述第二胃镜图像中的一级特征信息和位置信息进行组合分析形成二级特征信息及对应所述二级特征信息的区域位置信息，输出标注有所述二级特征信息及所述区域位置信息的第三胃镜图像。

在该步骤中，所述第二胃镜图像可能携带多个一级特征信息和位置信息，可通过运算规则将两个或两个以上的所述一级特征信息和位置信息进行组合分析，多个一级特征通过运算规则将可以形成新的特征，该特征成为二级特征信息。例如一级特征信息为某图像区域颜色发红和形态隆起，根据特定的运算规则判断为“红肿”病灶特征，该“红肿”病灶特征即为二级特征信息。而对应所述二级特征信息的区域位置信息则可通过多个所述一级特征信息所存在的位置信息确定。在一实施例中，所述区域位置信息即多个一级特征信息所处在图像上的位置集合，例如某图像区域中的颜色发红和形态隆起的区域的集合就是所述二级特征信息的区域位置信息。

在本实施例中，二级特征信息的提取主要获取两方面信息，其一是获取二级特征信息可能存在的区域，这一区域依赖于一级特征信息可能存在的位置，其二是获取二级特征信息的具体特征，其依赖于一级特征信息的组合分析得到的病灶特征信息。在得出所述二级特征信息及所述区域位置信息后，可将所述二级特征信息标注所述区域位置信息(在图像上框选出的区域)上，形成第三胃镜图像，然后输出至交互显示设备上供医生参阅。

在步骤s104中，接收所述第三胃镜图像并显示。

即接收所述第三胃镜图像以及与该第三胃镜图像关联的病灶信息(上述所述二级特征信息及所述区域位置信息)。实际应用中，由本地医生在显示设备上观察所述第三胃镜图像，并参考第三胃镜图像上标注特征说明以及圈注了需要在本地提取的病理组织的图像后，进行相关组织细胞提取，方便了医生的操作，同时提高了医生病理分析以及本地诊断的效率。

由上述实施例可知，本申请通过对获取的第一胃镜图像进行分割并针对分割区域进行特征提取并标注形成第二胃镜图像，然后将多个第二胃镜图像进行整合得出带有可供参考的病理特征信息的第三胃镜图像，将所述第三胃镜图像给予显示，可帮助医生进行诊断，获得病理建议区域，大大减少了漏诊、错诊的几率。此外，本申请利用病灶特征的提取方式可以提高成像精度、范围，对病灶进行突出显像，尤其对癌组织具有针对性，可以精确得标注出癌变组织从而辅助医生诊断。

图2是本申请另一实施例中一种胃镜图像智能处理方法的流程图。如图2所示，所述胃镜图像智能处理方法包括：

在步骤s201中，图像采集。

例如获取胃镜设备采集的动态图像，可预先设置一时间间隔，获取在该时间间隔内动态图像，无需人工干预，自动获取。获取nbi胃镜图像作为第一胃镜图像。在一些实施方式中还可以跟进预设定的预处理方式对所述nbi胃镜图像进行预处理，例如，包括图像对焦、增加图像清晰度等处理。

在步骤s202中，初筛选图像。

在该步骤中，将获取的所述nbi胃镜图像进行初筛选，根据预设定的筛选规则将所述nbi胃镜图像分为无灶特征的nbi胃镜图像和有病灶特征的nbi胃镜图像。在一实施例中，可从大量的图像中筛选出符合预设特征的图像并进行初步的判断，并将确认有病灶特征的图像传至交互显示设备显示，可由医生进行交互式判断。例如，将医生判定有病灶特征的图像通知服务器对该图像进行下一步处理，将医生判定无病的图像通知服务器将该图像划分至无病一类，不进行下一步操作。这样，方便了医生对所述nbi胃镜图像的查阅，提高了医生工作效率。

在步骤s203中，一级特征提取与标注。

在该步骤中，可通过扫描所述第一胃镜图像，对所述第一胃镜图像上存在病灶特征的区域框选并进行标记，提取标记的所述分割区域中的一级特征信息及所述分割区域的在所述胃镜图像中的位置信息。在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像。

例如，接收初筛诊断模块传递的所述nbi胃镜图像后，利用目标检测算法对nbi胃镜图像进行区域划分并进行一级指标(一级特征信息)提取。提取过程其中包括病灶分割和特征提取，病灶分割是将通过对所述nbi胃镜图像上可能存在病灶的区域扫描并在图形上进行可能区域框选，并进行可疑区域标记；特征提取主要完成可疑区域的特征提取过程，将分割得到的图像信息数据作为输入，从已分割图像中抠选出分割区域，进行边界清晰度、颜色、表面光滑度、形态等特征的提取，并在图像上进行初步的标注，形成第二胃镜图像。在该步骤中，同样可以将第二胃镜图像交互在显示设备上，以供医生查阅，方便医生了解图像。

在步骤s204中，组合分析特征。

例如，接收带有所述第二胃镜图像，所述第二胃镜图像包含多个一级指标，可将两种或者两种以上上述一级指标进行组合分析，可通过多个由一级指标至二级指标的判定规则，将一级特征计算成为新的特征，该特征成为二级指标。当然，所述判定规则也可以从支持交互显示设备更新输入新的判定规则。举例而言，一级指标为颜色发红和形态隆起，二级指标则表示多个一级指标形成的“红肿”。

在步骤s205中，二级特征提取与标注。

在该步骤中，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息。然后并确定所述二级特征信息的在图像上的区域范围，在图上圈注该二级特征信息的位置范围。

在步骤s206中，图像区域框选与说明。

在该步骤中，在提取到响应的二级特征信息后，还可以在数据库中检索对应所述二级特征信息的特征说明信息(例如红肿的特征以及治疗手段)。最后在nbi胃镜图像标注有所述二级特征信息、所述特征说明信息及所述区域范围，最后将该nbi胃镜图像作为第三胃镜图像输出。

在步骤s207中，图像显示。

将第三胃镜图像在显示设备上显示，供医生查阅。基于带圈注及二级特征信息说明的图像，可帮助医生进行相应组织细胞提取和病理分析，提高了医生的工作效率和诊断准确性。

图3是本申请另一实施例中一种胃镜图像智能处理装置的模块框图。如图3所示，所述胃镜图像智能处理装置，包括：

获取模块301，用于动态获取第一胃镜图像；

第一处理模块302，用于分割出所述第一胃镜图像上存在病灶特征的分割区域，在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像；

第二处理模块303，用于接收所述第二胃镜图像，将多个所述第二胃镜图像中的一级特征信息和位置信息进行组合分析形成二级特征信息及对应所述二级特征信息的区域位置信息，输出标注有所述二级特征信息及所述区域位置信息的第三胃镜图像；

显示模块304，用于接收所述第三胃镜图像并显示。

进一步地，所述第一处理模块302包括：

预处理单元，用于扫描所述第一胃镜图像，对所述第一胃镜图像上存在病灶特征的区域框选并进行标记，提取标记的所述分割区域中的一级特征信息及所述分割区域的在所述胃镜图像中的位置信息；

标注输出单元，用于在所述第一胃镜图像上标注对应所述分割区域的一级特征信息和位置信息作为第二胃镜图像，输出所述第二胃镜图像。

进一步地，所述第二处理模块303包括：

第一计算输出单元，用于接收带有所述第二胃镜图像，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息，并确定所述二级特征信息的在图像上的区域范围，输出标注有所述二级特征信息及所述区域范围的第三胃镜图像。

进一步地，所述第二处理模块303还包括：

第二计算输出单元，用于接收带有所述第二胃镜图像，提取多个所述第二胃镜中的以及特征信息和位置信息，根据所述位置信息关联多个所述一级特征信息，组合分析关联的多个所述一级特征信息形成二级特征信息、确定所述二级特征信息的在图像上的区域范围，检索对应所述二级特征信息的特征说明信息，输出标注有所述二级特征信息、所述特征说明信息及所述区域范围的第三胃镜图像。

进一步地，所述胃镜图像智能处理装置还包括：

筛选模块，用于将获取的胃镜图像进行初筛选，将所述胃镜图像分为无灶特征的胃镜图像和有病灶特征的胃镜图像。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。