一种内窥成像方法、装置、设备及存储介质与流程

[0001]
本申请涉及内窥镜技术领域，特别是涉及一种内窥成像方法、装置、设备及存储介质。


背景技术：

[0002]
随着医学技术的进步，各种检查手段逐渐增多，检查结果为后续诊断提供重要依据，检查结果的准确性显得更加重要。
[0003]
在内镜检查中，由于白光照明模式更贴近人眼视觉效果，所以医生通常是使用白光照明模式对消化道做全程检查，发现可疑病灶后，再切换到nbi（narrow band imaging，窄带成像）、bli（blue laser imaging，蓝激光成像）、lci（linked color imaging，联动成像）等特殊光照明模式进行进一步精查。
[0004]
但是，在白光照明模式下进行内窥成像时，病灶区域和正常黏膜的对比度较低，很容易出现漏诊，而且，一旦在白光照明模式下漏掉疑似病灶，后续也不会切换到特殊光照明模式进行精查，最终导致无法获得较为准确的检查结果。


技术实现要素：

[0005]
本申请的目的是提供一种内窥成像方法、装置、设备及存储介质，以在进行内窥成像时，能够呈现出类似白光图像的成像色调，同时，有效增强病灶区域和正常黏膜的对比度，降低漏检率，提高检查结果的准确性。
[0006]
为解决上述技术问题，本申请提供如下技术方案：一种内窥成像方法，应用于内窥成像设备，所述内窥成像设备包括可置入体内的成像探头，所述内窥成像方法包括：识别所述成像探头当前所处的目标部位；控制所述成像探头在类白光照明模式下采集所述目标部位的类白光图像；其中，所述类白光图像中的背景信息的色调与所述成像探头在白光照明模式下在所述目标部位采集到的白光图像的中的背景信息的色调的相似度大于或等于设定相似度阈值；并且，在相同图像区域内，所述类白光图像中背景信息与细节信息在蓝色通道下的对比度大于所述白光图像中背景信息与细节信息在蓝色通道下的对比度。
[0007]
在本申请的一种具体实施方式中，所述设定相似度阈值大于或等于80%。
[0008]
在本申请的一种具体实施方式中，所述类白光图像的背景信息的r/g与所述白光图像的的背景信息的r/g之间的差值在第一预设偏差范围内；所述类白光图像的背景信息的b/g与所述白光图像的背景信息的b/g之间的差值在第二预设偏差范围内；所述r/g为红色通道与绿色通道的比值；所述b/g为蓝色通道与绿色通道的比值。
[0009]
在本申请的一种具体实施方式中，所述第一预设偏差范围根据所述白光图像的r/
g的10%确定，所述第二预设偏差范围根据所述白光图像的b/g的10%确定。
[0010]
在本申请的一种具体实施方式中，所述控制所述成像探头在类白光照明模式下采集所述目标部位的类白光图像，包括：确定在类白光照明模式下所述目标部位对应的第一光谱；使用所述第一光谱照明，控制所述成像探头采集所述目标部位的类白光图像。
[0011]
在本申请的一种具体实施方式中，所述确定在类白光照明模式下所述目标部位对应的第一光谱，包括：在部位光谱对应表中查询确定在类白光照明模式下所述目标部位对应的第一光谱。
[0012]
在本申请的一种具体实施方式中，所述识别所述成像探头当前所处的目标部位，包括：获取所述成像探头当前采集到的图像；基于所述当前采集到的图像，识别所述成像探头当前所处的目标部位。
[0013]
在本申请的一种具体实施方式中，所述基于所述当前采集到的图像，识别所述成像探头当前所处的目标部位，包括：将所述当前采集到的图像输入到预先训练获得的部位识别网络中；根据所述部位识别网络的输出结果，确定所述成像探头当前所处的目标部位。
[0014]
在本申请的一种具体实施方式中，在所述将所述当前采集到的图像输入到预先训练获得的部位识别网络中之前，还包括：按照设定的处理方式对所述当前采集到的图像进行预处理，所述处理方式包括去马赛克、黑电平校正、去噪、增强和压缩中的至少一种方式。
[0015]
在本申请的一种具体实施方式中，所述当前采集到的图像的数量大于或等于3，所述根据所述部位识别网络的输出结果，确定所述成像探头当前所处的目标部位，包括：如果所述部位识别网络对于所述当前采集到的图像中的连续n帧图像的输出结果均相同，则将该输出结果对应的部位确定为所述成像探头当前所处的目标部位，n大于或等于3。
[0016]
在本申请的一种具体实施方式中，所述部位识别网络包括多个识别子网络，所述根据所述部位识别网络的输出结果，确定所述成像探头当前所处的目标部位，包括：获得每个识别子网络的输出结果；将占比最大的输出结果对应的部位确定为所述成像探头当前所处的目标部位。
[0017]
在本申请的一种具体实施方式中，所述的内窥成像方法还包括：如果所述类白光图像中存在可疑病灶，则切换到其他特殊光照明模式；确定在所述其他特殊光照明模式下所述目标部位对应的第二光谱；使用所述第二光谱照明，控制所述成像探头采集所述目标部位的特殊光图像。
[0018]
一种内窥成像装置，运行于内窥成像设备，所述内窥成像设备包括可置入体内的成像探头，所述内窥成像装置包括：部位识别模块，用于识别所述成像探头当前所处的目标部位；图像采集模块，用于控制所述成像探头在类白光照明模式下采集所述目标部位的类白光图像；其中，所述类白光图像中的背景信息的色调与所述成像探头在白光照明模式下在所述目标部位采集到的白光图像中的背景信息的色调的相似度大于或等于设定相似度阈值；
并且，在相同图像区域内，所述类白光图像中背景信息与细节信息在蓝色通道下的对比度大于所述白光图像中背景信息与细节信息在蓝色通道下的对比度。
[0019]
一种内窥成像设备，包括：成像探头，其可置入体内，以采集图像；照明光源，其用于为所述成像探头提供照明光；存储器，用于存储计算机程序；分别与所述成像探头、所述照明光源和所述存储器通信连接的处理器，用于执行所述计算机程序时实现如上所述的内窥成像方法。
[0020]
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的内窥成像方法。
[0021]
应用本申请实施例所提供的技术方案，在识别到置于体内的成像探头当前所处的目标部位后，控制成像探头在类白光照明模式下采集目标部位的类白光图像。类白光图像的色调与白光图像的色调相近，在相同图像区域内，类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度。这样，在进行内窥成像时，能够呈现出类似白光图像的成像色调，适应医生的观察习惯，同时，可以提升粘膜与血管的对比度，增强充血区域和细微毛细血管的显示，使病灶区域更加凸显，从而有效增强各部位的病灶区域和正常黏膜的对比度，降低漏检率，提高检查结果的准确性。
附图说明
[0022]
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]
图1为相关技术中使用的固定光谱的示意图；图2为本申请实施例中一种内窥成像方法的实施流程图；图3为本申请实施例中自适应内窥成像系统的结构示意图；图4为本申请实施例中人体口腔的白光图像（左）与类白光图像（右）对比示意图；图5为本申请实施例中猪胃体的白光图像（左）与类白光图像（右）对比示意图；图6为本申请实施例中一种内窥成像装置的结构示意图；图7为本申请实施例中一种内窥成像设备的结构示意图。
具体实施方式
[0024]
本申请的核心是提供一种内窥成像方法，该方法可以应用于内窥成像设备，内窥成像设备包括可置入体内的成像探头。该方法可以应用在任意内镜检查场景中，如消化道的内镜检查等。为方便描述，本申请实施例主要以消化道的内镜检查为例进行说明。
[0025]
在相关技术中，在白光照明模式下进行内窥成像时，病灶区域和正常黏膜的对比度较低，很容易出现漏诊。而在特殊光照明模式下，均采用一固定的光谱照明成像，没有考
虑到消化道各解剖部位的组织光学特性差异，使得不同部位的病灶区域和正常黏膜的对比度差异较大。如使用图1所示的光谱照明，得到的食管图像和胃窦图像中，胃窦图像整体呈红黄相间的颜色，病灶得到有效凸显，而食管图像整体色调偏蓝，黏膜表面血管难以分辨。也就是说，同样使用图1所示的光谱照明，不同部位的病灶区域和正常黏膜的对比度差异较大，这将导致漏诊情况的发生，从而使得检查结果不准确。
[0026]
本申请实施例先识别置于体内的成像探头当前所处的目标部位，再控制成像探头在类白光照明模式下采集目标部位的类白光图像。类白光图像的色调与白光图像的色调相近，便于用户识别，在相同图像区域内，类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度。这样，在进行内窥成像时，能够呈现出类似白光图像的成像色调，同时，可以有效增强各部位的病灶区域和正常黏膜的对比度，降低漏检率，提高检查结果的准确性。
[0027]
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0028]
参见图2所示，为本申请实施例所提供的一种内窥成像方法的实施流程图，该方法可以包括以下步骤：s210：识别成像探头当前所处的目标部位。
[0029]
在本申请实施例中，成像探头具体可以是设置于内窥镜镜体的头端部的图像传感器。成像探头可以伸入到体内采集图像。如伸入到消化道腔道，对消化道组织成像。
[0030]
在需要进行内窥成像时，可以先识别置于体内的成像探头当前所处的目标部位。
[0031]
由于成像探头通常设置于内窥镜镜体的头端部，因此，头端部所在位置即成像探头的位置，从而，在一些具体实施方式中，可以通过传感器实时读取内窥镜镜体上的刻度标识，以获取内窥镜镜体进入体内的长度，然后基于预先获得的长度和体内部位位置对照表，确定成像探头当前所处的目标部位。
[0032]
s220：控制成像探头在类白光照明模式下采集目标部位的类白光图像。
[0033]
在本申请实施例中，在识别到成像探头当前所处的目标部位后，应用类白光照明模式，控制成像探头采集目标部位的类白光图像。
[0034]
类白光照明模式是与白光照明模式类似的一种照明模式，具体是指采用类白光光谱进行照明。
[0035]
其中，成像探头在类白光照明模式下采集到的目标部位的类白光图像与成像探头在类白光照明模式下采集到的该目标部位的白光图像相比（即，类白光图像与在相同位置处采集到的白光图像相比），具有如下特性：类白光图像中的背景信息的色调与白光图像中的背景信息的色调的相似度大于或等于设定相似度阈值，并且，在相同图像区域内，类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度。
[0036]
其中，该设定相似度阈值可以根据实际情况进行设定和调整。可选地，该设定相似度阈值可以大于或等于80%。
[0037]
具体地，确定类白光图像中的背景信息的色调与白光图像中的背景信息的色调的
相似度的具体实施方式可以包括：分别将类白光图像和白光图像转换到可以体现色调值的图像空间，比如，hsv、hsi等图像空间，然后分别获取其内的背景信息对应的色调值；进而比较这两个图像中的背景信息的色调值的相似度。
[0038]
或者，在另一种实施方式中，也可以分别提取类白光图像和白光图像中的背景信息的r/g和b/g，然后分别比较这两个图像中的背景信息的r/g的差值和b/g的差值；如果类白光图像的背景细信息的r/g与白光图像的背景细信息的r/g之间的差值在第一预设偏差范围内，且，类白光图像的背景细信息的b/g与白光图像的背景细信息的b/g之间的差值在第二预设偏差范围内，则可以认为类白光图像的的背景细信息的色调与白光图像的背景细信息的色调的相似度大于设定相似度阈值。
[0039]
具体地，第一预设偏差范围可以根据白光图像的r/g的10%确定，比如，相同位置处的类白光图像的r/g与白光图像的r/g之间的差值的绝对值小于或等于其白光图像的r/g的10%。同理，第二预设偏差范围也可以根据白光图像的b/g的10%确定，比如，相同位置处的类白光图像的b/g与白光图像的b/g之间的差值的绝对值小于或等于白光图像的b/g的10%。当然，还可以通过试验数据获得其他合适的第一预设偏差范围和/或第二预设偏差范围。
[0040]
其中，可以理解的是，对于图像而言，r/g为红色通道与绿色通道的比值，b/g为蓝色通道与绿色通道的比值。具体地，r/g、b/g可以是在图像的有效成像区域内对应颜色通道的比值。其中，有效成像区域是指图像中包含组织信息的区域。
[0041]
在本实施例中，由于内窥镜采集到的图像中的背景信息通常对应粘膜，细节信息通常对应血管，而同一部位对应的图像中的粘膜的色调的一致性较佳，血管因其在粘膜中的深度以及其大小而具有不同的色调，因此，通过使类白光图像中的背景信息的色调与白光图像中的背景信息的色调的相似度大于或等于设定相似度阈值，可以使得类白光图像的色调接近于白光图像的色调，方便用户查看，降低学习成本。
[0042]
另外，由于在图像的红色通道r、绿色通道g和蓝色通道b中，蓝色通道b最能反映组织中的粘膜和血管的对比度，因此，在本实施例中，通过在相同图像区域内，使类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度，能够提升粘膜与血管的对比度，增强充血区域和细微毛细血管的显示，使病灶区域更加凸显，从而有效增强病灶区域和正常黏膜的对比度。
[0043]
其中，可以理解的是，本实施例的成像探头在白光照明模式下在目标部位采集到的白光图像仅用于与成像探头在类白光照明模式下在该目标部位处采集到的类白光图像进行图像参数/成像效果的对比，以说明本实施例的类白光图像的成像效果；本实施例对本次进行内窥成像操作过程中是否采集白光图像或何时采集白光图像不作限定。
[0044]
具体地，如需比较成像探头在相同位置处，比如，成像探头当前所处的目标部位处，采集到的白光图像和类白光图像的成像效果，可以在本次进行内窥成像操作过程中，在控制成像探头在类白光照明模式下采集目标部位的类白光图像之前或之后，将照明模式切换为白光照明模式，以采集目标部位的白光图像，进而对两者进行比较。当然，还可以在获取到目标部位的类白光图像之后，调取在本次进行内窥成像操作之前采集到的目标部位的白光图像，进而对两者进行比较。
[0045]
此外，还可以理解的是，本实施例的“白光照明模式”可以指采用氙灯、白光led灯等宽带白光光谱照明，或者，也可以指使用由多色led灯、激光灯等出射的窄带光组而合成
的白光光谱照明，只要所采集到的白光图像满足临床应用要求（比如，平均显色指数大于90）即可。
[0046]
应用本申请实施例所提供的方法，先识别置于体内的成像探头当前所处的目标部位，再控制成像探头在类白光照明模式下采集目标部位的类白光图像。类白光图像的色调与白光图像的色调相近，便于用户识别，在相同图像区域内，类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度。这样，在进行内窥成像时，能够呈现出类似白光图像的成像色调，同时，可以提升粘膜与血管的对比度，增强充血区域和细微毛细血管的显示，使病灶区域更加凸显，从而有效增强各部位的病灶区域和正常黏膜的对比度，降低漏检率，提高检查结果的准确性。
[0047]
在本申请的一个实施例中，步骤s220可以包括以下步骤：步骤一：确定在类白光照明模式下目标部位对应的第一光谱；步骤二：使用第一光谱照明，控制成像探头采集目标部位的类白光图像。
[0048]
为便于描述，将上述两个步骤结合起来进行说明。
[0049]
其中，由于不同部位细胞构成不同，不同类细胞的光学特性具有一定差异性。所以，为了可以在各个部位处均可以获得较佳的类白光图像效果，在本实施例中，可以针对不同的部位设置不同的类白光照明光谱。以消化道为例，口腔和食管的黏膜主要由较厚的鳞状上皮细胞构成，这类细胞对短波长的光谱反射较为强烈，为了达到较好的成像效果，可以减少蓝光和蓝紫光的照明强度；胃部主要由柱状上皮细胞构成，这类细胞对短波长的光谱吸收较为强烈，所以在对胃部成像时，可以针对性地增加蓝紫光的照明强度；十二指肠中存在大量对紫光吸收极强的胆红素，其类白光照明光谱可以针对性地大幅度提高蓝光和蓝紫光，以补充成像时蓝色通道的信息。
[0050]
由此，在本实施例中，在识别到置于体内的成像探头当前所处的目标部位后，进一步可以确定在类白光照明模式下目标部位对应的第一光谱。该第一光谱即该目标部位对应的类白光照明光谱。
[0051]
具体地，在本申请实施例中，可以通过历史数据、试验数据等获得类白光照明模式下各部位与光谱的对应关系，生成部位光谱对应表。不同部位具有各自相适应的光谱。在识别到成像探头当前所处的目标部位后，可以在部位光谱对应表中查询确定在类白光照明模式下目标部位对应的第一光谱。
[0052]
如，若识别出的目标部位为口腔、食管，则其对应的第一光谱为以g光为基准，r/g的范围为0.8~1.2，uv/g的范围为0.9~1.3的光谱；若识别出的目标部位为胃部，则其对应的第一光谱为以g光为基准，r/g的范围为0.8~1.2，uv/g的范围为2.5~3.5的光谱；若识别出的目标部位为十二指肠，则其对应的第一光谱为以g光为基准，r/g的范围为0.8~1.2，b/g的范围为0.3~0.7，uv/g的范围为2.7~3.5的光谱。其中，可以理解的是，在此处（即，对于照明光谱而言），r表示红光、g表示绿光、b表示蓝光、uv表示紫外光。
[0053]
在识别到置于体内的成像探头当前所处的目标部位，并确定在类白光照明模式下目标部位对应的第一光谱后，可以使用第一光谱照明，同时，控制成像探头采集目标部位的类白光图像。即类白光图像为成像探头在第一光谱照明下采集到的图像。
[0054]
第一光谱是在类白光照明模式下与目标部位相适应的光谱，使用第一光谱照明，可以使得成像探头获取到的目标部位的类白光图像的成像色调接近于白光图像的成像色
调，同时还可以凸显黏膜与血管的差异，能够凸显病灶区域，降低漏检率。
[0055]
在进行内窥成像时，对于不同部位使用相适应的类白光光谱照明，能够适应各个部位的光学特性，使各个部位处均可达到最佳的类白光成像效果。
[0056]
在本申请的一个实施例中，为了克服体内结构差异问题，提升部位识别的准确性，步骤s210识别成像探头当前所处的目标部位，可以包括以下步骤：步骤一：获取成像探头当前采集到的图像；步骤二：基于当前采集到的图像，识别成像探头当前所处的目标部位。
[0057]
为便于描述，将上述两个步骤结合起来进行说明。
[0058]
在本申请实施例中，在需要做内镜检查时，可以先将成像探头伸入体内进行图像采集。检查期间可以使用任意光谱照明，控制成像探头采集当前所在位置的图像。具体而言，在刚开始进行内镜检查时，可以默认以白光光谱照明，即控制成像探头在白光照明模式下采集当前所在位置的图像，当前采集到的图像为白光图像；而在进行内镜检查的过程中，有可能会切换不同照明模式，比如，若当前切换到特殊光照明模式，则当采集到的图像为特殊光图像。无论是白光图像还是特殊光图像，均可用于执行后续的部位识别。
[0059]
获取到成像探头当前采集到的图像后，可以基于当前采集到的图像，识别成像探头当前所处的目标部位。
[0060]
在基于当前采集到的图像，进行目标部位的识别之前，可以先按照设定的处理方式对当前采集到的图像进行预处理，处理方式可以包括去马赛克、黑电平校正、去噪、增强和压缩中的至少一种方式。先对当前采集到的图像进行预处理，再基于预处理后的图像，识别成像探头当前所处的目标部位，可以提高识别准确率或效率。其中，对于压缩处理，具体可以使用resize方式将图像压缩至192
×
192或更低的分辨率，以提高后续识别效率。
[0061]
在本申请的一种具体实施方式中，基于当前采集到的图像，识别成像探头当前所处的目标部位的过程，具体可以按照如下步骤操作：第一个步骤：将当前采集到的图像输入到预先训练获得的部位识别网络中；第二个步骤：根据部位识别网络的输出结果，确定成像探头当前所处的目标部位。
[0062]
在本申请实施例中，可以利用训练数据训练获得部位识别网络。如以消化道为例，可以根据临床上消化道数据库训练得到消化道的部位识别网络。具体可以采用vgg（visual geometry group network，超分辨率测试序列）、resnet（deep residual network，深度残差网络）、googlenet（一种深度卷积神经网络）、mobilenetv2（一种轻量级神经网络）等通用模型。训练数据库中可以包括多张训练图像，提取每张训练图像的特征，并对每张训练图像所对应的部位进行标记，基于此进行部位识别网络的训练和推理。轻量级神经网络模型可以降低模型的复杂度，提高推理速度。
[0063]
获取到置于体内的成像探头当前采集到的图像后，可以将当前采集到的图像输入到预先训练获得的部位识别网络中。或者，在对当前采集到的图像进行预处理后，将预处理后的图像输入到部位识别网络中。
[0064]
部位识别网络的输出结果可以是输入的图像所对应的部位名称，或者是输入的图像所对应的每个部位的概率。根据部位识别网络的输出结果，可以确定成像探头当前所处的目标部位。如可以将部位识别网络的输出结果对应的部位直接确定为成像探头当前所处的目标部位。
[0065]
需要说明的是，部位识别网络可以基于多种照明模式下成像探头采集到的图像作为训练数据进行训练得到，这样，无论成像探头当前采集到的图像是在哪种照明模式下获取到的，都可以对其进行部位的准确识别。或者，可以基于不同照明模式下成像探头采集到的图像作为训练数据分别训练获得多个部位识别网络，在获取到成像探头当前采集到的图像后，根据其使用的照明模式选择对应的部位识别网络进行部位识别。
[0066]
在本申请的一种具体实施方式中，当前采集到的图像的数量大于或等于3，如果部位识别网络对于当前采集到的图像中的连续n帧图像的输出结果均相同，则将该输出结果对应的部位确定为成像探头当前所处的目标部位，n大于或等于3。
[0067]
为了提高部位识别的准确性，提高光谱调节的稳定性，防止调光闪烁，在本申请实施例中，获取到的成像探头当前采集到的图像可以包括连续的多帧图像，如其数量可以大于或等于3。分别将当前采集到的每帧图像输入到部位识别网络中，可以得到每帧图像对应的输出结果。如果部位识别网络对于当前采集到的图像中的连续n帧图像的输出结果均相同，则可以将输出结果对应的部位确定为成像探头当前所处的目标部位。n为大于或等于3的正整数。也就是说，部位识别网络对当前采集到的多帧图像进行部位识别，连续多次识别为同一部位，才认为当前识别结果是准确的。
[0068]
在本申请的另一种具体实施方式中，部位识别网络可以包括多个识别子网络，不同识别子网络可以基于不同类型的模型训练得到。在根据部位识别网络的输出结果，确定成像探头当前所处的目标部位时，可以获得每个识别子网络的输出结果，然后将占比最大的输出结果对应的部位确定为成像探头当前所处的目标部位。
[0069]
基于不同类型的模型训练得到的识别子网络的识别准确率存在一定的差别。在获取到置于体内的成像探头当前采集到的图像后，或者在对当前采集到的图像进行预处理后，可以将当前采集到的图像分别输入到每个识别子网络中，获得每个识别子网络的输出结果。不同识别子网络的输出结果可能相同或不同，如果某个输出结果占比较大，则该输出结果被更多的识别子网络认可，其准确程度较高，可以将占比最大的输出结果对应的部位确定为成像探头当前所处的目标部位。
[0070]
当然，如果占比最大的输出结果有多个，对应多个部位，则可以分别将多个部位确定为成像探头当前所处的目标部位，分别执行后续步骤的操作，获得多个类白光图像。
[0071]
在本申请的一个实施例中，该方法还可以包括以下步骤：步骤一：如果类白光图像中存在可疑病灶，则切换到其他特殊光照明模式；步骤二：确定在其他特殊光照明模式下目标部位对应的第二光谱；步骤三：使用第二光谱照明，控制成像探头采集目标部位的特殊光图像。
[0072]
为便于描述，将上述三个步骤结合起来进行说明。
[0073]
在本申请实施例中，使用第一光谱照明，控制成像探头采集到的目标部位的类白光图像，其成像色调接近于白光图像的成像色调，同时可以凸显黏膜与血管的差异。在该类白光图像中方便确定是否存在可疑病灶。由此，在本实施例中，可以进一步基于所采集到的类白光图像进行病灶识别，如果该类白光图像中存在可疑病灶，则可以切换到其他特殊光照明模式，如nbi、bli、lci等特殊光照明模式，以对病灶区域进行精筛。
[0074]
切换到其他特殊光照明模式后，可以确定在其他特殊光照明模式下目标部位对应的第二光谱。可以通过历史数据、试验数据等获得其他特殊光照明模式下各部位与光谱的
对应关系，记录到部位光谱对应表中。不同部位对于光谱的吸收反射性质存在差异性，不同部位具有各自相适应的光谱。在切换到其他特殊光照明模式后，可以在部位光谱对应表中查询确定其他特殊光照明模式下目标部位对应的第二光谱。
[0075]
使用第二光谱照明，控制成像探头采集目标部位的特殊光图像，以对病灶区域进行进一步筛查。
[0076]
本申请实施例在内窥成像时，针对不同部位使用相适应的光谱照明，能够使得各个部位都可呈现出最佳的成像效果。在类白光照明模式下，在使成像色调整体接近于白光照明模式下的成像色调的同时，可以增强充血区域和细微毛细血管的显示，使病灶区域更加凸显，可以有效降低漏检率，提高病症筛查能力。在特殊光照明模式下，可以增强黏膜和血管的对比度，更易于对病变性质做出诊断。
[0077]
为便于理解，以图3所示自适应内窥成像系统对消化道的成像过程为例对本申请实施例再次进行说明。
[0078]
自适应内窥成像系统可以包括成像探头、图像处理器、人工智能分析子系统、光谱调节子系统、光源主控子系统、照明光源以及显示器等。显示器在图3中未示出。
[0079]
成像探头伸入到消化道腔道后，可以进行图像采集，从而可以获取到成像探头当前采集到的图像。如成像探头可以在白光照明模式下采集图像。
[0080]
图像处理器对当前采集到的图像进行预处理，如进行去马赛克、黑电平校正、去噪、增强等一系列图像处理，然后再使用resize方法将其压缩至192x192或更低的分辨率。图像压缩的目的是降低人工智能模型的计算参数，提高模型训练和推理效率。
[0081]
人工智能分析子系统对经过图像处理器处理后的图像进行部位识别，如通过部位识别网络进行部位识别，识别后，可以通过串口通信协议发命令给光谱调节子系统，完成一次调光。
[0082]
光谱调节子系统根据识别出的部位确定相应的光谱，进行光谱调节。具体的，可以通过查表等形式调出与识别出的部位相对应的照明光谱，并通知光源主控子系统，以控制照明光源完成照明光谱的切换。
[0083]
照明光源可以由多波长led组成，比如，四波长led，其波长范围分别为：400nm~435nm、440nm~485nm、520nm~580nm、600nm~660nm。照明光源中的各led的驱动电流可通过光源主控子系统独立控制。
[0084]
图4为人体口腔的白光图像（左）与类白光图像（右）的对比示意图，可以发现类白光照明模式下采集到的类白光图像的整体色调接近于白光照明模式下采集到的白光图像的色调，并且类白光图像对毛细血管的凸显效果更佳，如矩形框内所示。图5为猪胃体的白光图像（左）与类白光图像（右）的对比示意图，可以发现类白光照明模式下采集到的类白光图像对充血病灶的凸显效果更佳，如矩形框内所示。
[0085]
相应于上面的方法实施例，本申请实施例还提供了一种内窥成像装置，运行于内窥成像设备，内窥成像设备包括可置入体内的成像探头，下文描述的内窥成像装置与上文描述的内窥成像方法可相互对应参照。
[0086]
参见图6所示，该装置可以包括以下模块：部位识别模块610，用于识别成像探头当前所处的目标部位；图像采集模块620，用于控制成像探头在类白光照明模式下采集目标部位的类白光图
像；其中，类白光图像中的背景信息的色调与成像探头在白光照明模式下在目标部位采集到的白光图像中的背景信息的色调的相似度大于或等于设定相似度阈值；并且，在相同图像区域内，类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度。
[0087]
应用本申请实施例所提供的装置，先识别置于体内的成像探头当前所处的目标部位，再控制成像探头在类白光照明模式下采集目标部位的类白光图像。类白光图像的色调与白光图像的色调相近，便于用户识别，在相同图像区域内，类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度。这样，在进行内窥成像时，能够呈现出类似白光图像的成像色调，同时，可以有效增强各部位的病灶区域和正常黏膜的对比度，降低漏检率，提高检查结果的准确性。
[0088]
在本申请的一种具体实施方式中，设定相似度阈值大于或等于80%。
[0089]
在本申请的一种具体实施方式中，类白光图像的r/g与白光图像的r/g之间的差值在第一预设偏差范围内，类白光图像的b/g与白光图像的b/g之间的差值在第二预设偏差范围内；r/g为红色通道与绿色通道的比值；b/g为蓝色通道与绿色通道的比值。
[0090]
在本申请的一种具体实施方式中，第一预设偏差范围根据白光图像的r/g的10%确定，第二预设偏差范围根据白光图像的b/g的10%确定。
[0091]
在本申请的一种具体实施方式中，图像采集模块620，包括：光谱确定单元，用于确定在类白光照明模式下目标部位对应的第一光谱；图像采集单元，用于使用第一光谱照明，控制成像探头采集目标部位的类白光图像。
[0092]
在本申请的一种具体实施方式中，光谱确定单元，用于：在部位光谱对应表中查询确定在类白光照明模式下目标部位对应的第一光谱。
[0093]
在本申请的一种具体实施方式中，部位识别模块610，用于：获取成像探头当前采集到的图像；基于当前采集到的图像，识别成像探头当前所处的目标部位。
[0094]
在本申请的一种具体实施方式中，部位识别模块610基于当前采集到的图像，识别成像探头当前所处的目标部位，具体包括：将当前采集到的图像输入到预先训练获得的部位识别网络中；根据部位识别网络的输出结果，确定成像探头当前所处的目标部位。
[0095]
在本申请的一种具体实施方式中，部位识别模块610基于当前采集到的图像，识别成像探头当前所处的目标部位，还包括：在将当前采集到的图像输入到预先训练获得的部位识别网络中之前，按照设定的处理方式对当前采集到的图像进行预处理，处理方式包括去马赛克、黑电平校正、去噪、增强和压缩中的至少一种方式。
[0096]
在本申请的一种具体实施方式中，当前采集到的图像的数量大于或等于3，部位识别模块610根据部位识别网络的输出结果，确定成像探头当前所处的目标部位，具体包括：在部位识别网络对于当前采集到的图像中的连续n帧图像的输出结果均相同的情况下，将该输出结果对应的部位确定为成像探头当前所处的目标部位，n大于或等于3。
[0097]
在本申请的一种具体实施方式中，部位识别网络包括多个识别子网络，部位识别模块610根据部位识别网络的输出结果，确定成像探头当前所处的目标部位，具体包括：获得每个识别子网络的输出结果；将占比最大的输出结果对应的部位确定为成像探头当前所处的目标部位。
[0098]
在本申请的一种具体实施方式中，图像采集模块620，还用于：在类白光图像中存在可疑病灶的情况下，切换到其他特殊光照明模式；确定在其他特殊光照明模式下目标部位对应的第二光谱；使用第二光谱照明，控制成像探头采集目标部位的特殊光图像。
[0099]
其中，可以理解的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0100]
相应于上面的方法实施例，本申请实施例还提供了一种内窥成像设备，包括：成像探头14，其可置入体内，以采集图像；照明光源15，其用于为成像探头提供照明光；存储器11，用于存储计算机程序；分别与成像探头14、照明光源15和存储器11通信连接的处理器10，用于执行计算机程序时实现上述任一实施例中的内窥成像方法，比如，实现如图2所示的内窥成像方法。
[0101]
具体地，如图7所示，为内窥成像设备的组成结构示意图，内窥成像设备可以包括：处理器10、存储器11、通信接口12、通信总线13、成像探头14和照明光源15。处理器10、存储器11、通信接口12、成像探头14和照明光源15均通过通信总线13完成相互间的通信。
[0102]
在本申请实施例中，处理器10可以为中央处理器（central processing unit，cpu）、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
[0103]
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行内窥成像方法的实施例中的操作。
[0104]
存储器11中用于存放一个或者一个以上计算机程序，计算机程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的计算机程序：识别成像探头当前所处的目标部位；控制成像探头在类白光照明模式下采集目标部位的类白光图像；其中，类白光图像的r/g与成像探头在白光照明模式下在目标部位采集到的白光图像的r/g之间的差值在第一预设偏差范围内，类白光图像的b/g与白光图像的b/g之间的差值在第二预设偏差范围内，以使类白光图像的色调与白光图像的色调的相似度大于设定相似度阈值；r/g为红色通道与绿色通道的比值；b/g为蓝色通道与绿色通道的比值；并且，在相同图像区域内，类白光图像中背景信息与细节信息在蓝色通道下的对比度大于白光图像中背景信息与细节信息在蓝色通道下的对比度。
[0105]
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储
程序区可存储操作系统，以及至少一个功能（比如图像识别功能、光谱调节功能）所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如图像数据、光谱数据等。
[0106]
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
[0107]
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
[0108]
当然，需要说明的是，图7所示的结构并不构成对本申请实施例中内窥成像设备的限定，在实际应用中内窥成像设备可以包括比图7所示的更多或更少的部件，或者组合某些部件。
[0109]
相应于上面的方法实施例，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述内窥成像方法。
[0110]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
[0111]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
[0112]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0113]
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。