内窥镜成像方法、内窥镜成像系统和软件程序产品与流程

1.本发明涉及用于内窥镜成像的方法、内窥镜成像系统和软件程序产品。


背景技术：

2.除了具有包括整个rgb光谱的白光照明的白光模式外，现代内窥镜成像系统还提供各种特殊光成像模式，该白光模式对可见光谱(vis)至关重要。这种特殊光成像(sli)模式包括例如窄带成像(nbi)、近红外荧光成像(nirf)和红色二色成像(rdi)。rdi是olympus technology的专有方法，在美国专利us 10,034,600 b2和us 9,775,497 b2中有所描述。此列表并非穷举。
3.近红外荧光成像(nirf)可用于分析和评估血管灌注、确认肝胆系统的解剖结构、发现淋巴结或者在使用诸如icg(吲哚菁绿)、cy5.5、zw800或zw
‑
1之类的外源性造影剂后使输尿管可视化。红色二色成像(rdi)可用于识别动脉出血的来源。窄带成像(nbi)可以帮助区分良性增生和癌组织或癌前体，例如区分nice
‑
1和nice
‑
2型肠息肉，以决定是否需要切除息肉。
4.典型的检查和手术由医生使用用于视觉成像(vis)的白光照明进行。如果医生在白光图像中发现需要在特殊光成像模式下更仔细检查的异常情况，那么医生会基于他们的训练和经验选择适当的特殊光成像模式。


技术实现要素：

5.在此背景下，本发明的目的是在检查或手术期间以改善的形式的内窥镜成像来辅助医生。
6.该目的通过一种利用内窥镜成像系统进行内窥镜成像的方法来实现，所述内窥镜成像系统包括具有至少一个cmos图像传感器的视频内窥镜、被设计成生成白光和至少一种特殊光的光源单元、图像评估单元、控制单元和显示装置，并且所述内窥镜成像系统进一步开发为，在白光照明下借助于视频内窥镜来捕获白光图像，并且由图像评估单元实时评估所述白光图像以检查具有至少一个预定义特征的至少一个结构的存在，其中，当所述图像评估单元在至少一个白光图像中检测到具有至少一个预定义特征的至少一个结构的存在时，设置特殊光成像模式，在该特殊光成像模式下所述光源单元使用所述至少一种特殊光来生成特殊光照明，并且在所述特殊光照明下捕获视频流的一个或更多个图像，并且在特殊光处理模式下对视频流的一个或更多个图像进行图像处理，该图像处理包括：识别白光图像中包含具有在所述白光图像中检测到的所述预定义特征的所述结构的子区域，以及仅读出所述图像传感器的该子区域，其中，从所述子区域读出的图像数据被进一步处理为特殊光图像。
7.根据本发明的方法基于以下事实：大多数内窥镜视频系统(即视频内窥镜或用于内窥镜的摄像头)都配备有cmos图像传感器而不是ccd图像传感器。与ccd图像传感器不同，许多cmos图像传感器能仅在子区域(所谓的“关注区域”(roi))中读出，这显著提高了读取
率。子区域通常是矩形区域，在本发明的背景下，其尺寸被确定为使得它完全包含所述结构，如果适用的话，其边界占据例如矩形长边的范围的2％至20％。例如，肠息肉通常在图像中占据图像面积的大约10％至20％。在许多临床情况下，这类roi在完整图像中的等效面积上延伸。在这种情况下，例如具有1980x1080像素的hd分辨率的cmos图像传感器可以在包含息肉的对应子区域中(例如，在对角点的坐标例如为600/200和1061/662矩形区域中)专门且非常快速地读出。由此产生的包含肠息肉的roi将具有461x462像素(约213,000像素)的大小，因此将仅为完整hd图像大小的大约十分之一。
8.借助于根据本发明的方法，因此即使在已经激活特殊光成像模式时也可以获得高图像刷新率，因为与在白光成像模式下读出cmos图像传感器的整个图像数据相比，cmos图像传感器的子区域被更快地读出和处理。在不选择子区域的情况下，白光图像和特殊光图像交替序列的情况下的图像刷新率将减半，例如从50hz到25hz，其中白光图像序列将处于25hz，而特殊光图像序列也将处于25hz。在快速移动的情况下，这可能导致运动伪影。
9.许多特殊光成像模式也很微弱。所需的高感光度或增益系数会导致显著的图像噪声。可以通过增加曝光时间或组合连续帧来减少噪声。这些措施在没有子区域选择的正常时序成像中受到严重限制，而根据本发明在特殊光条件下可能的更高图像刷新率可用于经由特殊光图像的更紧密的连续性来增加特殊光图像的有效曝光时间。
10.根据本发明的方法还使得可以通过对白光图像进行图像识别来辅助主治医师，其中自动检测到具有预定义特征的结构。例如，这种结构可能是灌注的血管、淋巴结、动脉出血或肠息肉，然而该列表并非穷举。这些结构的预定义特征是众所周知的，并且基于大量图像材料进行了详细记录，并且可以借助于自动化图像评估进行识别。根据本发明，在这种情况下，设置合适的特殊光成像，借助于该特殊光成像更详细且更精确地示出所识别的结构。医生不用做出设置特殊光成像模式的决定，他们无需做任何事情就可以看到特殊光成像。
11.正在进行的检查通常被处理为视频流。根据本发明的方法可以应用于正在进行的视频流，但如果医生需要，也可以应用于借助快照功能从视频流中分离出来的单个图像，以用于更仔细的检查和记录。
12.子区域是在图像评估单元中选择的，并且关于读出cmos图像传感器的哪个子区域的指令由图像评估单元直接发出或者经由控制单元发出。图像评估单元也可以作为软件集成在控制单元中作为功能单元，例如作为程序或者程序的子例程。
13.各种检查的正常情况是看不到相关结构的。在这些情况下，如果图像评估单元在白光图像中没有检测到具有至少一个预定义特征的结构，则有利地借助于显示装置显示白光图像。
14.在实施方式中，特殊光图像借助于显示装置单独显示，或者作为叠加在白光图像上的合成图像显示。单独显示特殊光图像具有不受干扰的显示的优点，这对于训练有素的医生的眼睛来说很容易解释。显示合成图像(其中特殊光图像在所述结构的位置处一致叠加在白光图像上)提供了将特殊光图像嵌入到周围结构中的优势。这类融合图像或合成图像可以称为增强现实图像(ari)。对于合成图像，可以将特殊光图像以一定透明度(例如在5％到50％之间)叠加在白光图像上，使得仍然可以看到在特殊光图像中不可见的白光图像的底层结构，或者可以将特殊光图像以不透明的方式(透明度为0％到5％)叠加在白光图像上。
15.在具有在视频流中显示的合成图像序列的实施方式中，在图像评估单元检测到在白光图像中存在具有至少一个预定义特征的至少一个结构的情况下，与视频图像序列同步化生成交替的白光和特殊光照明，其中在每种情况下，由白光图像和特殊光图像组成的一对图像被处理并组合成合成图像。可以使用快照功能捕获来自该合成图像视频流的单个帧，并用于更仔细的检查和记录。因此，在本专利申请和本发明的范围内，术语“特殊光成像模式”还包括这样的情况：白光图像和特殊光图像在交替序列中被捕获、进一步处理并组合在一起。
16.在一个实施方式中，视频图像序列和所同步化的交替的白光和特殊光照明以这样的时间节律发生：其中特殊光照明和特殊光图像捕获的持续时间短于白光照明和白光图像捕获的持续时间。这是可能的，因为对于特殊光图像捕获，在每种情况下仅读出cmos图像传感器的一个子区域，并且在图像评估单元中仅对所述子区域的图像数据进行进一步处理，特别是因为没有将结构识别应用于特殊光图像。因此，不再需要将图像显示的频率(即，单个帧的连续性)减半，而是可以实现具有与纯白光视频序列类似的高频率的图像序列，由此在很大程度上防止了运动伪影。实现这一点的一种可能性在于控制单元，其可以与图像评估单元集成在一起，指示视频内窥镜中的图像传感器和光源单元以对应地同步化的时间序列捕获图像或子图像并提供白光照明和特殊光照明。
17.在实施方式中，光源单元被设计成生成以下中的一种或更多种作为特殊光：用于窄带成像(nbi)的照明、用于近红外荧光成像(nirf)的照明和用于红色二色成像(rdi)的照明，其中特别地，在检测到出血的情况下生成rdi照明和/或在检测到肠息肉的情况下生成nbi照明。图像评估单元可以被设计成基于检测到的具有预定义特征的结构来选择可用的多种特殊光模式之一。另选地，预定义特征和特殊光模式可以被或可以已经被预先选择和设置。例如，在搜索特定结构的检查(例如在结肠镜检查中)或者预计、检测和制止出血的手术的情况下，这可能是有用的。
18.在实施方式中，具有至少一个预定义特征的结构是借助于基于人工智能的图像评估算法检测到的，和/或包含该结构的子区域是借助于基于人工智能的图像评估算法选择的，和/或特殊光模式是借助于基于人工智能的图像评估算法选择的。在这些情况下，图像评估算法可以基于一个或更多个分类神经网络，特别是cnn，该神经网络已经使用包含具有至少一个预定义特征的结构的白光图像进行了预训练。
19.在扩展中，在实施方式中，图像评估单元评估特殊光图像以检查对应结构的存在，特别是确认该结构的存在或者反之提示再次离开特殊光成像模式。特殊光成像模式特别适用于以非常高的对比度从而可清晰识别的方式示出相关结构，使得关于这些结构对特殊光图像的评估对于对应结构的存在具有重要意义。对应的图像评估也比在白光图像中更快，因为在特殊光图像中只存在白光图像的一个子区域，从而需要评估的数据量更少。
20.本发明的目的还通过一种内窥镜成像系统来实现，所述内窥镜成像系统包括具有至少一个cmos图像传感器的视频内窥镜、被设计成生成白光和至少一种特殊光的光源单元、图像评估单元、控制单元和显示装置，其中，所述控制单元连接到所述光源单元、视频内窥镜和图像评估单元以进行信号传递，并且所述图像评估单元连接到所述视频内窥镜以进行信号传递，其中，具有所述视频内窥镜、光源单元、图像评估单元、控制单元和显示装置的所述成像系统被设计和配置为执行根据本发明的上述方法。
21.根据本发明的成像系统的视频内窥镜可以包括位于内窥镜轴的远端区域或手柄中的cmos传感器，或者被设计为内窥镜与摄像头的组合，该摄像头包括作为图像传感器的cmos传感器。
22.此外，本发明的目的还借助于一种软件程序产品来实现，所述软件程序产品包括用于根据本发明的内窥镜成像系统的程序代码介质，所述软件程序产品包括在所述成像系统的所述图像评估单元中执行的图像评估程序组件，以及在所述成像系统的所述控制单元中执行的控制程序组件，其中，所述图像评估程序组件和所述控制程序组件被设计成如果在所述图像评估单元和控制单元中被执行则执行根据本发明的上述方法。
23.根据本发明的内窥镜成像系统和根据本发明的软件程序产品涉及根据本发明的上述方法并且以相同的方式实现其优点、特征和特性。
24.从根据本发明的实施方式的描述连同权利要求和附图，本发明的进一步特征将变得明显。根据本发明的实施方式可以实现单独的特征或多个特征的组合。
25.在本发明的范围内，由“特别地”或“优选地”指定的特征被理解为可选的特征。
附图说明
26.下面参照附图基于示例性实施方式，在不限制本发明的总体思想的情况下描述本发明，由此，明确地参照关于根据本发明而未在文本中更详细地解释的所有细节的附图。附图中：
27.图1是根据本发明的内窥镜成像系统的示意图，
28.图2是成像概念的示意图，以及
29.图3是根据本发明的方法的示例性流程图。
30.在附图中，相同或相似的要素和/或部分在每种情况下均设有相同的附图标记；因此将始终省略重复的介绍。
31.附图标记列表
[0032]2ꢀꢀꢀꢀꢀ
身体
[0033]4ꢀꢀꢀꢀꢀ
体腔
[0034]6ꢀꢀꢀꢀꢀ
结构
[0035]
10
ꢀꢀꢀꢀ
内窥镜成像系统
[0036]
20
ꢀꢀꢀꢀ
视频内窥镜
[0037]
22
ꢀꢀꢀꢀ
内窥镜轴
[0038]
24
ꢀꢀꢀꢀ
入口透镜
[0039]
26
ꢀꢀꢀꢀ
cmos图像传感器
[0040]
28
ꢀꢀꢀꢀ
手柄
[0041]
30
ꢀꢀꢀꢀ
光源单元
[0042]
40
ꢀꢀꢀꢀ
图像评估单元
[0043]
42
ꢀꢀꢀꢀ
白光图像
[0044]
44
ꢀꢀꢀꢀ
子区域
[0045]
46
ꢀꢀꢀꢀ
特殊光图像
[0046]
48
ꢀꢀꢀꢀ
合成图像
[0047]
50
ꢀꢀꢀꢀ
控制单元
[0048]
60
ꢀꢀꢀꢀ
显示装置
[0049]
100
ꢀꢀꢀ
捕获白光图像
[0050]
102
ꢀꢀꢀ
分析白光图像
[0051]
104
ꢀꢀꢀ
显示白光图像
[0052]
106
ꢀꢀꢀ
设置特殊光成像模式
[0053]
108
ꢀꢀꢀ
捕获特殊光图像
[0054]
110
ꢀꢀꢀ
生成和显示合成图像
具体实施方式
[0055]
图1是根据本发明的内窥镜成像系统10在手术情形下的示意图。借助于视频内窥镜20在患者的身体2的体腔4中进行检查，其中发现了具有预定义特征的结构6，例如肠息肉、出血、灌注血管等。
[0056]
视频内窥镜20包括手柄28上的内窥镜轴22，在该轴22的远端上，cmos图像传感器26布置在入口透镜24和光学系统(这里未示出)后面。另选地，视频内窥镜20也可以被设计为常规内窥镜与摄像头的组合。
[0057]
视频内窥镜20连接到光源单元30，该光源单元30也可以是视频内窥镜20的一部分，或者另选地，是内窥镜成像系统10的控制装置的一部分。具有各种光源和滤光器单元的光源单元30被设计成根据一种或更多种特殊光照明程序交替地生成白光和特殊光，该光通过视频内窥镜20被引导到体腔4中并且照亮检查环境。
[0058]
成像系统10还包括同样连接到光源单元30和视频内窥镜20的图像评估单元40和控制单元50，以及连接到图像评估单元40的显示装置60。各种组件(特别是图像评估单元40和控制单元50)被设计成执行根据本发明的方法。为此，它们配备了执行图像评估和控制的程序代码介质。
[0059]
图2以示意图的形式示出了成像概念。成像和图像采集基于对白光图像42的捕获，这些白光图像42将借助于图像评估单元40进行评估。这类白光图像42可以例如具有hd分辨率并且从白光照明下的光源单元30生成。如果白光图像42包括具有预定义特征(例如灌注血管、出血、肠息肉等的特性)的结构6，则图像评估单元40识别出白光图像42的包含该结构6的子区域44。
[0060]
因为检测到结构6，所以为接下来的图像设置了用于特殊光成像的特殊光照明，并且cmos传感器26仅在子区域44中被读出。该读出子区域44的表示，特别是伪彩色表示，作为特殊光图像46叠加在白光图像42上的正确位置处，产生了在显示装置60上显示给主治医师的合成图像48。合成图像48可以是特殊光成像模式下的视频流的一部分，在这种模式下，在每种情况下都会捕获成对的白光图像和特殊光图像并将其组合为或用作单个图像，以供更仔细的检查和记录。优选地，在特殊光成像模式下的视频流的情况下，分析每个白光图像并且重新确定子区域44，因为视频内窥镜20和结构6可以相对于彼此移动。
[0061]
特定的特殊光成像模式的选择要么由医生先验地完成，该医生例如正在执行特定检查(例如结肠镜检查)，其中只有一种特殊光成像模式是相关的；要么由图像评估单元40中的图像评估算法基于找到的结构6决定选择哪种特殊光成像模式。这类选择算法可以例
如基于神经网络，该神经网络已经使用先前捕获的具有对应结构的白光图像进行训练，以便识别对应结构和相应的最佳特殊光成像模式并对其进行分类。
[0062]
图3是根据本发明的方法的示例性流程图。该方法从捕获白光图像42开始(方法步骤100)，然后对其进行分析以检查具有预定义特征的结构6的存在(方法步骤102)。如果没有发现结构6，那么白光图像42就这样显示(方法步骤104)并且捕获新的白光图像42(方法步骤100)。如果实际上在白光图像42中发现了结构6，则识别出白光图像42中结构6所在的子区域44。随后，设置具有对应特殊光照明的预设的或合适的特殊光成像模式(方法步骤106)，在已经设置的特殊光照明下捕获图像并且仅在子区域44中读出cmos图像传感器26的图像数据并且将其进一步处理为特殊光图像46(方法步骤108)。然后将该特殊光图像46叠加在白光图像42上并显示为合成图像48(方法步骤110)。从方法步骤100重复该处理直到检查完成或直到根据本发明的检查模式终止。
[0063]
所有提及的特征(包括单独从附图中获得的特征和与其它特征组合公开的单个特征)无论单独地还是组合地都被认为对于本发明是必要的。根据本发明的实施方式可以通过单个特征或几个特征的组合来实现。