医学成像系统、方法以及计算机程序产品与流程

相关申请的交叉引用

本申请要求于2017年6月29日提交的ep17178775.7的权益，其全部内容通过引用结合于此。

本公开涉及医学成像系统、方法以及计算机程序。

背景技术：

本文提供的“背景”描述是为了总体上呈现本公开的上下文。在背景技术部分描述的范围内，当前指定的发明人的工作以及在提交时可能不被认为是现有技术的描述的方面既不明确地也不隐含地被认为是针对本公开的现有技术。

医学图像的解释尤其具有挑战性。一个因素是由于血液和软组织的颜色，场景的大部分会具有相似的红色。因此，例如由于具有更高数量的小光谱带而能够更好地区分光谱的红色部分的颜色的医学成像系统可能是有利的。

本公开的目的是至少解决这些问题。

引用列表

非专利文献

[npl1]“ultra-high-sensitivitycolorimagingviaatransparentdiffractive-filterarrayandcomputationaloptics’,pengwangandrajeshmenon.opticavol.2,no.11/november2015pp933-939。

[npl2]“simultaneouspatterningofindependentmetal/metaloxidemulti-layerfilmsusingtwo-tonephoto-acidgeneratingcompoundsystems”,christophere.j.cordonierandhideohonma.nanomaterials2012,2,312-328；doi:10.3390/nano2040312issn2079-4991。

技术实现要素：

根据第一方面，提供了一种医学成像系统，包括：成像电路，其被配置为捕获图像；衍射滤波器阵列，其安装在传感器电路上；以及分隔装置，其被配置为调整衍射滤波器阵列和传感器电路之间的距离。

前面的段落是以总体性介绍的方式提供的，并不旨在限制以下权利要求的范围。通过参考结合附图进行的以下详细描述，将最好地理解所描述的实施方式以及进一步的优点。

附图说明

通过参考以下结合附图考虑时的详细描述，可以容易地获得本公开的更完整的理解及其许多伴随的优点以及将更好地理解这些。

[图1]图1是描绘内窥镜手术系统的示意性配置的实例的视图；

[图2]图2是描绘图1中描绘的摄像头和摄像头控制单元(ccu)的功能配置的实例的框图；

[图3a]图3a示出了透镜布置；

[图3b]图3b示出了根据本公开实施方式的透镜布置；

[图3c]图3c示出了根据本公开实施方式的透镜布置；

[图4a]图4a示出了根据本公开实施方式的透镜布置的另一视图；

[图4b]图4b示出了根据本公开实施方式的透镜布置的另一视图；

[图5a]图5a示出了根据本公开实施方式的内窥镜视图；

[图5b]图5b示出了根据本公开实施方式的内窥镜视图；

[图6]图6示出了根据本公开实施方式的流程图。

具体实施方式

现在参考附图，其中，在几个视图中，相同的附图标记表示相同或相应的部分。

1.应用

<<1.应用>>

根据本公开实施方式的技术可以应用于各种产品。例如，根据本公开实施方式的技术可以应用于内窥镜手术系统。

图1是描绘内窥镜手术系统5000的示意性配置的实例的视图，根据本公开实施方式的技术可以应用于内窥镜手术系统5000。在图1中，示出了外科医生(医生)5067正在使用内窥镜手术系统5000为病床5069上的患者5071执行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、在其上支撑内窥镜5001的支撑臂设备5027以及其上安装有用于内窥镜手术的各种设备的推车5037。

在内窥镜手术中，代替切开腹壁进行剖腹手术，使用称为套管针5025a至5025d的多个管状孔装置来穿刺腹壁。然后，内窥镜5001的镜筒5003和其他手术工具5017通过套管针5025a至5025d插入患者5071的体腔。在所描述的实例中，作为其他手术工具5017，气腹管5019、能量治疗工具5021和镊子5023插入患者5071的体腔中。此外，能量治疗工具5021是用于通过高频电流或超声波振动执行组织切割和剥离、血管密封等的治疗工具。然而，所描绘的手术工具5017仅仅是实例，并且作为手术工具5017，可以使用内窥镜手术中通常使用的各种手术工具，例如，一对镊子或牵开器。

在显示设备5041上显示由内窥镜5001成像的患者5071的体腔中的手术区域的图像。外科医生5067在实时观察在显示设备5041上显示的手术区域的图像的同时使用能量治疗工具5021或镊子5023，以执行例如切除患部之类的治疗。应当注意，尽管未描绘，但是气腹管5019、能量治疗工具5021和镊子5023在手术期间由外科医生5067、助手等支撑。

(支撑臂设备)

支撑臂设备5027包括从基座单元5029延伸的臂单元5031。在所描绘的实例中，臂单元5031包括接合部5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制设备5045的控制下被驱动。内窥镜5001由臂单元5031支撑，使得控制内窥镜5001的位置和姿势。因此，可以实现内窥镜5001的位置的稳定固定。

(内窥镜)

内窥镜5001包括镜筒5003和连接到镜筒5003近端的摄像头5005，镜筒5003具有自其远端为预定长度的区域，以插入患者5071的体腔。在所描绘的实例中，内窥镜5001被描绘为包括具有硬类型的透镜镜筒5003的硬镜。然而，内窥镜5001可以被配置为具有软类型的透镜镜筒5003的软镜。

镜筒5003在其远端具有开口，物镜安装在该开口中。光源设备5043连接到内窥镜5001，使得光源设备5043产生的光通过在镜筒5003内部延伸的导光件引入镜筒的远端，并通过物镜朝向患者5071体腔中的观察对象照射。应当注意，内窥镜5001可以是直视镜，或者可以是透视镜或侧视镜。

光学系统和图像拾取元件设置在摄像头5005的内部，使得来自观察对象的反射光(观察光)通过光学系统聚集在图像拾取元件上。观察光被图像拾取元件光电转换，以生成对应于观察光的电信号，即对应于观察图像的图像信号。图像信号作为原始数据传输到ccu5039。应当注意，在摄像头5005中包含这样的功能，用于适当地驱动摄像头5005的光学系统，以调整放大率和焦距。

应当注意，为了建立与例如立体视觉(三维(3d)显示)的兼容性，可以在摄像头5005上设置多个图像拾取元件。在这种情况下，多个中继光学系统设置在镜筒5003的内部，以便将观察光引导到多个图像拾取元件中的每一个。

(推车中包含的各种设备)

ccu5039包括中央处理单元(cpu)、图形处理单元(gpu)等，并且整体控制内窥镜5001和显示设备5041的操作。具体地，ccu5039对从摄像头5005接收的图像信号执行各种图像处里(例如，显影处理(去马赛克处理))以基于图像信号显示图像。ccu5039向显示设备5041提供已经执行了图像处理的图像信号。此外，ccu5039向摄像头5005发送控制信号，以控制摄像头5005的驱动。控制信号可以包括与图像拾取条件相关的信息，例如，放大率或焦距。

显示设备5041基于图像信号显示图像，其中，在ccu5039的控制下，该图像信号已经由ccu5039执行了图像处理。如果内窥镜5001准备好用于高分辨率成像，例如，4k(水平像素数3840×垂直像素数2160)、8k(水平像素数7680×垂直像素数4320)等，和/或准备好用于3d显示，则可以相应地显示高分辨率和/或3d显示的显示设备可以用作显示设备5041。当设备准备好进行高分辨率(例如，4k或8k)成像时，如果用作显示设备5041的显示设备具有等于或不小于55英寸的尺寸，则可以获得更沉浸式的体验。此外，可以根据目的提供具有不同分辨率和/或不同尺寸的多个显示设备5041。

光源设备5043包括光源，例如，发光二极管(led)，并且向内窥镜5001提供用于对手术区域成像的照射光。

臂控制设备5045包括处理器，例如，cpu，并且根据预定程序操作，以根据预定控制方法控制支撑臂设备5027的臂单元5031的驱动。

输入设备5047是内窥镜手术系统5000的输入接口。用户可以通过输入设备5047执行输入内窥镜手术系统5000的各种信息或指令的输入。例如，用户可以通过输入设备5047输入与手术相关的各种信息，例如，患者的身体信息、关于手术的手术过程的信息等。此外，用户可以通过输入设备5047输入例如驱动臂单元5031的指令、改变内窥镜5001的图像拾取条件(照射光的类型、放大率、焦距等)的指令、驱动能量治疗工具5021的指令等。

输入设备5047的类型不受限制，并且可以是各种已知输入设备中的任何一种。作为输入设备5047，例如，可以应用鼠标、键盘、触摸板、开关、脚踏开关5057和/或操纵杆等。当触摸板用作输入设备5047时，可以设置在显示设备5041的显示面上。

另外，输入设备5047是装在用户上的装置，例如，眼镜型可佩戴装置或头戴式显示器(hmd)，并且响应于由所提及的任何装置检测到的用户的手势或视线来执行各种类型的输入。此外，输入设备5047包括能够检测用户运动的相机，并且响应于从相机成像的视频中检测到的用户的手势或视线，执行各种输入。此外，输入设备5047包括能够收集用户语音的麦克风，并且通过麦克风收集的语音来执行各种输入。通过配置输入设备5047，使得各种信息可以以这种方式以非接触方式输入，特别是属于清洁区域的用户(例如，外科医生5067)可以以非接触方式操作属于不清洁区域的设备。此外，由于用户可以操作设备，而无需从手中松开所握持的手术工具，因此提高了用户的便利性。

治疗工具控制设备5049控制能量治疗工具5021的驱动，用于烧灼或切开组织、密封血管等。气腹设备5051通过气腹管5019将气体送入患者5071的体腔，以膨胀体腔，从而确保内窥镜5001的视野并确保外科医生的工作空间。记录器5053是能够记录与手术相关的各种信息的设备。打印机5055是能够以各种形式(例如，文本、图像或图形)打印与手术相关的各种信息的设备。

在下文中，尤其更详细地描述内窥镜手术系统5000的特征配置。

(支撑臂设备)

支撑臂设备5027包括用作基座的基座单元5029和从基座单元5029延伸的臂单元5031。在所描绘的实例中，臂单元5031包括多个接合部5033a、5033b和5033c以及通过接合部5033b彼此连接的多个连杆5035a和5035b。在图1中，为了简化说明，臂单元5031的配置以简化形式示出。实际上，可以适当地设置接合部5033a至5033c以及连杆5035a和5035b的形状、数量和布置以及接合部5033a至5033c的旋转轴的方向等，使得臂单元5031具有期望的自由度。例如，臂单元5031可以优选地被配置为使得其具有等于或不小于6个自由度的自由度。这使得可以在臂单元5031的可移动范围内自由移动内窥镜5001。因此，可以从期望的方向将内窥镜5001的镜筒5003插入患者5071的体腔。

致动器设置在接合部5033a至5033c中的每一个中，并且接合部5033a至5033c被配置为使得通过驱动相应的致动器而绕其预定旋转轴旋转。由臂控制设备5045控制致动器的驱动，以控制每个接合部5033a至5033c的旋转角度，从而控制臂单元5031的驱动。因此，可以实现内窥镜5001的位置和姿势的控制。因此，臂控制设备5045可以通过各种已知的控制方法，例如，力控制或位置控制，来控制臂单元5031的驱动。

例如，如果外科医生5067通过输入设备5047(包括脚踏开关5057)适当地执行操作输入，则可以由臂控制设备5045响应于操作输入适当地控制臂单元5031的驱动，以控制内窥镜5001的位置和姿势。通过刚刚描述的控制，在臂单元5031的远端处的内窥镜5001从任意位置移动到不同的任意位置之后，内窥镜5001可以固定地支撑在移动之后的位置。应当注意，臂单元5031可以主-从方式操作。在这种情况下，臂单元5031可以由用户通过放置在远离手术室的地方的输入设备5047来远程控制。

此外，在施加力控制的情况下，臂控制设备5045可以执行动力辅助控制，以驱动接合部5033a至5033c的致动器，使得臂单元5031可以接收用户的外力并随着外力平滑移动。这使得当用户直接接触并移动臂单元5031时，可以用较弱的力移动臂单元5031。因此，用户可以通过更简单和更容易的操作更直观地移动内窥镜5001，并且可以提高用户的便利性。

在此处，通常在内窥镜手术中，内窥镜5001由称为内窥镜操作员的医生支撑。与之相比，在使用支撑臂设备5027的情况下，内窥镜5001的位置可以不用手更确定地固定，因此，可以稳定地获得手术区域的图像，并且可以顺利地执行手术。

应当注意，臂控制设备5045可以不必设置在推车5037上。此外，臂控制设备5045可以不必是单个设备。例如，臂控制设备5045可以设置在支撑臂设备5027的臂单元5031的接合部5033a至5033c中的每一个中，使得多个臂控制设备5045彼此协作，以实现臂单元5031的驱动控制。

(光源设备)

光源设备5043将手术区域成像时的照射光提供给内窥镜5001。光源设备5043包括白光光源，该白光光源包括例如led、激光光源或其组合。在这种情况下，在白光源包括红、绿和蓝(rgb)激光光源的组合的情况下，由于可以对每种颜色(每种波长)的输出强度和输出时间进行高精度控制，所以可以由光源设备5043执行拾取图像的白平衡的调整。此外，在这种情况下，如果来自相应rgb激光源的激光束时分地照射在观察对象上，并且与照射时间同步地控制摄像头5005的图像拾取元件的驱动，则可以时分地拾取分别对应于r、g和b颜色的图像。根据刚刚描述的方法，即使没有为图像拾取元件提供滤色器，也可以获得彩色图像。

此外，可以控制光源设备5043的驱动，使得要输出的光强度在每个预定时间改变。通过与光强度变化的时间同步地控制摄像头5005的图像拾取元件的驱动，以时分地获取图像，并且合成图像，可以创建没有曝光不足的遮挡阴影和曝光过度的高光的高动态范围的图像。

此外，光源设备5043可以被配置为提供预定波长带的光，以准备进行特殊光观察。在特殊光观察中，例如，通过利用身体组织中光吸收的波长依赖性来照射与普通观察时的照射光(即白光)相比更窄波段的光，执行窄带光观察(窄带成像)，其以高对比度对预定组织(例如，粘膜的表面部分的血管等)成像。或者，在特殊光观察中，可以执行用于从由激发光照射生成的荧光获得图像的荧光观察。在荧光观察中，可以通过在身体组织上照射激发光来观察来自身体组织的荧光(自发荧光观察)，或者通过将试剂(例如，吲哚菁绿(icg))局部注射到身体组织中并将对应于试剂的荧光波长的激发光照射到身体组织上，来获得荧光图像。光源设备5043可以被配置为提供适合于上述的特殊光观察的窄带光和/或激发光。

(摄像头和ccu)

参考图2更详细地描述内窥镜5001的摄像头5005和ccu5039的功能。图2是描绘图1中描绘的摄像头5005和ccu5039的功能配置的实例的框图。

参考图2，摄像头5005具有透镜单元5007、图像拾取单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015，作为其功能。此外，ccu5039具有通信单元5059、图像处理单元5061和控制单元5063，作为其功能。摄像头5005和ccu5039通过传输电缆5065连接成彼此双向通信。

首先，描述摄像头5005的功能配置。透镜单元5007是设置在摄像头5005与透镜筒5003的连接位置处的光学系统。从镜筒5003的远端入射的观察光引入摄像头5005并进入透镜单元5007。透镜单元5007包括多个透镜的组合，包括变焦透镜和聚焦透镜。透镜单元5007具有光学特性，调整光学特性，以使得观察光聚集在图像拾取单元5009的图像拾取元件的光接收面上。此外，变焦透镜和聚焦透镜被配置为使得其在光轴上的位置是可移动的，以用于调整拾取的图像的放大率和焦点。

图像拾取单元5009包括图像拾取元件，并且设置在透镜单元5007的下一级。已经穿过透镜单元5007的观察光聚集在图像拾取元件的光接收面上，并且通过图像拾取元件的光电转换，生成对应于观察图像的图像信号。由图像拾取单元5009生成的图像信号提供给通信单元5013。

作为由图像拾取单元5009包括的图像拾取元件，使用例如互补金属氧化物半导体(cmos)类型的图像传感器，其具有拜耳阵列并且能够拾取彩色图像。应当注意，作为图像拾取元件，可以使用图像拾取元件，该图像拾取元件例如准备好用于以等于或不小于4k的高分辨率成像图像。如果以高分辨率获得手术区域的图像，则外科医生5067可以更详细地了解手术区域的状态，并且可以更顺利地进行手术。

此外，由图像拾取单元5009包括的图像拾取元件包括使得其具有一对图像拾取元件，用于获取与3d显示兼容的右眼和左眼的图像信号。在应用3d显示的情况下，外科医生5067可以更准确地了解手术区域中活体组织的深度。应当注意，如果图像拾取单元5009被配置为多板类型的图像拾取单元，则对应于图像拾取单元5009的相应图像拾取元件设置透镜单元5007的多个系统。

图像拾取单元5009可以不必设置在摄像头5005上。例如，图像拾取单元5009可以设置在镜筒5003内部的物镜正后方。

驱动单元5011包括致动器，并且在摄像头控制单元5015的控制下，将透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此，可以适当地调整由图像拾取单元5009拾取的图像的放大率和焦点。

通信单元5013包括用于向ccu5039发送各种信息和从ccu5039接收各种信息的通信设备。通信单元5013通过传输电缆5065将从图像拾取单元5009获取的图像信号作为原始数据传输到ccu5039。因此，为了以低延迟显示手术区域的拾取图像，优选地，通过光通信传输图像信号。这是因为在手术时，外科医生5067执行手术，同时通过拾取的图像观察患部的状态，要求尽可能实时地显示手术区域的移动图像，以便以更高的安全性和确定性实现手术。在应用光通信的情况下，用于将电信号转换成光信号的光电转换模块设置在通信单元5013中。在光电转换模块将图像信号转换成光信号之后，该光信号通过传输电缆5065传输到ccu5039。

此外，通信单元5013从ccu5039接收用于控制摄像头5005的驱动的控制信号。控制信号包括与图像拾取条件相关的信息，例如，指定拾取图像的帧速率的信息、指定图像拾取时曝光值的信息和/或指定拾取图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给摄像头控制单元5015。应当注意，来自ccu5039的控制信号也可以通过光通信传输。在这种情况下，用于将光信号转换成电信号的光电转换模块设置在通信单元5013中。在控制信号被光电转换模块转换成电信号之后，提供给摄像头控制单元5015。

应当注意，图像拾取条件(例如，帧率、曝光值、放大率或焦点)由ccu5039的控制单元5063基于获取的图像信号自动设置。换言之，自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能包含在内窥镜5001中。

摄像头控制单元5015基于通过通信单元5013接收的来自ccu5039的控制信号，来控制摄像头5005的驱动。例如，摄像头控制单元5015基于指定拾取图像的帧速率的信息和/或指定图像拾取时的曝光值的信息，来控制图像拾取单元5009的图像拾取元件的驱动。此外，例如，摄像头控制单元5015基于指定拾取图像的放大率和焦点的信息，来控制驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。摄像头控制单元5015还可以包括用于存储用于识别透镜筒5003和/或摄像头5005的信息的功能。

应当注意，通过将部件(例如，透镜单元5007和图像拾取单元5009)设置在具有高气密性和防水性的密封结构中，可以为摄像头5005提供对高压灭菌过程的抵抗力。

现在，描述ccu5039的功能配置。通信单元5059包括用于向摄像头5005发送各种信息和从摄像头5005接收各种信息的通信设备。通信单元5059通过传输电缆5065接收从摄像头5005向其传输的图像信号。因此，可以优选地通过光通信传输图像信号，如上所述。在这种情况下，为了与光通信兼容，通信单元5059包括用于将光信号转换成电信号的光电转换模块。通信单元5059将转换成电信号之后的图像信号提供给图像处理单元5061。

此外，通信单元5059向摄像头5005发送用于控制摄像头5005的驱动的控制信号。也可以通过光通信传输控制信号。

图像处理单元5061对从摄像头5005向其传输的原始数据形式的图像信号执行各种图像处理。图像处理包括各种已知的信号处理，诸如，例如，显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、降噪(nr)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行检测处理，以便执行ae、af和awb。

图像处理单元5061包括处理器，例如，cpu或gpu，并且当处理器根据预定程序操作时，可以执行上述图像处理和检测处理。应当注意，在图像处理单元5061包括多个gpu的情况下，图像处理单元5061适当地划分与图像信号相关的信息，使得由多个gpu并行执行图像处理。

控制单元5063执行与内窥镜5001对手术区域的图像拾取和拾取图像的显示相关的各种控制。例如，控制单元5063生成用于控制摄像头5005的驱动的控制信号。因此，如果用户输入图像拾取条件，则控制单元5063基于用户的输入生成控制信号。或者，在内窥镜5001中包含ae功能、af功能和awb功能的情况下，控制单元5063响应于图像处理单元5061的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

此外，控制单元5063控制显示设备5041基于图像处理单元5061已经对其执行了图像处理的图像信号来显示手术区域的图像。因此，控制单元5063使用各种图像识别技术来识别手术区域图像中的各种对象。例如，控制单元5063可以通过检测手术区域图像中包括的对象的边缘的形状、颜色等来识别手术工具，例如，镊子、特定活体区域、出血、使用能量治疗工具5021时的薄雾等。当控制单元5063控制显示单元5041显示手术区域图像时，控制单元5063使用识别结果促使以与手术区域的图像重叠的方式显示各种手术支持信息。当手术支持信息以重叠的方式显示并呈现给外科医生5067时，外科医生5067可以更加安全和确定地进行手术。

将摄像头5005和ccu5039彼此连接的传输线缆5065是准备用于电信号通信的电信号电缆、准备用于光通信的光纤或准备用于电和光通信的复合线缆。

在此处，虽然在所描绘的实例中，通过使用传输线缆5065的有线通信执行通信，但是摄像头5005和ccu5039之间的通信可以通过无线通信来执行。当摄像头5005和ccu5039之间的通信通过无线通信执行时，不需要在手术室中铺设传输线缆5065。因此，可以消除传输线缆5065干扰手术室中医务人员的移动的情况。

上面已经描述了可以应用根据本公开实施方式的技术的内窥镜手术系统5000的实例。此处应当注意，尽管内窥镜手术系统5000已经被描述为实例，但是可以应用根据本公开实施方式的技术的系统不限于该实例。例如，根据本公开实施方式的技术可以应用于用于检查的软内窥镜系统或显微镜手术系统。

根据本公开实施方式的技术可以从上述组件中适当地应用于控制单元5063。具体地，根据本公开实施方式的技术涉及内窥镜检查和/或显微镜检查或任何类型的医学成像。通过将根据本公开实施方式的技术更普遍地应用于内窥镜检查和/或显微镜检查技术和/或医学成像，可以改善红色阴影的粒度，从而在内窥镜检查期间更容易区分对象。这降低了患者受伤或死亡的可能性，并提高了可以执行医学过程(例如，手术)的效率。

为了提高内窥镜图像的红色阴影的粒度，众所周知，多光谱和高光谱成像在一些内窥镜检查形式中是有用的。这是因为多光谱成像将光谱分成许多光谱带，高光谱将光谱进一步分隔。

这种技术的优点是某些材料发射或反射特定频率或小频率范围的光。因此，通过更精细的检测，可以识别这些材料。然而，如果只使用红色、绿色和蓝色波段(与在拜耳滤波器中一样)，则可能会被不同红色阴影程度掩盖其识别。

因此，已知高光谱成像和多光谱成像对于某些形式的内窥镜成像是有利的。

尽管[npl1]没有提到将高光谱成像和多光谱成像应用于医学和内窥镜成像，但[npl1]中通常提供了一种用于高光谱成像的机制。

在该系统中，使用衍射滤波器(dfa)阵列。dfa是本领域技术人员已知的，并且由光的衍射在其表面变化的一层材料组成。这种滤波器允许所有的光通过，因此比拜耳滤波器具有更高的灵敏度。在[npl1]中，表明dfa易于制造，制造在一层中，并且对制造不准确度具有很大的容差。该参考文献还显示dfa可用作‘快照’高光谱成像仪。

[npl1]中产生的装置将dfa放置在标准全色图像传感器的前面。dfa和图像传感器相隔距离‘d’。该装置的特征首先在于，将已知波长的光施加到该装置上并测量其响应，从而创建‘空间-光谱点扩展函数’(即，找到图像传感器对已知‘场景’的响应)。然后，该信息用于解决反问题(即，利用已知的图像传感器响应找到‘场景’)，由此图像传感器的读数与空间-光谱点扩展函数结合使用来估计场景。

然而，本公开的发明人已经识别出[npl1]中的装置存在问题。该装置对距离‘d’很敏感，因为(i)空间分辨率随着d变小而提高，而(ii)随着d变小，光谱分辨率由于像素之间的串扰而降低。

因此，如[npl1]中，具有固定的距离‘d’在光谱和空间分辨率之间产生了折衷。

这是一个问题，尤其是在医学成像领域，其中，外科医生需要高度的空间分辨率，以避免通过切割脉管系统或组织而对患者造成伤害。例如，在腹腔镜手术中，内窥镜图像通常包含大量红色部分，外科医生必须辨别图像中不同的红色，以分析图像。同样在使用监视器的外科手术中，也确实需要高分辨率图像(例如，4k或8k)。这是为了提高手术效率。因此，在任何医学成像(例如，外科手术)的使用中，都非常需要具有高光谱分辨率和高空间分辨率的内窥镜。

本公开解决了这个问题。

在图3a中，示出了根据[npl1]的dfa和图像传感器布置。该布置300’具有与图像传感器310相隔距离‘d’的dfa305。在实施方式中，图像传感器310检测空间阵列上的光能，并将其转换成电信号，从而创建引导光能的场景的记录。

在实施方式中，图像传感器310是电荷耦合器件(ccd)或cmos传感器。

在图3b和图3c中，示出了本公开的实施方式。具体地，在图3b和3c中，在dfa和图像传感器布置300中，图像传感器310和dfa305相隔一段距离。然而，与图3a的布置300’不同，图3b的布置300包括图像传感器310和dfa305之间的分隔单元315。分隔单元315安装在图像传感器310或dfa305上，或者安装在图像传感器310和dfa305上。重要的是，分隔单元315的目的是调整图像传感器310和dfa305之间的距离。换言之，可以以允许调整图像传感器310和dfa305之间的距离的任何配置来设置分隔单元315。

在实施方式中，分隔单元315连接到ccu5039，ccu5039控制分隔单元315来调整图像传感器310和dfa305之间的距离。

设想图3b和图3c中的图像传感器布置300将位于内窥镜或内窥镜的头部单元中。当然，在医学成像系统的一般情况下，图像传感器布置300同样可以位于适当位置的任何地方。

在图3b的特定布置300中，分隔单元315围绕图像传感器310的周边定位。换言之，分隔单元315对图像传感器310和/或dfa305进行架构(frame)。这表示在图像传感器310和dfa305之间存在间隙。这个间隙填充有空气或其他气体。因此，在该实施方式中，分隔单元315可以由透明材料制成，也可以不由透明材料制成。

另一方面，在图3c的特定布置300中，分隔单元315覆盖图像传感器310和/或dfa305。这表示图像传感器310和dfa305之间的间隙填充有分隔单元315。在这种情况下，分隔单元315需要由透明的或至少基本透明的材料制成。这提供了强度，因为图像传感器310和dfa305之间的间隙填充有透明的并且可能非气态的材料。

当然，本公开不限于图3b和图3c的两种布置。分隔单元315可以是网格布置。当然，图像传感器310和dfa305之间的间隙可以包括另一种材料，该材料可以提供支撑，同时随着dfa305和图像传感器310之间的间距变化而膨胀和收缩。一个实例可以包括凝胶。

分隔单元315可以由尺寸以可控方式变化的任何材料制成。例如，分隔单元315可以由压电材料制成。这些已知材料是在施加电压时改变其体积内应力的材料。另外或替代地，分隔单元315可以由电活性聚合物(eap)制成。这些聚合物在受到电场刺激时会表现出形状或大小的变化。

参考图4a和图4b，给出了对dfa305、图像传感器310以及分隔dfa305和图像传感器310的距离d的相互作用的解释。

在图4a和图4b中，图像传感器310包括沿着图像传感器310的表面延伸的像素312。dfa315由许多小平面组成，每个小平面将光弯曲特定的角度。在图4a和图4b的实例中，同一小平面将光弯曲θ^o至垂直。

图4a和图4b之间的差异是图像传感器310和dfa305之间的分隔距离d。具体地，在图4a中，分隔距离d＝d1，在图4b中，分隔距离d＝d2，其中，d1小于d2。

对于θ的任何值，图像传感器310和dfa305之间的分隔距离的这种差异具有将光扩散到图像传感器310上不同数量的像素312上的效果。这在图4a和图4b中得到证明，在图4a中，穿过小平面的光在单个像素上扩散s，在图4b中，穿过小平面的光在3个像素上扩散s。

这表示在图4a中，由于光只被单个像素检测到，所以图像的空间分辨率很高。这是因为可以将通过小平面的光的位置与相应的像素相关联。

另一方面，在图4b中，由于光被3个像素检测到，所以图像的空间分辨率很低。然而，由于光在3个像素上扩散，并且光弯曲的量与光的频率相关，所以图像的光谱分辨率很高。

随着dfa分隔距离的增加，dfa的光分散函数(与该像素处的光的颜色扩散相关)的大小增加，将到达dfa的第一面的一个点的光扩散到更大的像素区域。这使得越来越难以重建场景的良好空间表示。这个过程是连续的。选择最大dfa分隔，这至少导致重建某些空间图像的合理能力。

在[npl1]中描述从这种扩散重建图像的机制，因此为简洁起见，此处不再重复。

更一般地，当衍射滤波器阵列和成像电路之间的距离等于或低于预定距离时，系统可以在第一模式下操作，当衍射滤波器阵列和成像电路之间的距离高于预定距离时，系统可以在第二模式下操作。

参考图5a和图5b，示出了根据本公开实施方式的内窥镜视图的实例。具体地，图5a中的内窥镜视图400a示出了兴趣对象410a。该兴趣对象可以是息肉、肿瘤、生长、损伤或外科医生可能感兴趣的任何类型的对象。可以设想，术语“对象”也可以包括材料之间的边缘，例如，软组织和骨骼之间的边缘。可以使用对象检测算法或边缘检测算法来检测该对象。如稍后将解释的，该检测到的对象可以用于对准高光谱分辨率图像和高空间分辨率图像。此外，对象的检测可以触发捕获高光谱分辨率图像和高空间分辨率图像。

对象410a可以由医学成像系统的用户使用用户接口来识别。在这种情况下，或者在系统自动检测到对象410a的情况下，显示器可以包括高亮区域405a，在这种情况下，高亮区域405a是向用户突出对象410a的框(但是本公开不限于此)。

一旦识别了对象，捕获内窥镜视图或对象的高光谱分辨率图像和/或高空间分辨率图像。图5a示出了内窥镜视图的高光谱分辨率图像，图5b示出了内窥镜视图的高空间分辨率图像。

参考图6，描述了解释根据实施方式的系统的操作的流程图500。

该过程开始于步骤505。

在步骤510中，内窥镜或者更一般地医学成像探头位于患者体内的适当位置。在图5a和图5b的实例中，确定内窥镜处于适当的位置，因为内窥镜视图包括对象410a和410b。

响应于处于适当的位置，捕获高空间分辨率图像。这是步骤515。为了捕获高空间分辨率图像，ccu5039控制dfa305和图像传感器310之间的分隔。通过向分隔单元315施加控制信号，例如，电信号或电场控制信号，来控制间隔。根据可以由外科医生预先确定的所需的空间分辨率或者医学探头与兴趣对象的距离以及设置在医学探头上的光源类型，来确定适当的距离。将在产品制造过程中预先计算间隔d的这些值。

在ccu5039控制分隔单元315实现图像传感器310与dfa305之间的期望间隔之后，在步骤515中捕获图像并在步骤520中存储图像。

该过程然后移动步骤525，在该步骤中，捕获高光谱分辨率图像。以类似于高空间分辨率的方式，ccu5039确定图像传感器310和dfa305之间所需的外部间隔。在制造过程中提供该信息，并将考虑患者体内的环境照明条件以及探头和兴趣对象之间的距离。然后在步骤530中存储捕获的图像。

为了允许用户受益于高空间分辨率和高光谱分辨率图像，存储的高光谱分辨率图像和存储的空间分辨率图像彼此重叠。为了确定适当的像素对应，使得两个图像彼此适当重叠，可以实现几种方法中的一种。

一种示例性方法可以是使用边缘检测算法来估测高空间图像，例如，canny边缘检测算法的实现方式。这将在高空间分辨率图像中创建一组线条。然后这些线条用于创建新图像。然后，通过在高光谱图像上使用边缘检测算法来寻找不同光谱变化的边缘，将高光谱图像与该新图像对准。应当注意，场景的一些部分将包含眼睛可见的结构(因此也包含在高空间图像中)和高光谱图像。这方面的一个实例是骨骼和软组织之间的边界。

图像的其他区域可以具有在高空间分辨率图像或高光谱分辨率图像中的一个图像中可见而在另一图像中不可见的结构。例如，如果血液位于另一种材料上，则可能只有血液的形式是可见的，并且位于高空间图像上，其中，在高光谱分辨率图像中底层结构的形式也是可见的。因此，并非所有高光谱边缘都将具有相应的高空间边缘。高空间边缘的记录方式表示高光谱图像中的位置是已知的。换言之，一旦在高光谱边缘和高空间边缘之间进行了对准，高光谱边缘可以被相同位置的高光谱图像代替。

找到与高空间边缘最相关的高光谱边缘的子集。注意，高光谱边缘的目的是对准两幅图像。因此，对于2d图像，只需要两个参考点，对于3d图像，需要三个参考点。通常，为了提高对准的精度，将使用剖面线，而不是使用特定的点。如果这些部分在图像中有足够的间隔，精度会进一步提高。这可以通过考虑在使用位于图像角落的2d图像的两个部分比使用在图像中心靠近在一起的两个部分可能具有更高精度来实现。因此，优化是可能的，由此最小数量的点具有足够大小并且间隔被选择来对准图像。

这些紧密相关的高光谱边缘作为图像中的一层添加到即时图像中，并与高空间分辨率边缘对准。然后，从被高光谱图像替换的图像中去除高光谱边缘，最终图像包括高空间边缘和对准的高光谱图像。然后，由用户在显示器上观看最终图像。

然后，该过程在步骤540结束。

如上所述，执行高空间和/或光谱分辨率图像的捕获的一个触发是检测图像中的对象。然而，本公开不限于此。例如，外科医生可以使用用户接口等触发高光谱和/或空间分辨率图像的捕获。

用于触发高光谱和/或高空间分辨率图像的捕获的另一机制包括响应于预定传感器输出捕获图像。在该额外机制中，传感器可以是位于医学成像系统中的陀螺仪或加速度计(或任何类型的适当感测电路)。通常，传感器电路检测探头或至少图像传感器(可以是内窥镜尖端)是否固定。这表明外科医生正在仔细检查特定区域，高空间和/或光谱分辨率图像可能是有用的。当然，可以设想其他传感器，例如，环境传感器，例如，温度传感器，其可以提供指示需要高光谱分辨率图像和/或高空间分辨率图像的区域的特定温度分布。合适的温度分布可能包括兴趣区域的高局部温度。

将传感器输出与预定传感器输出的数据库进行比较，这些输出用于触发高空间和/或光谱分辨率图像的捕获。在匹配的情况下，或者当捕获的传感器输出在存储的高空间和/或光谱分辨率图像的预定范围内时，捕获高空间和/或光谱分辨率图像。

其他变型包括仅在对观察内窥镜或医学图像有用时捕获高空间和/或光谱分辨率图像。

具体地，可以主要捕获与一种操作模式相关联的图像。例如，只能捕获高空间分辨率图像。这些可以显示给用户。在用户认为存在兴趣对象的情况下，用户可以切换到第二模式。在这种情况下，也可以捕获高光谱分辨率图像。换言之，控制电路被配置为在第一模式或第二模式下捕获多个图像，并且在另一模式下捕获图像，并且当在两个捕获图像中存在预定对象时，叠加在第一模式或第二模式下捕获的图像和在另一模式下捕获的图像。然后，可以叠加和显示图像，如参考图6所解释的。

尽管前面提到用户切换到第二模式，但是本公开不限于此。具体地，在第一模式下捕获的图像可以与存储的图像进行比较，存储的图像可以识别兴趣对象触发器。例如，血管的某些配置可以存储在数据库中，并在医学成像过程中识别。当识别出这种配置时，这可以用作捕获高光谱分辨率图像的触发器。

当然，尽管前面提到第一模式是高空间分辨率图像的主要捕获，但是本公开不限于此，第一模式可以是高光谱分辨率图像的主要捕获，第二模式是高空间分辨率图像的捕获。在这种情况下，可以在图像的光谱内容快速变化的情况下触发。这可以指示出血点等，结果，可以捕获高空间分辨率图像。

根据前述主题中任一项所述的系统被配置为当衍射滤波器阵列和成像电路之间的距离等于或低于预定距离时以第一模式操作，并且当衍射滤波器阵列和成像电路之间的距离高于预定距离时以第二模式操作。

在实施方式中，当使用变焦时，可以发生用于捕获高空间分辨率图像的触发。这是因为应用变焦表示需要高空间分辨率。

在实施方式中，布置300’应该适合高压灭菌。正如技术人员所理解的，高压灭菌是表示在高压釜中加热的术语。这将对布置300’进行消毒。

为了实现此，dfa305可以由能够经受高温的陶瓷材料制成，例如，金属氧化物或玻璃。在[npl1]中，使用光致抗蚀剂将图案化工艺应用于玻璃，然后进行玻璃蚀刻。在dfa305是金属氧化物(例如，锌或铟氧化物)的情况下，可以使用[2]中解释的图案化和蚀刻工艺。当然，本公开不限于此。具体地，dfa305可以是聚合物，例如，塑料，其可以密封在玻璃外壳中，以保护dfa305免受高压釜的加热。

图像传感器310的灵敏度和dfa305的透射率可随时间变化。为了解决这个问题，将使用已知的图像目标和照明源设置来校准[npl1]的算法。

在本公开的实施方式中，兴趣区域的照明可以改变。这可以提高高空间分辨率图像的空间分辨率。例如，对于特定的间隔d值，不同的颜色表现出不同程度的空间分辨率。

这是因为距离d改变了分辨光谱颜色和空间图像的能力。为了最大化(或至少增加)空间分辨率，d被设置为零。然而，图像中某一点的所有颜色都由一个像素收集，因此没有光谱分辨率。更大的距离d将颜色彼此分开，但是根据场景和颜色，存在空间混淆的可能性。

因此，d的最佳设置(共同最大化空间和光谱分辨率)将取决于图像(其空间和光谱分布)。

获得正确的d值的一种方法是从零开始，然后增加间距d，直到重建的空间分辨率下降到预定值。这可能是最小值。然后，产生的光谱信息高于阈值(例如，最大值)。在保持一定空间分辨率的同时，该光谱信息是可能最大的。

为了提高图像的空间分辨率，同时保持光谱响应的知识，在照明中具有由多个窄带组成的光源是有用的。这与波长连续扩散的光相反。窄带光是由led或激光器提供的光。以这种方式，由每个光谱光源产生的相应变换图像保持空间受限。这是因为每种颜色生成一聚焦图像，这使得能够更好地提取光的原始空间分布。此外，图像中颜色的相关性取决于例如图像中观察到的材料。这表示颜色的相关性是图像特有的。因此，如果适当地控制照明，则从场景反射的这组颜色就会受到限制。这对于分隔空间和光谱信息是有用的。这也将取决于所选择的dfa的实际结构，因为dfa中的衍射结构将在特定方向和角度上扩散特定波长的光，这将取决于dfa。当然，通常，相似的颜色表现大致相同(它们以相似的角度和方向来重定向)，但是其扩散角度是其波长的函数，至少对于一颜色范围来说是这样。

距离(d)针对图像中的所有颜色进行了优化，不同的波段不需要特定的优化。

如果在捕获内窥镜视频图像期间距离发生变化，则这样的信息(距离d或指示空间/光谱分辨率的信息)作为元数据与视频一起记录/输出。

可以控制光谱分辨率，使得光谱分辨率仅在特定波长区域(红色或近红外)内提高。

本公开的各种实施方式由以下编号的项定义：

1.一种医学成像系统，包括：成像电路，其被配置为捕获图像；衍射滤波器阵列，其安装在传感器电路上；以及分隔装置，其被配置为调整衍射滤波器阵列和传感器电路之间的距离。

2.根据项1所述的系统，还包括控制电路，其中，在所述控制电路的控制下，所述分隔装置被配置为改变形状。

3.根据项2的系统，其中，所述分隔装置由压电材料或电活性聚合物制成。

4.根据前述项中任一项所述的系统，其中，所述分隔装置是框架，所述衍射滤波器阵列安装在所述框架上，并且所述框架被配置为围绕所述成像电路。

5.根据项1至3中任一项所述的系统，其中，所述分隔装置是透明的，并且安装在成像电路上。

6.根据前述项中任一项所述的系统，其被配置为当衍射滤波器阵列和成像电路之间的距离等于或低于预定距离时以第一模式操作，并且当衍射滤波器阵列和成像电路之间的距离高于预定距离时以第二模式操作。

7.根据项6所述的系统，其中，所述控制电路被配置为：在第一模式下捕获图像；在第二模式下捕获图像；并且将在第一模式下捕获的图像叠加到在第二模式下捕获的图像上。

8.根据项6所述的系统，其中，所述控制电路被配置为：在第一模式或第二模式下捕获多个图像以及在另一模式下捕获图像，并且当在这两个捕获图像中存在预定对象时，叠加在第一模式或第二模式下捕获的图像和在另一模式下捕获的图像。

9.根据前述项中任一项所述的系统，还包括被配置为确定成像传感器的移动的传感器电路，当所述传感器电路确定成像传感器的预定运动时，所述成像电路被配置为捕获图像。

10.根据前述项中任一项所述的系统，还包括用户接口，其中，所述成像电路被配置为响应于用户接口上的用户输入来捕获图像。

11.一种医学成像方法，包括：捕获图像；并且调整衍射滤波器阵列与安装在其上的成像电路之间的距离。

12.根据项11所述的方法，包括改变用于调整衍射滤波器阵列和传感器电路之间的距离的分隔装置的形状。

13.根据项12的方法，其中，所述分隔装置由压电材料或电活性聚合物制成。

14.根据项12或13中任一项所述的方法，其中，所述分隔装置是框架，所述衍射滤波器阵列安装在所述框架上，并且所述框架被配置为围绕所述成像电路。

15.根据项12或13中任一项所述的方法，其中，所述分隔装置是透明的，并且安装在成像电路上。

16.根据项11至15中任一项所述的方法，包括当衍射滤波器阵列和成像电路之间的距离等于或低于预定距离时以第一模式操作；并且当衍射滤波器阵列和成像电路之间的距离高于预定距离时以第二模式操作。

17.根据项16所述的方法，包括：在第一模式下捕获图像；在第二模式下捕获图像；并且将在第一模式下捕获的图像叠加到在第二模式下捕获的图像上。

18.根据项16所述的方法，包括：第一模式或第二模式下捕获多个图像以及在另一模式下捕获图像，并且当在这两个捕获图像中存在预定对象时，叠加在第一模式或第二模式下捕获的图像和在另一模式下捕获的图像。

19.根据项11至18中任一项所述的方法，还包括确定成像电路的移动，并且当确定成像电路的预定移动时，所述成像电路被配置为捕获图像。

20.根据项11至19中任一项所述的方法，还包括响应于用户接口上的用户输入来捕获图像。

21.一种计算机程序产品，其包括计算机可读代码，当加载到计算机上时，所述计算机可读代码将计算机配置为执行根据项11至20中任一项所述的方法。

显然，根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本公开可以不同于本文具体描述的方式来实施。

就本公开的实施方式已经被描述为至少部分地由软件控制的数据处理设备实现而言，应当理解，承载这种软件的非暂时性机器可读介质(例如，光盘、磁盘、半导体存储器等)也被认为表示本公开的实施方式。

应当理解，为了清楚起见，以上描述已经参考不同的功能单元、电路和/或处理器描述了实施方式。然而，显然，在不背离实施方式的情况下，可以使用不同功能单元、电路和/或处理器之间的任何合适的功能分布。

所描述的实施方式可以以任何合适的形式实现，包括硬件、软件、固件或其任意组合。所描述的实施方式可以可选地至少部分实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施方式的元件和组件可以以任何合适的方式在物理上、功能上和逻辑上实现。实际上，这些功能可以在单个单元中、在多个单元中或者作为其他功能单元的一部分来实现。这样，所公开的实施方式可以在单个单元中实现，或者可以在物理上和功能上分布在不同的单元、电路和/或处理器之间。

尽管已经结合一些实施方式描述了本公开，但是本公开并不旨在限于本文阐述的特定形式。此外，尽管特征可能看起来是结合特定实施方式来描述的，但是本领域技术人员将认识到，所描述的实施方式的各种特征可以以适合于实现该技术的任何方式来组合。