医疗用途的放大的高分辨率成像和跟踪的制作方法

发明背景

1.技术领域

本发明涉及宽视场超高分辨率放大数字成像领域，以用于医疗目的，且更具体地，用于基于超高分辨率图像提供光学跟踪。

2.相关技术的讨论

wipo公布第2014037953号公开了一种用于外科手术的视频捕获和显示的系统，其全部内容通过引用并入本文，该系统可以包括：至少一个数字图像传感器，其光学耦合到一个或更多个透镜，并且被配置成捕获外科手术中场景的视频序列；至少一个接口，其被配置成接收捕获的视频序列的至少一个感兴趣区域(roi)；电子显示器，其被选择为使得至少一个数字图像传感器具有显著大于电子显示器的像素分辨率的像素分辨率；以及计算机处理器，其被配置成：接收至少一个捕获的视频序列和至少一个接收的roi，并且基于至少一个选择的roi在至少一个电子显示器上显示所捕获的视频序列的一部分。

发明概述

以下是提供对本发明的初步理解的简要概述。该概述不一定标识关键要素，也不限制本发明的范围，而是仅作为对以下描述的介绍。

本发明的一个方面提供了一种方法，包括：捕获治疗区域的可见光谱带/范围中的高分辨率数字图像，至少一个要素，如工具，在该治疗区域上操作，显示从捕获的图像导出的治疗区域的数字放大区，并且跟踪在捕获的图像中可见的至少一个工具的位置和方向(p&o)，并且工具的跟踪机制基于捕获的图像，其中显示器的分辨率小于捕获的高分辨率图像，并且其中至少在放大区之外执行跟踪。

本发明的这些、另外的和/或其它方面和/或优点在下面的详细描述中阐述；从详细描述中是可以推断出的；和/或通过本发明的实践是可以知悉的。

附图简述

为更好地理解本发明的实施例，并显示本发明的实施例如何可以付诸实施，现在将仅以举例的方式参照附图，整个附图中类似的标号表示相应的要素或部分。

在附图中：

图1和图2a是根据本发明一些实施例的成像系统的高层次示意框图。

图2b示出了根据本发明一些实施例的光学单元的性能的非限制性示例。

图3是示出根据本发明一些实施例的方法的高层次流程图。

发明的详细描述

在下面的描述中，描述了本发明的各个方面。为了解释的目的，阐述了具体配置和细节以便提供对本发明的透彻理解。然而，对本领域中的技术人员也将明显的是，本公开可以在没有本文中所提出的具体细节的情况下实践。此外，为了不模糊本发明，众所周知的特征可以被省略或简化。参考附图，要强调的是，所示的细节是通过举例的方式且仅仅是出于对本发明的说明性讨论的目的，并为了提供认为是本发明的原理和概念方面的最有用和容易理解的描述而呈现。在这点上，没有试图以比对本发明的基本理解所必须的细节更多的细节来显示本发明的结构细节，结合附图的描述使得本领域技术人员明白，如何在实践中实施本发明的几种形式。

在详细说明本发明的至少一个实施方案之前，应当理解本发明在其应用中不限于在下面描述中阐述的和在附图中示出的结构的细节和部件的布置。本发明适用于可以以各种方式实践或执行的其他实施例以及所公开的实施例的组合。并且，应理解本文采用的措辞和术语是出于描述的目的而不应被看作是限制性的。

除非另有特别规定，如从下面的讨论明显的，应认识到，在整个说明书中，利用术语例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“增强”等的讨论是指计算机或计算系统或类似的电子计算设备的动作和/或过程，这些设备操作被表示为在计算系统的寄存器和/或存储器内的物理量例如电子量的数据和/或将表示为在计算系统的寄存器和/或存储器内的物理量例如电子量的数据转换成类似地被表示为在计算系统的存储器、寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。任何所公开的模块或单元可以至少部分地由计算机处理器实现。

本发明的实施例提供了精确、有效和经济的方法和机制，用于通过成像系统在操作过程中跟踪工具和组织，该成像系统用于数字地放大操作区域。提供了成像系统和方法，其实现用于医疗手术的高分辨率视频成像，通过剪切小于整个图像fov(视场)的roi(感兴趣区域)并调整其大小以适合显示器来实现图像的数字放大，同时当工具和/或组织在整个治疗区域高分辨率成像的fov中可见时跟踪工具和/或组织，即使该工具和/或组织在roi中不可见。工具和组织的光学跟踪可以通过工具和组织的立体成像或者通过结构光、飞行时间等的方法来实现。被跟踪的要素可以是各种标记和基准点，以及在图像中是可光学识别的并使用图像处理技术跟踪的某些特征、颜色、形状和物体。

图1是根据本发明一些实施例的成像系统100的高层次示意框图。成像系统100包括光学单元110，该光学单元110被配置成捕获治疗区域91的可见光谱范围内的数字图像110a，至少一个工具70(作为被跟踪要素的非限制性示例，其也可以包括任何物体或组织部分)在该治疗区域91上操作；图像处理单元120，其被配置成从由光学单元110捕获的图像110a中数字地放大治疗区域91中的区92(roi)，并且在显示器125上显示数字放大区112；以及跟踪单元130，其被配置成使用捕获的图像110a来跟踪治疗区域91中的至少一个工具70的位置和方向(p&o)。

图像以高分辨率被捕获，其明显高于用于显示数字放大区112的显示器125的分辨率。例如，捕获的高分辨率可以是9,000·7,000像素(水平和垂直值)，而数字放大后的值可以小于4,500·2,500像素(例如，由于显示器尺寸)。对于被放大的分辨率的显示，成像系统100可以执行大小调整以适应显示器分辨率。在某些实施例中，高分辨率图像可以以低于4,500·2,500像素的分辨率被捕获，并且显示器分辨率可以至多为2,000·2,000像素。显示器分辨率与捕获分辨率的比率可以是小于1：1的任何比率。显示器可以是任何类型的显示器，例如，任何类型的屏幕或投影系统、任何类型的头戴式显示器等。

图像112通过使用从区域91的高分辨率图像中剪切出的roi来生成(全高分辨率图像示意性地显示为由虚线表示的图像111，因为其范围超过显示器的尺寸，以及因此不能以其全分辨率显示)。工具70和区域91中任何其他要素(如物体、颗粒和可能的组织)的跟踪在放大区92之外(通常也在放大区92之内)执行，并且提供超出所显示的放大区112的跟踪数据，即，与表示整个治疗区域91的区111相关的跟踪数据。因此，使用单个成像传感器，基于相同的捕获图像执行数字放大和光学跟踪。例如，成像系统100可以被配置成提供小于捕获的治疗区域91的三分之一的数字放大区92，在区域91的其余部分中执行跟踪。成像系统100的扩展跟踪可以使附加的跟踪系统冗余，并且也通过使用相同的成像系统100进行跟踪来提高跟踪精度和简单性。

光学单元110和捕获的图像110a可以是立体的，并且可以根据立体3d(三维)图像信息来执行跟踪。数字图像可以包括从立体成像、结构光成像和/或飞行时间成像导出的深度和/或3d数据。

工具70可以包括基准点71，并且p&o跟踪可以相对于工具基准点71来执行。替代地或补充地，p&o跟踪可以相对于工具70的各种特性来执行，例如形状、颜色、特定子要素等。治疗区域91可以包括组织标记(或可能的基准点)81，并且跟踪单元130还可以被配置成使用捕获的图像110a来跟踪治疗区域91中的组织标记81。替代地或补充地，p&o跟踪可以相对于治疗区域91的各种特性来执行，例如形状、颜色、特定子要素等。基准点71和标记81可以是本领域中使用的任何类型。由于跟踪基于光学成像，因此组织部分和/或工具部分的形状可以用于跟踪，而不需要基准点71和/或标记81，或者使用比仅基于这些来跟踪时所需的更少的基准点71和/或标记81。例如，特定的组织特征(例如，血管、某些组织类型、组织生长等)和/或特定的工具特征(例如，刀片或手柄部分)可被识别为具有足够明显的形状，以实现有效的光学跟踪，并且可用于实现组织和/或工具跟踪。跟踪单元130可以被配置成选择和优化跟踪目标并提供相应的数据。

成像系统100可以被配置成提供关于工具70的被跟踪的p&o的数据，如工具70和/或工具部分与特定组织、其他工具70、外科医生的手指等之间的距离和相对位置。成像系统100可以被配置成提供对应于某些情况的警报和/或指导，如工具的刀片接近不打算在特定手术中被切割的某些组织、消融激光器作为工具70(其可能对组织造成不希望的损伤)的定向等。成像系统100可以被配置成提供指导数据，用于帮助外科医生到达期望的组织并驱动工具通过期望的路径。成像系统100可以被配置成提供关于工具70的被跟踪的p&o和治疗区域91之间的特定空间关系的警报和/或指导。

成像系统100还可以包括具有更宽视场的附加的较低分辨率摄像机，其被配置成捕获包围区域91的区域的图像，以提供在放大系统的工作fov之外和周围的粗略的跟踪数据。

图2a是根据本发明一些实施例的成像系统100的高层次示意框图。光学单元110可以包括用于捕获图像110a的多个摄像机115、117，如高分辨率摄像机115(具有相应的fov115a)，其图像区域91(并且可以扩大区域91内的roi92)和覆盖更大区域93的宽fov摄像机117(具有比fov115a更宽的相应fov117a)，这提供了复合图像116，该复合图像116由被高分辨率摄像机115捕获的图像111和被宽fov摄像机117捕获的图像113组成。图像111、113之间的重叠区域可用于校准图像参数和/或被处理以提供图像116中的图像111、113之间的连续过渡(transition)。

图像111、113被示意性地指示为分别具有尺寸a1·a2和b1·b2，例如，a1和a2可以在1-10cm之间，以及b1和b2可以在10-100cm之间。由d表示的光学单元110的典型工作距离可以在10-100cm之间的范围内。

例如，图2b示出了根据本发明一些实施例的光学单元110的性能的非限制性示例。使用的尺寸为：d大约50cm，a1和a2大约8cm，b1大约35cm，并且b2大约45cm。图2b示出了基本特征(groundsignatures)(例如，a1、a2、b1和b2)和深度精度(在非限制性示例中，宽fov摄像机117在0.3-0.4mm的范围内，以及窄fov摄像机115在0.035-0.045mm的范围内)的变化。

在某些实施例中，跟踪(例如，通过任何3d跟踪方法)也可以相对于区域93实现，并且图像111、113之间的重叠区域可以用于切换(handover)和/或校准跟踪单元130和在区域93中操作的跟踪器之间的跟踪。在某些实施例中，跟踪单元130还可以被配置成通过宽fov摄像机117也跟踪区域93。

例如，高分辨率摄像机115可以是视频显微镜的一部分，并且宽fov摄像机117可以在可见光范围和/或近红外范围内操作。图像处理单元120可以被配置成在显示器125上显示高分辨率摄像机115的图像111，可能具有覆盖在其上的数据，例如来自ct(计算机断层扫描)、mri(磁共振成像)等的数据。在某些实施例中，关于区116中的任何特征而增强的任何数据可以投影在显示器125上。根据跟踪单元130的跟踪数据，可以提供关于要覆盖数据的哪个部分以及在什么坐标中的信息。例如，成像的肿瘤或脊柱的2d或3dmri图像可以利用跟踪单元130的跟踪数据以高位置精度分别覆盖在由宽fov摄像机117和窄fov摄像机115获取的图像116上。在一些情况下，标记/基准点81可以在区91之外，以及在区93之内。在这些情况下，摄像机117可以被配置成捕获标记81的图像，用于跟踪区和/或组织，而摄像机115可以被配置成捕获工具70或标记71的图像，用于跟踪工具70。

在一些实施例中，系统100可以被配置成使用来自使用摄像机115和/或摄像机117的跟踪数据。在来自两个源的跟踪数据都可用的区中，可以通过比较来自源的数据来改进跟踪数据，例如通过插值或任何其他混合方法，从而改进跟踪。在某些实施例中，更精确的数据(或来自一个源的数据)可以用于跟踪，而不太精确的数据(或来自第二个源的数据)可以用于降低跟踪器结果中的噪声、为了安全而双重检查跟踪结果和/或用于任何其他目的。在区116和区111之间的过渡中，跟踪数据可以使用来自摄像机115和摄像机117的数据进行插值，随着跟踪区朝向区111的中心，摄像机117的权重可能减小。在某些实施例中，摄像机117的权重可以在到达区111的中心之前被设置为零。

图3是示出根据本发明一些实施例的方法200的高层次流程图。方法步骤可以相对于上述系统100来执行，系统100可以可选地被配置成实现方法200。方法200可以至少部分地由至少一个计算机处理器实现。某些实施例包括计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有嵌入其中并且被配置成执行方法200的相关步骤的计算机可读程序。方法200可以包括用于操作成像系统100的步骤，如以下任何步骤，而不管它们的顺序如何。

方法200可以包括：捕获治疗区域(至少一个工具在该治疗区域上操作)的可见光谱范围中的高分辨率数字图像(步骤210)，显示从捕获的图像导出的治疗区域的数字放大区(步骤220)，以及使用捕获的图像跟踪治疗区域中至少一个工具的位置和方向(p&o)(步骤230)，其中跟踪至少在放大区之外执行(步骤235)。显示器的分辨率小于捕获高分辨率，例如，数字放大区可以比捕获的治疗区域小任意倍(例如，1.5、2、3、5以及更高)，并且跟踪230可以在整个治疗区域上执行。

方法200可以包括使用捕获的图像来跟踪工具基准点和/或工具部分的形状(步骤232)。方法200可以包括跟踪治疗区域中的组织标记和/或组织部分的形状(步骤234)。

方法200可以包括使用立体或结构光数字图像进行跟踪(步骤240)。任何类型的深度数据或3d信息，例如，从立体成像、结构光成像和/或飞行时间成像导出的深度数据或3d信息，都可以并入数字图像中，

方法200可以包括提供关于工具的被跟踪的p&o的数据(步骤250)，并且可能提供关于工具的被跟踪的p&o和治疗区域之间的空间关系的警报和/或指导(步骤255)。

方法200可以包括通过宽fov(视场)摄像机捕获包围数字放大区的区(步骤260)，并提供包括数字放大区和捕获的包围区的图像(步骤265)。方法200还可以包括用外部成像数据来增强所提供的图像(步骤270)，并且可选地通过根据被跟踪的p&o调节外部成像数据的显示位置来补偿相对于外部成像数据的时间延迟(步骤275)。

成像系统100和方法200可以在诸如wipo公布第2014/037953号中描述的系统和方法中实现，并且可以结合wipo公布第201403795号中描述的要素。

本发明的各个方面在上面参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或部分图示进行了描述。将理解的是，可通过计算机程序指令实施流程图说明和/或部分图示的每个部分，以及流程图说明和/或部分图示的部分的组合。这些计算机程序指令可被提供到通用计算机的、专用计算机的或用于生产机器的其他可编程数据处理装置的处理器，使得经由计算机的或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图中和/或在部分图示或其部分中所指定的功能/动作的方法。

这些计算机程序指令还可存储在计算机可读介质中，所述计算机可读介质可指导计算机、其他可编程数据处理装置或其他设备以特定方式起作用，以使存储在计算机可读介质中的指令产生制品，其包括实施流程图和/或部分图示的一个或更多个部分中所指定的功能/动作的指令。

计算机程序指令还可被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行，以产生计算机实现的过程，使得在计算机、其他可编程装置上执行的指令提供用于实施流程图和/或部分图示中的一个或更多个部分中指定的功能/动作的过程。

以上提到的流程图和图示示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能的实施的架构、功能和操作。就这点而言，在流程图或部分图示中的每个部分可代表模块、程序段或代码的部分，该模块、程序段或代码的部分包括用于实现指定的逻辑功能的一个或多个可执行指令。还应当注意，在某些可选择的实施方式中，在部分中提到的功能可以不以图中提到的顺序发生。例如，连续地显示的两个部分事实上可以基本上同时执行，或者多个部分有时可以以相反的顺序执行，这取决于所涉及的功能。还应当注意的是，部分图示和/或流程图说明中的每个部分以及部分图示和/或流程图说明中的部分的组合可以由执行指定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实施。

在上述描述中，实施例是本发明的例子或实现方式。“一个(one)实施方案”、“一个(an)实施方案”、“某些实施方案”或“一些实施方案”的各个出现不一定全部是指相同的实施方案。尽管本发明的各种特征可能在单个实施例的背景下进行描述，但这些特征也可以单独地或以任何合适的组合被提供。相反，尽管为了清楚起见，本发明可能在本文中在分开的实施例的背景下进行描述，但本发明也可以在单个实施例中实现。本发明的某些实施方案可以包括来自上述公开的不同实施方案的特征，并且，某些实施方案可以并入来自上述公开的其它实施方案的要素。本发明在特定实施例的背景下对要素的公开不应被理解为将其使用限制在单独的特定实施例中。而且，应当理解，本发明可以以各种方式完成或实践，并且，本发明可以在不同于上述描述中阐述的实施方案的某些实施方案中实现。

本发明并不限于这些图或相应的描述。例如，流程不需要移动经过每个示出的框或状态，或按照与图示和描述完全相同的顺序移动。本文使用的技术和科学术语的含义是如本发明所属领域的普通技术人员通常理解的含义，除非另有规定。虽然本发明关于有限数量的实施方案进行了描述，但是这些不应被解释为对本发明的范围的限制，而是应作为一些优选实施方案的示例。其他可能的变化、修改和应用也落入本发明的范围内。相应地，本发明的范围不应被迄今为止已经描述的内容限定，而是由所附的权利要求及其法律等效物限定。