专利名称：用于手术机器人的放大立体可视化的制作方法
技术领域：
本发明的各方面涉及内窥镜成像，更具体地涉及融合可见光和备用图像(visible and alternate image)以便给外科医生提供增强的实时视频显示。
背景技术：
加利福尼亚州Sunnyvale的Intuitive Surgical (直观外科手术)公司制造的da Vinci 手术系统是微创遥控机器人手术系统，它给病人带来许多益处，如身体伤疤减少、 恢复较快和住院时间较短。da Vinci 手术系统的一个关键的构成要素是提供三维(3D) 可见光图像的双通道(即，左和右)视频捕获和显示能力，为外科医生提供了立体视图。此种电子立体成像系统可以向外科医生输出高清晰度视频图像，并可以允许诸如图像缩放(zoom)的功能从而提供“放大”视图，使得外科医生得以识别特殊组织的类型和特性以及以增大的精确度操作。但是，在典型的手术视野(surgical field)中，某些组织的类型很难识别，或者感兴趣的组织可能被其它组织至少部分地遮盖。
发明内容
在一方面，机器人手术系统握持和设置内窥镜。可见光成像系统耦合到该内窥镜。 该可见光成像系统捕获组织的可见光图像。备用成像系统也耦合到该内窥镜。该备用成像系统捕获该组织至少一部分的荧光图像。立体视频显示系统耦合到该可见光成像系统和该备用成像系统。该立体视频显示系统输出实时立体图像，该实时立体图像包含与所捕获的荧光图像关联的荧光图像和该可见光图像的融合的三维展示(presentation)。因而，通过合并立体可见光图像和立体备用成像模态图像，手术机器人的立体视频捕获和查看能力被增强，从而在手术期间实时识别临床感兴趣的组织。除了外科医生在采用遥控手术系统进行手术操作时正常使用的立体可见光图像以外，本发明的各方面同时还提供了识别临床感兴趣的组织的立体备用模态图像。这种立体可见光和备用图像结合提供了益处，其包括但不局限于，允许外科医生实时为患病组织切除识别阳性肿瘤边缘以及识别神经以便避免切割那些神经。这种成像结合可以是立体可见光和备用图像的连续覆盖(continuous overlay),或者该立体备用图像的覆盖可以间歇地切换(toggl on and off)。并且，在一方面，可见光图像和另一荧光图像的实时三维融合仅在该立体图像的一只眼中展示。在另一方面，该可见光成像系统以第一帧率捕获该可见光图像，而该备用成像系统以第二帧率捕获该荧光图像。第一帧率与第二帧率不同。该备用成像系统通过生成人工荧光图像以第一帧率将荧光图像提供给该立体视频显示系统，从而使该荧光图像与该可见光图像同步。因而，在一个方面，方法包括从由机器人手术系统的机器人操纵臂握持和设置的内窥镜中捕获组织的可见光图像。这种方法也从该内窥镜中捕获该组织的至少一部分的备用图像。该备用图像包含荧光图像。在这种方法中，将与所捕获的荧光图像关联的另一个荧光图像和该可见光图像的融合以实时立体视频显示输出。在另一方面，该方法利用与所捕获的荧光图像关联的信息生成第二荧光图像。该第二荧光图像是另一荧光图像。在又一方面，该方法利用与可见光图像关联的信息生成第二可见光图像。该可见光图像和第二可见光图像包含可见光图像的立体像对。在这个方面，该方法也利用与荧光图像关联的信息生成第二荧光图像。该第二荧光图像是另一个荧光图像。在一个方面，照射通道由机器人手术系统握持和设置。来自照射通道的光照射组织。立体光通道也由机器人手术系统握持和设置。该立体光通道传输(transport)来自该组织的第一光。另一个光通道也由机器人手术系统握持和设置。这个光通道传输来自该组织的第二光。该立体光通道与另一个光通道不同。图像捕获系统包括耦合到立体光通道的第一捕获单元。该第一捕获单元从第一光中捕获立体可见光图像。该图像捕获系统也包括耦合到另一个光通道的第二捕获单元。该第二捕获单元从第二光中捕获荧光图像。智能图像处理系统耦合到该第一捕获单元和该第二捕获单元。该智能图像处理系统接收所捕获的立体可见光图像和所捕获的荧光图像。该智能图像处理系统生成荧光图像立体像对。放大立体显示系统耦合到该智能图像处理系统和该图像捕获系统。该放大立体显示系统输出实时立体图像，所述实时立体图像包含该立体可见光图像与该荧光图像立体像对的融合的三维展示。在另一方面，方法包括从由机器人手术系统握持和设置的立体光通路(optical path)中捕获组织的立体可见光图像。这种方法也包括从由机器人手术系统握持和设置的另一个光通道(optical channel)中捕获组织的荧光图像。该立体光通道与另一个光通道不同。该方法利用来自所捕获的立体可见光图像的信息处理所捕获的荧光图像，从而生成荧光图像立体像对。生成该组织的实时放大立体图像，所述实时放大立体图像包含该立体可见光图像与该荧光图像立体像对的融合的三维展示。在一个方面，内窥镜由机器人手术系统握持和设置。该内窥镜包括立体光通道，其具有传输来自组织的第一光的第一通道和传输来自组织的第二光的第二通道。第一捕获单元耦合到该第一通道。该第一捕获单元从第一光中捕获与荧光左图像结合的可见光左图像的可见光第一颜色分量；从第一光中捕获该可见光左图像的可见光第二颜色分量；和从第一光中捕获该可见光左图像的可见光第三颜色分量。第二捕获单元耦合到该第二通道。该第二捕获单元从第二光中捕获与荧光右图像结合的可见光右图像的可见光第一颜色分量；从第二光中捕获该可见光右图像的可见光第二颜色分量；和从第二光中捕获该可见光右图像的可见光第三颜色分量。该两个捕获单元都包括在图像捕获系统中。放大立体显示系统耦合到该图像捕获系统。该放大立体显示系统输出该组织至少一部分的实时立体图像。该实时立体图像包括包含该可见光左和右图像以及该荧光左和右图像的三维展示。该第一捕获单元包括棱镜。该棱镜将第一光分成(1)该可见光左图像的可见光第一颜色分量、(2)该可见光左图像的可见光第二颜色分量、(3)该可见光左图像的第三颜色分量，和(4)从该第一、第二和第三颜色分量中分离并去除的第四分量，其具有第一颜色分量的颜色，其中第四分量是荧光左图像。在一个方面，该第二捕获单元包括类似棱镜。在再一方面，方法从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获与组织至少一部分的荧光左图像结合的该组织可见光左图像的可见光第一颜色分量。该方法也从该立体光通路中捕获该可见光左图像的可见光第二颜色分量；从该立体光通路中捕获该可见光左图像的可见光第三颜色分量；从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获与组织至少一部分的荧光右图像结合的该组织可见光右图像的可见光第一颜色分量；从该立体光通路中捕获该可见光右图像的可见光第二颜色分量；和从该立体光通路中捕获该可见光右图像的可见光第三颜色分量。该方法生成了该组织的实时放大立体图像。该实时放大立体图像包括包含可见光左和右图像及荧光左和右图像的三维展示。这种方法利用棱镜将来自立体光通路的光分成(1)该可见光第一颜色分量、(2) 该可见光第二颜色分量、( 该可见光第三颜色分量，和(4)从该第一、第二和第三颜色分量中分离并去除的第四分量，其具有第一颜色分量的颜色。该第四分量是荧光图像。在一个方面，内窥镜也由机器人手术系统握持和设置。该内窥镜包括传输来自组织的光的立体光通道。捕获单元耦合到该立体光通道。该捕获单元从该光中捕获(1)可见光第一图像和( 与荧光第二图像结合的可见光第二图像。该第一图像是左图像和右图像中的一个。该第二图像是左图像和右图像中的另一个。智能图像处理系统耦合到该捕获单元，从而接收(1)可见光第一图像和( 与荧光第二图像结合的可见光第二图像。该智能图像处理系统可以生成荧光图像立体像对的至少一个荧光图像，和可见光第二图像。放大立体显示系统耦合到该智能图像处理系统和该图像捕获系统。该放大立体显示系统输出包括三维展示的实时立体图像。该三维展示包括在一只眼中荧光图像立体像对的至少一个荧光图像与可见光第一和第二图像中的一个的融合，和在另一只眼中可见光第一和第二图像中的另一个。在又一个方面，方法从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获该组织的可见光第一图像。该方法也从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获与该组织的荧光第二图像结合的可见光第二图像。该第一图像是该左图像和该右图像中的一个。该第二图像是该左图像和该右图像中的另一个。
该方法处理该可见光第一图像和与该荧光第二图像结合的可见光第二图像，从而生成荧光图像立体像对的至少一个荧光图像，和可见光第二图像。生成包含三维展示的实时立体图像。该三维展示包括在一只眼中荧光图像立体像对的至少一个荧光图像与该可见光第一和第二图像中的一个的融合，和在另一只眼中可见光第一和第二图像中的另一个。在一个方面，内窥镜还由机器人手术系统握持和设置。该内窥镜包括传输来自组织的光的立体光通道。捕获单元耦合到该立体光通道。该捕获单元(1)在第一时间从该光中捕获第一图像，并且( 在不同于第一时间的第二时间从该光中捕获第二图像。该第一图像和第二图像中仅有一个包括荧光图像与可见光图像的结合。该第一图像和第二图像中的另一个是可见光图像。智能图像处理系统耦合到该捕获单元。该智能图像处理系统利用所捕获的荧光图像生成人工荧光图像。放大立体显示系统耦合到该智能图像处理系统。该放大立体显示系统输出包含人工荧光图像的该组织至少一部分的放大立体图像。在一个方面，该荧光图像包括荧光左图像和荧光右图像。该第一图像包含图像的立体像对，其包括与荧光左图像结合的可见光左图像，和与荧光右图像结合的可见光右图像。该机器人手术系统利用该荧光左和右图像生成第二时间的荧光图像的人工立体像对， 以便该荧光图像的人工立体像对为人工荧光图像。该智能图像处理系统也包括使该第一图像和第二图像配准的时间图像配准。在另一方面，该第一图像包括可见光图像，该可见光图像又包括可见光第一颜色分量、可见光第二颜色分量和可见光第三颜色分量。该第二图像包括与荧光图像结合的可见光图像，其包括与荧光图像结合的可见光第一颜色分量、可见光第二颜色分量和可见光第三颜色分量。该智能图像处理系统进一步包含荧光图像和伪影生成器(artifact generator)，用于生成(1)可见光第二和第三颜色分量的伪影，和( 荧光图像加可见光第一颜色分量的伪影。在这个方面，该智能图像处理系统还包括耦合到该荧光图像和伪影生成器的荧光图像提取器(extractor)。该荧光图像提取器生成第二时间的第一荧光图像。荧光图像增强系统耦合到该荧光图像生成器。该荧光图像增强系统接收该第一荧光图像并生成人工荧光图像。在再一个方面，方法包括在第一时间从在第一时间由机器人手术系统握持和设置的内窥镜中的立体光通路的光中捕获第一图像，其中该光来自组织。这个方法也包括在不同于第一时间的第二时间从该光中捕获第二图像，其中该第一图像和第二图像中仅有一个包括荧光图像和可见光图像的结合，该第一图像和第二图像中的另一个是可见光图像。人工荧光图像利用所捕获的荧光图像生成。还生成该组织至少一部分的放大立体图像，其包括人工荧光图像。
图1是用于微创手术机器人的放大立体可视化系统的简图。图2是利用例如图1中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。
图3A是示出利用两个独立光通路(但荧光成像有一个摄像机单元)的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的实时立体可见光和荧光图像。图IBB是示出内窥镜的更详细的视图，该内窥镜具有两个独立光通路和耦合到每个光通路的独立摄像机单元。图3C示出连接到光纤电缆的组合照射源的一个方面。图3D示出空间图像配准系统的一个方面。图3E是示出利用两个独立光通路和立体摄像机的硬件和软件(图像处理和用户界面)方面的替换示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的实时立体可见光和荧光图像。图4是利用例如图3A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。图5A是示出利用具有独立摄像机的单个立体光通路的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的立体实时可见光和荧光图像。图5B是示出内窥镜的更详细的视图，该内窥镜具有耦合到它的两个独立摄像机单元。图5C 5E和图5G示出组合光源的方面和用于传输来自该组合光源的光的一个光纤束或多个光纤束的方面。图5F示出从组织中分离可见光和荧光图像的一个方面。图6是利用例如图5A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。图7A是利用具有单个立体光通路的通道划分(channel division)的硬件和软件 (图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的实时立体可见光和荧光图像。图7B是示出内窥镜的更详细的视图，该内窥镜具有耦合到它的单个摄像机单元。图8是利用例如图7A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。图9A和图9B是示出利用具有单个立体光通路的时分(time division)的硬件和软件(图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获、处理和输出融合的立体可见光和荧光图像。图9C示出图9A和图9B中系统的定时、同步和捕获的一个方面。图9D是示出利用具有单个立体光通路的时分(time division)的硬件和软件 (图像处理和用户界面)方面的示意图，该硬件和软件方面在微创手术机器人系统中用于捕获，替换地处理和输出融合的立体可见光和荧光图像。图9E是示出智能图像处理系统的替换方面的示意图。图IOA是利用例如图9A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。图IOB示出利用图IOA的过程产生的定时、同步、捕获和人工荧光帧的方面。
图1IA示出利用时分以及利用单个立体光通路捕获具有可见光颜色分量之一的荧光图像、在微创手术机器人系统中处理和输出融合的立体可见光和荧光图像的硬件和软件方面。图IlB示出图IlA中系统的定时、同步和捕获的一方面。图12是图IlA中智能图像处理系统的一个方面的过程流程图。图13A是示出利用单个立体光通路、在微创手术机器人系统中用具有改进型棱镜 (modified prism)的摄像机单元捕获、处理和输出实时立体可见光和荧光图像的硬件和软件(图像处理和用户界面)方面的示意图。图1 示出来自棱镜的光谱，该棱镜将来自组织的可见光和荧光分成可见光图像的第一颜色分量、可见光图像的第二颜色分量、可见光图像的第三颜色分量和从第一、第二和第三颜色分量分离和去除的第四分量，其中第四分量具有颜色分量之一的颜色。图14是利用例如图13A中用于微创手术机器人的放大立体可视化系统执行的过程的过程流程图。图15示出利用具有1-芯片CCD传感器的立体内窥镜的在微创手术机器人的放大立体可视化系统中时间和通道划分的定时、同步和捕获的一个方面。在图中，单位数图号的图号中第一个数字和双位数图号的图号中前两个数字表示其中具有那个图号的元件第一次出现的图。
具体实施例方式如本文使用的，“机器人”应在广义上解读，其包括遥控机器人系统。如本文使用的，电子立体成像包括两个成像通道(即，左图像和右图像的通道)的使用。如本文使用的，立体光通路包括用于传输来自组织的光的内窥镜中的两个通道 (例如，左图像和右图像的通道)。在每个通道中传输的光表示该组织的不同视图，所以有时称为第一光和第二光，用以区分该两个通道中的光。该光可以包括一个或多个图像。如本文使用的，照射通路包括向组织提供照射的内窥镜中的通路。如本文使用的，在可见光谱内捕获的图像称为可见光图像。如本文使用的，以备用成像模态捕获的不包括可见光图像的图像称为备用图像。 备用成像模态的示例是捕获组织荧光的图像。如本文使用的，因为荧光而被捕获的图像在本文称为荧光图像。存在多种荧光成像模态。荧光可以利用例如可注射染料、荧光蛋白或荧光标记抗体生成。荧光可以由例如激光或其它能源的激发引起。荧光图像可以提供对手术至关重要的病人体内重要信息，如病理信息(例如，发荧光肿瘤)或解剖信息(例如，发荧光的示踪神经)。如本文使用的，长通滤波器让高于波长数的所有波长通过。例如，510nm长通滤波器让高于510nm的所有波长通过该滤波器。典型地，长通滤波器在荧光中用作屏障滤波器。 长通滤波器有时用来使荧光通过该滤波器而不让激发光通过。如本文使用的，短通滤波器让波长低于该滤波器波长的光通过该滤波器。例如， 480nm短通滤波器让波长低于480nm(小于480nm)的光通过该滤波器。短通滤波器有时用作荧光的激发滤波器。
如本文使用的，带通滤波器仅允许一组波长通过。该波长数称为带通滤波器的中心波长。该中心波长是允许在将通过该滤波器的波长范围内的大部分光通过的波长。这常常是该滤波器的中心波长。带通滤波器由中心波长和通带或宽度评定(rate)。
本发明的各方面可以放大手术机器人(例如加利福尼亚州Surmywale的 Intuitive Surgical公司制造的da Vinci 手术机器人系统)的立体视图捕获和查看能力，其通过合并立体可见光图像和立体备用成像模态图像实现，从而在手术期间实时识别临床感兴趣的组织。(da Vinci 是加利福尼亚州Sunnywale的htuitive Surgical公司的注册商标)。除了外科医生在采用遥控手术系统进行手术操作时正常使用的立体可见光图像以外，本发明各方面同时还提供了识别临床感兴趣的组织的立体备用模态图像。立体可见光图像和备用图像的这种结合提供了这种益处，其包括但不限于，允许外科医生实时为患病组织切除识别阳性肿瘤边缘和识别神经以避免切割那些神经。这种成像结合可以是立体可见光图像和备用图像的连续覆盖(overlay)，或者该立体备用图像的覆盖可以间歇地切换(例如，通过使用脚踏板或通过双击da Vinci 手术系统外科医生控制台上的主控指状抓取器(master finger grip))。图1是一个包括放大立体可视化系统100的机器人手术系统，例如da Vinci 手术系统的高级简图。在这个示例中，外科医生利用外科医生控制台114，使用机器人操纵臂 113远程操纵内窥镜112。还有与da Vinci 手术系统关联的其它零件、电缆等，但为了避免削弱本公开，所以未将它们示出在图1中。如下面更完整地解释，照射系统(未示出)耦合到内窥镜112。典型地，该照射系统提供白色光和至少一种荧光激发光。这种光的全部或部分通过光纤束耦合到内窥镜112 中的至少一个照射通路中。该光通过内窥镜112中的至少一个照射通路并照射病人111的组织103。在一方面，内窥镜112还包括使来自该组织的光，例如反射的白色光和荧光通过的两个光通道。该反射的白色光是可见光图像，而该荧光是荧光图像。从组织103反射的白色光作为可见光立体图像121被捕获在图像捕获系统120 中。类似地，一个荧光图像或多个荧光图像122也被捕获在图像捕获硬件120中。如下面更完整地解释，立体显示所需的各种图像的捕获有多种方式。典型地，图像捕获硬件120包括至少一个摄像机，该摄像机包括电荷耦合器件(CCD)传感器。图像的捕获同时或几乎同时发生在图像捕获系统120中。在一方面，智能图像处理系统130与图像捕获系统120配合运行，从而从由光通道提供的信息中提取荧光图像。例如，考虑用于激发荧光的激光频率，滤波处理和光谱均衡器 (spectrum balancer) 一起工作从而补偿在去除荧光图像的过程中可见光图像的任何退化 (degradation) 0并且，处理所捕获的图像以便随后在智能成像处理系统130中立体显示。例如，当利用具有固定关系的独立光通道将荧光图像和反射的白色光图像传输到智能图像处理系统130中时，可以基于独立光通道的固定相对位置采用一步校准。智能图像处理系统130适当时也执行(多个)荧光图像与可见光图像的空间图像配准。该空间图像配准允许该荧光图像在放大立体显示系统140中适当覆盖。在另一方面，智能图像处理系统130执行左通道和右通道可见光图像的立体匹配。在又一个方面，智能图像处理生成人工可见光和/或荧光图像，以便可以向外科医生展示放大的立体显示。因而，对于采用具有放大的立体可视化系统100的手术机器人系统执行微创手术的外科医生，组织103在照射组织过程201中被照射(图2、从而允许捕获可见光图像和备用图像(如荧光图像)。技术人员应理解，当组织本身受特定波长的光激发时，或者替换地当附加到组织 103上的组织特异性荧光团受到特定波长的光激发时，荧光可以自然发生。因而，本文描述的荧光图像可以通过任一技术获得。技术人员也应理解，一些荧光团放出可见光谱内的能量，而其他荧光团放出可见光谱范围之外的能量(例如，在约830nm处的)。本发明的方面包括，在照射组织的过程201中利用可见光图像用的宽光谱白色光源和备用图像用的另一种光源照射组织。例如，激发组织特异性荧光团的窄带光(narrow band light)可以用作备用图像用的光源。对于荧光备用图像，如果激发波长存在于可见光谱内，则白色光可以起作用从而激发荧光团。如果激发波长存在于可见光谱范围之外(例如，在近红外(IR)中)或如果该可见光谱内的波长处需要另外的激发能量，则在照射组织过程201中使用激光模块(或其它能源，例如发光二极管或过滤的白色光)同时照射该组织。这种同时照射可以各种方式完成，如下面更完整地讨论。在预处理来自组织的光的过程202中限定(condition)来自组织103的反射和发射光。例如，过滤该光从而增强立体视频显示中的图像对比。如果该反射和发射光包括在单个光通道中，则预处理来自组织的光的过程202将该光分成反射光和放射光。预处理来自组织的光的过程202是可选的，并且在某些方面可以不采用它。因而， 来自组织103的预处理光或来自组织103的原始光通过捕获图像的过程203。预处理来自组织的光的过程202的输出作为可见光图像和(多个)备用图像被捕获在捕获图像的过程203中。参见例如上述图像捕获系统120。智能处理204对所捕获图像执行必要过程，从而提供立体显示用的整组可见光和荧光图像。在生成组织立体视频显示的过程205中，该组可见光和荧光图像按需要融合从而生成该组织的三维展示。该三维展示排除了现有技术中有关组织相对于内窥镜变化的距离和几何结构的问题。特别地，具有备用图像和/或可见光图像的组织实时立体显示提供了该组织的准确三维视图，外科医生可以用其确定手术范围，例如患病组织位置、神经或其它器官等的位置。来自组织的两个独立光通路在图3A的实施例中，机器人手术系统(未示出)包括两个独立而且不同的光通路，用于将来自组织303的光传输到放大立体视觉系统300中。来自两个光通路的光用来生成组织303的实时立体视频显示以供外科医生操作机器人手术系统。在一方面，该立体视频显示包括用一个或多个备用图像放大的组织303的正常三维视图，从而突出(highlight)组织中感兴趣的区域(如组织303的患病部分)和/或特定组织(如不同于被操作部分的神经或器官)。典型地，备用图像以特定色彩，例如蓝色展示。
在这个示例中，示出两个独立的内窥镜301、302，其提供了立体光通路和从组织 303到硬件320的至少一个其它光通路。内窥镜302包括构成立体光通路的两个光通道，而内窥镜301包括至少一个光通道。或者，所有光通道都可以在单个内窥镜中。因此，图3A 的各方面仅是说明性的而不是要将这个实施例局限于所示出的特定方面。在这个示例中，内窥镜301和302各自包括用于把来自组合光源310的光提供给组织303的照射通路。或者，可以利用单个照射通路来将该光提供给组织303。虽然未示出，但是在一方面，内窥镜301和302各自通过机器人手术系统以固定关系握持和移动。例如，参见图1。可替换地，可以利用不同的机器人手臂分别握持和移动该两个内窥镜。在这个方面，来自机器人手臂的实时运动学信息(kinematic information)用于对准该两个内窥镜。在这个示例中，放大立体视觉系统300包括组合光源310、硬件320和多个基于计算机的方法390。如图3A所示，硬件320的一部分构成图像捕获系统120A。硬件320的另一部分和多个基于计算机的方法390的一部分构成智能图像处理系统130A。硬件320的又一部分和多个基于计算机的方法390的另一部分构成放大立体显示系统140A。在图像捕获系统120A和智能图像处理系统130A内，处理可见光图像的部分构成可见光成像系统，而处理荧光图像的部分构成备用成像系统。并且，在一方面，图4的方法400可以利用放大立体视觉系统300实施。如图4所示，方法400包括多个单独的过程。方法400是方法200的一种实施方式(图2)。在一个方面，硬件320包括至少两个摄像机单元331、332(图3B)。一个摄像机单元332包括两个3-芯片电荷耦合器件(CXD)高分辨率摄像机，而另一个摄像机单元331包括1-芯片CXD摄像机。在这个方面，摄像机单元331通过包括滤波器的滤波块(filter block) 333耦合到内窥镜301，如下面针对预处理来自内窥镜301的光的更完整的描述。类似地，摄像机单元332通过包括滤波器的滤波块334耦合到内窥镜302，如下面针对预处理来自内窥镜302 的光的更完整的描述。在另一方面，滤波器可以合并在摄像机单元中或替换地可以不被使用。硬件320还包括执行下面更完整地描述的功能的硬件电路。多个基于计算机的方法 390是例如在计算机处理器上执行的软件。技术人员应理解，基于计算机的方法也可以仅利用硬件实施、部分用硬件和部分用可执行计算机代码实施，或全部用可执行计算机代码实施。类似地，本文描述的硬件也可以以基于计算机的方法或硬件与基于计算机的方法的结合形式实现。因此，本文使用的关于硬件和基于计算机的方法的特征仅为说明性的而不限制于描述的具体方面。两个单独光通路-照射组合光源310、310A(图3A和图3C)包括白色光源312A和另一种光源311A。组合光源310结合内窥镜中的照射通路使用从而执行照射组织过程201A(图4)。白色光源 312A提供照射组织303的白色光，例如第一光。另一种光源311提供激发组织303的备用图像的光，例如第二光。例如，来自光源311A的窄带光用来激发组织特异性荧光团以便该备用图像是组织303内特殊组织的荧光图像。对于备用图像为荧光图像的情况，如果该荧光激发波长存在于可见光谱内，则白色光源312A(图3B)可以用作白色光源和用作激发荧光团的光源。如果该荧光激发波长存在于可见光谱范围之外(例如，在近红外(IR)中)或如果可见光谱内的波长处需要另外的激发能量，则使用激光模块317(或其它能源，如发光二极管或过滤的白色光)同时照射组织 303。因而，在一方面，荧光由来自激光模块317的光触发。例如，从Medarex公司获得的抗体剂利用525nm(纳米)激光激发。根据使用的荧光团或多个荧光团，为组合光源310A选择特定备用光源。各种FDA 批准体内使用的荧光染料的最大激发和发射波长在表1中给出。表权利要求
1.一种机器人手术系统，其包含由所述机器人手术系统握持和设置的内窥镜，包含 传输来自组织的光的立体光通道；耦合到所述立体光通道的捕获单元，其中所述捕获单元从所述光中捕获(1)可见光第一图像和O)与荧光第二图像结合的可见光第二图像，其中所述第一图像是左图像和右图像中的一个，并且所述第二图像是所述左图像和所述右图像中的另一个；智能图像处理系统，其耦合到所述捕获单元从而接收(1)所述可见光第一图像和(2) 所述与荧光第二图像结合的可见光第二图像，其中所述智能图像处理系统生成荧光图像立体像对的至少一个荧光图像和可见光第二图像；和耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出包括三维展示的实时立体图像，所述三维展示包含在一只眼中所述荧光图像立体像对的至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。
2.根据权利要求1所述的机器人手术系统，其中所述内窥镜进一步包含照射通道，并且所述机器人手术系统进一步包含耦合到所述照射通道的组合光源，包含 提供第一照射光的第一光源；和提供第二照射光的第二光源，其中所述第二照射光不同于所述第一照射光。
3.根据权利要求2所述的机器人手术系统，其进一步包含 使所述照射通道连接到所述组合光源的光纤束。
4.根据权利要求3所述的机器人手术系统，其中当保持所述至少光纤束连接到所述照射通道和所述组合光源时，可以将所述第二光源换成不同光源。
5.根据权利要求1所述的机器人手术系统，其中所述智能图像处理系统进一步包含 空间图像配准，用于使所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像配准。
6.根据权利要求1所述的机器人手术系统，其中所述智能图像处理系统进一步包含 第一图像扭曲器，用于将所述可见光第一图像转化成可见光第二图像。
7.根据权利要求6所述的机器人手术系统，其中所述智能图像处理系统进一步包含 第一图像减法器，其耦合到所述第一图像扭曲器从而接收所述可见光第二图像，并耦合到所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述可见光第二图像从而生成荧光第二图像。
8.根据权利要求7所述的机器人手术系统，其中所述智能图像处理系统进一步包含 第二图像减法器，其耦合到(i)所述第一图像减法器从而接收所述荧光第二图像，并耦合到(ii)所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述第二图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述荧光第二图像从而生成另一个可见光第二图像。
9.根据权利要求7所述的机器人手术系统，其中所述智能图像处理系统进一步包含 第二图像扭曲器，用于将所述荧光第二图像转化成荧光第一图像。
10.根据权利要求7所述的机器人手术系统，其中所述放大立体显示系统进一步包含 耦合到所述可见光第一图像的第一融合电路；耦合到所述荧光第二图像和所述可见光第二图像的第二融合电路；和耦合到所述第一融合电路和所述第二融合电路的立体显示。
11.根据权利要求10所述的机器人手术系统，其中所述放大立体显示系统进一步包含显示模式选择，其耦合到所述第一和第二融合电路并具有多个可选择模式， 其中选择第一模式之后，所述立体显示仅提供来自所述可见光第一和第二图像的实时三维可见光图像；和选择第二模式之后，所述立体显示提供所述三维展示，所述三维展示包含在一只眼中所述荧光图像立体像对的至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。
12.一种机器人手术系统，其包含由所述机器人手术系统握持和设置的内窥镜，包含 传输来自组织的光的立体光通道；耦合到所述立体光通道的捕获单元，其中所述捕获单元从所述光中捕获(1)可见光第一图像和O)与荧光第二图像结合的可见光第二图像，其中所述第一图像是左图像和右图像中的一个，并且所述第二图像是所述左图像和所述右图像中的另一个；智能图像处理系统，其耦合到所述捕获单元从而接收(1)所述可见光第一图像和(2) 与荧光第二图像结合的所述可见光第二图像，其中所述智能图像处理系统进一步包含空间图像配准，用于使所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像配准；耦合到所述空间图像配准的第一图像扭曲器，用于将所述可见光第一图像转化成可见光第二图像；第一图像减法器，其耦合到所述第一图像扭曲器从而接收所述可见光第二图像，并耦合到所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述可见光第二图像从而生成荧光第二图像；第二图像减法器，其耦合到(i)所述第一图像减法器从而接收所述荧光第二图像，并耦合到(ii)所述捕获单元从而接收与所述荧光第二图像结合的所述可见光第二图像，其中所述第二图像减法器从与所述荧光第二图像结合的所述可见光第二图像中减去所述荧光第二图像从而生成另一种可见光第二图像；耦合到所述空间图像配准和所述荧光第二图像的第二图像扭曲器，用于将所述荧光第二图像转化成荧光第一图像；和耦合到所述智能图像处理系统和所述图像捕获系统的放大立体显示系统，其中所述放大立体显示系统输出包括三维展示的实时立体图像，所述三维展示包含在一只眼中所述荧光第一图像和第二图像中的所述至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中所述可见光第一和第二图像中的另一个。
13.一种方法，其包含从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获组织的可见光第一图像；从由机器人手术系统握持和设置的内窥镜中的立体光通路中捕获与所述组织的荧光第二图像结合的可见光第二图像，其中所述第一图像是左图像和右图像中的一个，并且所述第二图像是所述左图像和所述右图像中的另一个；处理所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像，从而生成荧光图像立体像对的至少一个荧光图像和可见光第二图像；和生成包含三维展示的实时立体图像，所述三维展示包含在一只眼中荧光图像立体像对的所述至少一个荧光图像与所述可见光第一和第二图像中的一个的融合，和在另一只眼中可见光第一和第二图像中的另一个。
14.根据权利要求13所述的方法，其中所述处理进一步包含使所述可见光第一图像和与所述荧光第二图像结合的所述可见光第二图像在空间上配准。
15.根据权利要求13所述的方法，其中所述处理包含利用图像扭曲器将所述可见光第一图像转化成可见光第二图像。
16.根据权利要求15所述的方法，其中所述处理进一步包含从与所述荧光第二图像结合的所述可见光第二图像中减去所述可见光第二图像从而生成荧光第二图像。
17.根据权利要求16的方法，其中所述处理进一步包含从与所述荧光第二图像结合的所述可见光第二图像中减去所述荧光第二图像从而生成另一可见光第二图像。
18.根据权利要求17的方法，其中所述处理进一步包含利用另一个图像扭曲器将所述荧光第二图像转化成荧光第一图像。
全文摘要
本发明涉及一种机器人手术系统，其设置和握持内窥镜。可见光成像系统耦合到该内窥镜。该可见光成像系统捕获组织的可见光图像。备用成像系统也耦合到该内窥镜。该备用成像系统捕获该组织至少一部分的荧光图像。立体视频显示系统耦合到该可见光成像系统和备用成像系统。该立体视频显示系统输出实时立体图像，其包含与所捕获的荧光图像关联的荧光图像和可见光图像的融合的三维展示。
文档编号H04N13/00GK102197990SQ20111009220
公开日2011年9月28日 申请日期2009年4月9日 优先权日2008年4月26日
发明者B·D·霍弗曼, C·J·哈瑟, C·J·莫尔, D·D·斯考特, I·M·麦克度威尔, J·D·斯特恩, P·E·利拉根, T·赵, W·赵 申请人:直观外科手术操作公司