本申请主张2015年11月5日提交的第62/251,203号美国临时专利申请的权益和优先权，所述专利申请的全部公开内容以引用的方式并入本文中。
背景技术：
微创手术涉及使用多个小切口而非一个较大开口或切口来执行手术程序。小切口减少了患者的不适且改进了恢复时间。小切口也限制了内脏、组织和其它物质的可见度。
已使用内窥镜并将其插入一个或多个切口中，以使临床医生能在手术期间更容易地看到体内的内脏、组织和其它物质。这些内窥镜包含联接到显示器的相机，所述显示器示出如由相机所捕获的体内的器官、组织和物质的视图。在知道组织是否被灌注很重要的程序的部分期间，将例如荧光染料(例如，靛氰绿)的标记物注入到血流中，且接着用强激光照射关注区域，以使得在相机中可见表面下的血液的相对存在。然而，使用标记物需要使用特殊类型的相机以查看表面下的血液。此外，必须在外部放置激光源，以减轻所生成且接着经由光纤输送到手术部位的热量。
需要能在无需特殊相机或强激光的情况下为临床医生提供表面下的血液的视图的系统。
技术实现要素：
本公开涉及微创手术，且更特定来说涉及准许临床医生在不使用标记物或强激光的情况下查看表面下的血液的图像处理技术。
在本公开的一方面中，提供一种用于在手术程序期间检测关注区域中的表面下的血液的系统。所述系统包含被配置成插入到患者体中，并在手术程序期间捕获患者体内的关注区域的图像流的图像捕获装置，和被配置成照射关注区域的光源。控制器接收图像流，并将至少一个图像处理滤波器应用到图像流以生成经扩增图像流。图像处理滤波器包含：被配置成将图像分解成多个色彩空间频带的色彩空间分解滤波器，经配置成应用到多个色彩空间频带以生成多个经滤色频带的滤色器，被配置成将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带以生成多个经扩增频带的加法器，以及被配置成通过折叠多个经扩增频带生成经扩增图像流的重建滤波器。所述系统还包含被配置成在手术程序期间将经扩增图像流显示给用户的显示器。
在一些实施例中，图像流包含多个图像帧，且控制器将至少一个图像处理滤波器应用到图像流的每一图像帧。
在实施例中，滤色器包含带通滤波器，其中带通滤波器的带通频率对应于关注色彩，例如用于动脉血的偏向红色的色彩和用于静脉血的蓝红色。滤色器将至少一个色彩空间频带与多个色彩空间频带隔离，以生成多个经滤色频带。在将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带，以生成多个经扩增频带之前，由放大器放大多个经滤色频带。
在一些实施例中，光源发射波长在约600与750nm之间的光。在其它实施例中，光源发射波长在约850与1000nm之间的光。在其它实施例中，光源发射可见光。在又其它实施例中，光源依序发射具有第一波长和第二波长的光，其中第一波长范围在600与750nm之间且第二波长范围在850与1000nm之间。
在本公开的另一方面中，提供一种用于在手术程序期间检测关注区域中的表面下的血液的方法。所述方法包含用光源照射关注区域并使用图像捕获装置捕获关注区域的图像流。所述方法还包含：分解图像流以生成多个色彩空间频带，将滤色器应用到多个色彩空间频带以生成多个经滤色频带，将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带以生成多个经扩增频带，以及折叠多个经扩增频带以生成经扩增图像流。在显示器上显示经扩增图像流。
在实施例中，滤色器包含带通滤波器，其中带通滤波器的带通频率被设置成对应于关注色彩的频率，所述关注色彩例如用于动脉血的偏向红色的色彩和用于静脉血的蓝红色。在实施例中，将至少一个色彩空间频带与多个色彩空间频带隔离，以生成多个经滤色频带。在将多个色彩空间频带中的每一频带加到多个经滤色频带中的对应频带，以生成多个经扩增频带之前，由放大器放大多个经滤色频带。
在一些实施例中，光源发射波长在约600与750nm之间的光。在其它实施例中，光源发射波长在约850与1000nm之间的光。在其它实施例中，光源发射可见光。在又其它实施例中，光源依序发射具有第一波长和第二波长的光，其中第一波长范围在600与750nm之间且第二波长范围在850与1000nm之间。
附图说明
根据以下结合附图进行的详细描述，本公开的上述和其它方面、特征和优点将变得更加显而易见，在附图中：
图1是根据本公开的实施例的用于扩增手术部位的图像流的系统的框图；
图2是图1的控制器的系统框图；
图3是根据本公开的另一实施例的用于扩增图像流的系统的框图；以及
图4是根据本公开的实施例的机器人手术系统的系统框图。
具体实施方式
可以分析手术程序期间从内窥镜捕获的图像数据，以检测内窥镜的视野内的色彩改变。可以对此图像数据应用各种图像处理技术，以识别并放大色彩改变的原因。举例来说，欧拉(Eulerian)图像放大技术可以用于识别捕获图像的不同部分中的光的波长或“色彩”改变。
欧拉图像放大技术可以包含为成像系统的部分。这些技术可以使成像系统能够提供内窥镜的视野内的特定位置的经扩增图像。
这些技术中的一个或多个可以包含为手术机器人系统中的成像系统的部分，以为临床医生提供内窥镜的视野内的额外信息。这样可以使临床医生在手术期间能够快速地识别、避免和/或纠正不当情况和状况。
本公开涉及用于在手术程序期间将经扩增图像实时地提供到临床医生的系统和方法。本文中所描述的系统和方法对所捕获的图像流应用图像处理滤波器，以识别表面下的血液。实时或近实时地处理所捕获的图像流，且接着将其作为经扩增图像流显示给临床医生。将图像处理滤波器应用到所捕获的图像流的每一帧。将经扩增图像或图像流提供给临床医生能为临床医生提供表面下的血液的位置。
转向图1，根据本公开的实施例的用于扩增手术环境的图像和/或视频的系统大体上示出为100。系统100包含控制器102，所述控制器具有处理器104和存储器106。系统100还包含记录图像流的图像捕获装置108，例如相机。图像捕获装置108可以并入到内窥镜、立体内窥镜或任何其它用于微创手术的手术工具中。
系统100还包含光源109。例如发光二极管(LED)或任何其它能够发光的装置的光源109可以并入到图像捕获装置108中，或可以提供为用以照射手术部位的单独装置。在一些实施例中，光源109可以安置在患者和光学地运输到手术部位的光纤外部。光源109被配置成发射不同波长的光。举例来说，光源109依序发射具有两个不同波长的光，其中第一波长范围在约850与1000nm之间且第二波长范围在约600与750nm之间。因此，在临床医生想要看到表面下的动脉血时，动脉血往往会更多地吸收波长范围在约850与1000nm之间的光，而波长范围在约600与750nm之间的光往往会被动脉血反射离开。替代地，在临床医生想要看到表面下的静脉血时，静脉血往往会更多地吸收波长范围在约600与750nm之间的光，而波长范围在约850与1000nm之间的光往往会被静脉血反射离开。光源109可以由光源109、图像捕获装置108或控制器102上的合适输入进行控制。
显示器110在手术程序期间将经扩增图像显示给临床医生。显示器110可以是监视器、投影仪或临床医生佩戴的一副眼镜。在一些实施例中，控制器102可以经由无线或有线连接与中央服务器(未示出)通信。中央服务器可以存储患者或多个患者的图像，可以使用x射线、计算机断层扫描或磁共振成像等来获得所述图像。
图2描绘控制器102的系统框图。如图2中所示出，控制器102包含被配置成从图像捕获装置108接收静态帧图像或视频的收发器112。在一些实施例中，收发器112可以包含用以经由无线通信协议接收静态帧图像、视频或数据的天线。静态帧图像、视频或数据被提供到处理器104。处理器104包含图像处理滤波器114，其处理所接收图像流或数据以生成和/或显示经扩增图像或图像流。可以使用离散组件、软件或其组合来实施图像处理滤波器114。经扩增图像或图像流被提供到显示器110。
如上文所描述，相对于静脉血，动脉血优先吸收波长在约850与1000nm之间的光，且相对于动脉血，静脉血优先吸收波长在约600与750nm之间的光。因此，当临床医生想要看到特定类型的血液，例如动脉或静脉血时，临床医生控制光源109以发射特定波长。也可以依序发射两种光波长，以提供将增强对两种血液类型的存在测量的灵敏性的差分读数。图像捕获装置108捕获由选定波长照射的手术部位的视频，并将视频提供到收发器112。在所述视频中，动脉血和/或静脉血将显现为期望强调其存在的任何色彩(例如，动脉血和静脉血分别为夸张的红色或蓝色)。
转向图3，可以应用到收发器112所接收的视频的图像处理滤波器的系统框图示出为114A。在图像处理滤波器114A中，使用色彩空间分解滤波器116将所接收视频的每一帧分解成不同色彩空间频带S1到SN。色彩空间分解滤波器116使用被称为金字塔的图像处理技术，在所述技术中图像经受重复平滑化和次取样。
在帧经受色彩空间分解滤波器116之后，将滤色器118应用到所有色彩空间频带S1到SN以生成经滤色频带C1到CN。滤色器118是用于提取一个或多个所要频带的带通滤波器。使用用户接口(未示出)将滤色器118的带通频率设置成对应于如下色彩的频率范围，所述色彩例如分别用于动脉血和静脉血的夸张红色或蓝色。通过将频率范围设置成血管类型的大体上夸张的典型色彩，滤色器118能够放大对应于临床医生想要看到的血液类型的明显可见色彩空间频带，这是因为所述血液类型将在所捕获的图像和/或视频中显现为所要色彩。换句话说，带通滤波器被设置成可接受容限内包含所述色彩的较窄范围，且被应用到所有色彩空间频带S1到SN。仅对应于带通滤波器的设置范围的色彩空间频带将被隔离或穿过。由对于每一频带可能具有独特增益“α”的放大器个别地放大所有经滤色频带C1到CN。因为滤色器118隔离或穿过所要色彩空间频带，所以仅放大所要色彩空间频带。接着将经放大滤色频带C1到CN加到原始色彩空间频带S1到SN，以生成经扩增频带S'1到S'N。接着通过使用重建滤波器120折叠经扩增频带S'1到S'N来重建视频的每一帧，以生成经扩增帧。合并所有经扩增帧以产生经扩增图像流。示出给临床医生的经扩增图像流包含被放大的部分，即对应于所要色彩空间频带的部分，以使临床医生能够容易地识别此部分。
在一些实施例中，可以由时间滤波器122滤波经扩增图像流。时间滤波器122基于患者的脉冲，生成基线时变信号。所述脉冲可以由临床医生输入，由常规构件测量或从图像流确定。时间滤波器122接着对基线时变信号取平均值，并从经扩增图像流移除平均信号，以生成经时间滤波经扩增图像流。在经时间滤波经扩增图像流中，仅可见血流中的独特改变，从而因此准许外科医生实时地查看情况，例如使用钳状末端执行器从夹持组织上方停止血流。
上文所描述的实施例还可以被配置成与通常称为“遥控手术”的机器人手术系统一起操作。此类系统利用各种机器人元件以在手术室中辅助临床医生，且允许对手术器械进行远程操作(或部分远程操作)。出于此目的，可以利用各种机器人臂、齿轮、凸轮、滑轮、电动机和机械电机等，且可以将其设计成具有机器人手术系统以在操作或治疗过程期间辅助临床医生。此类机器人系统可以包含远程可导向系统、自动柔性手术系统、远程柔性手术系统、远程铰接手术系统、无线手术系统、模块化或选择性可配置远程操作手术系统等。
如图4中所示出，机器人手术系统200可以与相邻手术室或位于远程位置的一个或多个控制台202一起利用。在此实例中，一支临床医生或护士团队可以使患者准备好进行手术，并配置具有一个或多个器械204的机器人手术系统200，而另一临床医生(或一组临床医生)经由机器人手术系统远程控制器械。如可以了解，高度熟练的临床医生可以在不离开其远程控制台的情况下在多个位置执行多个操作，这在经济上可以是有利的，且对于患者或一系列患者来说也是有益的。
手术系统200的机器人臂206通常通过控制器210联接到一对主手柄208。控制器210可以与控制台202一起集成，或提供为手术室内的独立装置。手柄206可以由临床医生移动，以产生附接到机器人臂206的任何类型的手术器械204(例如，探针、末端执行器、抓钳、刀片、剪刀等)的工作端部的对应移动。举例来说，手术器械204可以是包含图像捕获装置的探针。探针插入到患者体中，以便在手术程序期间捕获患者体内的关注区域的图像。在将图像在显示器110上显示给临床医生之前，可以将上文所描述的图像处理滤波器114应用到由控制器210所捕获的图像。
可以缩放主手柄208的移动，从而使得工作端部的对应移动不同于(小于或大于)由临床医生的操作手执行的移动。可以调整标度因子或齿轮比率(gearing ratio)，从而使得操作者可以控制手术器械204的工作端部的分辨率。
在手术系统200的操作期间，由临床医生操作主手柄208，以产生机器人臂206和/或手术器械204的对应移动。主手柄208将信号提供到控制器210，所述控制器接着将对应信号提供到一个或多个驱动电机214。一个或多个驱动电机214联接到机器人臂206，以便移动机器人臂206和/或手术器械204。
主手柄208可以包含各种触觉件216，所述触觉件用以将与各种组织参数或状况(例如，归因于操纵的组织抗性、切割或以其它方式治疗、器械在组织上的压力、组织温度、组织阻抗等)相关的反馈提供给临床医生。如可以了解，此类触觉件216向临床医生提供模拟实际操作状况的增强触觉反馈。触觉件216可以包含振动电机、电活性聚合物、压电装置、静电装置、次声波音频波表面致动装置、反向电振动或能够将触觉反馈提供给用户的任何其它装置。主手柄208还可以包含多种不同致动器218，其用于精细组织操纵或治疗，从而进一步增强临床医生模仿实际操作状况的能力。
本文中所公开的实施例是本公开的实例，且可以各种形式体现。本文中所公开的特定结构和功能细节不应被解释为限制性的，而是应被解释为权利要求书的基础，和用于教示所属领域的技术人员以实际上任何适当详细结构不同地利用本公开的代表性基础。类似参考数字可以贯穿图式的描述指代类似或相同元件。
短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可以各自指代根据本公开的相同或不同实施例中的一个或多个。呈“A或B”形式的短语意味着“(A)、(B)或(A和B)”。呈“A、B或C中的至少一个”形式的短语意味着“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。临床医生可以指执行医疗程序的外科医生或任何医疗专业人员，例如医生、护士、技术员、医疗助理等。
本文中所描述的系统还可以利用一个或多个控制器来接收各种信息，并转化所接收信息以生成输出。控制器可以包含任何类型的计算装置、计算电路，或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包含多个处理器和/或多核中央处理单元(CPU)，且可以包含任何类型的处理器，例如微处理器、数字信号处理器、微控制器等。控制器还可以包含用以存储数据和/或算法以执行一系列指令的存储器。
本文中所描述的方法、程序、算法或代码中的任一种可以被转换成编程语言或计算机程序或以编程语言或计算机程序表达。“编程语言”和“计算机程序”包含用于将指令指定给计算机的任何语言，且包含(但不限于)这些语言和其派生语言：汇编程序、Basic、批处理文件、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、帕斯卡、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言，以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包含数据库和其它数据模式，以及任何其它元语言。不对被解译、编译或使用经编译和解译方法两者的语言进行区分。也不对程序的编译版本与源版本进行区分。因此，提及编程语言可以多于一种状态存在(例如，源、经编译、对象或经链接)的程序是对任何和所有此类状态的提及。对程序的提及可以涵盖实际指令和/或那些指令的意图。
本文中所描述的方法、程序、算法或代码中的任一种可以包含在一个或多个机器可读媒体或存储器上。术语“存储器”可以包含以可由例如处理器、计算机或数字处理装置的机器读取的形式提供(例如，存储和/或传输)信息的机构。举例来说，存储器可以包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、闪存装置，或任何其它易失性或非易失性存储器存储装置。包含在其上的代码或指令可以由载波信号、红外信号、数字信号和其它类似信号表示。
应理解，前述描述仅说明本公开。所属领域的技术人员在不脱离本公开的情况下可以设计各种替代和修改。举例来说，本文中所描述的经扩增图像中的任一个可以合并成待显示给临床医生的单个经扩增图像。因此，本公开意图涵盖所有此类替代、修改和变化。呈现参考所附图式所描述的实施例仅为了展现本公开的某些实例。与上文和/或所附权利要求书中所描述的元件、步骤、方法和技术无实质不同的其它元件、步骤、方法和技术也意图在本公开的范围内。