用于检测灌注中逐步变化的手术系统的制作方法

本申请要求于2015年10月23日提交的第62/245,526号美国临时专利申请的优先权，所述申请的全部内容通过引用整体并入本文。

背景技术：

微创手术涉及使用多个小切口代替一个较大的开口完成外科手术过程。所述小切口减少了患者的不适感并且缩短了痊愈时间。所述小切口也限制了内脏、组织以及其它物质的可见性。

内窥镜被插入至一个或多个切口中，使临床医生在手术中更容易看到患者体内的内脏、组织以及其它物质。这些内窥镜包含具有光学和/或数字变焦能力的摄影机，所述摄影机耦合至显示摄像机捕获的内脏、组织以及物质的放大视图的显示器。现有的内窥镜和显示器，尤其是手术机器人系统中使用的内窥镜和显示器，在识别摄像机视野范围内，但在显示器上显示的光谱中不完全可见的条件或物体方面的能力有限。例如，现有的微创和机器人手术工具，包括但不限于内窥镜和显示器，在微创手术过程中识别血液灌注的能力有限(如果有所述能力的话)。为了识别血液灌注，许多步骤涉及将标志物添加到患者的血流中。

鉴于此，有必要在手术过程中识别手术摄像机视野范围内，但在显示器显示的光谱中不完全可见的可能条件或物体的更大范围。

技术实现要素：

本公开涉及手术过程中体内目标手术部位的视频成像技术，用于检测目标手术部位组织灌注的逐步变化。

在本公开的一个方面，本公开提供了一种扩增实境手术系统。所述系统包含配置成捕获患者的感兴趣区域的图像的内窥镜和用于记录患者的心脏电活动的心电图(ECG)装置。所述系统还包含配置成接收图像并将至少一个图像处理滤波器应用于图像以生成增强图像的控制器。所述图像处理滤波器包含配置成将图像分解为多条频带的分解滤波器，配置成应用于多条频带以生成多条时间滤波带的时间滤波器，配置成将多条频带中的每条频带相加到多条时间滤波带中的相应带以生成多条增强频带的加法器，配置成通过折叠多条增强频带以生成增强图像的重构滤波器以及配置成基于所述增强图像和所述电活动生成所述心电图滤波增强图像的心电图滤波器。然后向用户显示所述患者的心电图滤波增强图像。

所述图像捕获装置可以捕获具有多个图像帧的视频，并且所述控制器将所述至少一个图像处理滤波器应用于所述多个图像帧的每个图像帧。

所述时间滤波器从所述多条频带隔离至少一条频带以生成所述多条时间滤波带。在将所述多条频带中的每条频带相加到所述多条时间滤波带中的相应带之前，所述多条时间滤波带被放大器放大以生成多条增强带。

所述心电图滤波器可以生成基线时变信号。所述心电图滤波器可以对基线时变放大颜色求平均并从增强图像中去除所述基线时变放大颜色。

在一些方面中，所述内窥镜包含照明装置或光纤光导。所述内窥镜可以发射具有被动脉血液和/或静脉血液选择性吸收或反射的波长的光。

在本公开的另一个方面中，本公开提供了一种生成心电图(ECG)滤波增强图像的方法。所述方法包含使用内窥镜捕获至少一个图像并使用心电图装置记录患者的心脏的电活动。所述至少一个图像被分解生成多条频带。时间滤波器被应用于所述多条频带以生成多条时间滤波带。所述多条频带中的每条频带被相加到所述多条时间滤波带中的相应带以生成多条增强带。所述多条增强带被折叠以生成增强图像。所述增强图像和所述电活动用于生成显示器上显示的所述ECG滤波增强图像。

从所述多条频带中隔离至少一条频带。在将所述多条频带中的每条频带相加到所述多条时间滤波带中的相应带之前，所述时间滤波带被放大以生成多条增强带。

基线时变放大颜色首先生成，然后被平均化。所述平均化的基线时变放大颜色从增强图像中去除，以生成所述心电图滤波增强图像。

在一些方面中，具有被动脉血液或静脉血液选择性吸收或反射的波长的光被照射在组织上。

附图说明

结合附图，参照下列详细说明可以更好地理解本公开上述和其它方面、特征和优点，其中：

图1是与本公开实施例一致的内窥镜的侧视示意图；

图2A是与本公开实施例一致的可操纵内窥镜的侧视示意图；

图2B是图2A内窥镜远端的横断面图；

图3是与本公开实施例一致的增强图像或视频的系统的框图；

图4是图3中控制器的系统框图；

图5是图4中图像处理滤波器的配件的系统框图；

图6是图4中图像处理滤波器的系统框图；以及

图7是与本公开实施例一致的机器人手术系统的系统框图。

具体实施方式

对在手术过程中由手术摄像机捕获的图像数据进行分析以识别对于观察显示器上显示的摄像机图像的人来说并不明显的摄像机视野范围内的额外的不容易被人类感知的对象属性。各种图像处理技术都可以被应用到所述图像数据以识别患者的不同情况。例如，欧拉图像放大技术可用于识别捕获图像不同部分中光的小波长或“颜色”变化。这些变化可以被进一步分析以鉴别再灌注、动脉血流和/或血管类型。

欧拉图像放大技术也可用于使图像帧之间的运动或移动更容易被临床医生观察到。在一些情况下，不同图像帧之间的预定波长的光的测定强度的变化可以被呈现给临床医生以使临床医生更加了解特定感兴趣对象(如血液)的运动。

高光谱图像分析可用于识别人眼不可见或很难辨别的视野范围内的微小区域内的细微变化。这些高光谱图像分析技术可以与欧拉图像放大相结合，以识别这些区域的特定变化。

欧拉图像放大、图像代数、高光谱图像分析以及滤波技术中的一个或多个可以作为成像系统的一部分包含在内。这些技术可以使成像技术在相机的视野范围内提供有关不明显条件和对象的额外信息并提高手术疗效。这些额外的信息可以包括但不限于识别组织灌注、定位特定规格的动脉(如大动脉)、验证血管密封的有效性、识别异常组织的热特征、验证所需对象的运动(如死组织边缘的移动的缺乏或在切除后确认适当的血流)、区分相似的物体(如输尿管、肠系膜下动脉和/或周围血)以及检测小泄漏(如吻合术后可能发生的泄漏)。

这些技术中的一个或多个可以作为手术机器人系统内的成像系统的一部分，为临床医生实时地提供内窥镜视野内的有关不明显条件和对象的额外信息。这可以使临床医生能够快速地识别、避免和/或纠正手术中不良的情况和条件。例如，临床医生可以在手术中验证血管被适当密封、血液正常流动、吻合术后无空气泄漏和/或病变组织已被移除。如果需要，临床医生可以在手术中纠正这些问题。临床医生还可以识别身体中手术器械应避免接触或施以额外护理处理的纤弱或关键的对象，如大动脉或输尿管。

同时，心电图(ECG)装置通常用于测量患者的心脏的电活动。所述电活动对应于血液流经身体的周期性变化。在目标区域中所述电活动和所述血流变化之间存在一致的相关性。

本公开提出了在外科手术过程中向临床医生提供实时增强图像的系统和方法。本公开所述系统和方法将图像处理滤波器应用到捕获的图像上以通过显示器向临床医生提供增强或强化的图像。在一些实施例中，所述系统和方法允许在外科手术过程中进行视频捕获。所述捕获的视频被实时或接近实时地处理，然后以增强图像的形式显示给临床医生。所述图像处理滤波器被应用于所述捕获视频的每一帧。向临床医生提供所述增强图像或视频使临床医生能够识别并处理潜在的不良生理状况，从而减少额外的手术需要并确保原手术程序的有效性。

本公开所述实施例使临床医生能够在所述增强图像中识别和滤波出血液流动中的周期性变化，即由心脏的血流传播引起的变化，以允许临床医生确定血液灌注是否有异常变化。临床医生也可以确定血液灌注的变化是否在动脉血流或静脉血流内。本公开所述实施例使用一种被称为ECG门控的概念，在其中获得与心电图确定的心动周期有关的数据。采用ECG门控对感兴趣区域的放大颜色进行时间平均化，使得组织中的细微变化不通过添加标记或修改现有的内窥镜就能够被容易并且直接地观察到。本公开所述系统允许临床医生观察并了解临床上的重要情况，如由组织夹紧导致的血液流动障碍。

转到图1，图示根据本公开的实施例的内窥镜10。内窥镜10的一个实例可在2014年1月8日提交的第14/150,443号美国专利申请中找到，其内容通过引用并入本文。内窥镜10包含具有近端部14和远端部16的细长轴12。在一个实施例中，细长轴12由形状记忆合金(如镍钛合金)制成，使得细长轴12在松弛状态下(即，在没有外力作用的情况下)具有直线或线性圆柱形配置。在线性配置中，内窥镜10的远端部16插入常规套管针套筒或套管(未示出)中，所述常规套管针套筒或套管本质上是允许将内窥镜10插入患者腹腔内的直的中空的工具。所述套管和/或内窥镜10可以支撑在机器人手术系统的臂上。所述套管是此项技术中典型的已知套管，并且是由聚氯乙烯(PVP)或适合用于腹腔或其它医疗用途的任何其它柔性材料制成的。

在将细长轴12插入套管和腹腔之前，外科医生将细长轴12调整成预弯配置以获得最佳观察窗。然后，细长轴12恢复成原始的直线配置。一旦被插入到腹腔中，所述细长轴就呈现预弯配置。在一个实施例中，细长轴12响应于体腔内温度而呈现预弯配置。在替代实施例中，细长轴12对来自控制单元的电信号作出响应。

继续参照图1，细长轴12的近端部14和远端部16分别具有外表面18、20。在远端部16的外表面20上包含至少一个图像捕获装置22。图像捕获装置22允许外科医生清晰地观察腹腔内部。优选地，所述图像捕获装置22是低轮廓摄像机，因此所述图像捕获装置22在手术过程中不妨碍外科医生的工具。至少一个照明装置24被布置在所述图像捕获装置22附近以照亮所述腹腔的内部，协助所述图像捕获装置22观察内脏。

所述图像捕获装置22和所述照明装置24可以沿所述细长轴12可以不同配置沿所述远端部16分布。基于所述图像捕获装置22的位置，所述细长轴12被预弯以向外科医生提供期望位置以及最优角度。所述预弯配置的变化通过改变所述弯曲部分(即所述远端部)的长度和所述弯曲26的角度确定。图1表明弯曲26的角度为大致90度角，远端部16长度大致与近端部14相同，然而，可以理解的是允许外科医生观察体腔的任何弯曲角度都是可以实现的。此外，图1表明所述图像捕获装置22和所述照明装置24通常沿着与所述图像捕获装置22相同的纵向轴线靠近细长轴12的远端。可以理解的是，这种配置可以在制造过程中根据外科手术的特殊需要而改变。

转到图2A，根据本公开的另一实施例，内窥镜通常显示为30。内窥镜30包含具有可操控的远端尖端34的可定位向导32、灵活的本体36以及位于近端的控制柄或外壳38。可定位向导32可被插入到护套40中并通过锁定装置42或任何其它连接器锁定在位置上。位置传感器元件44与远端尖端34相结合并允许相对于参考坐标系监控所述尖端的位置和方向(6自由度)。内窥镜30的一个实例可以在2010年3月12日提交的第12/723,577号美国专利申请中找到，其内容通过引用并入本文。

现在转到图2B，内窥镜30的远端尖端34包含图像传感器46。例如，此处图像传感器46是作为具有位于图像传感器阵列50前面的透镜48的光学成像传感器而展示的。照明是通过光纤光导52提供的。

图1所述照明装置24和所述光纤光导32可以发射特定的可用于照亮手术部位的光频率以选择性地增强可视性或动脉和静脉血流量。

转到图3，根据本公开的实施例，用于增强外科手术环境的系统一般示为100。系统100包含具有处理器104和存储器106的控制器102。所述系统100接收来自内窥镜10或内窥镜30的图像。

系统100的传感器阵列108向所述控制器102提供关于手术环境的信息。例如，传感器108包含能够获得患者生物特征数据，如如脉搏、温度、血压、血氧水平、心律等的生物计量传感器。传感器阵列108还可以包含高光谱传感器以实现高光谱成像。传感器阵列108可并入内窥镜10或内窥镜30，或传感器阵列108作为单独的独立单元提供。

系统100的ECG装置110向所述控制器102提供患者心脏的ECG或电活动信号。系统100的显示器112在手术过程中为临床医生显示增强图像。在一些实施例中，所述控制器102可以通过无线或有线连接与中央服务器(未示出)通信。所述中央服务器可以存储通过X射线、计算机断层扫描或磁共振成像获得的一名或多名患者的图像。

图4描绘了所述控制器102的系统框图。如图4所示，所述控制器102包含配置成从内窥镜10接收静止帧图像或视频、从传感器阵列110接收数据或从ECG装置110接收ECG数据或信号的收发器114。在一些实施例中，所述收发器114可以包含通过无线通信协议接收静止帧图像、视频、数据或ECG数据或信号的天线。所述静止帧图像、视频、数据或ECG数据或信号被提供给处理器104。所述处理器104包含处理所述接收的静止帧图像、视频、数据或ECG数据或信号的图像处理滤波器116以生成增强图像或视频。所述图像处理滤波器116可以通过使用分立元件、软件或其组合实现。所述增强图像或视频被提供给显示器112。

转到图5，116A图示一种可应用于由收发器114接收的视频的图像处理滤波器的系统框图。在所述图像处理滤波器116A中，接收到的视频的每一帧都使用分解滤波器118分解成不同频带S₁至S_N。所述分解滤波器118采用被称为金字塔的图像处理技术对图像进行反复平滑和采样。

在所述帧经受所述分解滤波器118后，时间滤波器120被应用到S₁至S_N的所有频带以生成时间滤波带ST₁至ST_N。所述时间滤波器120是用于提取一条或多条所需频带的带通滤波器。例如，如果临床医生知道患者的脉搏，临床医生可以使用用户接口(未示出)设置所述时间滤波器120的带通频率以放大与患者脉搏相对应的频带。换言之，带通滤波器被设置为一个窄的包含患者脉搏在内并应用于所有S₁至S_N频带的范围。只有与带通滤波器设置范围对应的频带才会被隔离或通过。在一个实施例中，所述时间滤波器120的带通频率可由系统100基于由脉搏传感器测量的患者脉搏自动设置，其包含于传感器阵列108中并被发送至时间滤波器120。

所有的时间滤波带ST₁至ST_N分别由具有增益“α”的放大器放大。由于所述时间滤波器120隔离或通过S₁至S_N带中的所需频带，只有S₁至S_N带中的所需频带被放大。所述放大的时间滤波带ST₁至ST_N通过加法器被相加至原始频带S₁至S_N中生成增强带S'₁至S'_N。然后所述视频的每一帧使用重构滤波器122通过折叠增强带S'₁至S'_N生成增强帧。所有所述增强帧被合并以产生所述增强视频。向临床医生显示的所述增强视频包含被放大的部分，即与所需频带相对应的部分，使临床医生可以容易地识别所述部分。

在一些实施例中，所述图像处理滤波器116A可以在重构视频之前使用一种或多种颜色突出所述时间滤波带，而不用放大器放大所述隔离的时间滤波带。对于患者所需部分，如血管或神经，使用放大的颜色可以使临床医生更容易地确定所述部分的位置。

转到图6，图像处理滤波器116A提供增强视频至ECG滤波器116B。ECG滤波器116B也接收ECG装置110获得的ECG数据或信号。由于所述ECG数据或信号与血流中的循环变化有关，所述ECG数据或信号与手术部位血流的变化具有一致的偏移量。通过使用所述一致的偏移量，所述ECG滤波器116B可以采用所述QRS信号模式确定在ECG数据或信号中观察到的基线时变信号。然后所述ECG滤波器116B平均化基线时变信号并去除所述增强视频的平均化信号以生成ECG滤波增强视频。在所述ECG滤波增强视频中，只有血流中的异常变化是可见的，从而允许外科医生实时观察情况，例如使用颌状末端执行器停止过度夹紧组织中的血流。

由图像处理滤波器116执行的图像处理可与由照明装置24或光纤光导52发射的特定的光波长结合，例如660nm和940nm，以确定动脉系统或静脉系统中是否存在异常血流。具体地，所述照明装置24或光纤光导52可以发射具有被动脉血液选择性吸收或反射的波长的光。所述接收的图像和所述ECG数据或信号由所述图像处理滤波器116处理以检查动脉血流中的异常。同样的方法也适用于静脉血液，除非照明装置24或光纤光导52发射具有隔离静脉血液的波长的光。

上述实施例还可被配置为与机器人手术系统共同工作，通常被称为“机器人手术”。所述系统在手术室中使用各种机器人元件协助临床医生，并允许手术器械的远程操作(或部分远程操作)。为此，各种机械臂、齿轮、凸轮、滑轮和电动机械马达等都可被使用，并且可以设计成与机器人手术系统共同在手术或治疗过程中协助临床医生。所述机器人系统可包含远程可操纵系统、灵活的手术系统、远程灵活的手术系统、远程铰接手术系统、无线手术系统、模块化或可选择配置的远程操作手术系统等。

如图7所示，机器人手术系统200可与位于手术室旁或位于远程位置的一个或多个控制台202一起使用。在这种情况下，一组临床医生或护士可以为患者做手术准备并配置具有一个或多个仪器204的所述机器人手术系统200，而另一名临床医生(或一组临床医生)通过所述机器人手术系统远程控制所述仪器。可以理解的是，一个高度熟练的临床医生可以在多个地点执行多台手术，而不必离开他/她的远程控制台，这样既经济有利又对患者或一系列患者有益。

所述手术系统200的机械臂206通常由控制器210耦合到一对主柄208上。控制器210可以与所述控制台202结合或在手术室中作为独立的装置提供。所述柄206可以被临床医生移动以产生连接到所述机械臂206的任何类型手术仪器204(例如探针、末端执行器、抓取器、刀、剪刀等)的工作端的相应移动。例如，手术仪器204可以是包含图像捕获装置的探针，如内窥镜。所述探针被插入到患者体内以便在外科手术过程中在患者体内捕获感兴趣区域的图像。在所述图像在显示器212上显示给临床医生之前，图像处理滤波器116A或116B中的一个或多个被应用于控制器210捕获的图像。

主柄208的移动可以被缩放以便工作端具有与临床医生的操作手执行的移动不同、较小或较大的相应移动。比例因子或传动比是可调节的，以使得操作者能够控制手术仪器204的工作端的分辨率。

在手术系统200的操作中，主柄208由临床医生操作以产生机械臂206和/或手术仪器204相应移动。主柄208向控制器208提供信号，控制器208随后向一个或多个驱动马达214提供相应信号。所述一个或多个驱动马达214耦合到机械臂206以便移动机械臂206和/或手术仪器204。

主柄208可以包含各种触觉件216以向临床医生提供与各种组织参数或条件有关的反馈，例如由于操作、切割或其它处理、器械对组织的压力、组织温度、组织阻抗等引起的组织抵抗等。可以理解的是，触觉件216向临床医生提供模拟实际操作条件的增强触觉反馈。触觉件216可以包含振动电机、电活性聚合物、压电装置、静电装置、亚音频波表面驱动装置、反向电振动机或任何其它能够向用户提供触觉反馈的装置。主柄208还可以包含各种不同的用于精细组织操作或处理的执行器218，以进一步增强临床医生模拟实际操作条件的能力。

本文公开的实施例是本公开的示例并且可以以各种形式体现。本公开所述的具体结构和功能细节不应解释为限制性的，而是作为权利要求的基础并作为代表性的基础用于教导本领域技术人员在几乎任何适当的详细结构中多方面地使用本公开。在附图描述中，相同的数字标号代表相似的或相同的元件。

短语“在一个实施例中”、“在实施例中”、“在一些实施例中”或“在其它实施例中”可以根据本公开分别参考相同或不相同的实施例中的一个或多个。“A或B”格式的短语的意思是“(A)、(B)或(A和B)”。“A、B或C中的至少一个”格式的短语的意思是“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。临床医生指临床医生或任何执行医疗程序的医疗专业人员，如医生、护士、技术人员、医疗助理等。

本公开所述系统还可以利用一个或多个控制器接收各种信息，并转换所接收的信息以生成输出。所述控制器可以包含任何类型的计算机装置、计算电路或任何类型的能够执行一系列存储在存储器中的指令的处理器或处理电路。所述控制器可以包含多个处理器和/或多个中央处理单元(CPU)，并且可以包含任何类型的处理器，如微处理器、数字信号处理器、微控制器等。所述控制器还可以包含用于存储数据的存储器和/或执行一系列指令的算法。

本公开所述的方法、程序、算法或代码中的任何一种都可以转换为或表示为编程语言或计算机程序。“编程语言”和“计算机程序”包含用于向计算机指定指令的任何语言，包括(但不限于)下列语言及其衍生物：汇编语言、Basic、批处理文件、BCPL、C、C#、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、Python、脚本语言、Visual Basic、元语言本身指定的程序以及所有的第一、第二、第三、第四和第五代计算机语言。其还包含数据库和其它数据模式，以及其它任何元语言。解释、编译或使用编译和解释方法的语言之间没有区别。程序的编译版本和源版本之间也没有区别。因此，对编程语言可能以多种状态存在的程序(如源代码、编译、对象或链接)的引用是对任何一个和所有这样的状态的引用。对于程序的引用可以包含这些仪器的实际指令和/或意图。

本文所述方法、程序、算法或代码中的任何一种都可以包含在一个或多个机器可读介质或存储器中。术语“存储器”可以包含以诸如处理器、计算机或数字处理装置的机器以可读的形式提供(例如存储和/或发送)信息的装置。例如，存储器可以包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置或任何其它易失性或非易失性存储装置。其包含的代码或指令可以用载波信号、红外信号、数字信号和其它类似信号来表示。

应当理解的是，上述描述仅为本公开的示例性说明。本领域技术人员可以在不脱离本公开的前提下设计出各种备选方案和修改。例如，本公开所述任何增强图像可以被组合成单个增强图像显示给临床医生。因此，本公开旨在包含所有所述的备选方案、修改和变化。参照附图描述的实施例仅展示出本公开的某些示例。其它与上述和/或附加权利要求中非本质性地不同的元素、步骤、方法和技术也包括在本公开范围内。