用于移除手术图像和/或视频中的遮挡对象的系统和方法与流程

本申请是申请号为201780014065.3(国际申请号为pct/us2017/019257)、申请日为2017年2月24日、发明名称为“用于移除手术图像和/或视频中的遮挡对象的系统和方法”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求2016年3月2日提交的第62/302,366号美国临时专利申请的权益和优先权，所述美国临时专利申请的全部公开内容以引用的方式并入本文中。

背景技术：

微创手术涉及使用多个小切口而非一个较大开口或切口来执行手术程序。小切口减少了患者的不适且缩短了恢复时间。小切口也限制了内部器官、组织和其它物质的可见度。

已使用内窥镜并将其插入一个或多个切口中以使临床医生更容易在手术期间看到体内的内部器官、组织和其它物质。这些内窥镜包含带有光学和/或数码变焦功能的相机，所述相机耦合到显示器，所述显示器示出由相机捕获的体内器官、组织和物质的放大图。当执行微创手术程序时，一个或多个手术工具可与内窥镜一起使用。内窥镜的视点必须相对于工具放置，使得工具不妨碍对手术部位的观察。在三维(3d)内窥镜检查的状况下，当工具离透镜过近和/或工具正在移动时，用户可经历迷向和/或恶心，由此迫使用户限制其移动选择。另外，局部污染可能模糊透镜，由此损害由内窥镜获得的任何图像的部分。

需要一种为临床医生提供不被工具和/或局部污染物遮挡的内窥镜视图的改进的方法。

技术实现要素：

本公开涉及用于从手术图像移除遮挡对象的系统和方法。

在本公开的实施例中，用于从手术图像移除遮挡对象的系统包含：图像捕获装置，其配置成插入到患者体中且在手术程序期间捕获患者体内的手术部位的初始图像；以及控制器，其配置成接收所述图像。当控制器确定初始图像中存在遮挡对象时，控制器执行移除算法。移除算法包含：控制图像捕获装置以捕获多个图像，应用图像滤波器以组合初始图像和多个图像，且生成经过处理的图像，其中遮挡对象从经过处理的图像中移除。

在一些方面中，移除算法进一步包含控制图像捕获装置以执行多个移动，其中多个移动中的每一图像对应于多个移动中的一个移动。

在一些方面中，多个移动中的每一移动包含量值和方向。另外，多个移动中的每一移动是预先确定的。

在一方面中，应用图像滤波器包含将初始图像分离成初始背景图象和初始遮挡层，将多个图像分离成多个背景图像和多个遮挡层，以及组合初始背景图像和多个背景图像以生成经过处理的图像。组合初始背景图像和多个背景图像包含使初始背景图象和多个背景图像对齐，以及覆盖对齐的初始背景图象和多个背景图像。

在其它方面，应用图像滤波器包含：从初始图像移除遮挡对象以创建空白空间，使多个图像与初始图像对齐，以及利用来自对齐的多个图像的对应像素填充初始图像中的空白空间，其中对应像素不包含遮挡对象。

在一些方面中，控制器基于来自用户的输入确定初始图像中存在遮挡对象。

在一些方面中，显示器显示经过处理的图像。

在本公开的另一个实施例中，提供用于从手术图像移除遮挡对象的方法。方法包含在手术程序期间利用图像捕获装置捕获患者体内的手术部位的初始图像和当在初始图像中检测到遮挡对象时执行移除算法。移除算法包含：控制图像捕获装置以捕获多个图像，应用图像滤波器以组合初始图像和多个图像，且生成经过处理的图像，其中遮挡对象从经过处理的图像中移除。

在一些方面中，移除算法进一步包含控制图像捕获装置以执行多个移动，其中多个移动中的每一图像对应于多个移动中的一个移动。

在一些方面中，多个移动中的每一移动包含量值和方向。另外，多个移动中的每一移动是预先确定的。

在一方面中，应用图像滤波器包含将初始图像分离成初始背景图象和初始遮挡层，将多个图像分离成多个背景图像和多个遮挡层，以及组合初始背景图像和多个背景图像以生成经过处理的图像。组合初始背景图像和多个背景图像包含使初始背景图象和多个背景图像对齐，以及覆盖对齐的初始背景图象和多个背景图像。

在其它方面，应用图像滤波器包含：从初始图像移除遮挡对象以创建空白空间，使多个图像与初始图像对齐，以及利用来自对齐的多个图像的对应像素填充初始图像中的空白空间，其中对应像素不包含遮挡对象。

在一些方面中，显示经过处理的图像。

在本公开的又一实施例中，用于从手术图像移除遮挡对象的系统包含：图像捕获装置，其配置成插入到患者体中且在手术程序期间捕获患者体内的手术部位的初始图像；以及控制器，其配置成接收所述图像。当控制器确定初始图像中存在遮挡对象时，控制器执行移除算法。移除算法包含：控制图像捕获装置以捕获包含多个图像的视频内容，基于视频内容中所包含的多个图像、遮挡对象的位置和当捕获视频内容时图像捕获装置的视点来生成取代像素的集合，以及应用图像滤波器以组合初始图像和多个图像且生成经过处理的图像，其中遮挡对象基于取代像素的集合从经过处理的图像移除。

附图说明

根据以下结合附图进行的详细描述，本公开的上述和其它方面、特征和优点将变得更加显而易见，在附图中：

图1是根据本公开的实施例的用于在手术环境中移除遮挡对象的系统的框图；

图2是图1的控制器的框图；

图3a是描绘根据本公开的实施例的用于移除图像或视频中的遮挡对象的图像处理方法的流程图；

图3b是描绘根据本公开的另一实施例的用于移除图像或视频中的遮挡对象的图像处理方法的流程图；

图4是根据本公开的实施例的用于移除图像或视频中的遮挡对象的系统的框图；

图5示出捕获的图像和经过处理的图像的实例；以及

图6是根据本公开的实施例的机器人手术系统的系统框图。

具体实施方式

可分析在手术程序期间从内窥镜捕获的图像数据以从内窥镜的视点移除遮挡对象。可通过根据预先确定的方案移动内窥镜来获得手术部位的各种图像。可接着组合各种图像以向用户呈现单一图像或视频，其中遮挡对象从图像或视频中移除。

这些技术中的一个或多个可包含为手术机器人系统中成像系统的部分，以为临床医生提供内窥镜视场内的额外信息。这样可使临床医生在手术期间能够快速识别、避免和/或纠正不当情况和状况。

本公开涉及用于在手术程序期间实时地向临床医生提供经过处理的图像的系统和方法，其中遮挡对象从图像中移除。本文中所描述的系统和方法对所捕获的图像应用图像处理滤波器，以提供无遮挡的图像。在一些实施例中，系统和方法准许在手术程序期间的视频捕获。实时地或近实时地处理所捕获的视频且接着将其作为经过处理的图像显示给临床医生。将图像处理滤波器应用到所捕获的视频的每一帧。将经过处理的图像或视频提供给临床医生为临床医生提供了未遮挡的视图。

本文中所描述的实施例使临床医生能够足够详细地观察到所关注区域以确保手术程序的效果。

转向图1，根据本公开的实施例的用于处理手术环境的图像和/或视频的系统大体上示出为100。系统100包含控制器102，所述控制器具有处理器104和存储器106。系统100还包含记录静止帧图像或移动图像的图像捕获装置108，例如，相机。图像捕获装置108可以并入到内窥镜、立体内窥镜或用于微创手术的任何其它手术工具中。显示器110在手术程序期间向临床医生显示经过处理的图像。显示器110可以是监视器、投影仪或临床医生佩戴的一副眼镜。在一些实施例中，控制器102可以经由无线或有线连接与中央服务器(未示出)通信。中央服务器可存储一个或多个患者的图像，所述图像可使用x射线、计算机断层扫描或磁共振成像来获得。

图2描绘控制器102的系统框图。如图2中所示出，控制器102包含配置成从图像捕获装置108接收静态帧图像或视频的收发器112。在一些实施例中，收发器112可以包含用于经由无线通信协议接收静态帧图像、视频或数据的天线。将静态帧图像、视频或数据提供到处理器104。处理器104包含图像处理滤波器114，其处理所接收的静态帧图像、视频或数据，以生成经过处理的图像或视频。可使用离散组件、软件或其组合实施图像处理滤波器114。将经过处理的图像或视频提供到显示器110。

参看图3a和4时将更详细地描述用于移除遮挡对象的系统和方法。如图3a和4中所示出，在步骤s10中，图像捕获装置108捕获初始图像。在步骤s12中，处理器104确定是否存在遮挡对象。如果不存在遮挡对象，那么过程进行到步骤s14，其中图像显示在显示器110上。如果处理器104确定存在遮挡对象，那么处理器104执行存储于存储器10中的移除算法。可使用常规的图像处理技术通过处理器104确定遮挡对象的存在或可通过用户使用触摸屏装置或用于选择显示器上的对象的任何其它常规方法(例如，鼠标、操纵杆、语音命令、触摸板等)来确定遮挡对象的存在。

在步骤s16中，将计数器“n”设置成“0”且将在步骤s10中捕获的图像设置为“i0”且传送给图像处理滤波器114。在步骤s20中，使计数器“n”递增1，且在步骤s22中处理器接着控制图像捕获装置108以执行预先确定的量值和方向的多个移动，以便从不同视角获得手术部位的多个图像。图像捕获装置108的移动可包含移动整个装置或装置108中的透镜(未示出)。在将图像捕获装置108移动预先确定的量后，图像捕获装置108在步骤s24中捕获新图像且将新图像存储为“in”。重复步骤s20到s26，直到图像捕获装置108捕获和存储图像“im”为止，其中“m”是由图像捕获装置108执行的移动的预先确定的数目。

在步骤s28中，由图像捕获装置108捕获的“m+1”图像组合在图像过滤器120中。图像过滤器120使用常规的图像处理技术将图像“i0”转换成包含手术部位的图像的背景图象“ib0”，和包含遮挡对象的遮挡层“il0”。图像滤波器重复图像“i1”到“im”的转换，以生成背景图像“ib1”到“ibm”和遮挡层“il1”到“ilm”。图像“ib0”到“ibm”将接着经对齐和彼此覆盖以产生经过处理的图像，以在显示器110中向用户显示，其中遮挡对象已移除。

在另一实施例中，在步骤s28中，可从图像“i0”中移除遮挡对象，而保留图像“i0”中的空白空间。图像过滤器120使用来自以不同视角获取的图像“i1”到“im”的对应像素填充在图像“i0”中形成的空白空间，由此产生手术部位的完整图像，而无遮挡对象。具体来说，通过过滤器120比较图像“i0”和图像“i1”以对齐或对准两个图像。接着图像过滤器120使用图像“i1”中不属于遮挡对象的像素填充图像“i0”中的空白空间。对剩余图像“i2”到“im”重复过程，直到填充图像“i0”中的空白空间为止。

在另一实施例中，可随时间推移获得多个图像以移除遮挡对象。如图3b和4中所示出，在步骤s32中，图像捕获装置108随时间推移捕获视频内容，其中视频内容包括多个图像。在步骤s34中，处理器104可接着基于视频内容中所包含的所述多个图像、所述遮挡对象的位置以及当捕获所述视频内容时内窥镜的视点来生成取代像素的集合。取代像素的集合可存储于存储器106中。在步骤s36中，图像捕获装置108捕获初始图像。在步骤s38中，处理器104确定是否存在遮挡对象。如果不存在遮挡对象，那么过程进行到步骤s40，其中图像显示在显示器110上。在步骤s42中，如果处理器104确定存在遮挡对象，那么处理器104执行存储于存储器10中的移除算法。在步骤s42中，图像过滤器120使用取代像素的集合处理初始图像以从初始图像移除遮挡对象，以生成经过处理的图像。为了从初始图像移除遮挡对象，图像过滤器120识别在相对于图像捕获装置108的特定空间位置处属于特定对象的像素。图像过滤器120接着移除属于遮挡对象的相对较近的像素，其是离图像捕获装置108相对更接近的像素，且使用来自取代像素的集合的相对较远的像素取代相对较近的像素。接着使用相对较远像素代替相对较近像素重组图像以创建经过处理的图像。接着在步骤s44中，在显示器110上显示经过处理的图像。

图5描绘由图像捕获装置108捕获的手术环境的图像130。图像130由图像处理滤波器114处理，其可涉及图像过滤器120的使用，以生成经过处理的图像132。如在经过处理的图像132中可见，从经过处理的图像132中移除图像130中存在的遮挡的对象“o”。

上文所描述的实施例还可配置成与通常称为“遥控手术”的机器人手术系统一起操作。此类系统采用各种机器人元件以在手术室中辅助临床医生且允许对手术器械的远程操作(或部分远程操作)。可出于此目的采用各种机器人臂、齿轮、凸轮、滑轮、电动机以及机械电动机等，且可将其设计成具有机器人手术系统以在操作或治疗过程期间辅助临床医生。此类机器人系统可包含远程可导向系统、自动柔性手术系统、远程柔性手术系统、远程铰接手术系统、无线手术系统、模块化或选择性可配置远程操作手术系统等。

如图6中所示出，机器人手术系统200可与紧邻手术室或位于远程位置的一个或多个控制台202一起使用。在此例子中，一个团队的临床医生或护士可使患者做好手术准备，且用一个或多个器械204配置机器人手术系统200，而另一临床医生(或一组临床医生)经由机器人手术系统远程控制器械。如可了解，高度熟练的临床医生可在多个位置执行多个手术而不离开他/她的远程控制台，这对于患者或一系列患者来说经济上有利且有益。

手术系统200的机器人臂206通常由控制器210耦合到一对主控手柄208。控制器210可以与控制台202集成，或提供为手术室内的独立装置。手柄206可由临床医生移动以产生附接到机器人臂206的任何类型的手术器械204(例如，探针、末端执行器、抓钳、刀、剪刀等)的工作端的对应移动。举例来说，手术器械204可以是包含图像捕获装置的探针。探针插入到患者体内以便在外科手术期间捕获患者体内的所关注区域的图像。在显示器110上将图像显示给临床医生之前，由控制器210将图像处理滤波器114a或114b中的一个或多个应用于所捕获的图像。

可按比例调整主控手柄208的移动，从而使得工作端的对应移动不同于，大于或小于由临床医生的动手术手进行的移动。可调整缩放因子或传动比，使得操作者可控制手术器械204的工作端的分辨率。

在手术系统200的操作期间，主控手柄208由临床医生操作以产生机器人臂206和/或手术器械204的对应移动。主控手柄208将信号提供到控制器210，控制器210接着将对应信号提供到一个或多个驱动电机214。一个或多个驱动电机214耦合到机器人臂206，以便移动机器人臂206和/或手术器械204。

主控手柄208可包含各种触觉件216，触觉件216用以将与各种组织参数或状况相关的反馈，例如归因于操纵的组织抗性、切割或以其它方式治疗、通过器械压在组织上、组织温度、组织阻抗等，提供给临床医生。如可了解，此类触觉件216向临床医生提供模拟实际操作状况的增强的触觉反馈。触觉件216可包含振动电机、电活性聚合物、压电装置、静电装置、次声波音频波表面致动装置、反向电振动或能够将触觉反馈提供给用户的任何其它装置。主控手柄208还可包含多种不同致动器218，其用于精细组织操纵或治疗，从而进一步增强临床医生模仿实际操作状况的能力。

本文中所公开的实施例是本公开的实例，且可以各种形式体现。本文中所公开的特定结构和功能细节不应被解释为限制性的，而是应被解释为权利要求书的基础，和用于教示本领域的技术人员以实际上任何适当详细结构不同地使用本公开的代表性基础。类似参考数字可贯穿图式的描述指类似或相同元件。

短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可各自是指根据本公开的相同或不同实施例中的一个或多个。采用“a或b”形式的短语意指“(a)、(b)或(a和b)”。采用“a、b或c中的至少一个”形式的短语意指“(a)、(b)、(c)、(a和b)、(a和c)、(b和c)或(a、b和c)”。临床医生可以是指执行医疗程序的外科医生或任何医疗专业人员，例如医生、护士、技术员、医疗助理等等。

本文中所描述的系统还可利用一个或多个控制器来接收各种信息且转化所接收到的信息以生成输出。控制器可包含任何类型的计算装置、计算电路，或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包含多个处理器和/或多核中央处理单元(cpu)，且可包含任何类型的处理器，例如微处理器、数字信号处理器、微控制器等等。控制器还可包含用以存储数据和/或算法以执行一系列指令的存储器。

本文中所描述方法、程序、算法或代码中的任一种可转换成编程语言或计算机程序或以编程语言或计算机程序表达。“编程语言”和“计算机程序”包含用于将指令指定给计算机的任何语言，且包含(但不限于)这些语言和其派生语言：汇编程序、basic、批处理文件、bcpl、c、c+、c++、delphi、fortran、java、javascript、机器代码、操作系统命令语言、帕斯卡、perl、pl1、脚本语言、visualbasic、自身指定程序的元语言，以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包含数据库和其它数据模式，以及任何其它元语言。不对被解译、编译或使用经编译和解译方法两者的语言进行区分。也不对程序的编译版本与源版本进行区分。因此，提及编程语言可以多于一种状态存在(例如，源、经编译、对象或经链接)的程序是对任何和所有这类状态的提及。对程序的提及可涵盖实际指令和/或那些指令的意图。

本文中所描述方法、程序、算法或代码中的任一个可包含在一个或多个机器可读媒体或存储器上。术语“存储器”可包含以由例如处理器、计算机或数字处理装置等机器可读的形式提供(例如，存储和/或传送)信息的机构。举例来说，存储器可包含只读存储器(rom)、随机存取存储器(ram)、磁盘存储媒体、光学存储媒体、快闪存储器装置，或任何其它易失性或非易失性存储器存储装置。其上含有的代码或指令可由载波信号、红外信号、数字信号和其它类似信号表示。

应理解，前述描述仅说明本公开。本领域的技术人员可在不脱离本公开的情况下设计各种替代和修改。举例来说，本文中所描述的经过处理的图像中的任一个可组合到待显示给临床医生的单个经过处理的图像中。因此，本公开旨在涵盖所有此类替代、修改和变化。呈现参考所附图式所描述的实施例仅为了展现本公开的某些实例。与上文所描述和/或所附权利要求书中的元件、步骤、方法和技术无实质不同的其它元件、步骤、方法和技术也旨在在本公开的范围内。