在计算机辅助远程操作外科手术中的可重新配置的显示器的制作方法
本申请要求2016年11月4日提交的美国临时申请号62/417,493的权益。在先申请的公开内容被认为是本申请的公开内容的一部分，并且通过引用并入本申请的公开内容中。
本公开涉及用于微创计算机辅助远程操作外科手术的装置和方法。
背景技术：
正在开发用于外科手术的微创远程外科手术系统，以增加外科医生的灵活性，并允许外科医生从远程位置对患者进行操作。远程外科手术是外科手术系统的通用术语，其中外科医生使用某种形式的远程控件(例如，伺服机构等)来操纵手术器械移动而不是用手直接握住和移动器械。在这种远程外科手术系统中，外科医生被提供有在远程位置处的外科手术部位的图像。外科医生通过操纵主控制输入装置对患者执行外科手术，主控制输入装置进而控制机器人器械的运动。
技术实现要素：
在一个方面，本申请提供一种方法，该方法包括操作外科手术系统以执行外科手术过程，该外科手术系统包括显示装置，以及在一个或多个处理装置处接收来自多个数据源的数据。该方法还包括确定外科手术过程的当前阶段，以及在显示装置上显示视觉表示，所述视觉表示与来自在显示装置的显示区域内的第一布置中的多个数据源的第一组的数据相对应。多个数据源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。
在另一方面，本申请提供一种外科手术系统，该外科手术系统包括显示装置和一个或多个处理装置。所述一个或多个处理装置被配置为操作外科手术系统以执行外科手术过程，并从多个数据源接收数据。所述一个或多个处理装置还被配置为确定外科手术过程的当前阶段，并在显示装置上显示视觉表示，所述视觉表示与来自在显示装置的显示区域内的第一布置中的多个数据源的第一组的数据相对应。多个数据源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。
在另一方面，本申请提供用机器可读指令编码的一个或多个机器可读的非暂时性存储装置，所述机器可读指令被配置为使一个或多个处理装置执行各种操作。所述操作包括操作外科手术系统以执行外科手术过程，该外科手术系统包括显示装置，以及在一个或多个处理装置处接收来自多个数据源的数据。所述操作还包括确定外科手术过程的当前阶段，以及在显示装置上显示视觉表示，所述视觉表示与来自显示装置的显示区域内的第一布置中的多个数据源的第一组的数据相对应。多个数据源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。
上述各个方面的实施方式可以包括以下各项中的一个或多个。可以确定外科手术过程的新阶段，并且响应于确定外科手术过程的新阶段，可以更新多个数据源的第一组和第一布置中的至少一个。可以基于外科手术系统的当前用户的用户偏好记录来更新多个数据源的第一组和第一布置中的至少一个。可以基于外科手术系统的预定安全性简档来更新多个数据源的第一组和第一布置中的至少一个。可以接收指示对一个或多个视觉表示的调整的用户输入，并且可以根据所述调整来更新显示装置。还可以根据所述调整来更新用户简档。用户简档可以被存储在存储位置处并且可供其他用户访问。多个数据源可以包括以下各项中的至少两个：内窥镜、超声成像装置、计算机断层摄影(ct)成像装置、核成像装置、放射线照相成像装置和磁共振成像(mri)装置。多个数据源可以包括以下各项中的至少一个：(i)生成图像、文本、交互式图形或图形用户界面(gui)中的一个或多个的计算装置，以及(ii)提供一个或多个预先存储的图像或视频的存储装置。确定当前阶段可以基于指示当前阶段的用户输入。确定当前阶段可以基于对来自多个数据源中的至少一个数据源的数据执行的图像分析过程。来自多个数据源中的一个或多个数据源的数据可以包括相对于公共参考系的定位信息。显示视觉表示可以包括将第一视觉表示覆盖在第二视觉表示上，其中基于公共参考系相对于第二视觉表示配准(register)第一视觉表示。可以基于在开始外科手术过程之前加载的用户简档来确定第一布置。用户简档可以识别执行外科手术过程的个体，并且包括个体的用户偏好，所述用户偏好关于在外科手术过程的不同阶段期间与来自多个数据源的数据相对应的视觉表示的组织。显示装置可以包括多个屏幕。
在另一方面，本申请提供一种用于在外科手术过程中控制显示装置上的来自多个数据源的数据的视觉表示的可配置性的方法。该方法包括从多个数据源接收数据，在显示装置上显示视觉表示，所述视觉表示与来自在为每个视觉表示确定的位置处的多个数据源的至少一个子集的数据相对应，以及经由输入装置接收指示对一个或多个视觉表示的调整的用户输入。该方法还包括确定所述调整的至少一部分违反与相应的视觉表示相关联的预定安全条件，以及响应于此，生成配置为向用户警告所述违反的控制信号。
在另一方面，本申请提供一种外科手术系统，该外科手术系统包括显示装置和一个或多个处理装置。一个或多个处理装置被配置为从多个数据源接收数据，并且在显示装置上显示视觉表示，所述视觉表示与来自在为每个视觉表示确定的位置处的多个数据源的至少一个子集的数据相对应。一个或多个处理装置还被配置为经由输入装置接收指示对一个或多个视觉表示的调整的用户输入，确定所述调整的至少一部分违反与相应的视觉表示相关联的预定安全条件，以及响应于确定所述违反，生成配置为向用户警告所述违反的控制信号。
在另一方面，本申请提供用机器可读指令编码的一个或多个机器可读的非暂时性存储装置，所述机器可读指令被配置为使一个或多个处理装置执行各种操作。所述操作包括从多个数据源接收数据，在显示装置上显示视觉表示，所述视觉表示与来自在为每个视觉表示确定的位置处的多个数据源的至少一个子集的数据相对应，以及经由输入装置接收指示对一个或多个视觉表示的调整的用户输入。所述操作还包括确定所述调整的至少一部分违反与相应的视觉表示相关联的预定安全条件，以及响应于此，生成配置为向用户警告所述违反的控制信号。
本文描述的一些或所有实施例提供了以下优点中的一个或多个。在一些情况下，可以基于用户偏好在外科手术系统的控制台上显示来自多个数据源的数据的视觉表示(representation)。在一些情况下，个体(例如，高级外科医生)的显示偏好可以被保存为简档，并且稍后由其他个体(例如，初级外科医生、医学生等)使用。显示偏好可以专用于手术的阶段，并且可以在检测到相应的阶段时被自动加载。通过允许覆盖来自不同来源的图像(可能扭曲并彼此配准)，并提供用户对各种图像的位置的控制，本文描述的技术可以允许执行微创机器人外科手术(本文也称为微创外科手术(mis))的外科医生改善用户体验。在一些情况下，虚拟监视工具(也称为幻影工具)可以覆盖在图像上以允许外科医生在使用实际工具执行外科手术程序之前排练该程序。各种安全协议可以管理来自不同来源的图像的位置和配置，例如用以防止外科医生意外地丢失重要信息。这进而可以通过减少否则可能影响mis的人为错误的机会来增加患者安全性。
附图说明
图1是计算机辅助远程操作外科手术系统的示例患者侧推车的透视图。
图2是计算机辅助远程操作外科手术系统的示例外科医生控制台的前视图。
图3是计算机辅助远程操作外科手术系统的示例机器人操纵臂组件(assembly)的侧视图。
图4a和图4b是与计算机辅助远程操作外科手术系统相关联的显示器的示例配置。
图4c是图示覆盖在内窥镜图像上的数据的显示器的示例。
图5a和图5b示出如何由用户配置与计算机辅助远程操作外科手术系统相关联的显示器的示例。
图6是用于显示来自多个数据源的图像的系统的示例框图。
图7是图示在外科手术过程期间向医疗保健专业人员提供反馈的示例过程的流程图。
图8是图示控制来自多个数据源的视觉表示的可配置性的示例过程的流程图。
具体实施方式
本申请描述了在一些情况下在诸如微创机器人外科手术(在本文中也称为微创外科手术(mis))的图像引导外科手术过程中改善手术部位和解剖部分的可视化的技术。例如，该技术允许在与外科医生的控制台相关联的显示装置上配置来自各种源的图像的位置。这可以例如根据如经由用户输入所指示的外科医生的偏好来手动地完成，或者例如基于预先存储的偏好和/或基于检测外科手术的阶段来自动地完成。在一些实施方式中，该技术可以允许各种类型的可配置性(例如，将图像彼此叠加、最小化或移除来自特定图像源的馈送，或者同时显示来自多个数据源的馈送)，这进而可以允许外科医生执行提高效果的外科手术。另外，可以使用旨在减少外科医生丢失有用信息的可能性的安全协议来管理可配置性。例如，安全协议可以防止内窥镜图像被配置为小于阈值尺寸的尺寸，或者阻止某些显示器被从控制台移除。
主要根据使用由美国加利福尼亚州桑尼维尔的直观外科手术公司(intuitivesurgical,inc.ofsunnyvale,california)商业化的da
参见图1和图2，用于微创计算机辅助远程外科手术(也称为mis)的系统可以包括患者侧推车100和外科医生控制台40。远程外科手术是外科手术系统的通用术语，其中外科医生使用某种形式的远程控件(例如，伺服机构等)操纵外科手术器械移动而不是用手直接握持和移动器械。可机械操纵的外科手术器械可以通过小的微创外科手术孔插入，以治疗患者体内的手术部位处的组织，避免与开放手术的进入(access)相关的创伤。这些机器人系统可以以足够的灵活性移动外科手术器械的工作端，以便通常通过在微创孔处枢转器械的轴、使该轴轴向滑过孔、在孔内旋转该轴等执行相当复杂的外科手术任务。
在所描绘的实施例中，患者侧推车100包括基座110、第一机器人操纵臂组件120、第二机器人操纵臂组件130、第三机器人操纵臂组件140和第四机器人操纵臂组件150。每个机器人操纵臂组件120、130、140和150可枢转地耦接到基座110。在一些实施例中，可以包括少于四个或多于四个的机器人操纵臂组件作为患者侧推车100的一部分。虽然在所描绘的实施例中，基座110包括脚轮以便于移动，但在一些实施例中，患者侧推车100被固定地安装到地板、天花板、手术台、结构框架等。
在典型的应用中，机器人操纵臂组件120、130、140或150中的两个保持手术器械，第三个保持立体内窥镜。剩余的机器人操纵臂组件是可用的，以便可以在工作部位引入另一器械。可替代地，剩余的机器人操纵臂组件可用于将第二内窥镜或另一图像捕获装置(诸如超声换能器)引入工作部位。
机器人操纵臂组件120、130、140和150中的每个通常由耦接在一起并通过可致动关节进行操纵的连杆形成。机器人操纵臂组件120、130、140和150中的每个包括安装臂(setuparm)和装置操纵器。安装臂定位其保持的装置，使得在其进入患者体内的进入孔处出现枢转点。然后，装置操纵器可以操纵其保持的装置，使其可以绕枢轴点枢转，插入进入孔和从进入孔缩回，以及绕其轴杆轴线旋转。
在所描绘的实施例中，外科医生控制台40包括立体视觉显示器45，使得用户可以从由患者侧推车100的立体相机所捕获的图像以立体视觉观看外科手术工作部位。左眼目镜46和右眼目镜47设置在立体视觉显示器45中，使得用户可以分别用用户的左眼和右眼观看显示器45内的左显示屏和右显示屏。通常在合适的观察器或显示器上观察手术部位的图像的同时，外科医生通过操纵主控制输入装置对患者执行外科手术程序，主控制输入装置进而控制机器人器械的运动。
外科医生控制台40还包括左输入装置41和右输入装置42，用户可以分别用他/她的左手和右手抓握左输入装置41和右输入装置42以操纵由患者侧推车100的机器人操纵臂组件120、130、140和150以优选的六个自由度(“dof”)保持的装置(例如，外科手术器械)。具有脚趾控件和脚跟控件的脚踏板44设置在外科医生控制台40上，因此用户可以控制与脚踏板相关联的装置的移动和/或致动。
处理装置43设置在外科医生控制台40中以用于控制和其他目的。处理装置43在医疗机器人系统中执行各种功能。由处理装置43执行的一个功能是平移和传递输入装置41、输入装置42的机械运动，以在它们相关联的机器人操纵臂组件120、130、140和150中致动它们各自的关节，使得外科医生可以有效地操纵装置，诸如外科手术器械。处理装置43的另一功能是实现本文所描述的方法、交叉耦合控制逻辑和控制器。
处理装置43可以包括一个或多个处理器、数字信号处理器(dsp)和/或微控制器，并且可以实现为硬件、软件和/或固件的组合。此外，本文描述的其功能可以由一个单元执行或者在多个子单元之间划分，每个子单元可以进而通过硬件、软件和固件的任何组合来实现。此外，尽管处理装置43被示出为外科医生控制台40的一部分或与其物理相邻，但是处理装置43也可以作为子单元分布在整个远程手术系统中。一个或多个子单元可以在物理上远离远程外科手术系统(例如，定位在远程服务器上)。
还参考图3，机器人操纵臂组件120、130、140和150可以操纵诸如外科手术器械的装置以执行mis。例如，在所描绘的布置中，机器人操纵臂组件120可枢转地耦接到器械保持器122。套管180和外科手术器械200进而可释放地耦接到器械保持器122。套管180是管状构件，其在外科手术期间定位在患者界面部位处。套管180限定内腔，外科手术器械200的细长轴220可滑动地设置在该内腔中。如下面进一步描述的，在一些实施例中，套管180包括具有体壁牵开器构件的远端部分。器械保持器122可枢转地耦接到机器人操纵臂组件120的远端。在一些实施例中，器械保持器122和机器人操纵臂组件120的远端之间的可枢转耦接器是可从外科医生控制台40和处理器43致动的机动关节。
器械保持器122包括器械保持器框架124、套管夹具126和器械保持器托架128。在所示实施例中，套管夹具126固定到器械保持器框架124的远端。套管夹具126可以被致动以与套管180耦接或从套管180解耦。器械保持器托架128可移动地耦接到器械保持器框架124。更具体地，器械保持器托架128可沿器械保持器框架124线性平移。在一些实施例中，器械保持器托架128沿器械保持器框架124的移动是可由处理器43致动/控制的机械化的平移移动。外科手术器械200包括传动组件210、细长轴220和末端执行器230。传动组件210可以可释放地与器械保持器托架128耦接。轴220从传动组件210向远侧延伸。末端执行器230被设置在轴220的远端处。
轴220限定纵向轴线222，该纵向轴线222与套管180的纵向轴线重合。当器械保持器托架128沿器械保持器框架124平移时，外科手术器械200的细长轴220沿纵向轴线222移动。以这种方式，末端执行器230可以插入患者体内的手术工作空间和/或从该手术工作空间缩回。
图4a和图4b是与计算机辅助远程操作外科手术系统相关联的显示器的示例配置。例如，在上面参考图2描述的立体视觉显示器45中可以看到图4a和图4b的示例中所示的配置。在一些实施方式中，显示配置400可以包括来自多个数据源的数据的视觉表示。例如，示例配置400包括内窥镜视频馈送(或图像)410、x射线图像420、超声图像430、外科手术工具(例如，真实工具或虚拟监视工具)的表示440和三维(3d)可视化450。还可以显示来自其他源的视觉表示。例如，这些源可以包括内窥镜(提供在可见光谱、近红外(nir)光谱或其他光谱部分中的图像/视频馈送)、超声成像装置(2d或3d)、计算机断层摄影(ct)成像装置、核成像装置、放射线照相成像装置和磁共振成像(mri)装置，以及x射线荧光镜装置。在一些实施方式中，该源是存储预先记录的视频或图像的存储装置。在这种情况下，还可以根据用户偏好显示与外科手术过程相关联的所存储的图像、数据或视频。例如，显示装置可以连接到膝上型计算机、智能手机、平板电脑或其他计算装置，以显示术前或术中扫描、测试结果、笔记或其他基于图像或文本的信息。在一些实施方式中，该源可以包括生成图形用户界面(gui)的处理装置，该gui包括一个或多个控件，例如，用于调整或配置显示装置。
可以以各种方式配置来自多个源的图像或视频馈送。在一些实施方式中，来自多个源的视觉表示可以根据相应的用户偏好在基本上不重叠的部分处布置在显示装置的可用实体空间(real-estate)内。图4a中示出了这种配置的示例。在一些实施方式中，对应于一个或多个源的视觉表示可以从显示装置的可见区域移除(或最小化)和/或添加到显示装置的可见区域。在一些实施方式中，一个或多个视觉表示可以被显示为另一图像上的覆盖图。这在图4b的配置460中作为示例示出，其中内窥镜图像410被显示为主图像，并且x射线图像420和3d可视化450被显示为内窥镜图像410上的覆盖图。另一示例在图4c中示出，其中包括基于文本和图像的信息的视觉表示480被显示为内窥镜图像410上的覆盖图。
在一些实施方式中，在图像被显示为另一图像上的覆盖图的情况下，两个图像可以相对于彼此进行配准(registered)。例如，如果正在显示的图像用位置信息(例如，相对于已知坐标系的原点的定位和取向)进行地理标记(geo-tag)，则它们可以基于与个体图像相关联的位置信息相对于彼此对准。例如，可以经由图像配准过程来计算对准，该图像配准过程包括基于与图像对应的位置信息将与获取的图像对应的数据集变换为一个坐标系。这也可以称为翘曲(warping)，并且可以包括各种刚性或非刚性变换，诸如平移、旋转、剪切等。
来自多个源的视觉表示的配置可以以各种方式完成。可以如何配置与计算机辅助远程操作外科手术系统相关联的显示器的示例在图5a和图5b中示出。在一些实施方式中，并且如图5a所示，可以使用基于触摸的界面来完成配置。在这种情况下，可以向用户提供触摸屏装置520(例如，平板计算机)以执行视觉表示的基于触摸的调整。该调整可以被配置为反映在第二显示装置510上，诸如与上面参考图1描述的外科医生控制台40相关联的显示装置45。例如，在触摸屏装置530上的内窥镜图像540上方移动超声图像530可导致对应的超声图像535在第二显示装置510上的对应的内窥镜图像545上方移动。有可能使用基于触摸的用户界面的配置操作的示例包括将视觉表示移动到屏幕的不同部分、控制所显示的对象的3d姿势、旋转渲染的体积图像，以及执行用于配准两个图像的调整。
在一些实施方式中，用户界面可以是非接触式的。图5b中示出了这种界面的示例。在这种情况下，可以例如使用手势但不触摸显示装置来配置视觉表示。在图5b所示的示例中，检测用户的食指和拇指并将其分别作为点550和点560显示在显示装置上。移动食指和拇指使得点550和点560在显示装置上移动，从而允许调整下置的视觉表示，例如好像用户正在点550和点560处触摸显示装置那样。
也可以使用其他形式的用户界面。在一些实施方式中，可以使用其他非接触式技术(诸如凝视跟踪)来配置显示装置上的视觉表示。在一些实施方式中，用于外科手术系统的物理操作的输入装置(诸如在da
图6是用于显示来自多个源的图像的系统600的示例框图。在一些实施方式中，系统600可以帮助将显示延迟(latency)维持在与计算机辅助远程操作外科手术系统相关联的阈值水平以下。例如，某些操作指南可能指定远程操作系统的最大可容忍感知延迟小于100毫秒。例如，在da
在一些实施方式中，连接到cpu620的一个或多个视频源可以各自使用唯一标识符和/或一组参数(例如，图像尺寸、颜色或灰度、单声道或立体声、帧速率等)来识别。所述源可以是视频流或偶尔更新的图像。所述源也可以例如基于用户偏好或用户输入被链接到显示装置上的特定定位。在一些实施方式中，在其上可以定位来自特定源的视觉表示的显示区域大于显示装置的物理可见区域。在这种情况下，可以基于用户输入将显示区域的一部分移入或移出物理显示区域。在一些实施方式中，其中来自特定源的图像相对于另一图像被配准，则该特定源可以例如与关于公共坐标系或关于另一图像的变换的变换矩阵链接。与每个源相关联的参数和标识符可以被存储为模块，并且可以在运行时添加、移除或修改模块以配置来自相应源的视觉表示。可以在运行时(例如在实时或接近实时的基础上)修改对应于源的模块。例如，非图像信息(例如，文本、图表等)可以被添加到与非图像信息的源相关联的模块，以与相应源的视觉表示一起被显示。在一些情况下，通过使与特定源(例如，内窥镜图像)相关联的延迟独立于其他图像源，参考图8描述的系统800可以提供用于实施计算机辅助远程操作外科手术系统的可重新配置的显示系统的灵活框架。
可以以各种方式配置来自多个源的信号的视觉表示。在一些实施方式中，外科医生可以配置显示装置上的视觉表示(使用上述用户界面和/或输入装置)并将偏好存储在用户简档内。然后，可以将用户简档保存在存储位置(例如，远程服务器或本地存储装置)处并由其他人根据需要下载。例如，高级外科医生可以将他/她的偏好保存在这样的用户简档中，以供初级/实习外科医生使用或回顾。在一些实施方式中，存储在用户简档内的偏好可以反映机构(例如，医院)的偏好或监管主体发布的规则。
在一些实施方式中，该配置可以专用于手术的各个阶段。例如，在外科手术的初始阶段期间(例如，当外科医生进行切开时)，外科医生可能更喜欢使整个显示区域被内窥镜图像占据。然而，在稍后的阶段(例如，当动脉被夹紧时)，外科医生可能更喜欢看到显示脉管系统的相应的ct图像，其或者作为独立图像，或者在内窥镜图像上被配准。与阶段相关的配置可以被存储在存储装置上，并且在确定外科手术过程的特定阶段后根据需要进行加载。可以以各种方式完成从一个或多个源接收的信号对应于外科手术的特定阶段的确定。在一些实施方式中，可以基于手动用户输入(例如，语音输入或通过输入装置接收的用户输入)来进行确定。例如，外科医生可以提供指示外科手术中的新阶段的用户输入，并且可以相应地加载相应的与阶段相关的显示简档。在一些实施方式中，可以例如通过处理来自源的一个或多个图像来自动进行阶段确定。例如，可以分析内窥镜图像/馈送以检测特定解剖特征或外科手术工具的存在，并且可以相应地确定外科手术的阶段。如果分析内窥镜图像以检测到夹具的存在，则可以确定外科医生打算夹住脉管系统的一部分，并因此可以显示突显该脉管系统的ct图像。这样一来，可以以各种方式分析对应于一个或多个源的视觉表示的内容以进行这样的确定。在一些实施方式中，由外科手术系统(例如，
在一些实施方式中，显示装置的可配置性可以例如基于一个或多个安全条件被界定。在这种情况下，如果外科医生试图以违反安全条件的方式配置来自源的视觉表示，则系统可以阻止这种配置和/或生成一个或多个警报以标记这种违反。例如，在某些外科手术过程中，安全条件可能要求内窥镜馈送总是显示在显示装置上。在这种情况下，如果外科医生试图从显示装置移除内窥镜馈送(或将其减小到小于可允许的阈值的尺寸)，则系统可以阻止外科医生进行这样的调整，和/或生成指示已违反安全条件的警报(例如，视觉或听觉警报)。其他安全条件可以使得一个或多个视觉表示被“锁定”在显示装置内，使得用户不能移除这样的视觉表示(或者甚至不可能调整尺寸)。在一些实施方式中，监管(supervisor)过程可以监视显示装置的配置，并且如果违反安全条件则采取一个或多个动作。例如，如果违反安全条件，则外科手术工具和/或机器人臂的控制将受到影响以向外科医生警告这种违反。例如，如果(例如，使用凝视跟踪)确定外科医生没有注视内窥镜馈送，则系统可以限制一个或多个器械的灵敏度以减少意外伤害到非预期部分的机会。在一些情况下，基于确定违反安全条件的这种控制信号的生成可以改善使用计算机辅助远程操作外科手术系统所执行的外科手术过程的安全性。
在一些实施方式中，可以处理一个或多个图像源或其他信息源以检测一个或多个事件的发生，并基于相关联的规则采取一个或多个动作。例如，如果内窥镜图像的处理显示出血的发生，并且同时用户显示配置具有覆盖大部分显示器的术前图像，则系统可以被配置为自动改变显示配置以使外科医生注意到内窥镜图像，这可能与一个或多个视觉或听觉警告相结合。可以基于预定的安全逻辑来设置这种安全措施的规则。也可以经由机器学习工具(诸如在预先收集和注释的数据集上训练的神经网络)来实现这些规则。
在一些实施方式中，可以在后台处理一个或多个图像源以检测可以触发显示模式的改变的某些事件，例如用以在需要时向外科医生呈现更多信息。荧光成像通常被用于研究组织灌注或在外科手术期间观察淋巴结。对于荧光成像，可以局部注射或通过脉管系统注射荧光化合物，并且可以以适当的模式操作内窥镜相机以捕获荧光。在一些实施方式中，用户可以继续使用正常的内窥镜图像来工作，同时背景过程分析所观察到的荧光。在一些实施方式中，显示器可被配置为在检测到荧光量超过阈值时自动切换到显示荧光图像(或组合的白光荧光内窥镜图像)。
在一些实施方式中，可以基于对外科手术阶段的检测将一个或多个过程或过滤器应用于图像源。例如，系统可以被配置为检测到器械正被用于烧灼和切割软组织，因此，除雾过程可以被自动应用于内窥镜图像的处理流水线。作为另一示例，当使用能量器械(例如，用于烧灼或切割软组织的器械)时，可以将超声图像显示自动隐藏(或至少减小尺寸)，例如用以确保用户具有内窥镜图像的足够大的视图。在一些实施方式中，如果超声图像受到来自能量器械的噪声的影响，则还可以防止显示这样的图像。
图7是图示在外科手术过程期间显示数据的视觉表示的示例过程800的流程图。在一些实施方式中，过程800的至少一部分可以在计算机辅助远程操作外科手术系统的外科医生控制台处(例如，由图2中描绘的外科医生控制台40的处理装置43)执行。过程700的操作包括操作外科手术系统以执行外科手术过程(710)。例如，这可以包括经由外科医生控制台40的输入装置在处理装置43处接收一个或多个命令，并生成用于操作患者侧推车100的控制信号。过程700的操作还包括接收来自多个数据源的数据(720)。多个数据源可以包括例如以下各项中的至少两个：内窥镜、超声成像装置、计算机断层摄影(ct)成像装置、核成像装置、放射线照相成像装置和磁共振成像(mri)装置。在一些实施方式中，多个数据源可以包括生成图像、文本、交互式图形或图形用户界面(gui)中的一个或多个的计算装置。多个数据源还可以包括提供一个或多个预先存储的图像或视频的存储装置。在一些实施方式中，来自多个数据源的一个或多个信号可以包括关于坐标系的位置信息(例如，基于来自定位传感器(诸如em、光学、rf或形状传感器)的数据、运动建模、图像识别/跟踪或任何其他形态的信息)。
过程700的操作还包括确定外科手术过程的当前阶段(730)。这可以以各种方式完成。在一些实施方式中，可以基于指示当前阶段的用户输入(例如，语音输入或通过输入装置提供的输入)确定当前阶段。在一些实施方式中，可以例如基于对来自多个源中的至少一个源的信号执行的图像分析过程来自动进行确定。
过程700的操作还包括在显示装置上显示视觉表示，所述视觉表示与来自显示装置的显示区域内的第一布置中的多个源的第一组中的数据相对应(740)。多个源的第一组和第一布置中的至少一个与外科手术过程的当前阶段相关联。在一些实施方式中，在确定外科手术过程的新阶段后，更新多个源的第一组或第一布置中的至少一个。该更新可以基于，例如基于外科手术系统的当前用户的用户偏好记录。可以将这样的用户偏好记录保持为例如用户简档(userprofile)。在一些实施方式中，该更新可以基于用于外科手术系统的预定安全性简档。
例如，可以基于用户简档来确定第一布置。在一些实施方式中，可以在外科手术过程开始之前加载用户简档。在一些实施方式中，用户简档可以识别执行外科手术过程的个体，并且包括个体的用户偏好，该用户偏好关于在外科手术过程的不同阶段期间来自多个源的信号的视觉表示的组织。在一些实施方式中，如果用户调整一个或多个视觉表示，则可以根据这样的调整来更新用户简档。在一些实施方式中，用户简档的表示可以被存储在其他用户可访问的存储位置处。
在一些实施方式中，可以经由输入装置接收指示对一个或多个视觉表示的调整的用户输入，并且可以根据该调整来更新显示装置。在一些实施方式中，来自多个数据源中的一个或多个数据源的数据可以包括相对于公共参考系(例如，公共坐标系)的定位数据。在这种情况下，显示视觉表示可以包括根据该公共参考系将第一视觉表示覆盖在第二视觉表示上。在一些实施方式中，显示装置可以包括多个屏幕或显示区域(例如，示出活动视觉表示的主显示器，以及示出最小化或未被使用的视觉显示的侧显示器)。在一些实施方式中，显示区域可以大于显示装置的可视区域的物理尺寸，并且可以根据需要将显示区域的一部分拖入和移出可视区域。在一些实施方式中，当来自两个源的两个视觉表示与公共参照系相关联时，将这些视觉表示中的一个拖到另一个上，可以对其进行“快照/捕捉(snap)”以与另一个配准，从而确保视觉表示被正确地对准。
图8是图示控制来自多个源的视觉表示的可配置性的示例过程800的流程图。在一些实施方式中，过程800的至少一部分可以在计算机辅助远程操作外科手术系统的外科医生控制台处(例如，由图2中描绘的外科医生控制台40的处理装置43)执行。过程800的操作包括接收来自多个源的信号(810)。多个源可以包括如上参考图8所描述的源。过程800的操作还包括显示视觉表示(820)，这些视觉表示与来自在针对每个视觉表示确定的位置处的多个源的至少一个子集的信号相对应。在一些实施方式中，可以基于存储在用户简档内的用户偏好来确定多个源的子集和/或相应的位置。
过程800的操作进一步包括接收指示对一个或多个视觉表示的调整的用户输入(830)。外科医生可能需要根据手边的特定外科手术重新调整视觉表示的默认定位和/或尺寸，并且可以使用上述的输入装置或用户界面进行这种调整。例如，执行肾切除术的外科医生可能更喜欢将超声图像对准或配准到内窥镜馈送，并且在一侧具有ct图像以根据需要进行回顾。因此，外科医生可以对现有的显示配置进行必要的调整，例如，使用输入装置(诸如平板电脑(例如，如图5a所示)、非接触式输入装置(例如，如图5b所示)、触觉装置或基于凝视跟踪的输入装置)进行调整。
过程800的操作进一步包括确定至少一部分的调整违反与对应的视觉表示相关联的预定安全条件(840)。例如，与内窥镜馈送相关联的安全条件可以指定馈送的视觉表示不可以减小到小于阈值的尺寸。在这种情况下，如果用户试图将内窥镜馈送的视觉表示减小到小于阈值的尺寸，则可以确定违反安全条件。在另一示例中，确定所述违反可以包括检测用户输入正在请求从显示装置移除特定视觉表示，而相应的预定安全条件指定要在整个外科手术过程中显示该特定视觉表示。在一些实施方式中，确定所述违反还可以包括(例如，经由凝视跟踪)检测用户在调整过程期间正在查看错误的视觉表示。
过程800的操作还包括响应于确定所述违反而生成控制信号，该控制信号被配置为向用户警告所述违反(850)。在一些实施方式中，控制信号可被配置为禁用在外科手术过程中使用的一个或多个器械(或降低其的灵敏度)。控制信号还可以导致生成向用户警告所述违反的视觉或听觉消息。在一些实施方式中，控制信号可以使违反的调整被撤消或反转，并警告用户已经做出了这种重新调整。预定安全条件可以专用于各种视觉表示，和/或专用于外科手术过程的特定阶段。
本文描述的功能或其部分及其各种修改(下文中称为“功能”)可以至少部分通过计算机程序产品来实现，该计算机程序产品例如为有形地体现在信息载体(诸如一个或者多个非暂时性机器可读介质或存储装置)中的计算机程序，用于由一个或多个数据处理设备(例如，可编程处理器、dsp、微控制器、计算机、多个计算机和/或可编程逻辑部件)执行或控制其操作。
计算机程序可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、部件、子程序或在计算环境中适合使用的其他单元。可以部署计算机程序以在一个站点处执行一个或多个处理装置，或者分布在多个站点处并通过网络互连。
与实现全部或部分功能相关联的动作可以由执行一个或多个计算机程序的一个或多个可编程处理器或处理装置执行，以执行本文描述的过程的功能。全部或部分功能可以实现为专用逻辑电路，例如fpga和/或asic(专用集成电路)。
作为示例，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的部件包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器装置。
虽然本说明书包含许多具体的实现细节，但这些不应被解释为对任何发明或要求保护的范围的限制，而是作为专用于特定发明的特定实施例的特征的描述。在单独实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的形式在多个实施例中实现。此外，虽然本文可以将特征描述为以某些组合起作用并且甚至最初如此声明，但是在某些情况下可以从组合中去除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作，以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，在此描述的实施例中的各种系统模块和部件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序部件和系统通常可以集成在单个产品中或者被包装分成多个产品。
参考一个实施例、实施方式、应用详细描述的元件在可行的情况下可选地包括在没有具体示出或描述它们的其他实施例、实施方式或应用中。例如，如果参考一个实施例详细描述了一个元件，并且没有参考第二实施例描述该元件，则该元件可以被要求保护为包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，除非另有特别说明、除非一个或多个元件使得实施例或实施方式失去功能，或者除非两个或多个元件提供冲突功能，否则结合一个实施例、实施方式或应用所示出或描述的一个或多个元件可并入其他实施例、实施方式或方面中。
已经描述了主题的特定实施例。其他实施例在随附权利要求的范围内。例如，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或连续顺序来实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。
- 还没有人留言评论。精彩留言会获得点赞！