使用眼球凝视跟踪的医疗装置、系统和方法与流程

本申请是申请日为2015年3月18日、发明名称为“使用眼球凝视跟踪的医疗装置、系统和方法”的中国专利申请no.201580025494.1(pct/us2015/021309)的分案申请。

相关申请

本申请要求2014年3月19日提交的题为“使用眼球凝视跟踪的医疗装置、系统和方法(medicaldevices,systems,andmethodsusingeyegazetracking)”的美国临时专利申请61/9555,314和2014年3月19日提交的题为“用于次要成像的使用眼球凝视跟踪的医疗装置、系统和方法(medicaldevices,systems,andmethodsusingeyegazetrackingforsecondaryimaging)”的美国临时专利申请61/955,355的申请日的优先权和利益，申请通过引用全部并入本文。

背景技术：

外科手术能够以微创方式使用远程操作医疗系统执行。微创外科手术的好处是众所周知的并且当与传统的开放式切口外科手术相比时包括较少的患者创伤、较少的失血和较快的恢复时间。另外，诸如由加利福尼亚森尼韦尔的直观外科手术公司(intuitivesurgical,inc.)商业化的da手术系统的远程操作医疗系统的使用是已知的。当与手动微创手术相比时，此类远程操作医疗系统可以允许外科医生用直观控制和增加的精确性操作。

远程操作医疗系统可以包括联接到一个或更多个机器臂的一个或更多个器械。如果系统用于执行微创手术，则器械可以通过诸如小切口的患者体内的一个或更多个小开口或诸如例如口、尿道或肛门的自然腔道进入手术区域。在一些情况下，不通过(一个或更多个)开口直接插入(一个或更多个)器械，套管或其他引导元件能够插入每个开口中，并且器械可以通过套管插入以进入手术区域。诸如内窥镜的成像工具能够用于观看手术区域，并且由成像工具捕获的图像能够显示在图像显示器上，以在外科手术期间由外科医生观看。

用于提供一种能够在微创医疗程序期间针对各种应用有效地控制并监视的远程操作医疗系统是可取的。本文公开的系统和方法克服现有技术的缺点中的一个或更多个。

技术实现要素：

在一个示例性方面，本公开涉及一种包括眼球跟踪单元和控制单元的远程操作医疗系统。在一方面，眼球跟踪单元包括经配置向使用者显示术野的图像的图像显示器和经配置测量关于使用者的凝视点的数据的至少一个眼球跟踪器。在一方面，眼球跟踪单元包括处理器，其经配置处理数据，以在所显示的图像中确定使用者的凝视点指示的观看位置。在一方面，控制单元经配置基于所确定的观看位置控制远程操作医疗系统的至少一个功能。

在另一个示例性方面，本公开涉及一种用于操作远程操作医疗系统的方法。在一方面，方法包括在图像显示器上显示包括术野图像的图像。在一方面，方法包括测量在图像显示器中的使用者的凝视点。在一方面，方法包括在所显示的图像中确定使用者的凝视点指示的观看位置。在一方面，方法包括基于所确定的观看位置控制远程操作医疗系统的至少一个功能。

在另一示例性方面，本公开涉及一种包括第一眼球跟踪单元和第二眼球跟踪单元的远程操作医疗系统。在一方面，第一眼球跟踪单元包括一个或更多个第一图像显示器、一个或更多个第一眼球跟踪器和第一处理器，第一处理器联接到一个或更多个第一眼球跟踪器并经配置计算当第一使用者观看由一个或更多个第一图像显示器显示的第一图像时第一使用者的第一凝视点。在一方面，第二眼球跟踪单元包括一个或更多个第二图像显示器、一个或更多个第二眼球跟踪器和第二处理器，第二处理器联接到一个或更多个第二眼球跟踪器并经配置计算当第二使用者观看由一个或更多个第二图像显示器显示的第二图像时第二使用者的第二凝视点。在一方面，一个或更多个第一图像显示器联接到第二处理器。在一方面，一个或更多个第二图像显示器联接到第一处理器。

在另一个示例性方面，本公开涉及一种用于操作远程操作医疗系统的方法。在一方面，方法包括在手术部位的3d图像显示器中跟踪眼球凝视动态。在一方面，方法包括当使用者观看3d图像显示器时确定使用者的条件。

在另一个示例性方面，本公开涉及一种用于操作手术系统的方法。在一方面，方法包括确定3d凝视点用于第一使用者在第一显示器中观看3d图像和在第二显示器中的3d图像中显示3d凝视点。在一方面，方法包括从在第二显示器上观看第一使用者的3d凝视点的第二使用者接收指令。

在另一个示例性方面，本公开涉及一种用于操作包括器械和3d显示器的手术系统的方法。在一方面，方法包括在3d显示器上显示3d图像和确定3d凝视点的位置用于使用者观看3d图像。在一方面，方法包括比较3d图像和3d凝视点的位置。

这些及其他实施例相对于下列附图在下面进一步讨论。

附图说明

当结合附图阅读时，本公开的各方面从下列详细描述最好地理解。根据本行业中的标准惯例，强调的是各种特征未按比例绘制。事实上，为了便于讨论，各种特征的尺寸可以任意地增大或减小。另外，本公开可以在各种示例中重复参考标号和/或字母。此重复是为了简单和清楚起见，并且本身不指示所讨论的各种实施例和/或配置的关系。

图1a根据本公开的一个实施例示出示例性远程操作医疗系统。

图1b、图1c和图1d根据本公开的各种实施例示出远程操作医疗系统的示例性组件。具体地，图1b根据本公开的一个实施例示出示例性远程操作组件的正视图。图1c根据本公开的一个实施例示出示例性操作员输入系统的正视图。图1d根据本公开的一个实施例示出示例性视觉手推车(visioncart)组件的前视图。

图2a根据本公开的一个实施例示出相对于示例性图像显示器和术野的使用者的3d坐标框架的方框图。

图2b根据本公开的一个实施例示出由图1a、图1b和图1c的远程操作医疗系统使用的示例性眼球跟踪单元。

图2c是根据本公开的一个实施例示出使用眼球跟踪单元控制并影响远程操作医疗系统和/或手术器械的示例性方法的流程图。

图2d根据本公开的一个实施例示出示例性代理人的眼球跟踪单元，其联接到被训练的外科医生的示例性眼球跟踪单元。

图3a根据本公开的一个实施例示出用于使用图2b的眼球跟踪单元200确定并显示外科医生的3d凝视点的示例性方法。

图3b根据本公开的一个实施例示出使用图2d的双眼球跟踪单元的示例性训练/代理方法。

图3c根据本公开的一个实施例示出用于确认并启用对应的控制接口以输送要在操作中使用的预定手术器械的示例性凝视点确认方法。

图4根据本公开的一个实施例示出用于使用图2b的眼球跟踪单元评价在外科手术期间外科医生的表现的示例性方法。

图5是根据本公开的一个实施例示出带有3d坐标系统的手术部位的3d图像的外科医生的控制台的3d图像显示器的一个示例。

图6a-6b根据本公开示出能够在图1a-图1c的远程操作医疗系统中使用的内窥镜的各种实施例。

图6c是根据本公开的一个实施例的能够用作图6a-图6b的内窥镜的成像模块的立体摄像机的示意图。

图7a根据本公开的一个实施例示出内窥镜系统的方框图。内窥镜系统包括图6a-图6b中所示的示例性内窥镜。

图7b是根据本公开的一个实施例示出用于使用远程操作医疗系统应用图像修改的方法的流程图。

图8a是根据本公开的一个实施例示出用于控制使用内窥镜系统的远程操作医疗系统的一个或更多个内窥镜以显示重叠主要图像的放大图像的方法的流程图。

图8b根据本公开的一个实施例示出在虚拟放大的区域内显示的预定眼球跟踪精确性阈值。

图8c根据本公开的一个实施例示出显示重叠主要图像的放大图像的示例。

图8d是根据本公开的一个实施例示出使用图6a的内窥镜以捕获并产生如图8c中所示的主要图像和放大图像的示意图。

图8e是根据本公开的一个实施例示出使用图6b的两个内窥镜以捕获并产生如8c中所示的主要图像和放大图像的示意图。

图9是根据本公开的一个实施例示出用于使用控制系统控制远程操作医疗系统的一个或更多个内窥镜来捕获并显示不同成像模式的方法的流程图。

图10a是根据本公开的一个实施例示出用于显示内窥镜随着外科医生的眼球凝视在显示器的主要图像上扫描时捕获的多个图像的方法的流程图。

图10b-10c根据本公开的各种实施例示出随着外科医生的眼球凝视在图像显示器的主要图像上扫描时捕获并显示的多个图像的示例。

具体实施方式

为了促进对本公开的原理的理解，现在将参考附图中所示的实施例，并且将使用具体语言来描述相同的实施例。然而，将理解的是，不意在限制本公开的范围。在下列具体实施方式中，详细阐述许多具体细节，以便提供对所公开的实施例的全面理解。然而，对本领域的技术人员将明显的是，本公开的实施例可以在无这些具体细节的情况下实践。在其他情况下，众所周知的方法、过程、组件和线路尚未详细地描述，以便不会不必要地模糊本公开的实施例的各方面。

对所描述的装置、器械、方法和本公开的原理的任何进一步应用的任何替代和进一步修改充分地设想为将通常被本公开涉及的本领域的技术人员容易想到的。特别地，充分地设想到，相对于一个实施例描述的特征、组件和/或步骤可以与相对于本公开的其他实施例描述的特征、组件和/或步骤组合。这些组合的许多重复不会单独地描述。另外，本文提供的尺寸是用于具体示例，并且设想到可以使用不同的大小、尺寸和/或比例来实施本公开的各概念。为了避免不需要的描述性重复，根据一个说明性实施例描述的一个或更多个组件或动作在适用时能够根据其他说明性实施例使用或省略。为了简便，在一些情况下，在附图中使用相同参考标号，以指代相同的或类似的部件。

以下实施例将就其在三维空间中的状态而言，描述各种器械和各器械的各部分。如本文所用，术语“位置”是指物体或物体的一部分在三维空间(例如，沿笛卡尔x、y、z坐标的三个平移自由度)中的位置。如本文所用，术语“取向”是指物体或物体的一部分的旋转放置(三个旋转自由度——例如，滚动(roll)、俯仰(pitch)和摇动(yaw))。如本文所用，术语“姿势”是指物体或物体的一部分在至少一个平移自由度中的位置，并指物体或物体的一部分在至少一个旋转自由度(高达六自由度)中的取向。如本文所用，术语“形状”是指沿伸长物体测量的一组姿势、位置或取向。

将理解的是，术语“近端”和“远端”通过参照临床医生操纵从临床医生延伸到手术部位的器械端部在本文使用。术语“近端”是指更接近临床医生的器械的部分，而术语“远端”是指远离临床医生并更接近手术部位的器械的部分。为了精确和简便起见，诸如“水平”、“垂直”、“在上面”和“在下面”等空间术语可以相对于附图在本文使用。然而，手术器械在许多取向和位置中使用，并且术语不意在是限制性的和绝对的。

本公开通常涉及使用眼球跟踪系统在包括但不限于诊断、手术和/或治疗手术的各种医疗程序中使用的远程操作医疗系统和/或器械的使用期间观察并测量使用者的眼球的特征(例如，眼球凝视跟踪)。特别地，在一些实施例中，本文公开的眼球跟踪系统依赖于在手术控制台、显示系统或其他医疗或手术系统组件上跟踪使用者的眼球凝视的精确位置(例如，2d或3d位置)的能力。在一些实施例中，眼球跟踪系统可以用于通过直接地操作系统器械和/或通过影响系统特征来控制远程操作系统来实现全系统变化。特别地，本公开的一些实施例涉及系统和器械控制，并且具体地涉及通过在操作员在微创手术期间使用远程操作医疗系统的同时跟踪操作员的眼球凝视进行的系统和器械控制。在一些实施例中，多个眼球跟踪系统(例如，用于培训师/代理人以及学生)可以一起使用来允许通过给定程序代理和训练。在一些实施例中，眼球跟踪系统可以用于在给定程序期间在操作远程操作系统中获得性能度量或评估使用者技能。特别地，在一些实施例中，并入远程操作医疗系统中的眼球跟踪系统可以跟踪外科医生的眼球凝视，以评价在外科手术期间外科医生的技能水平、一致性、物理状态和/或任何其他性能测量。本领域的技术人员将认识到本文公开的眼球跟踪系统可以在从系统/器械控制、训练/代理和/或性能评价获益的类似的(例如，非远程操作)实施方式中使用。通过使用本文公开的眼球跟踪系统和方法，使用者可以经历与远程操作医疗系统的更直观和更有效交互。

根据各种实施例，微创医疗程序可以使用远程操作系统以引导器械输送和操作而执行。参照附图的图1a，用于在例如包括诊断、治疗或外科手术的医疗程序中的远程操作医疗系统通常用参考标号10表示。如将描述，本公开的远程操作医疗系统是在外科医生的远程操作控制下。在替代性的实施例中，远程操作医疗系统可以在经编程执行程序或子程序的计算机的部分控制下。在其他替代性的实施例中，在经编程执行程序或子程序的计算机的完全控制下的全自动化医疗系统可以用于执行程序或子程序。如图1中所示，远程操作医疗系统10通常包括靠近或安装到其上定位患者p的手术台o的远程操作组件12。远程操作组件12可以指患者侧操纵器(psm)。医疗器械系统14可操作地联接到远程操作组件12。操作员输入系统16允许外科医生或其他类型的临床医生s观看手术部位的图像或表示手术部位的图像并控制医疗器械系统14的操作。操作员输入系统16可以被称为主控制台或外科医生的控制台。能够用于实施本公开中描述的系统和技术的远程操作医疗系统的一个示例是由加利福尼亚森尼韦尔的直观外科手术公司制造的da外科手术系统。

远程操作组件12支持医疗器械系统14并且可以包括一个或更多个非伺服控制的连杆的运动结构(例如，可以手动地定位并锁定在适当位置中的一个或更多个连杆，通常称为装配结构)和远程操作操纵器。(参见例如图2)远程操作组件12包括驱动医疗器械系统14上的输入的多个电动机。这些电动机响应于来自控制系统22的命令移动。电动机包括驱动系统，驱动系统在联接到医疗器械系统14时可以推进医疗器械到自然或手术上产生的解剖孔中。其他机动化的驱动系统可以在多个自由度中移动医疗器械的远端，多个自由度可以包括三个线性运动度(例如，沿x、y、z笛卡尔轴线的线性运动)和三个旋转运动度(例如，围绕x、y、z笛卡尔轴线的旋转)。此外，电动机可以用于致动器械的可铰接末端执行器。

远程操作医疗系统10也包括图像捕获系统18，图像捕获系统18包括诸如内窥镜等图像捕获装置和相关的图像处理硬件和软件。远程操作医疗系统10也包括控制系统22，控制系统22操作地联接到远程操作组件12的传感器、电动机、致动器和其他组件、操作员输入系统和图像捕获系统18。

操作员输入系统16可以位于外科医生的控制台处，外科医生的控制台通常位于与手术台o相同的房间中。然而，应该理解的是，外科医生s能够位于与患者p不同的房间或完全不同的建筑物中。操作员输入系统16通常包括用于控制医疗器械系统14的一个或更多个控制装置。更具体地，响应于外科医生的输入命令，控制系统22影响伺服机械运动医疗器械系统14。(一个或更多个)控制装置可以包括任何数量的诸如手柄、操纵杆、跟踪球、数据手套、触发枪、手操作控制器、足操作控制器、声音识别装置、触摸屏、身体运动或存在传感器等各种输入装置中的一个或更多个。在一些实施例中，(一个或更多个)控制装置将提供有与远程操作组件的医疗器械相同的自由度，以提供外科医生远程呈现的感知，其中，(一个或更多个)控制装置与器械成一整体，使得外科医生具有直接控制器械就好像存在于手术部位处的强感知。在其他实施例中，(一个或更多个)控制装置可以具有比相关联的医疗器械更多或更少的自由度，并且仍然提供外科医生远程呈现。在一些实施例中，(一个或更多个)控制装置是手动输入装置，手动输入装置以六个自由度移动并且也可以包括用于致动器械(例如，用于关闭抓爪，施加电势至电极，输送医学治疗等)的可致动手柄。

系统操作员看见由图像捕获系统18捕获的图像，图像经呈现用于在操作地联接到或并入操作员输入系统16的显示系统20上观看。显示系统20显示如由图像捕获系统18的子系统产生的手术部位和(一个或更多个)医疗器械系统14的图像或表示。显示系统20和操作员输入系统16可以经取向，使得操作员能够在远程呈现的感知下控制医疗器械系统14和操作员输入系统16。显示系统20可以包括多个显示器，如用于向操作员的每个眼呈现单独图像的单独右显示器和左显示器，从而允许操作员观看立体图像。

替代性地或另外地，显示系统20可以呈现使用诸如计算机层析术(ct)、磁共振成像(mri)、荧光检查、温度记录、超声波、光学相干断层成像(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像等成像技术在手术前或在手术中记录和/或成像的手术部位的图像。所呈现的手术前或手术中图像可以包括二维、三维或四维(包括例如基于时间或基于速度的信息)图像和用于再现图像的相关联图像数据组。

控制系统22包括至少一个存储器和至少一个处理器(未示出)，和典型地多个处理器，用于实现在远程操作系统12、医疗器械系统14、操作员输入系统16、图像捕获系统18和显示系统20之间的控制。控制系统22也包括编程指令(例如，存储指令的计算机可读介质)，以实施根据本文公开的各方面描述的部分或全部方法。虽然控制系统22被示出作为图1的简化示意图中的单个方框，但是系统可以包括两个或更多个数据处理线路，其中处理的一部分可选地在远程操作组件12上或邻近远程操作组件12执行，处理的另一部分在操作员输入系统16处执行等。可以采用广泛的各种集中或分布式数据处理构造中的任何一个。类似地，所编程的指令可以实施作为若干单独程序或子例程，或者它们可以集成到本文描述的远程操作系统的若干其他方面中。在一个实施例中，控制系统22支持诸如蓝牙、irda、homerf、ieee802.11、dect和无线遥测等无线通信协议。

在一些实施例中，控制系统22可以包括从医疗器械系统104接收力和/或转矩反馈的一个或更多个伺服控制器。响应于反馈，伺服控制器传送信号至操作员输入系统16。(一个或更多个)伺服控制器也可以传送指示远程操作组件12移动(一个或更多个)医疗器械系统14的信号，(一个或更多个)医疗器械系统14经由身体中的开口延伸到患者身体内的内部手术部位中。可以使用任何合适的常规或专门的伺服控制器。伺服控制器可以与远程操作组件12分离，或者与远程操作组件12集成。在一些实施例中，伺服控制器和远程操作组件设置作为与患者的身体邻近定位的远程操作臂手推车的一部分。

在此实施例中，远程操作医疗系统10也包括可以操作地联接到或并入操作员输入系统16的眼球跟踪单元24。眼球跟踪单元24操作地联接到控制系统22用于操作员正在观看显示器20和/或在操作员输入系统16处操作操作员控制时感测、测量、记录和传送与操作者的眼部相关的信息。

远程操作医疗系统10还可以包括诸如照明系统等可选操作和支持系统(未示出)、转向控制系统、诸如灌注系统和/或抽吸系统等流体管理系统。在替代性的实施例中，远程操作系统可以包括一个以上的远程操作组件和/或一个以上的操作员输入系统。准确数量的操纵器组件将取决于手术过程和手术室内的空间限制等其他因素。操作员输入系统可以并置，或者它们可以定位在单独的位置中。多个操作员输入系统允许一个以上的操作员以各种组合控制一个或更多个操纵器组件。

图1b是根据一个实施例的远程操作组件100(例如，图1a中所示的远程操作组件12)的正视图。组件100包括依靠在地板上的底座102、安装在底座102上的支撑塔104和支撑手术工具(包括图像捕获系统18的各部分)的若干臂。如图1b中所示，臂106a、106b、106c是支撑并移动用于操纵组织的手术器械的器械臂，并且臂108是支撑并移动内窥镜的摄像机臂。图1b还示出分别安装在器械臂106a、106b、106c上的可交换手术器械110a、110b、110c，并且示出安装在摄像机臂108上的内窥镜112。内窥镜112可以是立体内窥镜，用于捕获手术部位的立体图像并提供单独的立体图像至显示系统20。在行的人将理解到，支撑器械和摄像机的臂也可以由安装到天花板或墙壁，或者在一些情况下安装到手术室中的另一件设备(例如，手术台)的(固定的或可移动的)底座平台支撑。同样地，将理解到可以使用两个或更多个单独底座(例如，一个底座支撑每个臂)。

如图1b中进一步所示，器械110a、110b、110c和内窥镜112分别包括器械接口150a、150b、150c和150d，并分别包括器械轴152a、152b、152c和152d。在一些实施例中，远程操作组件100可以包括用于相对于套管固定器械110a、110b、110c和内窥镜112的套管的支撑件。在一些实施例中，每个器械臂106a、106b、106c和108的各部分可以由手术室中的工作人员调节，以便相对于患者定位器械110a、110b、110c和内窥镜112。臂106a、106b、106c和108的其他部分可以由操作员在操作员输入系统120处致动和控制(如图1c中所示)。手术器械110a、110b、110c和内窥镜112也可以由操作员在操作员输入系统120处控制。

图1c是操作员输入系统120(例如，图1a中所示的操作员输入系统16)的正视图。操作员输入系统120包括配备有左右多自由度(dof)控制接口122a和122b的控制台121，左右多自由度控制接口122a和122b是用于控制手术器械110a、110b、110c和内窥镜112的运动链。外科医生典型地用大拇指和食指抓持在每个控制接口122上的夹锭钳(pincher)组件124a、124b，并且能够移动夹锭钳组件至各种位置和取向。当选择工具控制模式时，每个控制接口122经配置控制对应手术器械和器械臂106。例如，左控制接口122a可以经联接控制器械臂106a和手术器械110a，并且右控制接口122b可以经联接控制器械臂106b和手术器械110b。如果第三器械臂106c在手术过程期间使用并定位在左侧上，则左控制接口122a能够从控制臂106a和手术器械110a切换到控制臂106c和手术器械110c。同样地，如果第三器械臂106c在手术过程期间使用并定位在右侧上，则右控制接口122a能够从控制臂106b和手术器械110b切换到控制臂106c和手术器械110c。在一些情况下，控制接口122a、122b和臂106a/手术器械110a的组合和臂106b/手术器械110b的组合之间的控制分配也可以交换。例如如果内窥镜滚动180度使得在内窥镜的视场中移动的器械看上去在与外科医生正在移动的控制接口相同的一侧上，这可以完成。夹锭钳组件典型地用于在手术器械110的远端处操作带卡爪的手术末端执行器(例如，剪刀、抓持牵开器等)。

附加的控件提供有足踏板128。每个足踏板128能够启用在所选择的器械110之一上的某些功能。例如，足踏板128可以启用钻头或烧灼工具，或者可以操作灌注、抽吸或其他功能。多个器械可以通过压下多个踏板128启用。器械110的某个功能可以由其他控件启用。

外科医生的控制台120也包括立体图像观看器系统126(例如，图1a中所示的显示系统20)。立体图像观看器系统126包括左目镜125a和右目镜125b，使得外科医生可以在立体图像观看器系统126内分别使用外科医生的左右眼观看左右立体图像。由内窥镜112捕获的左侧图像和右侧图像在对应的左图像显示器和右图像显示器上输出，外科医生感知作为显示系统(例如，图1a中所示的显示系统20)上的三维图像。在一个有利的配置中，控制接口122定位在立体图像观看器系统126下面，使得显示器中所示的手术工具的图像看上去在显示器下面的外科医生的手附近。这个特征允许外科医生在三维显示器中直观地控制各种手术器械，就好像直接观看手部。因此，相关联的器械臂和器械的伺服控制是基于内窥镜图像参考框架。

如果控制接口122切换到摄像机控制模式，则也使用内窥镜图像参考框架。在一些情况下，如果选择了摄像机控制模式，则外科医生可以通过一起移动控制接口122中的一个或两者来移动内窥镜112的远端。外科医生然后可以通过移动控制接口122就好像保持图像在他的或她的手部中而直观地移动(例如，平移、倾斜、缩放)所显示的立体图像。

如在图1c中进一步所示，头靠件130定位在立体图像观看器系统126上面。随着外科医生正在通过立体图像观看器系统126看，外科医生的前额头紧贴头靠件130定位。在本公开的一些实施例中，内窥镜112或其他手术器械的操纵能够通过头靠件130的操纵，而不是通过控制接口122的利用实现。在一些实施例中，头靠件130可以例如包括压力传感器、摇板、光学监测的滑动板或能够检测外科医生的头部的运动的其他传感器。关于使用感测方法操纵头靠件以便控制内窥镜摄像机的附加细节可以例如在题为“内窥镜控制系统(endoscopecontrolsystem)”的美国申请no.61/865,996中发现，该申请通过引用并入本文。

图1d是手术系统的视觉手推车组件140的前视图。例如，在一个实施例中，视觉手推车组件140是图1a中所示的医疗系统10的一部分。视觉手推车140能够封装医疗系统的中央电子数据处理单元142(例如，图1a中所示的所有控制系统22或部分控制系统22)和视觉设备144(例如，图1a中所示的图像捕获系统18的各部分)。中央电子数据处理单元142包括用于操作手术系统的很多数据处理。然而，在各种实施方式中，电子数据处理可以分布在外科医生控制台120和远程操作组件100中。视觉设备144可以包括用于内窥镜112的左右图像捕获功能的摄像机控制单元。视觉设备144也可以包括提供照明用于使手术部位成像的照明设备(例如，氙气灯)。如图1d中所示，视觉手推车140包括可选的触摸屏监视器146(例如，24寸监视器)，其可以安装在例如组件100上或者安装在患者侧手推车上的其他位置。视觉手推车140还包括用于诸如电外科手术单元、吹药器、抽吸灌注器械或第三方烧灼设备等可选的辅助手术设备的空间148。远程操作组件100和外科医生的控制台120例如经由光纤通信链路联接到视觉手推车140，使得三个组件一起用作为外科医生提供直观远程监控的单个远程操作的微创手术系统。

注意在一些实施例中，远程操作手术系统的一些或全部组件100可以在虚拟的(模拟的)环境中实施，其中由外科医生在外科医生的控制台120处看到的一些或全部图像能够是器械和/或解剖结构的同步图像。在一些实施例中，此类同步图像能够由视觉手推车组件140提供和/或直接地在外科医生的控制台120处(例如，经由模拟模块)产生。

在用参照图1a-1d描述的远程操作手术系统的典型微创手术过程期间，向患者身体中做出至少两个切口(通常使用套管针以放置相关联的套管)。一个切口是用于内窥镜摄像机器械，并且其他切口是用于手术器械。在一些手术过程中，若干器械和/或摄像机端口用于提供手术部位进入和成像。虽然切口与用于传统开放式外科手术的较大切口相比是相对小的，但是需要最小数量的切口，以进一步减少患者创伤和用于改进的美容术。在其他实施例中，远程操作医疗系统10可以通过对患者解剖结构的单个切口的进入或通过穿过诸如鼻、口、肛门、阴道等自然孔口的进入而使用。

在典型的远程操作外科手术期间，对于外科医生实际地操纵各种控件以控制手术系统、成像装置和/或与系统相关联的其他手术器械，通常是必要的。例如，外科医生可能需要通过实际地操纵控件来引导并影响装置而调节成像装置的视场。外科医生可以使用他的或她的手部，以手动地控制操纵杆或鼠标，或者使用他的或她的脚部，以在外科医生的控制台处轻踏足踏板，以登录至手术系统，以搜索在内窥镜的视图内的目标手术部位，以操作诸如夹钳等手术器械的运动和/或以调节系统设置或显示设置。常规方法要求外科医生将一只手从手术操作释放，或者以使用一只脚轻踏足踏板，其均可以不必要地延迟或打扰手术操作。例如，手部或脚部动作可以从目标手术部位重新引导外科医生的凝视和注意至外科医生的控制台，这可以延迟或打扰操作。在执行所需要的手动调节之后，外科医生可能需要花费附加时间将他的或她的注意和凝视点重新聚焦在目标手术部位上。

本文公开的实施例利用凝视检测，以增强一个或更多个使用者(例如，外科医生和/或培训师)与手术系统交互的方式。通过将使用者的眼球凝视(例如，相对于手术控制台、显示系统或其他医疗或手术系统组件的使用者的眼球凝视的3d位置)转换为指引至手术系统的命令中，本文公开的实施例可以允许比由常规的控制方法提供的更快和更有效的对远程操作医疗系统10的控制。眼球跟踪或眼球凝视跟踪是测量凝视点(pog)(即，使用者正通常在3d空间中看的地方)或相对于头部的眼球的运动的过程。换句话说，pog是在其中一个人的凝视指示的空间中的点，并且也已经定义为在每个眼的视网膜(即小凹)的最高敏锐区域的中心上成像的空间中的点。

图2a示意性地示出相对于图像显示器151(例如，图1a中所示的图像显示系统20)和术野155(例如，患者p的内部解剖结构的区域)的使用者u(例如，外科医生s或代理人)。使用者(和他的或她的眼)存在于使用者3d笛卡尔坐标参考系统160(即，使用者框架)。为了便于理解和词语的经济性，术语“笛卡尔坐标参考系统”将简单地在本说明书的剩余部分中称为“框架”。图像显示器151存在于二维或三维图像框架165中，并且术野存在于手术框架170中。每个框架160、165、170包括与其他不同的尺寸和属性。随着使用者相对于第二框架165中的图像显示器165转移在第一框架160中的他的或她的凝视，本文公开的实施例能够将该眼球运动转换为控制信号，以对应地影响远程操作医疗系统10，远程操作医疗系统10包括在显示器的框架165中可见的手术器械和存在于术野的框架170中。

在一方面，其他眼球特征的眼球凝视跟踪和观察能够用于整体地与远程操作医疗系统10连通和/或影响远程操作医疗系统10的行为。例如，由图1a中所示的眼球跟踪单元24观察的眼球特征和动态可以用于外科医生识别和登录(例如，以与视网膜扫描类似的方式)。此特征相对于图4在下面进一步详细地描述。在一些情况下，使用者的眼球凝视能够用于校准在术野框架170中的手术器械的3d位置并考虑远程机器人臂运动链的可能不精确性。在一些情况下，如果使用者的凝视未朝向图像显示器框架165指示或者未指示到框架165内的具体观看位置，则远程操作医疗系统10能够经配置阻止手术器械在手术框架170中的运动(即，锁定使用者)。在一些情况下，如果使用者的眼球未由眼球跟踪器检测到，则远程操作医疗系统10能够经配置阻止手术器械在手术框架170中的运动(即，锁定使用者)。在一些实施例中，使用者接口(例如，菜单)可以重叠在图像显示器上所示的术野的图像上。使用者在使用者框架160中的眼球凝视可以用于确定在图像框架165中的图像显示器151上显示的图像中的观看位置，并且能够识别与所确定的观看位置对应的使用者接口的使用者可选择选项之中的使用者的选择。在一些情况下，相对于图像显示器的图像框架165的使用者的凝视的3d位置可以确定在图像显示器151上显示的使用者接口的深度、位置和尺寸。例如，使用者接口可以在与使用者的凝视的当前3d位置最佳对应的深度、位置和尺寸处自动地显示，从而最小化使用者重新聚焦他的或她的眼球来与使用者接口交互的需要。在一些情况下，如果使用者正在立体观看或者不基于两只眼球之间观察的动态，则使用者的凝视的3d位置可以用于量化。在一些情况下，使用者的凝视的3d位置可以用于调节立体观察器的人体工程设置(例如，高度、取向等)，使得使用者能够看到整个显示器(且反之使用者的凝视能够穿过整个屏幕确定)或者以将使用者的凝视集中在屏幕的中间。

在另一方面，实时眼球凝视跟踪能够用于启用、停用和以其他方式控制在手术框架170中的区别的手术器械，区别的手术器械联接到如通过非限制性示例，成像装置和/或能量输送装置的远程操作医疗系统10。例如，如果处理器确定相对于图像显示器上的图像的观看位置在预定的时间长度内匹配手术器械的位置，则系统10可以经配置启用该手术器械。在一个实施例中，凝视检测能够用于定义使用者想要引导成像装置到的地方以定义视场。本文公开的实施例可以经配置在使用者的眼球凝视的方向上自动地移动成像装置，以连续地保持使用者的期望的视场(例如，目标手术部位)在显示器上，而使用者不必手动地改变成像装置的位置或观看角度。例如，在一些实施例中，使用者的眼球凝视能够用于自动地集中成像装置的观看，以对应于使用者的眼球凝视的方向。在一些实施例中，使用者的眼球凝视可以用于将器械从一个模式切换为另一个模式。例如，在一种情况下，使用者的眼球凝视可以解释为改变成像装置的操作模式(例如，在诸如颜色成像、黑白成像、荧光成像、超声成像和/或任何其他成像模式的成像模式之间的切换)。类似地，在另一种情况下，使用者可以执行眨眼或其他眼球运动的特定模式，以改变成像装置的操作模式(例如，在诸如颜色成像、黑白成像、荧光成像、超声成像和/或任何其他成像模式的成像模式之间的切换)。

在另一种情况下，凝视检测可以协助使用者将标记施加到术野的实时显示图像或者以其他方式标记术野的实时显示图像。外科医生可以看在术野中的3d位置，并用次要动作确认(例如，通过非限制性示例的方式，通过按压单独按钮，维持延长的凝视或者以特定模式眨眼)，以施加虚拟标记在术野中和/或在所显示的图像150上来识别感兴趣的解剖区域。

在另一种情况下，仅当眼球跟踪单元确认外科医生的眼球凝视在预定的时间长度内聚焦在特定器械上时，可以启用该特定的手术器械。例如，远程操作医疗系统10可以经配置在允许缝合器(stapler)器械输送u形钉之前，要求外科医生的眼球凝视应该在指定的时间段内聚焦在缝合器器械上。这促进器械在外科医生的视场内的故意启用，并且可以阻止在视场之外和/或不注意的器械的不经意启用。当外科医生的眼球凝视已经在指定的时间段内指向其他位置时，可以停用手术器械。在另一实施例中，当眼球跟踪单元确认第二使用者的眼球凝视在预定的时间长度内聚焦在特定器械上或者以某一方式聚焦在特定器械上时，对该特定手术器械的控制可以从第一使用者转移至第二使用者。这些实施例中的一些实施例参照图3c在下面进一步描述。

在另一方面，实时眼球凝视跟踪能够用于促进在手术期间外科医生的训练或代理。在一种情况下，如图2d中所示，远程操作医疗系统10可以包括单独的手术控制台和单独一组眼球跟踪单元用于外科医生和代理人，其中每组眼球跟踪单元经配置识别并输送外科医生或代理人的眼球凝视运动，以影响远程操作医疗系统10和/或手术器械的操作。代理或训练的示例性方法参照图3a和图3b在下面描述。外科医生的眼球凝视的3d位置可以显示在外部3d图像显示器上用于代理人(例如，代理外科医生)来看和评价，以便实时提供反馈和引导。类似地，代理人的眼球凝视的3d位置可以显示在手术控制台上的外部3d图像显示器上用于外科医生来看并实时地引导。例如，在远程操作医疗系统10的操作期间(例如，在训练期间或在实际外科手术期间)，确保外科医生正聚焦在手术部位的正确部分上能够是可取的。通过观看在手术控制台内的图像显示器上的代理人的凝视的3d位置，外科医生可以知道在术野内看的地方(例如，通过看代理人正在术野内看的地方)。在一些情况下，代理人的眼球凝视能够从各种可能的装置(包括通过非限制性示例的方式，视觉手推车140、手术控制台120、双或共享的控制台、触摸屏显示器和/或诸如平板装置的远程装置)上的图像显示器捕获。

在一些情况下，外科医生的图像显示器可以实时改变，以反映代理人的凝视的3d位置。在一个实施例中，当系统10检测到代理人正在看与手术框架170内的特定3d位置对应的他的或她的图像显示器的特定区域时，系统10可以强调或以其他方式指示外科医生的图像显示器的对应区域(例如，与手术框架170内的相同3d位置对应的外科医生的图像显示器上的区域)。例如，外科医生的图像显示器151可以使与代理人的凝视的3d位置对应的图像显示器的区域锐化(例如，增加分辨率)或者在与代理人的凝视的3d位置对应的图像显示器的区域中变得更明亮。在另外的或替代性的实施例中，外科医生的图像显示器可以使与其中未指示代理人的凝视的3d位置对应的图像显示器的区域变暗淡或者在与其中未指示代理人的凝视的3d位置对应的图像显示器的区域中变得更模糊。

在另一方面，实时眼球凝视跟踪能够用于对外科医生在手术期间和/或在手术之后的表现进行评价和评分。本文公开的眼球凝视跟踪实施例能够用于测量并量化外科医生基于包括但不限于眼球凝视固定、扫视和/或眼球凝视占据的屏幕的哪个区域的各种眼球特征操作远程操作医疗系统10的技能水平。另外，实时跟踪外科医生的眼球凝视动态和/或瞳孔直径波动能够用于监视外科医生的条件(例如，压力水平和/或工作负荷)。在一些实施例中，如果基于所检测的变化或眼球凝视的模式确定条件的下降，则系统10能够经配置提供警告。此特征相对于图4在下面进一步详细描述。

图2b是根据本公开的一些实施例示出可以由图1a、图1b和图1c的远程操作医疗系统10使用的眼球跟踪单元200的一些示例的示意图。如上所述，眼球凝视跟踪或眼球跟踪是测量pog(例如，“使用者正在看的地方”)或眼球相对于头部的运动的过程。因此，眼球跟踪单元200包括用于测量诸如眼球位置和眼球运动的使用者的眼球特征的装置。有若干方法用于测量眼球运动和凝视方向。一些方法使用从其中提取眼球位置的视频图像，并且其他方法使用搜索线圈或者基于电动眼电波图。在另一方法中，红外光由具有红外摄像机或检测器或者与红外摄像机或检测器连通的装置发射。红外光从使用者的视网膜反射回到红外摄像机或检测器上，并且所反射的红外光的量是基于相对于发射器的一个人的凝视的方向。一旦所反射的红外光在某一时间量内达到特定阈值，就可以确定在3d空间中的使用者的凝视点。凝视的小失误能够解释为眨眼并且通常被忽视。

在所图示的实施例中，眼球跟踪单元200包括左目镜125a和右目镜125b、左图像显示器202a和右图像显示器202b、左眼球跟踪器204a和右眼球跟踪器204b和处理器206。在其他实施例中，眼球跟踪单元200可以包括单个眼球跟踪器，其经配置同时跟踪左右眼(例如，即使左右眼具有独立的图像显示器202a、202b)。在一些实施例中，眼球跟踪单元200还包括反射系统和/或光发射器，以给外科医生的眼球照明用于眼球跟踪器跟踪凝视点。在一些实施例中，反射系统可以包括多个镜，其经布置反射来自光发射器的光至外科医生的眼球中并将外科医生的眼球的凝视点反射到眼球跟踪器中。关于立体观看器126的各种实施例的附加细节可以例如在2014年3月19日提交的题为“集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法(medicaldevices,systems,andmethodsintegratingeyegazetrackingforstereoviewer)”的美国临时申请no.61/955,334中发现，该申请通过引用全部并入本文。

在一些实施例中，位于远程操作组件100处的内窥镜112能够被操纵，以在手术期间捕获术野的图像，并且这些图像在左图像显示器202a和右图像显示器202b上示出。然后由内窥镜112捕获的图像可以由处理器206处理，以产生左右立体图像。在一些实施例中，处理器206可以位于视觉手推车140处，例如作为中央电子数据处理单元142的一部分。替代性地，处理器206可以位于远程操作组件100和/或外科医生的控制台120处。在一些实施例中，眼球跟踪单元200也可以在与模拟模块，例如daskillssimulator^tm集成的外科医生的控制台中使用，其中虚拟图像能够在左图像显示器202a和右图像显示器202b上示出。

参照图2b，所产生的左右立体图像可以分别在左图像显示器202a和右图像显示器202b上示出。左目镜125a和右目镜125b包括透镜，并且外科医生可以分别用外科医生的左右眼通过左目镜125a和右目镜125b观看左图像显示器202a和右图像显示器202b。术野的3d立体图像可以由外科医生经由眼球跟踪单元200感知。在一些实施例中，左目镜125a和右目镜125b之间的距离可调节，以适应不同使用者的不同瞳孔间的距离。在一些实施例中，左目镜125a和右目镜125b可以分别基于外科医生的左右视觉的需要独立地调节。左眼和右眼图像显示器可以是2d或3d显示屏幕。在一些实施例中，左眼和右眼图像显示器是液晶显示器(lcd)屏幕。

仍然参照图2b，左眼球跟踪器204a可以用于跟踪外科医生的左眼的凝视点，并且右眼球跟踪器204b可以用于跟踪外科医生的右眼的凝视点。在一些实施例中，眼球跟踪单元200也可以包括光发射器，光发射器能够发射光以照明外科医生的眼球，使得外科医生的左右眼的凝视点可以分别由左眼球跟踪器204a和右眼球跟踪器204b捕获。光发射器可以与或可以不与左眼球跟踪器204a和/或右眼球跟踪器204b集成在一起。在一些实施例中，光发射器可以是红外(ir)光发射器，如红外光发射二极管(irled)。在一些实施例中，左目镜125a和右目镜125b可以包括合适的光学覆层，合适的光学覆层经配置最小化来自光发射器和/或左眼图像显示器202a和右眼图像显示器202b的光的反射并最大化来自光发射器和/或左眼图像显示器202a和右眼图像显示器202b的光的传送。在一些实施例中，左眼球跟踪器204a和右眼球跟踪器204b包括立体摄像机。在一些实施例中，左眼球跟踪器204a和右眼球跟踪器204b是带电联接装置(ccd)摄像机。在一些实施例中，左眼球跟踪器204a和右眼球跟踪器204b是对ir光敏感且能够捕获从ir光发射器发射的ir光的红外(ir)摄像机。左眼球跟踪器204a和右眼球跟踪器204b可以位于立体图像观看器系统126中，并且可以安装在左图像显示器202a和右图像显示器202b的底座处。左眼球跟踪器204a和右眼球跟踪器204b以及左图像显示器202a和右图像显示器202b可以布置在任何合适的布置中，如在美国临时申请no.61/955,334中所讨论。

在一些实施例中，处理器206联接到左眼球跟踪器204a和右眼球跟踪器204b，并且经配置计算外科医生的凝视点相对于图像显示器151的图像框架165的3d位置并将该3d位置转换为(图2a中所示的)术野155的手术框架170中的对应3d位置。例如，由左眼球跟踪器204a和右眼球跟踪器204b捕获的凝视点能够被调整，并且能够确定外科医生的左右眼的凝视点之间的不一致。然后，外科医生的凝视点的3d位置能够使用左眼球跟踪器204a和右眼球跟踪器204b之间的距离、与左眼球跟踪器204a和右眼球跟踪器204b中的每个的焦距相关的参数和所确定的不一致计算。在一些实施例中，处理器206包括在外科医生的控制台120中的眼球跟踪成像系统200中。在一些实施例中，处理器206包括在图1d中所示的视觉手推车140中，例如作为中央电子数据处理单元142的一部分。在一些实施例中，处理器是控制系统22的一部分。在一些实施例中，处理器206也能够联接到存储器，以存储3d凝视点测量、登记和校准数据。在一些实施例中，处理器206可以用于计算外科医生的凝视点的2d位置。在一些实施例中，所计算的外科医生的凝视点的2d或3d位置能够在诸如示出外科医生的凝视点的变化的点、标示或矢量的各种合适表示中的任何中显示，并且外科医生的凝视点能够与左图像显示器202a和右图像显示器202b上的术野155的图像组合显示。

在一些实施例中，外科医生在手术期间的头部/面部运动能够使用左眼球跟踪器204a和右眼球跟踪器204b跟踪。可能位于2d或3d凝视点位置处的所计算的观看位置还可以基于外科医生的所跟踪的头部/面部运动而调整或补偿。关于头部/面部运动跟踪和补偿的过程的附加细节可以例如在美国临时申请no.61/955334和题为“内窥镜控制系统(endoscopecontrolsystem)”的美国申请no.61/865,996中发现，该申请通过引用全部并入本文。

眼球跟踪单元200可以如图2b中所示联接到图像显示器或凝视点显示器210。在一些实施例中，凝视点显示器210是3d凝视点显示器。在一些实施例中，凝视点显示器210与图2a中所示的图像显示器151相同。所产生的外科医生的凝视点的2d或3d位置可以输出到凝视点显示器210作为诸如示出外科医生的凝视点的变化的点、标示或矢量的任何合适表示。术野155的图像可以与外科医生的凝视点在凝视点显示器210上的3d位置组合显示。在一些实施例中，凝视点显示器210可以是外部3d图像显示器。例如，凝视点显示器210可以是位于图1d中所示的视觉手推车140处的3d触摸屏监视器146。在一些示例中，凝视点显示器210可以安装在图1b中所示的远程操作组件100上。在一些示例中，凝视点显示器210可以是便携式显示装置，如平板电脑。在一些情况下，凝视点显示器210可以在多个显示屏幕或装置上同时呈现。

因此，眼球跟踪单元200包括：凝视点显示器210，其经配置向使用者显示图像；至少一个眼球跟踪器，其经配置测量反映使用者的凝视点的数据；和处理器206，其经配置处理数据，以确定其中指示使用者的凝视点的凝视点显示器210上的图像中的观看位置，并基于所确定的观看位置控制远程操作医疗系统10的至少一个功能。例如，在一些实施例中，眼球跟踪单元200的处理器206可以联接到器械控制单元212，器械控制单元212经配置控制至少一个手术器械的运动和能量排放。器械控制单元212可以是控制系统22的组件。器械控制单元212可以包括单独处理器和控制一个或更多个手术器械的功能的一个或更多个致动器。在一些实施例中，器械控制单元212经配置控制一个或更多个手术器械的启用、停用和运动。在一些实施例中，器械控制单元212的处理器提供控制信号至一个或更多个电动机。例如，在一个实施例中，一个或更多个电动机可以包括经配置释放或启动(fire)诸如缝合器的手术器械的启动电动机。

在一些实施例中，眼球跟踪单元200的处理器206可以联接到系统控制单元214，系统控制单元214经配置调整远程操作医疗系统100的各种系统参数和特征。系统控制单元214可以是控制系统22的组件。系统控制单元214可以包括一个或更多个单独处理器。系统控制单元214可以包括提供外科医生和远程操作医疗系统100之间的交互的一个或更多个使用者接口。在一些示例中，使用者接口包括外科医生的控制台、显示器、键盘、触摸屏或其他合适的输入装置。使用者接口也可以包括一个或更多个软件应用。

图2c示出描述使用眼球跟踪单元200控制并影响远程操作医疗系统100和/或任何相关联手术器械的示例性方法的流程图215。本文描述的方法步骤中的任何方法步骤可以至少部分地以存储在可以由一个或更多个处理器运行的非临时、有形的机器可读介质上的可执行代码的形式实施。在步骤216处，图2a中所示的使用者框架160中的使用者u凝视图像显示器151上所示的图像中的特定观看位置(即，3d位置)，特定观看位置在图像框架165中。在步骤218处，眼球跟踪单元200的左眼球跟踪器204a和右眼球跟踪器204b观察并测量使用者u的眼球特征(例如，反映眼球凝视的特征)。在一些实施例中，眼球跟踪器204a和204b测量相对于图像框架165的使用者的每个眼的眼球凝视。在步骤220处，处理器206使用所测量的来自于眼球跟踪器204a、204b的眼球凝视数据，以确定其中使用者的眼球指示的(图像框架165内的)图像显示器151上的图像中的3d观看位置。在一些实施例中，处理器206可以通过跟踪由眼球跟踪器204a、204b从眼球的反射接收的光的入射角，确定所观看的位置。在一些实施例中，处理器206可以初始地执行校准过程(例如，图3a中描述的校准过程302)，以随着使用者观看在图像显示器151上的已知位置处显示的目标标记，确定基线入射角并在所检测的角度和所观察的图像显示器151上的位置之间产生函数关系。然后随着使用者观看图像显示器151上的其他位置，处理器206能够跟踪入射角，并使用所产生的函数关系，以确定对应的观看位置(例如，从所校准的角度和位置推断)。

在步骤222处，处理器206确定所显示的图像显示器151上的标记之一是否由使用者以满足选择该标记的定义的条件(例如，标记是在观看位置中和/或在预定的持续时间内是在观看位置中)的方式观看。如果是，在步骤224处，使用者的标记选择引起处理器206启动与所显示的标记对应的功能。例如，在一些实施例中，使用者的凝视可以指示与到远程操作医疗系统100的登录或与图像显示器151的照明或与各种其他系统设置相关联的标记的选择。

如果否，在步骤226处，处理器206将图像框架165中的所观看的3d位置图像融合(co-register)至手术框架170中的术野155中的对应3d位置。在步骤228处，处理器确定使用者是否正在以满足用于操纵在图像显示器151上可见的术野中的成像装置或其他手术手术器械的定义条件的方式观看术野。如果是，在步骤230处，使用者在术野的特定区域或术野内的特定器械上的凝视引起处理器206以与使用者的凝视的特征对应的方式影响相关器械。例如，在一些实施例中，如上所述，如果使用者凝视术野155的特定区域，则成像装置可以“遵循”使用者的凝视并重新定位其视场的中心(例如，以将其视场的中心定位在使用者的凝视点处)。在其他实施例中，如果使用者在预定的时间长度内凝视特定的手术器械，则该手术器械可以自动启用或通过第二使用者事件(例如，经由踏板压下、足开关、手指开关等)启用。如果否，在步骤232处，眼球跟踪器继续评价使用者的凝视用于可能的指令。

在一些实施方式中，如图2d中所示，两个或更多个外科医生的控制台120(定位在相同位置或远离彼此)可以一起连接成网络，使得两个使用者能够同时观看并控制在手术部位处的工具。在一些实施例中，两个不同的外科医生的控制台120可以在训练过程期间由代理人和实习生使用，使得每个使用者能够观看显示从两个单独眼球跟踪单元200(例如，在每个控制台120上一个眼球跟踪单元200)获得的眼球凝视数据的区别立体图像。图2c根据本公开的一些实施例示出包括联接到实习生的眼球跟踪单元240的代理人的眼球跟踪单元200的训练/代理系统。实习生的眼球跟踪单元240可以具有与代理人的眼球跟踪单元200基本上相同的设计和功能性。如图2d中所示，代理人的眼球跟踪单元200的处理器206联接到实习生的眼球跟踪单元240的左图像显示器244a和右图像显示器244b。类似地，实习生的眼球跟踪单元240的处理器248联接到代理人的眼球跟踪单元200的左图像显示器204a和右图像显示器204b。因此，代理人的凝视点显示可以向实习生显示，并且代理人的凝视点显示可以向代理人显示。

例如，在一些实施例中，代理人的3d眼球凝视点能够在实习生的眼球跟踪单元240的3d凝视点显示器250上显示，使得实习生可以在手术期间实时地具有代理人的凝视点的直接观看。在一些实施例中，代理人的3d眼球凝视点可以被示出作为实习生的眼球跟踪单元240的左图像显示器244a和右图像显示器244b上的立体图像，使得实习生可以被实时协助，以使用代理人的凝视点作为遵循的视觉引导完成外科手术。在一些实施例中，在训练过程期间，实习生的3d凝视点可以在显示器210或代理人的眼球跟踪单元200的左图像显示器202a和右图像显示器202b上示出，使得外科医生的表现可以由代理人实时地监视和评价。在其他实施例中，代理人凝视点和实习生凝视点两者可以在代理人显示器和实习生显示器中的一个或两个中示出，从而允许一个或两个使用者看见其凝视点之间的任何不一致。以这种方式，代理人可以能够及时向实习生提供指令，使得实习生能够实时集中在正确手术部位上并且避免不正确的动作。

在一些实施例中，内窥镜112和/或其他手术器械110的控制可以在代理人和实习生之间切换。替代性地，内窥镜112和/或其他手术器械110可以由代理人和实习生二者同时操纵。虽然在图2d中，处理器206和248分别包括在眼球跟踪单元200和240中，本领域的技术人员将认识到其他变化。例如，训练/代理系统能够包括一个处理器用于两个使用者的眼球跟踪单元。

图3a根据本公开的一些实施例示出用于使用图2b的眼球跟踪单元200确定图像框架中的外科医生的观看位置的方法300。外科医生的观看位置可以如上是3d凝视点。然而在替代性的实施例中，可以使用2d凝视点。方法300包括三个过程：校准过程302、测量过程304和输出过程306。在一些实施例中，校准过程302是3d校准过程，其中在图像框架的3d空间中的外科医生的凝视点与具有已知的3d位置参数的图像框架的3d空间中的预定目标相比较。

校准过程302通过示出图像框架中的目标从步骤312开始。在一些示例中，目标可以是手术工具图标。目标可以是移动目标或者是可以动态地改变大小的目标。替代性地，目标也可以是在术野中的实际手术工具，其位置能够使用任何合适的工具跟踪技术跟踪和识别。例如，校准过程302可以包含2005年5月16日提交的题为“用于在微创机器手术期间通过传感器和/或摄像机获取的数据的融合执行3d工具跟踪的方法和系统(methodsandsystemforperforming3dtooltrackingbyfusionofsensorand/orcameraderiveddataduringminimallyinvasiveroboticsurgery)”的美国专利公开no.2006/0258938中公开的特征，该申请通过引用全部并入本文。3d图像框架中所示的目标的图像可以分成左立体图像和右立体图像，并且分别在图2b中所示的左图像显示器202a和右图像显示器202b上显示。在校准过程期间，例如用3d图像框架中的已知3d位置参数预先确定目标的3d位置，使得所测量的数据可以与目标的已知位置参数比较，以在下列步骤中确定各种模型。

在所示的实施例中，通过接收分别由左眼球跟踪器204a和右眼球跟踪器204b捕获的左右眼的瞳孔的2d位置和2d角膜反射数据，校准过程302前进到步骤314。在一些实施例中，瞳孔的2d位置和2d角膜反射数据可以包括坐标值、位移和/或角度。在一些实施例中，外科医生的头部/面部运动也可以由左眼球跟踪器204a和右眼球跟踪器204b捕获。

通过使用外科医生的左右眼的瞳孔的2d位置和2d角膜反射数据确定外科医生的瞳孔的位置和角膜反射数据，校准过程304前进到步骤316。在一些实施例中，左右眼球跟踪器包括立体摄像机，并且包括瞳孔的2d位置和2d角膜反射数据的立体图像能够由处理器206捕获和处理，以计算两个立体图像之间的不一致。在一些实施例中，所确定的位置数据可以包括外科医生的瞳孔的2d位置和2d角膜反射数据。然后可以组合所确定的每个眼的2d位置数据，以估计外科医生的3d眼球凝视位置。在一些实施例中，所确定的位置数据可以包括瞳孔的3d位置和3d角膜反射数据。包括外科医生的瞳孔和角膜反射的深度的3d数据可以使用不一致进行估计。例如，外科医生的左眼的3d数据可以使用左眼球跟踪器204a之间的距离，与每个左眼球跟踪器204a的焦距相关的参数和所计算的不一致计算。不一致到深度的转换图可以使用此方法在校准过程期间获得。在一些实施例中，瞳孔的位置和角膜反射数据可以补偿用于所捕获的头部/面部运动。

在校准过程302的步骤318处，瞳孔的确定3d位置和3d角膜反射数据与预定目标的预定3d位置参数相比较，以确定凝视点确定模型。在一些实施例中，凝视点确定模型可以包括能够用于使用瞳孔的确定位置和角膜反射数据绘制3d眼球凝视位置的函数。在一些实施例中，多个校准目标用于校准过程，并且函数中的参数可以使用从校准过程收集的瞳孔的位置和角膜反射数据确定。在一些示例中，诸如最少平方优化或最大可能估计的方法可以用于确定函数的参数。在一些实施例中，凝视点确定模型也可以包括矩阵，矩阵示出在3d空间中的坐标系统中从瞳孔的3d位置和3d角膜反射数据到目标的3d位置的转换。在一些实施例中，凝视点确定模型可以保存在联接到处理器206的存储器中。关于如何确定瞳孔的3d位置和3d角膜反射数据的附加细节和与凝视点确定模型相关的细节可以例如在2014年3月19日提交的美国临时申请no.61/955,334中发现，该美国临时申请通过引用全部并入本文。

在一些实施例中，校准过程302可以重复多次，使得凝视点确定模型的精确性可以改进以满足预先确定的系统要求。在一些实施例中，在形成第一凝视点确定模型之后，真实目标可以用于估计第一凝视点确定模型的精确性。例如，通过使用真实目标重新运行绘制的优化，可以更新第一凝视点确定模型，以形成第二凝视点确定模型。比较并评价第一模型和第二模型之间的精确性，使得更精确的凝视点确定模型可以形成。

在完成校准过程302之后，方法300前进到测量过程304。当内窥镜112正在捕获手术部位的图像时，测量过程304可以在手术或训练过程期间执行。

当外科医生正在看显示在左图像显示器202a和右图像显示器202b上的手术部位时，通过接收针对外科医生的左右眼的瞳孔的2d位置和2d角膜反射数据，测量过程304在步骤320处开始。手术部位的图像可以由内窥镜112捕获，并处理和分成分别显示在左图像显示器202a和右图像显示器202b上的左立体图像和右立体图像。外科医生的左右眼的瞳孔的2d位置和2d角膜反射数据分别由左眼球跟踪器204a和右眼球跟踪器204b捕获。在一些实施例中，外科医生的头部/面部运动也可以由左眼球跟踪器204a和右眼球跟踪器204b捕获。

通过使用在校准过程302期间获得的凝视点确定模型确定外科医生的3d凝视点位置，测量过程304前进到步骤322。瞳孔的3d位置和3d角膜反射数据可以首先通过使用如前面讨论关于方法300的步骤316的基本类似的方法，使用瞳孔的2d位置和2d角膜反射数据来确定。在一些实施例中，在步骤320处的所捕获的头部/面部运动也可以用于补偿瞳孔的位置和角膜反射数据或外科医生的3d凝视点。在一些示例中，在校准过程302期间，在外科医生使用他的或她的瞳孔聚焦在校准目标上并旋转他的或她的头部时，可以跟踪外科医生的眼角。在头部/面部运动和眼角的跟踪运动之间的函数能够在校准过程期间形成。在测量过程304期间，也可以跟踪眼角的运动，并且外科医生的头部/面部运动可以使用从校准过程302形成的函数估计。然后瞳孔的3d位置和3d角膜反射数据可以通过使用在步骤318处获得的凝视点确定模型由处理器206转换为外科医生的3d凝视点位置。

在输出过程306的步骤324处，所确定的3d凝视点位置可以在图2b中所示的凝视点显示器210上示出。3d凝视点位置可以以诸如但不限于点、线、矢量、箭头和半透明圆的各种合适表示中的任何表示表达。在一些实施例中，(例如，由代理人的眼球跟踪单元200的处理器206确定的)代理人的3d眼球凝视点可以在外科医生的眼球跟踪单元240(如图2d中所示)的3d凝视点显示器250上显示，使得正接受训练的外科医生可以具有代理人的凝视点的直接观看。在一些实施例中，代理人的3d眼球凝视点可以在外科医生的眼球跟踪单元240的左图像显示器244a和右图像显示器244b上示出，使得外科医生可以被引导以直观地使用代理人的凝视点完成外科手术。在一些实施例中，外科医生的3d眼球凝视点(例如由外科医生的眼球跟踪单元240的处理器248确定)可以在代理人的眼球跟踪单元200的显示器210上显示，使得外科医生的凝视点可以在外科手术期间由代理人实时地监视。如上所讨论由远程操作医疗系统10测量的凝视点可以在各种应用中使用。

图3b示出使用图2d的双眼球跟踪单元200和240的训练/代理方法340。通过在外科手术期间由第二使用者在3d凝视点显示器上监视第一使用者的3d凝视点，方法340从步骤342开始。第一使用者的3d凝视点可以使用在如图3a中所示的方法300中所示的第一眼球跟踪单元(例如，眼球跟踪单元200)确定。所确定的3d凝视点可以在第二眼球跟踪单元(例如，眼球跟踪单元240)的3d凝视点显示器(例如，图像显示器244或凝视点显示器250)上显示，以由第二使用者监视和评价。通过第二使用者向第一使用者发送指令，方法340前进到步骤344。在一些实施例中，第一使用者可以是外科医生，并且第二使用者可以是在外科手术期间训练外科医生的代理人。例如，在一种情况下，当代理人注意到外科医生正在看与手术部位内的目标区域不同的手术部位内的区域，或者外科医生已经选择错误的手术器械时，代理人可以向外科医生发送指令，以实时地校正外科医生的动作和/或观看点。例如，代理人可以通过眼球凝视启用的菜单选择，手动地按下按钮，或者轻踏代理人的控制台上的足踏板来指示外科医生。在一种情况下，代理人的指令以各种方式中的任何方式显示在外科医生的图像显示器上，以引导外科医生朝向正确的方法。在一个实施例中，外科医生的图像显示器(例如，眼球跟踪单元200的左图像显示器202a和右图像显示器202b)可以变暗。在另一实施例中，外科医生的图像显示器的凝视点区域可以呈现视觉的(例如，闪烁红色)、可听的(例如，发出蜂鸣)或触觉的(例如，振动手动控件的一部分)警告，以警告外科医生继续进行任何不正确的操作。在一些实施例中，代理人也可以使用触摸屏上的标注器(telestrator)或视频标记器或者外科医生的控制台或单独控制台上的3d指示器发送指令。

如上所述，在一些实施例中，外科医生可以使用外科医生的3d凝视点，以标记并定位手术部位。例如，当外科医生想要在解剖结构中标记位置时，外科医生可以盯着该位置，使得眼球跟踪单元200捕获外科医生的3d凝视点并使用方法300确定3d坐标值。然后外科医生还可以按下外科医生的控制台120上的按钮或轻踏足踏板128，以使用诸如标记的图标将位置标记在图像显示器上的当前凝视点处。随着内窥镜112在解剖环境中聚焦在其他四分体上，所标记的3d位置可以补偿随后的摄像机运动，或者通过从外部位置传感器参考，以保持所标记的位置。所标记的位置可以用作参考位置，参考位置可以帮助外科医生有效率地且有效地识别所期望的手术部位。

关于图3a中所示的方法300，在一些实施例中，由眼球跟踪单元200捕获的3d凝视点位置可以用于调整内窥镜112，使得外科医生的3d凝视点在视觉的中心处。例如，当确认外科医生的3d凝视点是手术部位时，外科医生可以例如通过按下按钮和/或轻踏足踏板发送确认指令。然后内窥镜112的控制单元可以从处理器206接收3d凝视点的位置数据，使得内窥镜112可以经调整来捕获具有位于图像的中心处的外科医生的3d凝视点的更新图像。关于使用3d凝视点调整内窥镜112的附加细节可以例如在2014年3月19日提交的题为“使用眼球凝视跟踪用于次要成像的医疗装置、系统和方法(medicaldevices,systems,andmethodsusingeyegazetrackingforsecondaryimaging)”的美国临时申请no.61/955,355中发现，该美国临时申请通过引用全部并入本文。

图3c示出用于在外科手术期间使用外科医生的凝视点启用安装在远程操作组件100中的手术器械(例如，器械系统14)的凝视点启用方法350。首先要求外科医生通过眼球跟踪单元200聚焦在诸如紧固件输送工具(例如，缝合器)或能量施加工具(例如，切除器械)的要在手术中使用的手术器械的图像上。图像框架中的手术器械的3d位置数据存储在诸如存储器等的计算机可读介质中。图像框架中的手术器械的3d图像的3d位置被引用至手术框架中的手术器械的3d位置。在步骤351处，由内窥镜112捕获的手术器械的图像显示在显示器210上(例如，在眼球跟踪单元200的图像显示器202a和202b上)用于外科医生的观看。在方法350的步骤352处，当外科医生被要求聚焦在显示器上的手术器械的图像上时，使用与方法300中所示的基本上类似的方法确定图像框架中的外科医生的凝视点。在一些实施例中，外科医生可以将他的或她的凝视点聚焦在手术器械的图像上或聚焦在手术器械附近的图像的区域(如手术器械的尖端附近的组织)中。在步骤354处，外科医生的3d凝视点的确定位置与存储在计算机可读介质中的手术器械的3d位置数据相比较。如果外科医生的3d凝视点的确定位置与手术器械的3d位置一致，或者如果外科医生的3d凝视点的确定位置是在手术器械附近的预定区域内，则步骤354前进到步骤356，以启用手术器械。例如，眼球凝视跟踪系统的处理器206可以发送信号至器械控制单元212，以允许诸如缝合器等手术器械的能量排放。然后外科医生能够使用对应的控制接口122控制并启动缝合器。在一些实施例中，处理器206也能够启用并控制控制接口122，以输送要由外科医生为外科手术使用的手术器械。如果外科医生的3d凝视点的确定位置不在手术器械附近的预定区域内，则在步骤358处，停用手术器械。在步骤358处，因为外科医生不在看器械，所以器械控制单元212不能由任何外科医生的实际指令启用(例如，实际指令可以是偶然的)，并且手术器械被锁定。因此，在无如方法350中讨论的外科医生的凝视点的确认的情况下，手术器械不能执行任何启动动作或运动。

在训练过程期间，正接受训练的外科医生的当前3d凝视点位置可以由代理人从诸如技能水平和/或压力水平的各种角度监视和评价。在一些实施例中，外科医生的技能水平可以通过在手术过程期间跟踪凝视点运动而特征化。图4示出用于使用图2b的眼球跟踪单元200在外科手术期间评价外科医生的方法400。评价可以包括外科医生的技能水平、压力水平、疲劳和/或任何其他凝视指示的表现或行为度量标准。图5是示出具有3d图像框架坐标系统的手术部位的3d图像的3d图像显示器450的示例。

通过获取基线数据作为标准来评价并量化外科医生的技能水平，方法400从可选步骤402开始。在一些实施例中，基线数据可以通过在标准操作期间测量有经验的外科医生的凝视点运动在开始训练过程之前获取。在一些示例中，基线数据可以在模拟练习期间获取，模拟练习可以包括摄像机目标锁定、针驱动、操纵练习、缝合、烧灼/能量施加和/或任何其他合适练习。在一些示例中，基线数据可以包括与凝视点在目标手术区域和手术器械之间前后移动的时间和/或位移以及凝视点从初始位置移动到目标手术区域的时间和/或位移的时间比(t)和/或位移比(d)相关的信息。在一些实施例中，基线数据也可以包括在每个跟踪点上的凝视点固定的时间。在一些实施例中，基线数据可以结合系统运动和事件数据捕获。在一些实施例中，可以有表示各种技能水平的时间比(t)和/或位移比(d)的不同值。在一些实施例中，基线数据可以保存在计算机可读介质中用于在未来重复使用。

通过确认如图5中所示的3d图像显示器450上的目标p，方法400前进到可选步骤404。指示确认过程的开始的第一信号可以由被训练的外科医生通过按下按钮选择确认模式或者通过轻踏外科医生的控制台上的足踏板而输出。如图5中所示，在识别目标区域p是需要外科手术的区域之后，通过将外科医生的凝视点聚焦在图像显示器450上的目标p上，可以在3d图像显示器450上确认目标p。在一些实施例中，目标p也可以通过按下外科医生的控制台120上的按钮或者通过轻踏足踏板128确认和标记。在其他实施例中，目标p可以是显示器450内的预定位置或区域，或者能够甚至通过由外科医生进入的(一个或更多个)实际凝视位置即时建立。

在眼球跟踪单元200接收确认之后，通过接收另一指令，诸如按下按钮和/或轻踏足踏板，内窥镜112的控制单元可以可选地从处理器206接收凝视点(即，目标p)的位置数据，使得内窥镜112可以经调整，以具有位于图像显示器450的中心处的目标p。在一些实施例中，目标p可以自动地分配有坐标(0,0,0)作为当前3d坐标系统的原点。

通过确认3d图像显示器450上的手术器械110a、110b或110c的尖端的初始位置，方法400前进到可选步骤406。例如，如图5中所示，手术器械的尖端的初始位置可以在位置q0处识别。然后位置q0可以通过将外科医生的凝视点聚焦在3d图像显示器450上的位置q0上而在3d图像显示器450上确认。在眼球跟踪单元200接收确认之后，位置q0可以自动地分配有相对于步骤404处定义的对应3d坐标系统的3d坐标(qx0,qy0,qz0)。在一些实施例中，位置q0也可以通过按下外科医生的控制台120上的按钮或者通过轻踏足踏板128确认。在其他实施例中，器械的尖端的位置可以通过诸如系统运动、位置传感器和/或光学工具跟踪的任何其他方法建立。

通过例如相对于器械尖端和目标p测量外科医生的凝视点运动，方法400前进到步骤408。在一些实施例中，在完成步骤406后，指示测量过程的开始的信号可以通过任何合适方法，如外科医生按下外科医生的控制台上的按钮或轻踏足踏板而产生。在其他实施例中，测量过程可以由器械的特定状态进行或启动。在一些实施例中，外科医生的凝视点可以从3d图像显示器450上的目标区域p开始。在一些实施例中，外科医生的凝视点可以从3d图像显示器450上的手术器械的初始位置q0开始。

参照图5，在一些实施例中，外科医生的技能水平可以由外科医生的凝视点运动反映。例如，在外科手术期间，随着他或她将手术器械从初始点移动到目标点，或者执行从初始点到目标点的操作，业余外科医生可以前后移动他的或她的凝视点多次，以在手术器械(例如，q0，q1，q2......)和目标点(例如，p)之间检查。相比之下，随着他或她移动手术器械或执行操作，有经验的外科医生可以在初始凝视点(例如，q0)和目标点(例如，p)之间具有较平滑且较少频率的凝视点运动。因此，在一个实施例中，外科医生的凝视点运动的位移和/或时间可以用作一个或更多个因素来评价外科医生的技能水平。

在步骤408处，外科医生的凝视点的位置数据可以由左眼球跟踪器204a和右眼球跟踪器204b捕获，由处理器206处理来接收凝视点的3d位置数据，并如相对于图3a中所示的方法300在上面讨论实时地保存在存储器中。随着外科医生的凝视点在3d图像显示器450上从初始位置q0移动到q1，q2......qn，外科医生的凝视点的位置数据可以包括3d坐标值(qx0,qz0,qz0)，(qx1,qy1,qz1)(qx2,qy2,qz2)......(qxn,qyn,qzn)。

在步骤408处，从一点到下一个点的外科医生的凝视点运动的时间也可以由左眼球跟踪器204a和右眼球跟踪器204b捕获，由处理器206处理，并且实时地保存在存储器中。在一些实施例中，用于外科医生的凝视点运动的时间可以包括与运动方向相关的信息。在一些实施例中，在步骤408处，也可以跟踪在每个凝视点处的固定时间。

通过确定评价因素，方法400前进到步骤410。评价因素可以包括位移比因素d。位移比因素d用于量化外科医生的技能水平。例如，位移比因素d可以计算为d＝(|q0p|+|pq1|+|q1p|+|pq2|+|q2p|+......+|pqn|+|qnp|)/|q0p|，其中|ab|表示使用3d图像显示器450上的点a和b的坐标值的凝视点a朝向凝视点b的位移。例如，|pq1|表示从凝视点p(0,0,0)朝向凝视点q1(qx1,qy1,qz1)的位移，并且|q1p|表示从凝视点q1(qx1,qy1,qz1)朝向凝视点p(0,0,0)的位移。

在一些实施例中，评价因素可以包括时间比因素t。时间比因素t也可以用于量化外科医生的技能水平。例如，时间比因素t可以计算为t＝(t1+t2+......tn)/ti，其中t1，t2，......tn表示从一个点移动到下一个点需要的外科医生的凝视点的时间，直到测量过程的完成。在测量过程期间，由于在任何两个移动的点之间捕获位移(例如，|pq1|)和时间(例如，t1)两者，因此也可以计算在任何两个点之间移动的凝视点的速度(vi)。在测量过程完成时，还可以计算平均速度(v)。然后平均速度(v)可以用于计算时间ti用于当前使用者将他的或她的凝视点从初始点(例如，q0)移动到目标点(例如，p)。

在一些实施例中，评价因素可以包括与在每个凝视点处测量的固定时间相关的因素。例如，在步骤408处测量在多个凝视点处的多个固定时间之后，可以计算外科医生的眼球凝视的平均固定时间。然后眼球凝视固定的平均时间可以与存储在基线数据中用于评价外科医生的技能水平的眼球凝视固定信息相比较。

通过比较评价因素(例如，位移比因素d、时间比因素t和/或凝视固定时间)与(例如，在步骤402处获取的)基线数据而确定外科医生的技能水平，方法400前进到步骤412。在一些实施例中，外科医生的技能水平也可以使用与诸如从外科医生的手、器械和/或摄像机的运动测量的数据的系统动态数据和/或事件数据结合的评价因素确定。外科医生的手、器械和/或摄像机运动可以使用任何合适的方法跟踪和分析。

在一些实施例中，如上所述，由眼球跟踪单元200捕获的外科医生的3d凝视点位置也可以用于监视外科医生的表现和/或条件并在如果指示表现和/或条件的下降时提供警告。例如，3d凝视点可以用于确定外科医生的压力或疲劳水平，外科医生的压力或疲劳水平在一些实施例中可以在外科医生的眼球凝视动态的变化中反映。眼球凝视动态可以包括瞳孔直径波动和/或眼球凝视扫视。在一些示例中，在测量过程(例如，图4的方法400的步骤402)之前，当外科医生正在正常状态下工作时，可以首先获取包括外科医生的眼球凝视动态的信息的基线。例如，基线可以包括外科医生的眼球凝视扫视的频率和/或外科医生的瞳孔直径波动的频率和大小。在测量过程(例如，方法400的步骤408)期间，眼球凝视动态可以使用左眼球跟踪器204a和右眼球跟踪器204b监视并处理以及与在正常工作状态下获取的基线比较。当与正常状态相比较(例如，方法400的步骤412)眼球凝视动态出现为不正常时，可以给出通知或警告，以阻止外科医生继续进行任何操作。不正常眼球动态可以由诸如但不限于剧烈的瞳孔直径波动或比正常的更频繁的眼球凝视扫视的各种

在一些实施例中，除了在医疗程序期间监视外科医生的压力水平以外，所跟踪的眼球凝视动态信息也可以在手术之后采集并分析。在一些示例中，所分析的结果可以用于理解外科医生为什么具有特定训练练习或手术的特定部分的难度。

在一些实施例中，所跟踪的外科医生的3d凝视点能够用于系统登录/退出和使用者识别。例如，在一个实施例中，外科医生被要求在登录系统之前聚焦在目标点上。目标点可以包括其中3d位置数据存储在计算机可读介质中的手术器械。在外科医生的3d凝视点的位置由眼球跟踪系统使用如更早讨论的方法300跟踪之后，外科医生的3d凝视点的位置与目标点的3d位置相比较。当外科医生的3d凝视点与3d位置目标点一致时，外科医生可以自动地登录到远程操作医疗系统10中。在一些实施例中，如果外科医生的3d凝视点不匹配目标点的3d位置，则外科医生不能够登录远程操作医疗系统10中。在一些示例中，如果不能够检测到外科医生的眼球(和/或外科医生的凝视点)，则远程操作医疗系统10被锁住或者是未启用的。

在一些实施例中，诸如虹膜特征、眼球动态或眼球凝视运动速度的所存储的使用者的眼球信息能够用于使用者识别和系统登录。例如，在开始外科手术之前，可以要求外科医生实行若干眼球凝视运动练习。眼球跟踪单元200可以捕获外科医生的眼球动态，并且与对应的眼球动态相关的轮廓数据相比较。在一些实施例中，眼球跟踪单元200可以观察或测量使用者的各种虹膜特征并将这些虹膜特征与所存储的虹膜轮廓的数据库比较，以允许不同使用者的虹膜识别。一旦外科医生被识别为具有存储在存储器中的轮廓的重新出现的使用者，外科医生就可以自动地登录具有自定义设置的他或她自己的轮廓。

在一些实施例中，由眼球跟踪单元200捕获的外科医生的3d凝视点位置可以用于使用图2b中所示的系统控制单元214调整远程操作医疗系统10的系统特征。例如，所测量的外科医生的眼球凝视包括手术部位(其能够在活的患者、尸体、动物、模型或局部/全计算机模拟中)的3d位置数据。3d位置数据能够用于将使用者接口(例如，图1b的控制接口122a和122b)相对于3d图像显示器上的手术部位对准在适当位置(例如，适当深度)处，使得外科医生能够观看3d图像显示器上的手术部位并在外科手术期间直观地控制手术器械。在一些实施例中，所测量的外科医生的眼球凝视能够用于调整外科医生控制台的人体工程设置，如图像显示器相对于使用者的头部的位置和取向，使得使用者能够看到整个图像显示器，而无阻塞。

在一些实施例中，为了更精确地在3d空间中校准手术器械的3d位置，外科医生的眼球凝视点可以聚焦在图像显示器上的手术器械，并且眼球跟踪单元200可以捕获外科医生的3d眼球凝视点并基于由眼球跟踪单元200接收的凝视点数据提供手术器械的精确3d位置信息。

在一个示例性实施例中，第一远程操作医疗系统包括第一眼球跟踪单元，第一眼球跟踪单元包括：一个或更多个第一图像显示器；一个或更多个第一眼球跟踪器；和第一处理器，第一处理器联接到一个或更多个第一眼球跟踪器并经配置在第一使用者看由一个或更多个第一图像显示器显示的第一图像时计算第一使用者的第一凝视点。系统也包括第二眼球跟踪单元，第二眼球跟踪单元包括：一个或更多个第二图像显示器；一个或更多个第二眼球跟踪器；和第二处理器，第二处理器联接到一个或更多个第二眼球跟踪器并经配置在第二使用者看由一个或更多个第二图像显示器显示的第二图像时计算第二使用者的第二凝视点。一个或更多个第一图像显示器联接到第二处理器，并且一个或更多个第二图像显示器联接到第一处理器。

在第一远程操作医疗系统的另一实施例中，第一图像和第二图像包括手术部位的图像。

在第一远程操作医疗系统的另一实施例中，第一图像还包括第二凝视点的表示。

在第一远程操作医疗系统的另一实施例中，第二图像还包括第一凝视点的表示。

在第一远程操作医疗系统的另一实施例中，第一图像还包括第一凝视点的表示。

在第一远程操作医疗系统的另一实施例中，一个或更多个第一眼球跟踪器包括左眼球跟踪器和右眼球跟踪器。

在第一远程操作医疗系统的另一实施例中，一个或更多个第二眼球跟踪器包括左眼球跟踪器和右眼球跟踪器。

在一个示例性实施例中，用于操作远程操作医疗系统的第一方法包括跟踪手术部位的3d凝视点在3d图像显示器中的运动；以及根据3d凝视点的运动确定评价因素。

在用于操作远程操作医疗系统的第一方法的另一实施例中，方法还包括在3d图像显示器中确认目标点和初始点，其中运动是在目标点和初始点之间。

在用于操作远程操作医疗系统的第一方法的另一实施例中，确认目标点和初始点包括获取目标点和初始点的坐标值。

在用于操作远程操作医疗系统的第一方法的另一实施例中，所获取的目标点的坐标值用于给内窥镜重定中心。

在用于操作远程操作医疗系统的第一方法的另一实施例中，确认目标点和初始点包括按下按钮或轻踏足踏板。

在用于操作远程操作医疗系统的第一方法的另一实施例中，确认目标点包括在3d图像显示器上将3d凝视点聚焦在目标点上。

在用于操作远程操作医疗系统的第一方法的另一实施例中，确认初始点包括在3d图像显示器上将3d凝视点聚焦在初始点上。

在另一实施例中，用于操作远程操作医疗系统的第一方法包括通过比较评价因素与用于凝视点运动的基线数据确定技能水平。

在用于操作远程操作医疗系统的第一方法的另一实施例中，在目标点和初始点之间的3d凝视点的运动包括3d凝视点的多个分段运动，每个分段运动是从器械点到目标点，并且其中器械点是在初始点和目标点之间。

在用于操作远程操作医疗系统的第一方法的另一实施例中，测量3d凝视点的运动包括测量器械点的3d坐标值。

在用于操作远程操作医疗系统的第一方法的另一实施例中，评价因素包括位移比因素，位移比因素是3d凝视点的分段运动的各位移之和除以目标点和初始点之间的位移的比率。

在用于操作远程操作医疗系统的第一方法的另一实施例中，测量3d凝视点的运动包括测量3d凝视点在目标点和器械点之间的每个分段运动所需的时间。

在用于操作远程操作医疗系统的第一方法的另一实施例中，评价因素包括时间比因素，时间比因素是分段运动所需的时间之和除以使用平均3d凝视点移动速度计算的3d凝视点从初始点移动到目标点所需的时间的比率。

在用于操作远程操作医疗系统的第一方法的另一实施例中，平均3d凝视点移动速度是所有3d凝视点移动速度的平均值，3d凝视点移动速度中的每个移动速度使用每个分段运动的位移和时间计算。

在用于操作远程操作医疗系统的第一方法的另一实施例中，测量3d凝视点的运动包括在初始点和目标点之间的器械点处测量3d凝视点的固定时间。

在用于操作远程操作医疗系统的第一方法的另一实施例中，评价因素包括通过使用在初始点和目标点之间的多个器械点上测量的多个固定时间计算的平均固定时间。

在一个示例性实施例中，一种用于操作远程操作医疗系统的第二方法，方法包括：在手术部位的3d图像显示器中跟踪眼球凝视动态和确定当使用者看3d图像显示器时使用者的条件。

在用于操作远程操作医疗系统的第二方法的另一实施例中，跟踪眼球凝视动态包括使用一个或更多个眼球跟踪器跟踪使用者的瞳孔直径波动或眼球凝视扫视中的至少一个。

在用于操作远程操作医疗系统的第二方法的另一实施例中，使用者的条件包括使用者的压力水平或疲劳水平中的至少一个。

在用于操作远程操作医疗系统的第二方法的另一实施例中，确定压力水平包括将眼球凝视动态与用于眼球凝视动态的基线数据比较。

在用于操作远程操作医疗系统的第二方法的另一实施例中，基线数据包括当外科医生在正常状态下工作时测量的眼球凝视动态。

在用于操作远程操作医疗系统的第二方法的另一实施例中，眼球凝视动态用于在系统登录过程期间使用者的识别。

在一个示例性实施例中，用于操作手术系统的第一方法包括为观看第一显示器中的3d图像的第一使用者确定3d凝视点；以及在第二显示器中的3d图像中显示3d凝视点；以及从观看第二显示器上的第一使用者的3d凝视点的第二使用者接收指令。

在用于操作手术系统的第一方法的另一实施例中，第一使用者正在由第二使用者训练。

在用于操作手术系统的第一方法的另一实施例中，第一使用者的3d凝视点由眼球跟踪单元确定。

在用于操作手术系统的第一方法的另一实施例中，来自于第二使用者的指令是使用第二显示器上的标注器发送的。

在一个示例性实施例中，一种用于操作包括器械和3d显示器的手术系统的第二方法，第二方法包括：在3d显示器上显示3d图像；为观看3d图像的使用者确定3d凝视点的位置；以及比较3d图像和3d凝视点的位置。

在用于操作手术系统的第二方法的另一实施例中，3d凝视点的位置使用眼球跟踪单元确定。

在用于操作手术系统的第二方法的另一实施例中，3d图像包括显示在眼球跟踪单元的一个或更多个图像显示器上的器械的3d图像。

在另一实施例中，用于操作手术系统的第二方法包括当3d凝视点的位置在3d图像周围的预定区域内时启用器械。

在用于操作手术系统的第二方法的另一实施例中，启用器械包括启用控制接口以输送器械由使用者使用。

在用于操作手术系统的第二方法的另一实施例中，启用器械包括控制器械控制单元，以允许器械的能量排放。

在另一实施例中，用于操作手术系统的第二方法包括当3d凝视点的位置在3d图像周围的预定区域外时停用器械。

在另一实施例中，用于操作手术系统的第二方法包括当3d凝视点的位置是在3d图像周围的预定区域内时允许自动登录到手术系统。

在另一实施例中，用于操作手术系统的第二方法包括调整系统特征。

在用于操作手术系统的第二方法的另一实施例中，3d图像包括手术部位的3d图像。

在用于操作手术系统的第二方法的另一实施例中，调整系统特征包括相对于显示在3d显示器上的手术部位对准使用者接口。

在各种实施例中，眼球跟踪系统200、控制单元210和成像系统(例如，成像装置112)一致地操作，以提供使用者主要图像和可选地各种次要调整图像。通过非限制性示例的方式，所调整的图像可以包括放大图像、发亮图像、锐化图像、彩色图像、标记图像和/或涉及不同波长范围(例如，与可见光范围相对的近红外范围)的图像。手术区域的调整图像可以至少部分地通过外科医生的眼球凝视控制。为了提供主要图像和次要图像，成像系统可以使用单个成像模块和后成像操纵(例如，数字操纵)，以提供所调整的图像。替代性地或另外地，如下在各种实施例中描述的，成像系统包括多个成像模块。多个成像模块可以设置在通过单个患者孔口部署的共同器械上，或者可以设置在通过多个患者孔口部署的多个器械上。在一些实施例中，成像系统可以包括刚性范围(即具有刚性轴)，其中用于刚性范围的姿势(例如，位置、取向、滚动)通过安装在其上的特定摄像机或器械臂的运动确定。在其他实施例中，成像装置112可以另外地或替代性地包括集成铰接能力。

图6a示出能够用作图1b的远程操作组件100中的成像装置112的示例性成像系统112a。成像系统112a包括两个成像模块714、715作为单个成像装置的组件。成像模块714、715可以独立于彼此控制，以向使用者产生示出不同信息或感兴趣观看的感兴趣区域的主要图像和次要图像，如放大图像重叠。成像系统112a还包括器械接口150d(例如，联接到图1b中所示的摄像机臂108)、连接到接口150d的轴152d，电缆、杆和/或穿过轴152d的光纤710和711的组合、连接到轴152d的腕形件(例如，铰接部分)712和713、和在成像装置112a的远端处的成像模块714和715。

在一些实施例中，器械接口150d可以从图2c中所示的控制单元210接收指令。成像模块714、715中的每个或两者可以包括光学件和机械件，以给手术区域照明。在一些实施例中，成像模块714和/或成像模块715也可以包括能够捕获手术区域的图像(例如，立体图像)的装置。在一些实施例中，成像装置包括立体摄像机。

感兴趣的手术区域的图像能够由辅助成像模块715捕获，并且所调整的图像能够显示在显示器(例如，图像显示器202a、202b、图2c中所示的凝视点显示器207和/或图4中所示的显示器416)上。

如图6a中所示，成像装置112a的轴152d经配置保持电缆、杆和/或光纤710和711。在一些实施例中，第一组的电缆、杆和/或光纤710可以通过腕形件712联接到成像模块714，并且第二组的电缆、杆和/或光纤711可以通过腕形件713联接到成像模块715。此类配置能够通过经由两个不同组710、711的电缆、杆和/或光纤提供不同指令且通过用不同运动控件控制腕形件712、713，在成像模块714和715之间提供独立的控制和操纵。腕形件712、713在轴152d的远端716处连接到轴152d，并分别联接到成像模块714、715。腕形件712允许成像模块714以至少两个自由度的运动，并且可以用穿过轴152d的第一组的电缆或杆710控制。类似地，腕形件713允许成像模块715以至少两个自由度的运动，并且用穿过轴152d的第二组的电缆或杆711控制。光纤710、711可以联接到成像模块714、715的光学件，以均提供照明并传送图像。

在一些实施例中，器械接口150d将摄像机臂108中的致动电动机分别联接到轴152d中的电缆和杆710和711。在一些实施例中，器械接口150d可以包括能够通过摄像机臂108中的致动电动机驱动以控制腕形件712和腕形件713分别操纵成像模块714和715的机制。例如，在一个实施例中，当成像模块714用作主要成像模块并且成像模块715用作辅助或次要成像模块时，器械接口150d可以发送指令至致动电动机，使得辅助成像模块715可以由致动电动机驱动以移动成像模块715至外科医生的凝视点(如，关于图2b和图2c在上面描述的，基于相对于图像显示器202a、202b的检测的凝视点)。

成像模块714和/或成像模块715能够调整由成像装置获得的图像的类型。例如，在一个实施例中，成像模块714、715能够“缩放”手术区域，以获得手术区域的更详细图像和不太详细图像。在一些实施例中，成像模块714、715能够改变相对于远端716的沿轴152d的纵向轴线la的位置，从而提供实际的基于距离的缩放功能。成像模块714和/或成像模块715也能够通过分别操纵腕形件712、713在多个维度(例如，球形空间内)重新取向。在远程操作医疗系统10中操作的软件可以通过控制腕形件712、713和/或成像模块714、715的实际位置和取向，或者通过控制由成像模块714、715获得的图像的数字操纵(例如，通过数字放大或图像调整)来控制缩放特征。另外地或替代性地，缩放特征可以由成像模块714和/或成像模块715本身控制。

图6b示出包括成像装置112c和成像装置112d的成像系统112b。在一个实施例中，成像装置112c、112d可以与图1b中所示的远程操作组件100的两个单独摄像机臂108一起使用，其中每个成像装置112c、112d分别附接到独立的摄像机臂108a、108b。在所示的实施例中，成像装置112c、112d每个分别包括独立的成像模块720、722。例如，在所示的实施例中，成像模块720安装在成像装置112d的远端处，并且成像模块722安装在成像装置112c的远端处。成像装置112c、112d可以在术野内紧密地彼此对准，以帮助从成像模块720、722独立获取的图像至单个显示器(即图4中所示的显示器416)的配准(register)。关于图6b的成像装置112c、112d基本上类似于在上面描述的成像模块112a，除此处描述的差异以外。例如，成像装置112d包括器械接口150e、连接到接口150e的轴152e、连接到轴152e的腕形件324、连接到腕形件724的成像模块720和穿过轴152e的电缆、杆和/或光纤726。类似地，成像装置112c包括器械接口150f、连接到接口150f的轴152f、连接到轴152f的腕形件727、连接到腕形件727的成像模块722和穿过轴152f的电缆、杆和/或光纤728。成像装置112c和/或成像装置112d的组件的功能基本上类似于如上所述的成像装置112a的对应组件。

图6c是根据本公开的一个实施例的立体摄像机730的示意图。立体摄像机730可以用作包括图6a的成像模块714、715和图6c的成像模块720、722的上述成像模块中的任何成像模块。立体摄像机330能够用于捕获能够向人的左右眼显示并由人的左右眼感知为3d图像的立体图像。

成像模块(例如，成像模块714、715、720、722)能够在3d空间中独立地移动，以提供手术区域的不同图像。例如，成像装置112a的成像模块714和/或成像装置112b的成像模块720能够用于提供手术区域的主要图像。成像装置112a的成像模块715和/或成像装置112c的成像模块722能够用于提供次要的或调整的图像，如与外科医生的当前凝视点对应的手术区域的放大图像，其在图8c中作为图像960示出。在一些示例中，成像模块715和内窥镜执行器732也可以用于提供其他成像模式，如荧光或超声波成像，其他成像模式能够用于识别和/或突出放大成像区域内的结构。在一些实施例中，如以下进一步详细地描述，随着外科医生的凝视点扫描过一区域(例如，患者的腹腔)来识别感兴趣的区域(例如，损伤)，成像装置112a的成像模块715和/或成像装置112c的成像模块722能够用于捕获以非重叠方式布置的不同区域的图像。与感兴趣的区域对应的图像还可以用其他成像模式(例如，通过光学操纵和/或数字处理)放大或处理。

包括眼球跟踪系统200和一个或更多个成像装置112的远程操作医疗系统10能够用于施加各种图像修改至外科医生的凝视区域和非凝视区域。例如，图像修改可以包括各种成像效果中的任何成像效果，成像效果包括但不限于放大、缩放(放大或缩小)、突出、重新着色、脱色、标记、发亮、模糊和锐化。在一些实施例中，图像修改可以突出或改变凝视区域，同时不强调非凝视区域。例如，在一些实施例中，图像修改可以包括散开、脱色或模糊非凝视区域，以通过对比突出凝视区域。在一些实施例中，图像修改包括响应于外科医生的指令的外科医生的凝视区域的放大。在一些实施例中，图形修改包括在手术部位的主要视图上面重叠外科医生的放大的凝视区域。在一些实施例中，图像修改包括施加各种图像模式至外科医生的凝视区域。在一些实施例中，远程操作医疗系统10要求附加的使用者输入(除使用者眼球凝视以外)，以启动图像修改。在一些实施例中，远程操作系统和眼球跟踪系统200解释使用者眼球凝视，以确定哪一个成像装置获得主要图像和哪一个成像装置获得或产生辅助或次要图像。

图7a示出能够包括有图6a-6b中所示的任何成像装置112a、112b、112c、112d来实现所期望的图像修改的图像处理系统800的方框图。图像处理系统800包括可以与图2c中所示的控制单元210相同的控制单元802。控制单元802可以包括一个或更多个处理器，以处理输入数据和发布命令。处理器可以与存储器(易失性存储器、非易失性存储器或两者的组合)联接，以保留数据和编程指令。控制单元802可以从图2c中所示的眼球凝视处理器206接收指令信号。控制单元802也可以以诸如来自于图1c中所示的控制接口122的输入信号的输入的其他形式接收指令。编程指令可以包括将从例如眼球凝视处理器206接收的数据信号转换成表示由成像装置112产生的原始图像的请求修改的命令信号的指令。使用那些信号，控制单元802能够确定外科医生意在的图像变化的类型和/或程度。例如，控制单元802能够确定外科医生是否请求缩放或放大功能或者外科医是否请求不同的成像模式显示。在一些实施例中，控制单元802可以接收指令，以施加不同图像修改至与外科医生的凝视点对应的区域(即，凝视区域)和图像场地的剩余部分(即，非凝视区域)。

在接收指令之后，控制单元802可以发送信号至修改器计算单元804。在一些实施例中，修改器计算单元也可以称为内窥镜操纵计算单元。在一些实施例中，修改器计算单元804可以包括在成像装置112(例如，112a、112b、112c、112d)的器械接口150(例如，150d、150e、150f)中。修改器计算单元804可以包括处理器，以将从控制单元802接收的信号转换为命令或动作信号。在一些实施例中，命令信号由内窥镜处理器直接处理，以数字地改变如由命令信号指示的图像。另外地或替代性地，命令信号可以传送至能够影响成像装置112的运动的致动器806。在一些实施例中，当致动器806引起适当内窥镜或成像模块的对应运动时，可以实现外科医生的意在图像修改(例如，放大、缩放(放大或缩小))。修改器计算单元804可以包括一个或更多个处理器，一个或更多个处理器联接到保持数据和编程(例如，凝视点数据、运动相关命令数据、凝视点跟踪算法、图像修改算法)的存储器(易失性存储器、非易失性存储器或两者的组合)。在一些实施例中，控制单元802、修改器计算单元804和/或内窥镜处理器808的上述功能可以由单个处理器执行。

致动器806能够机械地联接到成像装置112的器械接口150。例如，致动器806能够机械地联接到图6a中所示的成像装置112a的器械接口150d。致动器806能够例如是容纳在远程操作组件100的摄像机臂108(例如，摄像机臂108、108a和/或108b)中的旋转式电动机，其中对应成像装置112附接在其上。如上所讨论，在一些实施例中，器械接口150的修改器计算单元804可以将致动器806的机械输入转换成成像装置的对应腕形件和成像模块的运动。

控制单元802也能够控制照明单元810的光输出。照明单元810可以通过一个或更多个光纤，如图6a中的成像装置112a的光纤710和/或光纤711和图6b中的成像装置112d中的光纤726和成像装置112c中的光纤728提供光，以便给手术区域照明。

图像处理系统800可以包括多个内窥镜处理器808，每个内窥镜处理器808经配置执行图像捕获、图像处理和/或图像显示功能用于对应的成像模块，如成像模块714、715、720或722。内窥镜处理器808可以位于视觉手推车140处，例如作为中央电子数据处理单元142的一部分。内窥镜处理器808也可以位于远程操作组件100和/或外科医生控制台120。内窥镜处理器808可以联接到保持数据和编程的存储器(易失性存储器、非易失性存储器或两者的组合)。

由内窥镜处理器808处理的图像可以输出到图4中所示的显示器816上。在一些实施例中，显示器816可以包括图像显示器202a、图像显示器202b和/或如图2c中所示的眼球跟踪系统200的凝视点显示器207。在一些实施例中，显示器816是安装在图1d中所示的视觉手推车140上的触屏监视器146。在一些实施例中，显示器816能够示出在外科医生控制台120处重叠例如显示在显示器202a和202b上的主要图像的次要或修改图像。在一些实施例中，显示器816能够示出以重叠的或非重叠的方式并置显示的多个图像(例如，主要图像和修改图像)。

成像模块，例如成像模块714、715、720或722可以包括能够捕获手术区域的立体图像的立体摄像机。手术区域的立体图像可以由诸如光纤710、711、726或728的光纤输送至内窥镜处理器808。内窥镜处理器808能够数字化由成像模块捕获的立体图像，并提供立体图像到显示器816上。显示器816上显示的立体图像能够由外科医生通过(图2c中所示的)眼球跟踪系统200感知作为3d立体图像。外科医生的指令可以使用由眼球跟踪器204a、204b捕获的外科医生的眼球凝视数据识别和启动。眼球凝视处理器206能够处理这些指令并将它们通信到控制单元802。眼球跟踪器204a、204b和眼球凝视处理器206可以能够捕获并产生外科医生的3d眼球凝视的图像，如相对于图2a-2c在上面详细地讨论。

相对于图6a，在一些实施例中，当成像装置112a用在远程操作医疗系统10中时，两个成像模块714、715可以共享相同的器械接口150d。如上所述，在一些实施例中，成像模块714用于捕获手术区域的主要图像，并且成像模块715用于基于外科医生的指令捕获次要(例如，修改的)图像。当成像模块714捕获手术部位的主要图像时，眼球凝视处理器206可以解释并发送外科医生的指令至控制单元802，以指示成像模块715来捕获并显示与外科医生的眼球凝视点对应的术野中的区域的调整图像(例如，通过非限制性示例的方式，放大图像、锐化图像、彩色图像、脱色图像)。指令可以由控制单元802和修改器计算单元804的一个或更多个处理器处理。

在一些实施例中，所得的命令信号发送至内窥镜处理器808，以数字地影响(例如，数字地放大或以其他方式修改)由成像模块714、715接收的图像。在一些实施例中，所得的命令信号发送至内窥镜处理器408，以改变成像模块715的成像模式(例如，通过非限制性示例的方式，以改变成像的波长范围、光学放大率或视场的宽度)。在一些实施例中，所得到的命令信号可以经由电缆、杆或光纤711发送，以控制成像模块715的运动，并且成像模块715可以基于外科医生的指令移动或调整。例如，当外科医生期望观看由他的或她的凝视点识别的区域的放大图像时，成像模块715可以沿轴152d的纵向轴线la移位，以获取“缩小”或放大图像。在一些实施例中，成像模块715可以经控制捕获并显示手术区域的主要图像，并且成像模块714可以基于外科医生的指令捕获并显示次要图像。次要图像可以包括主要图像的视觉调整部分。

在一些实施例中，如图6b中所示，成像装置112b和成像装置112c可以用在远程操作医疗系统10中。如图6b中所示，成像装置112b包括器械接口150d，并且成像装置112c包括器械接口150f。在一些实施例中，可以有一个以上的控制单元802，其中每个控制单元402联接到器械接口150d和150f之一。在替代性的实施例中，可以有一个控制单元802，该控制单元802联接到器械接口150d、150f两者并且能够发送独立指令至器械接口150d、150f。例如，在一些实施例中，成像装置112b可以用于基于由器械接口150d接收的指令捕获手术区域的主要图像，并且成像装置112c可以用于基于由器械接口150f接收的指令捕获次要的或修改的图像。

在一个实施例中，当成像模块620捕获手术部位的主要图像时，眼球凝视处理器206可以解释并发送外科医生的指令至控制单元802，以指示成像模块722捕获并显示与外科医生的眼球凝视点对应的术野中的区域的调整图像(例如，通过非限制性示例的方式，放大图像、锐化图像、彩色图像、脱色图像)。指令可以由控制单元802和修改器计算单元804的一个或更多个处理器处理。

在一些实施例中，所得的命令信号发送至内窥镜处理器808，以数字地影响(例如，数字地放大或以其他方式修改)由成像模块720、722接收的图像。在一些实施例中，所得的命令信号发送至内窥镜708，以改变成像模块722的成像模式(例如，通过非限制性示例的方式，以改变所成像的波长范围、光学放大率或视场的宽度)。在一些实施例中，所得的命令信号可以经由电缆、杆或光纤728发送，以控制成像模块722的运动，并且成像模块722可以基于外科医生的而指令移动或调整。例如，当外科医生期望观看由他的或她的凝视点识别的区域的放大图像时，成像模块722可以沿轴152f的纵向轴线移位，以获取“缩小”或放大图像。在替代性的实施例中，成像模块722可以经控制捕获并显示手术区域的主要图像，并且成像模块720可以基于外科医生的指令捕获并显示次要图像。

图7b是根据本公开的一个实施例示出用于控制远程操作医疗系统10的(一个或更多个)成像装置以施加各种成像修改的方法850的流程图。在过程852处，第一成像模块捕获手术区域的第一图像或主要图像。第一成像模块可以是经配置捕获手术区域的立体图像的立体摄像机。其中第一成像模块聚焦的术野内的位置可以由除使用者以外的人，例如接近患者的手术室中的工作人员调整。另外地或替代性地，第一成像模块可以由外科医生在外科医生控制台120(如图1c中所示)或远程操作医疗系统10的其他组件处致动和控制。在一些实施例中，如关于图2a-2c在上面描述，第一成像模块能够由外科医生的凝视点控制。特别地，外科医生的凝视点能够由图2c中所示的眼球跟踪系统200跟踪和解释，以影响第一成像模块。在一些实施例中，第一图像是零或低放大率的手术区域(如患者的腹部)的概观图像。在一些实施例中，第一图像包括零或低放大率的手术区域(例如，其中外科医生正在工作的手术区域)的主要图像。

在方法850的过程854处，第一图像由联接到第一成像模块的图7a中所示的内窥镜处理器808处理用于显示。内窥镜处理器808接收表示第一图像的数据并数字化诸如第一图像的位置、边界和/或放大率等图像数据的各种特征。数字化的信息可以保存在联接到内窥镜处理器808的一个或更多个存储器中。内窥镜处理器808处理第一图像的成像信息并将第一图像显示在图7a中所示的显示器816上。当第一成像模块是立体摄像机时，第一图像是立体图像。立体图像能够显示在外科医生控制台120的左眼图像显示器202a和右眼图像显示器202b上。然后，手术区域的3d主要图像能够由外科医生观看。

在过程856处，眼球跟踪系统200相对于第一图像的显示跟踪外科医生的眼球凝视点。例如，当第一图像显示在左眼图像显示器202a、右眼图像显示器202b上时，图2c的眼球跟踪系统可以相对于第一图像确定外科医生的眼球凝视。眼球凝视处理器206可以数字化眼球凝视信息，以提供例如外科医生的凝视点的3d位置。数字化的信息可以保存在联接到眼球凝视处理器206的一个或更多个存储器208(图2c中所示的)中。随着外科医生通过外科医生的眼球凝视发送指令，眼球凝视处理器206能够提供数字化的信息至控制单元210。关于用于由眼球凝视跟踪进行的远程操作医疗系统的控制的装置、系统和方法的附加细节可以例如在2014年3月19日提交的题为“集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法(medicaldevices,systems,andmethodsintegratingeyegazetrackingforstereoviewer)”的美国临时申请no.61/955334中发现，该美国临时申请全部并入本文。

在过程858处，远程操作医疗系统10从外科医生接收指令，以提供各种图像修改。在一些实施例中，来自于外科医生的指令包括提供外科医生的凝视区域的放大图像。在一些实施例中，来自于外科医生的指令也包括在第一图像上重叠第二修改图像。来自于外科医生的指令也可以包括在任何合适的成像模式中显示第二图像。

在过程860处，远程操作医疗系统10基于在过程858处接收的指令和在过程856处跟踪的外科医生的凝视点捕获第二图像。在一些实施例中，第二图像可以由第二成像模块使用指令和由控制单元210接收的凝视点信息捕获。在一些实施例中，第二成像模块的位置和取向能够由图7a中所示的图像处理系统800相应地调整，以捕获第二图像。在其他实施例中，所期望的第二图像通过数字处理获得，而无第二成像模块的光学操纵。在一些实施例中，光学操纵和数字操纵两者用于实现所期望的第二图像。

在过程862处，第二图像显示在图7a中所示的显示器816上。例如，第二图像能够是外科医生的凝视点的放大图像，或如由外科医生请求的在不同成像模式中显示的图像。

图8a、图9和图10a是示出呈现能够使用远程操作医疗系统10实现的不同图像修改的各种方法900、1000和1100的流程图。应当理解的是，这些方法在本质上仅是示例性的并且不意在限制。设想了其他图像修改。

图8a是示出用于使用本公开的远程操作医疗系统10显示重叠主要图像的放大图像的方法900的流程图。特别地，方法900涉及使用主要成像模块的主要图像的捕获和显示，并涉及使用辅助成像模块的与外科医生的凝视点对应的区域的放大图像的捕获和显示。图8b根据本公开的一些实施例示出显示在放大区域930内的预定眼球跟踪阈值区域935。图8c示出将放大图像960显示在主要图像950的顶部上的示例。图8d是示出使用图6a的成像装置112a来捕获并产生图8c中所示的主要图像950和放大图像960的示意图。图8e是示出使用图6b的成像装置112b和112c来捕获并产生图8c中所示的主要图像950和放大图像960的示意图。图8a-8e为了简单起见描述辅助或次要图像作为放大图像，并且应当理解的是设想了其他成像效果(例如，通过非限制性示例的方式，颜色/灰度级成像、锐化/模糊成像和发亮/阴暗成像)。

方法900参照图8a和图8c-8e在下面描述。在过程902处，手术区域的主要图像950由图8d的主要成像模块714或图8e的主要成像模块720捕获。在一些实施例中，主要成像模块可以是在图8b中所示的方法950的过程952中讨论的第一成像模块。

在方法900的过程904处，所捕获的主要图像950由联接到主要成像模块714或主要成像模块720的内窥镜处理器908处理，并且主要图像显示在显示器816上。

在过程906处，图2c的眼球跟踪系统200跟踪并解释外科医生的眼球凝视点。眼球凝视信息可以包括外科医生的凝视点的3d位置。如参照图8b中的过程956讨论，眼球凝视信息能够提供给控制单元210。

在一些实施例中，外科医生可能想要更详细地调查手术区域内的感兴趣区域。例如，外科医生可能希望检查诸如神经、血管和损伤的手术区域的精细结构的放大视图。在一些情况下，外科医生也可能想要启动在主要图像950的顶部上或重叠主要图像950的微型手术施加。在方法900的过程908处，远程操作医疗系统10从外科医生接收指令，以观看感兴趣的区域的虚拟放大图像。在一些实施例中，外科医生可以使用他的或她的眼球凝视点定位感兴趣的区域，并使用各种其他输入方法中的任何方法输入确认指令。例如，外科医生可以按下在外科医生控制台处的按钮，轻踏足踏板，发送音频消息，或眨眼。确认指令可以发送至辅助成像模块如图8d的成像模块715或图8e的成像模块722的控制单元210。在一些实施例中，确认指令也包括关于所选择的图像修改的特点或程度的更详细信息。例如，在一些实施例中，确认指令包括关于外科医生的优选放大水平的信息。另外，由眼球凝视处理器206提供的关于外科医生的凝视点的位置信息也可以发送至联接到对应辅助成像模块的控制单元210。

如上提及，图8b示出显示在虚拟放大区域930内的预定眼球跟踪阈值区域935。虚拟放大区域930可以使用(例如，由眼球凝视处理器206提供的)关于外科医生的眼球凝视的数字化位置信息和包括在(例如，在过程908处获取的)外科医生的指令中的优选放大水平产生。预定眼球跟踪阈值区域反映远程操作医疗系统10的当前使用者的特征化眼球运动。通常，人眼球运动可以包括频繁扫视，并且眼球运动行为因人变化。因此，眼球跟踪阈值区域935包括其中外科医生的眼球凝视频繁地扫视并可以对应于外科医生的观察眼球运动行为的区域。因为不同的外科医生可以具有不同的扫视频率、速率和振幅，所以眼球跟踪阈值区域935的形状和大小能够从一个外科医生至另一个外科医生变化。特定的外科医生的眼球跟踪阈值区域935可以在眼球跟踪校准过程期间决定。

外科医生的预定眼球跟踪阈值区域935可以反映此外科医生的眼球凝视测量的精确性和准确性范围。在一些实施例中，眼球跟踪阈值区域935可以用于判定所测量的外科医生的眼球凝视点的中心位置以及在该点处的重复测量的一致性。预定眼球跟踪阈值区域935可以经布置与放大区域930共同定中心(co-center)，以促进在眼球跟踪阈值区域935和放大区域930之间的比较。

应当理解的是，放大区域930和眼球跟踪阈值区域935的圆形形状仅是示例性的用于在本公开中说明，并且区域930、935的形状可以成形在各种合适形状中的任何形状中，通过非限制性示例的方式包括长方形、椭圆形或正方形。在一些实施例中，因为外科医生的眼球跟踪阈值区域935可以由于积累的压力或疲劳变化，所以外科医生可以经受另一校准部分来更新眼球跟踪阈值区域935。在一些实施例中，外科医生的眼球运动行为可以由眼球跟踪系统200实时地监视，以当检测到外科医生的任何不正常眼球运动行为时警告外科医生和/或其他医疗工作人员。例如，如果眼球跟踪系统200检测到外科医生的不正常和/或无特征的眼球运动行为，则系统200可以(例如，经由显示器816)向外科医生发送要求重新校准过程的警告，或者可以建议外科医生停止当前工作部分。

在方法900的过程910处，外科医生(例如，当前使用者)的预定眼球跟踪阈值区域935的大小(例如，由图7a中所示的图像处理系统800)与虚拟放大区域930的大小比较，以便避免在放大视图中发生的不经意抖动。此比较能够由眼球凝视处理器206和/或控制单元210的处理器执行。如果放大区域930比预定眼球跟踪阈值区域935更小，外科医生的当前凝视点可能不在所期望的精确性和准确性范围内，并且外科医生的当前凝视点的放大图像930可以用不经意的抖动或扫视显示。换句话说，如果外科医生的眼球凝视点位于预定眼球跟踪阈值935外部，由放大图像930表示的手术区域随着外科医生的眼球凝视相对于图7a中所示的图像显示器816(例如，图2c中所示的图像显示器202a、202b)移位而变化。在一些实施例中，平均凝视点(例如，在特定时间段内或特定数量n的图像框架上的凝视点的时间平均权重)能够由凝视处理器206和/或控制单元210的处理器计算，并且平均凝视点可以与预定眼球跟踪阈值区域935比较。例如，如果平均凝视点(例如，最后n个图像框架上)在预定眼球跟踪阈值区域935外部移动，则放大区域930的位置相对于图7a中所示的图像显示器816(例如，图2c中所示的图像显示器202a、202b)移位。因此，预定眼球跟踪阈值区域935允许自然扫视或使用者眼球凝视的移位，而不引起放大视图的位置的不经意抖动(例如，而不改变放大图像930来跟踪或反映外科医生的眼球凝视的自然扫视)。

在一些实施例中，如果外科医生的眼球凝视点位于预定眼球跟踪阈值区域935外部，外科医生的当前凝视点不可以放大，并且方法900返回到过程906，以继续跟踪外科医生的眼球凝视。在一些实施例中，如果外科医生想要通过改变主要成像模块的聚焦位置来改变主要图像，则方法900返回到过程902，以捕获不同的主要图像。

然而，如果反映外科医生的眼球凝视的放大区域930(例如，由图7a中所示的图像处理系统800)经确定大于预定眼球跟踪阈值区域935，(例如，由眼球跟踪系统200测量的)外科医生的当前凝视点可以被视为在当前外科医生的眼球凝视测量的期望的精确性和准确性范围内。换句话说，如果外科医生的凝视点经确定位于预定眼球跟踪阈值区域935内，则放大图像530保持静止。可以显示外科医生的当前凝视点的放大图像930(例如，作为放大区域930)，而不反映眼球的不经意抖动或扫视。

在过程911处，眼球凝视处理器206和/或控制单元210的处理器询问放大区域930是否在主要图像内。在一些示例中，外科医生的眼球凝视可以有意地或不经意地移位至在由主要成像模块714或主要成像模块720捕获的主要图像的边缘外部或边缘处的区域。通常，可以更容易且更精确定位并控制在主要图像的中间区域附近而不是在主要图像的边缘外部或边缘处的使用者放大视觉(例如，感兴趣的区域的放大区域930)。因此，在过程911处，外科医生的眼球凝视的虚拟放大区域930还可以与由主要成像模块捕获的主要图像950比较，以确认外科医生的眼球凝视点位于主要图像内。

如果放大区域930位于主要图像950的边缘外部或边缘处，通过调整主要成像模块和/或辅助成像模块的位置和取向来获取新的主要图像和放大图像，方法900可以前进回到过程902。在一些情况下，主要成像模块可以“遵循”辅助成像模块在术野内的运动或方向。例如，图7a中所示的图像处理系统800可以与外科医生的眼球凝视点的移位配合来移位辅助成像模块715或722(分别在图8d和图8e中示出)，并且可以移位主要成像模块714或720(分别在图8d和图8e中示出)以“遵循”放大区域930，从而维持放大区域在主要图像的中间部分内。在一些实施例中，数字化的外科医生的眼球凝视信息可以由对应主要成像模块的控制单元210使用，以适当地调整其位置。

当远程操作医疗系统10(例如，图7a中所示的图像处理系统800)确定外科医生的放大眼球凝视的虚拟放大区域930位于主要图像950内时，方法900前进到过程912。在过程912处，控制单元210经由外科医生的眼球凝视和/或其他输入接收并处理外科医生的指令。例如，控制单元210从眼球凝视处理器206接收外科医生的凝视点的数字化位置信息。控制单元210也可以接收由外科医生输入的优选放大率。控制单元210可以发送位置和放大数据至器械接口150(例如，分别连接到辅助成像模块715或辅助成像模块722的器械接口150d或器械接口150f)。如上所述，在一些实施例中，器械接口150d或器械接口150f可以发送位置和放大信息至联接到辅助成像模块715或辅助成像模块722的致动器806，并且致动器806能够驱动辅助成像模块，以移动对应成像模块至外科医生的凝视点的位置，如图8d-8e中所示。轴152d/腕形件713或轴152f/腕形件727和对应的辅助成像模块715或成像模块722分别可以沿轴的纵向轴线朝向外科医生的凝视点延伸与所期望的放大水平对应的某一距离，并且放大图像960(如图8d和图8e中所示)可以由对应的辅助成像模块715或722捕获。

在过程914处，在致动器806已经响应于外科医生的指令调整辅助成像模块之后，辅助成像模块(例如，715或722)捕获由外科医生的凝视点指示的感兴趣的区域的次要或修改图像。辅助成像模块捕获由外科医生的凝视点指示的感兴趣的区域的放大图像960。在一些实施例中，辅助成像模块包括能够捕获立体图像的图6c中所示的立体摄像机730。

在过程916处，(图7a中所示的)图像处理系统800处理并显示外科医生的凝视点的放大图像960作为在主要图像950上重叠的图像。在一些实施例中，放大图像960可以经由光学放大方法(例如，相对于由外科医生的眼球凝视点表示的感兴趣的区域的辅助成像模块的实际调整)捕获。另外地或替代性地，放大图像960可以由内窥镜处理器808(例如，经由数字化操纵)产生。内窥镜处理器808能够数字化由辅助成像模块捕获的放大图像960，并且然后配准放大图像960，以将其重叠在显示器816上的主要图像950顶部。

在一些实施例中，共同的基于特征部的方法(例如，共同的界标方法)可以用于配准放大图像960，以将其重叠在主要图像950顶部。例如，在一些实施例中，内窥镜处理器808能够识别共同特征部，如图8c的特征955，其出现于主要图像950和放大图像960二者中。然后内窥镜处理器808可以在空间上将放大图像960的共同特征部955与主要图像950中的共同特征部955对准。虽然共同的基于特征部的方法在本文描述作为将放大图像960与主要图像950图像融合的方法，但是应该理解的是通过非限制性示例的方式，诸如基于强度的方法或基于特征部的方法等任何合适方法可以用于配准放大图像960，以将其重叠在主要图像950上。

在一些实施例中，显示器816可以与图像显示器202a和202b相同。当辅助成像模块包括如图6c中所示的立体摄像机时，立体摄像机可以以要求的放大率捕获立体图像，并且内窥镜处理器808可以产生要显示的左右立体图像并将主要图像950的立体图像分别重叠在图像显示器202a和202b上。外科医生可以感知立体图像为放大眼球凝视点的3d图像。另外地或替代性地，显示器816可以包括外部显示器，如图1d中所示的触摸屏146。

在过程918处，远程操作医疗系统10询问外科医生是否期望放大图像。在手术期间，外科医生可以将放大图像打开和关闭，或者“切换”放大图像打开和关闭。在外科医生观看放大图像960之后，外科医生可以发送结束指令，以关闭、隐藏或关断放大图像960。外科医生可以使用任何方法发送结束指令，例如，外科医生可以按下在外科医生控制台处的按钮，轻踏足踏板，或发送音频消息，或甚至眨眼。

在从外科医生接收指令以关闭、隐藏或关断放大图像960后，方法900前进到过程920。在过程920处，图像处理系统800从显示器816关闭、隐藏或关断放大图像960。当放大图像960被从视图关闭或隐藏时，显示器816仅显示主要图像950。结束指令可以发送至联接到对应辅助成像模块的控制单元210，以注销图像显示器816上的放大图像960，使得放大图像960在主要图像950上的重叠外形消失。在一些实施例中，辅助成像模块继续获得放大图像960，即使放大图像960未显示在显示器816上。在其他实施例中，停用辅助成像模块。控制单元210可以关闭辅助成像模块，并通过控制致动器806将辅助成像模块移出外科医生的凝视点的位置。在一些实施例中，在外科医生不发送指令来打开放大图像816或者以其他方式示出显示器816上的放大图像960(例如，经由重新开始指令)这一情况下，仅在预定的时间量已经通过之后，可以停用辅助成像模块。

在一些情况下，外科医生可能想要观看术野内的另一感兴趣的区域的放大图像。如果图像处理系统900不接收指令来结束放大，或者如果系统900从外科医生接收指令来重新开始放大的指令，则方法900可以返回到过程908。在一些实施例中，外科医生可以改变他的或她的眼球凝视点，并且新的指令可以包括捕获并显示外科医生的新的眼球凝视点的放大图像(例如，如由过程910-918概述)。在一些实施例中，当当前放大不足以充分地检查精细结构时，新的指令可以使用过程910-918指示在外科医生的凝视点的当前放大图像上的进一步放大或“进行放大”。

图9是根据本公开的一个实施例示出用于使用图像处理系统800控制成像装置112a、112b和/或112c以使用不同成像模式捕获并显示主要图像和次要图像的方法1000的流程图。当使用图6a的成像装置112a时，在第一成像模式中的主要图像可以使用主要成像模块714捕获和显示，并且辅助或次要图像可以使用诸如荧光透视法或超声波检查法等不同成像模式，使用辅助成像模块715捕获。辅助图像可以协助外科医生特征化和/或识别与外科医生的凝视点对应的感兴趣的区域内的结构。在一些实施例中，辅助成像模块715可以经配置或调整用不同成像模式提供外科医生的凝视点的放大图像。

在一些实施例中，当使用图6b的成像装置112b时，主要图像可以使用主要成像装置112b与主要成像模块720捕获和显示，并且次要或辅助图像可以使用辅助成像装置112c的辅助成像模块722用诸如荧光透视法或超声检查法等不同成像模式捕获，以特征化和/或识别在外科医生的凝视点处的结构。在一些实施例中，辅助成像模块722可以经调整用不同成像模式提供外科医生的凝视点的放大图。

在外科手术的开始之前，经配置提供辅助图像的图像处理系统800可以基于外科医生的请求修改。在一些实施例中，例如，如果外科医生想要以荧光透视法具有辅助图像，照明单元810可以采用x射线源，并且显示器816可以是荧光屏幕。在一些实施例中，图像处理系统800可以包括任何已知技术，以将x射线转换成可见光输出，并且可以用ccd视频摄像机将显示器816联接到辅助成像模块。用于荧光透视法的图像处理系统800可以允许图像在显示器816上记录并示出。

在一些实施例中，如果外科医生想要以超声检查法具有辅助图像，照明单元810可以采用经配置产生超声波的压电式换能器，辅助成像模块可以是在适当的频率范围中操作的超声扫描器，并且内窥镜处理器808可以能够处理所接收的声波并将所接收的声波转换为要显示在显示器816上的数字图像。因此，图像处理系统800可以经修改和配置采用具有所要求的组件的任何合适布置的任何合适的技术，以能够基于外科医生的请求捕获并显示期望的成像模式。

在方法1000的过程1002处，主要成像模块用于捕获手术区域的主要图像。在过程1004处，图像处理系统800在显示器816上处理并显示主要图像。在过程1006处，(图2c中所示的)眼球跟踪系统200跟踪外科医生的眼球凝视点。在一些实施例中，主要图像可以包括立体图像，并跟踪外科医生的凝视点的3d位置。方法1000的过程1002、1004和1006可以基本上类似于图8a中所示的方法850的过程902、904和906。

在方法1000的过程1008处，外科医生可以指示在感兴趣的区域处他的或她的凝视点，并使用任何合适的方法输入指令(例如，用于观看次要图像)。例如，外科医生可以通过按下在外科医生的控制台处的按钮，轻踏足踏板，发送音频消息，或通过眨眼发送指令。指令可以发送至联接到辅助成像模块的(图6a中所示的)控制单元802。在一些实施例中，指令也可以包括诸如优选类型的成像模式和/或优选放大等信息。另外，由(图2c中所示的)眼球凝视处理器206提供的外科医生的凝视点的位置信息也可以发送至辅助成像模块的控制单元802。

在过程1010处，类似于图8a中的过程911，图像处理系统400确定外科医生的眼球凝视是否指示在由主要成像模块捕获的主要图像表示的区域外部的区域处。如果外科医生的眼球凝视点经确定在由主要图像表示的区域外部，则通过调整主要成像模块的位置和取向以形成包括与外科医生的眼球凝视点对应的区域的更新主要图像，方法1000可以前进回到过程1002。当外科医生的眼球凝视点是在主要图像内时，方法1000前进到过程1012。

在过程1012处，控制单元802处理在过程1008处接收的外科医生的指令，并准备辅助成像模块来捕获所期望的次要图像。在一些实施例中，控制单元802可以指示致动器806实际地定位或调整辅助成像模块，以捕获所要求的图像。

在过程1014处，辅助成像模块可以根据外科医生的指令用请求的模式捕获图像。另外地或替代性地，控制单元802指示内窥镜处理器808用期望的模式数字地准备次要图像。

在过程1016处，内窥镜处理器808在显示器816上处理并显示所要求的次要图像。在一些实施例中，如上所述，内窥镜处理器808处理并识别次要图像和主要图像之间的共同特征，使得次要图像能够对准并显示为在图像显示器816上的主要图像顶部的重叠物。应当理解的是其他合适的方法可以用于配准次要图像并将其重叠在主要图像上。在其他实施例中，次要图像可以以重叠或非重叠的方式与主要图像邻近显示。

在过程1018处，图像处理系统800确定外科医生是否期望继续辅助成像过程和/或继续观看辅助图像。如果外科医生请求连续的辅助成像，无论用于在不同位置上的图像或用于在不同模式中的图像，则方法1000返回到过程1008，以从外科医生获得新的指令。如果图像处理系统800确定外科医生期望结束辅助成像和/或中断观看辅助图像，则能够在过程1020处结束辅助成像过程和/或能够隐藏辅助图像(例如，切换为关闭)。方法1000的过程1012-1020基本上类似于图8a的方法900的过程912-920。

图10a示出用于显示随着成像模块遵循外科医生的眼球凝视并穿过由图像显示器816上的主要图像表示的区域扫描而捕获的多个图像(例如，图10b中所示的图像1150-1154、1160-1164和1170-1174)的方法1100。图10b示出随着成像模块遵循由外科医生的眼球凝视输送的指令以穿过图像显示器816上的主要图像扫描而捕获并显示的多个示例性图像。

在过程1102处，图像处理系统800使用主要成像模块(例如，图6a的主要成像模块714或图6b的主要成像模块720)捕获并显示主要图像。如上所示，主要成像模块可以是经配置捕获手术区域的立体图像的立体摄像机。主要成像模块也可以由外科医生在外科医生控制台120(如图1c中所示)致动和控制。主要成像模块也可以由手术室中的其他工作人员调整。在一些实施例中，主要图像可以是诸如零或低放大率的患者腹腔等手术区域的概述图像。所捕获的主要图像能够由可以联接到主要成像模块的内窥镜处理器808处理。内窥镜处理器808可以接收主要图像并数字化诸如主要图像的位置、边界和/或放大水平等各种类型的主要图像数据。数字化信息可以保存在联接到内窥镜处理器808的一个或更多个存储器中。内窥镜处理器808也能够处理主要图像的成像信息，以将主要图像显示在显示器816上。

在过程1104处，随着外科医生的眼球穿过在过程1102处获得的主要图像扫描，图2c的眼球跟踪系统200跟踪外科医生的眼球凝视。外科医生的眼球凝视可以使用眼球跟踪系统200的眼球跟踪器204a和204b跟踪。眼球凝视处理器206可以处理由眼球跟踪器204a和204b提供的眼球凝视信息，并数字化关于外科医生的凝视点的数据，如相对于图像显示器202和/或术野的外科医生的凝视点的3d位置。数字化信息可以保存在联接到眼球凝视处理器206的一个或更多个存储器208处。当外科医生基于外科医生的眼球凝视发送指令时，眼球凝视处理器206也可以提供信息至控制单元802。

在过程1106处，图像处理系统800从外科医生接收指令。在一些实施例中，外科医生可以识别一个或更多个感兴趣的区域，同时穿过主要图像扫描用于进一步调查。外科医生可以请求感兴趣的区域的修改视图(例如，通过非限制性示例的方式，放大视图、在不同成像模式中的视图、突出的或锐化的视图、发亮的或彩色的视图或以其他图形方式调整的视图)。例如，外科医生也可以请求以不同成像模式的感兴趣的区域的视图，以进一步调查和/或特征化感兴趣的结构。在一些实施例中，外科医生可以请求感兴趣的区域的放大视图，以观看感兴趣的区域内的结构的更详细图像。

随着外科医生凝视感兴趣的区域，外科医生可以使用各种合适的输入方法中的任何输入方法输入确认指令。例如，外科医生可以按下在外科医生控制台处的对应按钮，轻踏足踏板，发送音频消息或以特定的模式眨眼，以输入所期望的指令。确认指令可以发送至控制单元802，控制单元802联接到可以或可以不与主要成像模块相同的成像模块。当成像模块不同于主要成像模块714或主要成像模块720时，图6a的辅助成像模块715或图6b的辅助成像模块722可以由控制单元802启用。在一些实施例中，确认指令也可以包括外科医生的期望的调查模式信息，如优选的成像模式、用于“放大”图像的期望的放大水平和/或其他类型的视觉/图形效果。另外，由眼球凝视处理器206提供的外科医生的凝视点的3d位置信息发送至控制单元802。在一些实施例中，在发送外科医生的确认指令至控制单元802之前，图像处理系统800(例如，控制单元802的处理器和/或眼球凝视处理器206)可以执行类似于方法900的过程910和911的一个或更多个确定过程。

在过程1108处，图像处理系统800处理外科医生的确认指令。控制单元802从眼球凝视处理器206接收外科医生的凝视点的位置信息和确认指令(包括外科医生的期望的调查模式信息)。控制单元802可以发送位置数据和确认指令至连接到适当成像模块的器械接口150。在一些实施例中，器械接口150可以发送位置数据和确认指令至致动器806，并且致动器806可以驱动成像模块至实际位置，其中成像模块能够获得由外科医生的凝视点表示的感兴趣的区域的期望图像。例如，当外科医生已经请求由外科医生的凝视点识别的感兴趣的区域的放大图像时，成像模块可以由致动器806驱动，以沿轴的轴线延伸以在期望的放大水平处捕获放大图像。

在过程1110处，成像模块捕获由外科医生的凝视点指示的感兴趣的区域的次要图像(例如，基于在过程1106处发送的外科医生的指令)。特别地，在一些实施例中，致动器1106调整成像模块的位置和取向至由外科医生的眼球凝视点表示的感兴趣的区域，并且成像模块捕获感兴趣的区域的次要图像用于外科医生的调查。在一些实施例中，在成像模块到达由外科医生的凝视点反映的感兴趣的区域处之前，成像模块也可以在成像模块穿过术野朝向感兴趣的区域的运动期间捕获图像。在一些实施例中，成像模块可以包括能够捕获立体图像的如图6c中所示的立体摄像机。

在过程1112处，图像处理系统800处理由外科医生的凝视点反映的感兴趣的区域的所捕获的次要图像和/或随着成像模块朝向感兴趣的区域行进而捕获的图像。内窥镜处理器808可以在显示器816上呈现图像之前数字化次要图像。例如，在一些实施例中，内窥镜处理器808可以根据主要图像产生数字地放大的次要图像和/或施加各种图形效果至所捕获的次要图像。内窥镜处理器808也可以产生次要图像的数字化信息，如关于外科医生的凝视点的位置信息以及关于用于捕获图像的成像模块的位置和取向信息。通过非限制性示例的方式，此数字化数据可以存储在诸如图2c的存储器208和/或图7a的存储器812等存储器中。

在过程1114处，图像处理系统800在显示器816上显示由外科医生的凝视点指示的感兴趣的区域的所捕获的次要图像。在一些实施例中，内窥镜处理器808可以比较并识别次要图像和主要图像之间的共同特征部，并且然后在空间上配准所捕获的图像，以使用共同特征部正确地对准并重叠次要图像在主要图像顶部。应当理解的是，任何其他合适的方法可以用于将所捕获的图像和主要图像图像融合。在一些实施例中，当成像模块包括如图6c中所示的立体摄像机时，立体摄像机可以捕获立体图像，并且内窥镜处理器808可以产生左右立体图像以在显示器816上显示，使得外科医生可以感知眼球凝视点指示的区域的3d立体图像。

在过程1116处，图像处理系统800询问外科医生是否已经结束穿过主要图像扫描。如果外科医生尚未完成扫描主要图像，或者当外科医生希望双倍检查一个或更多个前面扫描的点时，方法1100可以前进回到过程1104，以继续跟踪外科医生的眼球凝视。如图10b中所示，如果随着他或她穿过主要图像扫描，外科医生指示系统10在不同位置处捕获他的或她的凝视点的多个次要图像，则由凝视点指示的感兴趣的区域的多个图像1150-1154、1160-1164和1170-1174能够被处理并在显示器816上示出。图像1150-1154、1160-1164和1170-1174可以在显示器816上示出作为在主要图像顶部重叠的图像，或者可以与主要图像邻近示出。

在手术期间，外科医生可能想要在任何时间出于任何理由停止扫描主要图像，并且外科医生能够使用任何合适的方法发送指令至系统10。在过程1116处，当图像处理系统800确定外科医生已经完成扫描主要图像时，眼球凝视处理器206可以通过告知外科医生次要图像的捕获的中止来确认扫描过程的结束。在一些实施例中，图像处理系统800也可以促使外科医生查看多个图像并选择一个图像，用于进一步的评价。

在过程1118处，外科医生可以查看示出随着外科医生穿过主要图像扫描使用外科医生的凝视点跟踪和捕获的多个感兴趣的区域的多个图像1150-1154、1160-1164和1170-1174。外科医生可以选择要在显示器816中示出的一个或更多个图像(例如，如图10c中所示的显示器816的中间图像1162)，用于进一步调查。外科医生可以通过使用他的或她的凝视点，或者通过使用任何其他合适方法输入他的或她的选择来选择图像。

在过程1120处，图像处理系统800处理外科医生的选择。外科医生可以请求特定成像效果或成像模式的类型，用于所选择的图像的进一步调查。例如，外科医生可以指示系统800显示所选择的图像1162的放大图像1176，并且放大图像1176可以重叠在图像1162顶部，如图10c中所示。联接到执行所请求的成像功能的成像模块的图像处理系统800可以经配置在任何合适布置中具有任何合适的技术，以满足外科医生的请求。所接收的选择和图像处理指令可以发送至控制单元802以处理。在一些实施例，控制单元802也可以与存储器208和/或812交换信息，以检索最新选择的感兴趣的区域的位置数据和捕获感兴趣的点的图像的成像模块的位置和取向数据。在一些实施例中，所检索的数据可以用于调整致动器806，以重新定位成像模块来基于外科医生的请求捕获与所选择的图像对应的感兴趣的区域的另一图像。

在过程1122处，所选择的图像的所请求的图像被捕获或以数字方式产生且然后在显示器816上显示，用于外科医生的调查。图10c示出基于外科医生的请求显示来自于图10b的多个图像的图像1162的放大图像1176的示例。在所示的实施例中，放大图像1176被示出在所选择的图像1162顶部重叠。在一些实施例中，所请求的图像(例如，放大图像1176)可以在显示器816的中间部分示出，不管所选择的图像在显示器816上的原始位置。在一些实施例中，立体摄像机可以用作成像模块以捕获放大图像，并且立体图像可以经显示以由外科医生感知为所选择的图像1162的3d放大图像。在一些实施例中，新产生或捕获的图像可以是图像融合的，以使用如相对于过程1114在前面讨论的基本类似方法叠加前面捕获的图像。过程1118-1122在一些手术操作中可以是可选的。

第一医疗系统的实施例包括：图像显示器，其经配置向使用者显示术野的主要图像；眼球跟踪系统，其经配置测量使用者的凝视点数据并基于凝视点数据确定在主要图像中的观看位置，其中使用者的凝视点指示该位置；和图像处理系统，其联接到图像显示器并经配置基于观看位置调整图像显示器上的主要图像。

在第一医疗系统中，图像处理系统经配置接收来自使用者的指令输入并基于指令调整主要图像。

在第一医疗系统中，图像处理系统经配置基于凝视点数据通过显示图像显示器上的观看位置的次要图像，调整主要图像。

在第一医疗系统中，图像处理系统经配置将次要图像与主要图像图像融合，使得观看位置的次要图像在图像显示器上显示为在主要图像顶部的重叠。

在第一医疗系统中，图像处理系统经配置将次要图像与主要图像图像融合，使得观看位置的次要图像在图像显示器上显示为与主要图像邻近。

第一医疗系统还包括第一成像模块和第二成像模块，其中第一成像模块经配置获得主要图像并且第二成像模块经配置基于凝视点数据捕获次要图像，第一成像模块和第二成像模块被独立地控制。

在第一医疗系统中，第一成像模块和第二成像模块是第一成像装置的组件部分。

在第一医疗系统中，第一成像模块构成第一成像装置并且第二成像模块构成第二成像装置。

在第一医疗系统中，第一成像模块和第二成像模块中的至少一个包括立体摄像机。

在第一医疗系统中，第一成像模块以第一成像模式操作并且第二成像模块以第二成像模式操作。

在第一医疗系统中，第一成像模块在第一波长范围中操作并且第二成像模块在第二波长范围中操作，其中第一波长范围不同于第二波长范围。

第一医疗系统包括在次要图像内的眼球跟踪阈值区域，眼球跟踪阈值区域小于次要图像，其中图像处理系统经配置响应于反映使用者在眼球跟踪阈值区域内移位眼球凝视的凝视点数据的变化，维持主要图像和次要图像。

第一医疗系统还包括联接到第一成像模块和第二成像模块的内窥镜处理器，内窥镜处理器经配置响应于所确定的观看位置和来自于使用者的指令输入调整主要图像或次要图像中的至少一个。

在第一医疗系统中，内窥镜处理器经配置基于所确定的在主要图像中的观看位置独立地控制第一成像模块的至少一个功能和第二成像模块的至少一个功能。

在第一医疗系统中，内窥镜处理器经配置在术野内定向并定位第二成像模块，以基于来自于使用者的指令输入和所确定的在主要图像中的观看位置捕获次要图像。

第一医疗系统还包括用于调整第一成像模块的位置和取向的第一铰接腕形件和用于调整第二成像模块的位置和取向的第二铰接腕形件，其中第一铰接腕形件和第二铰接腕形件响应于来自于内窥镜处理器的命令信号移动。

第一医疗系统还包括联接到第二成像模块的第一轴，其中第二成像模块经配置响应于来自于内窥镜处理器的命令信号沿第一轴的纵向轴线移动。

在第一医疗系统中，内窥镜处理器经配置在术野内定向和定位第一成像模块，以基于凝视点数据和所确定的在主要图像中的观看位置维持次要图像在主要图像内。

在第一医疗系统中，内窥镜处理器经配置基于来自于使用者的指令输入调整由第二成像模块获得的次要图像。

在第一医疗系统中，内窥镜处理器经配置在图像显示器上相对于主要图像强调次要图像。

在第一医疗系统中，内窥镜处理器经配置在图像显示器上相对于主要图像数字地改变次要图像。

在第一医疗系统中，内窥镜处理器经配置在图像显示器上相对于主要图像数字地放大次要图像。

在第一医疗系统中，眼球跟踪系统包括至少两个眼球跟踪器。

在第一医疗系统中，图像显示器包括在眼球跟踪系统中并包括左眼图像显示器和右眼图像显示器。

在第一医疗系统中，图像显示器是经配置向使用者显示主要图像的3d图像的3d图像显示器。

用于操作手术系统的第一方法包括在图像显示器上显示主要图像；随着使用者观看图像显示器上的主要图像，使用眼球跟踪系统跟踪使用者的凝视点数据；以及基于凝视点数据调整主要图像。

用于操作手术系统的第一方法还包括接收来自于使用者的指令输入。

在用于操作手术系统的第一方法中，调整主要图像包括基于来自于使用者的指令输入显示由凝视点数据识别的感兴趣的区域的次要图像。

在用于操作手术系统的第一方法中，次要图像包括基于凝视点数据的主要图像的可视调整的部分。

在用于操作手术系统的第一方法中，次要图像包括基于凝视点数据的主要图像的放大部分。

在用于操作手术系统的第一方法中，次要图像包括基于凝视点数据的主要图像的锐化部分。

在用于操作手术系统的第一方法中，次要图像包括基于凝视点数据的主要图像的突出部分。

在用于操作手术系统的第一方法中，次要图像是不同于主要图像的成像模式。

用于操作手术系统的第一方法还包括基于来自于使用者的指令输入和凝视点数据，使用成像模块捕获次要图像。

用于操作手术系统的第一方法还包括：基于凝视点数据确定主要图像中的观看位置，其中使用者的凝视点指示该观看位置；确定观看位置是否位于预定眼球跟踪阈值区域外部；以及如果观看位置位于预定眼球跟踪阈值外部，基于观看位置更新次要图像。

在用于操作手术系统的第一方法中，基于观看位置和指令输入调整成像模块的位置和取向。

在用于操作手术系统的第一方法中，成像模块经配置随着使用者穿过主要图像扫描捕获多个次要图像。

在用于操作手术系统的第一方法中，主要图像使用第一成像模块捕获并且次要图像使用次要图像模块捕获。

在用于操作手术系统的第一方法中，主要成像模块位于第一成像装置处，并且第二成像模块位于不同于第一成像装置的第二成像装置处。

在用于操作手术系统的第一方法中，确定观看位置是否位于预定眼球跟踪阈值区域外部包括比较在预定数量的图像框架之上的平均观看位置与预定眼球跟踪阈值区域。

在用于操作手术系统的第一方法中，确定观看位置是否位于预定眼球跟踪阈值区域外部包括比较在预定时间段内的平均观看位置与预定眼球跟踪阈值区域。

虽然说明性实施例已经示出并描述，但是宽范围的修改、变化和替代在前面的公开中设想，并且在一些情况下可以采用实施例的一些特征而无其他特征的对应使用。本领域的普通技术人员将认识到许多变化、替代和修改。因此，本公开的范围应该仅由随附权利要求限制，并且应当理解，权利要求应该广泛地并以与本文公开的实施例的范围一致的方式解释。