用于在手术程序期间检测图像退化的系统、方法和计算机可读介质与流程

背景技术：

机器人外科系统可以用于微创手术程序中。在机器人手术程序期间，外科医生利用远程外科医生控制台处的用户接口控制机器人外科臂。用户接口允许外科医生操纵联接到机械臂的手术器械，并控制相机接收患者体内的手术部位的图像。

外科医生控制台可以包括立体显示器，有时被称为三维(3d)显示器。在这方面，有时结合外科医生穿戴的对应的一对立体眼镜，这样的显示器通过将图像作为分别提供给左眼和右眼的一对不同图像而呈现给外科医生来促进来自图像的深度感知。立体显示器可以显示由立体内窥镜提供的图像。立体内窥镜采用两个信号路径，通常是左眼视图和右眼视图，它们被匹配并相互交叉以生成立体图像。如通常在手术程序期间发生的那样，生物材料或其他与手术相关的材料可能会遮挡立体内窥镜的透镜之一，从而使提供给显示器的图像退化。在立体内窥镜的情况下，这种退化会通过现在不匹配的立体图像对而对外科医生产生潜在的副作用，这可能会导致感知问题，使外科医生的视线和认知路径在外科医生没有意识到的情况下不堪重负。这可能导致外科医生在感知和响应所观察到的立体信息方面的表现退化。因此，能够检测出这些不匹配情况并告知外科医生需要纠正该情况是有用的。

技术实现要素：

根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的方法。在本公开的一方面，例示性方法包括：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。

在本公开的又一方面，所述手术器械的图像由图像捕获装置接收。

在本公开的另一方面，所述图像捕获装置是包括左眼透镜和右眼透镜的立体内窥镜。

在本公开的又一方面，在初始图像捕获装置校准期间获取所述手术器械的边缘的基线图像的特征。

在本公开的又一方面，所述方法还包括：以预定间隔周期性地接收所述手术器械的边缘的图像。

在本公开的另一方面，对所述手术器械的图像退化的确定至少部分地基于接收到的所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征之间的差异大于阈值。

在另一方面，所述方法还包括：通过计算从接收到的所述手术器械的图像得出的调制传递函数来确定所述手术器械的图像的特征。

根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的系统。在本公开的一方面，一种例示性系统包括：手术器械，所述手术器械包括至少一个边缘；图像捕获装置，所述图像捕获装置被配置成捕获所述手术器械的图像，所述手术器械的图像包括特征；显示装置；至少一个处理器，所述至少一个处理器耦合到所述图像捕获装置和所述显示装置；和存储器，所述存储器耦合到所述至少一个处理器并在其上存储：所述手术器械的边缘的基线图像的特征；和指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行以下操作：获取所述手术器械的边缘的基线图像的特征，接收所述手术器械的图像，将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像的特征之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到，基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化，以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。

根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的存储指令的非暂时性计算机可读介质。在本公开的一方面中，例示性非暂时性计算机可读介质存储有指令，所述指令在由处理器执行时使所述处理器：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。

可以在不脱离本公开的范围的情况下对本公开的任何上述方面和实施方式进行组合。

附图说明

在参考所附附图阅读本发明的各种实施方式的描述时，本发明所公开的系统、方法和计算机可读介质的目的和特征对于本领域普通技术人员将变得显而易见，其中：

图1是根据本公开的实施方式的机器人外科系统的示意图；

图2是根据本公开的实施方式的图像捕获装置和手术器械的简化立体图；

图3是根据本公开的从图像捕获装置接收到的手术部位的图像；

图4是根据本公开的实施方式的由手术器械和周围解剖材料之间的亮度差异形成的测试图案；

图5示出了根据本公开的另一实施方式的可以设置在手术器械上的测试图案的图像；

图6是根据本公开的图5的测试图案的调制传递函数曲线图；以及

图7是例示根据本公开的检测图像退化的示例性方法的流程图。

具体实施方式

本公开总体上涉及在手术程序期间动态检测图像退化并提供关联的通知。为了确定在手术程序期间发生的退化量，可以使用内窥镜校准技术。内窥镜成像系统可以在其使用之前和/或在手术程序开始时已被校准。在使用之前，校准包括以下过程：通过使用校准目标，在成像系统的峰值或近峰值操作条件下确定和记录基本参数。因此，在使用内窥镜系统之前进行的校准提供了在发生退化之前内窥镜系统的基线度量。在手术程序期间，与校准期间采用的技术相似的技术可用于确定内窥镜成像系统的当前参数。通过自动且动态地将当前参数与基本参数进行比较，可以确定内窥镜图像退化。

为此，本公开涉及用于实现在手术程序期间动态检测手术部位的图像的图像退化以及用于在手术程序期间生成和显示图像退化通知的系统、方法和计算机可读介质。在这方面，在图像捕获装置的校准期间，基于校准目标(诸如图像捕获装置的视野内的测试图案和/或工具边缘)确定并记录图像捕获装置的一个或多个基线参数。在手术程序期间，手术部位的图像由图像捕获装置捕获并提供给计算装置(诸如控制台)使用与校准期间采用的技术相似的技术进行处理，以确定图像捕获装置的一个或多个当前参数。通过动态比较图像捕获装置的当前参数和基线参数，可以做出与图像退化有关的确定。

如本文中所使用的，术语“临床医生”、“外科医生”、“观察者”和/或“观看者”通常是指本文中所描述的立体显示装置的用户。另外，尽管本文中所使用的术语“第一眼”和“第二眼”分别是指用户的左眼和右眼，但是这种使用是作为示例提供的并且不应该被解释为是限制性的。在整个说明书中，术语“近侧”是指装置或其部件距患者最远(因此最靠近临床医生和/或外科机器人)的部分，而术语“远侧”是指装置或其部件距患者最近(因此距临床医生和/或外科机器人最远)的部分。此外，如本文所指，术语“信号路径”(无论是右眼还是左眼)是指光-电-光信号路径，图像通过该路径以光学方式被捕获、转换成要传输的电/数字信号并且在由计算或显示装置接收到时被再次转换回光学图像。尽管以下例示性实施方式描述了机器人外科系统，但是本领域技术人员将认识到，本文中所描述的系统、方法和计算机可读介质也可以用于患者图像捕获装置用于捕获手术部位的图像的其他手术程序中，例如微创手术程序。因此，本公开不旨在限于使用机器人外科系统的示例性实施方式，如下文所述。

参考图1，例示了机器人外科系统1，并且该机器人外科系统总体上包括外科机器人10、控制器30、至少一个处理器32、至少一个存储器35以及用户接口控制台40。外科机器人10总体上包括一个或多个机械臂12和基座18。机械臂12可以是臂或连杆的形式，每个臂或连杆具有支撑手术器械250的端部14。手术器械250可以是可与机械臂12一起使用的任何类型的器械，诸如抓紧器、刀、剪刀、吻合器等。机械臂12中的一个或多个可以包括用于对手术部位“s”成像的成像装置16，也如图3中所示。

控制器30包括和/或以通信方式耦合到所述至少一个处理器32和存储器35，并且可以与用户接口40集成在一起，或者作为手术室中的独立装置被提供。如下文进一步详细描述的，处理器32执行存储在存储器35中的指令以执行本文中描述的各种实施方式的步骤和/或程序。应当理解，处理器32和存储器35的实施方案仅以示例的方式提供，并且不应解释为是限制性的。例如，本公开的任何实施方式的步骤和/或程序可以由硬件部件、固件部件、软件部件和/或其任何组合来实施。

用户接口40通过控制器30与基座18通信并且包括显示装置44，该显示装置被配置成显示手术部位“s”的立体图像。图像由成像装置(也被称为“图像捕获装置”)16捕获和/或由定位在手术室周围的成像装置(例如，与患者“p”相邻定位的成像装置和/或定位在成像臂52远端的成像装置56)捕获。成像装置(例如，成像装置16、56)可以捕获手术部位“s”的光学图像、红外图像、超声图像、x射线图像、热图像和/或任何其他已知的实时图像。成像装置16、56将捕获的图像传输到控制器30以进行处理(诸如由处理器32处理)，并且将捕获的和/或经处理的图像传输到显示装置44以进行显示。在一个实施方式中，成像装置16、56中的一个或两个是能够通过右眼透镜210和左眼透镜220捕获手术部位“s”的图像的立体内窥镜，如在图2的描述中进一步描述的。

在另外的实施方式中，用户接口40可以包括便携式显示装置45或与该便携式显示装置相关联，与显示装置44类似的该便携式显示装置被配置成容许用户以用户从立体图像感知到三维和/或深度效果的方式观看立体图像。便携式显示装置45可以是护目镜、眼镜或任何其他便携式或半便携式显示装置，其可以用于允许用户观看立体图像。

用户接口40还包括附接到万向节70的输入手柄，其允许临床医生操纵手术机器人10(例如，移动机械臂12、机械臂12的端部14和/或手术器械250)。每个万向节70与控制器30和处理器32通信以向其传输控制信号并从其接收反馈信号。附加地或替代地，每个万向节70可以包括控制接口或输入装置(未示出)，其允许外科医生操纵(例如，夹紧、抓握、射出、打开、关闭、旋转、推挤、剖切等)支撑在机械臂12的端部14处的手术器械250。

每个万向节70可移动以在手术部位“s”内移动机械臂12的端部14。显示在显示装置44上的立体图像被定向成使得在显示装置44上观察到万向节70的移动使机械臂12的端部14移动。应当理解，显示装置44上的立体图像的定向可以相对于患者“p”上方的视图被镜像或旋转。另外，应当理解，显示装置44上显示的立体图像的大小可以被缩放成大于或小于手术部位“s”的实际结构，从而容许外科医生更好地观察手术部位“s”内的结构。随着万向节70移动，手术器械250在手术部位“s”内移动。手术器械250的移动还可以包括支撑手术器械250的机械臂12的端部14的移动。除了万向节70之外，可以包括一个或多个附加的输入装置作为用户接口40的一部分，例如包括离合器开关的手柄、触摸板、操纵杆、键盘、鼠标或其他计算机附件，和/或脚踏开关、踏板、轨迹球或被配置成将来自临床医生的物理运动转换为发送给处理器32的信号的其他致动装置。

如上文简要指出的，为了在手术程序期间向用户提供手术部位“s”的视图，成像装置16、56中的一个或多个可以是这样的立体内窥镜，该立体内窥镜围绕手术部位“s”设置(诸如邻近手术器械250)并被配置成捕获手术部位“s”的图像以在显示装置44上显示为立体图像。

现在转到图2，根据本公开的实施方式，提供了图像捕获装置200(诸如成像装置16、56)的远端和手术器械250的远端的简化立体图。图像捕获装置200通过右眼透镜210和左眼透镜220捕获手术部位“s”的图像，以提供两个不同的视点图像，所述两个不同的视点图像被传输到处理器32进行处理并被传输到显示装置44进行显示。图像捕获装置200包括本体202，该本体在其远端包括透镜组件，该透镜组件包括右眼透镜210和左眼透镜220。右眼透镜210和左眼透镜220各自与相应的右眼信号路径和左眼信号路径相关联，以将手术部位“s”的捕获图像提供给处理器32和显示装置44。

手术器械250被例示为血管密封装置，其包括具有表面252的本体242。本领域技术人员将认识到，仅以示例的方式提供了该例示性手术器械250，并且在不脱离本公开的范围的情况下，可以用任何其他外科工具或装置代替所例示的血管密封装置。在某些实施方式中，一个或多个测试图案(例如，测试图案255a)被包括在手术器械250上。测试图案是标识符，例如唯一标识符，其可用于在图像处理期间将手术器械250与背景区分开。例如，如图2所描绘的，测试图案255a设置在手术器械250的表面252上，并且可以是黑白交替的实心条。在其他实施方式中，测试图案可以是提供对比度的任何图案、形状、颜色或设计，以用于检测图像捕获装置200的透镜210、220和/或由图像捕获装置200捕获的图像的退化。

在另一实施方式中，如图5所示，测试图案255b可以由越来越细的黑白交替的实心条组成。使用这样的图案容许图像捕获装置200在黑条结束和白条开始的地方之间进行区分。例如，并且如在图5的描述中更详细地描述的，随着条形从测试图案255b的一端到另一端变细，条形之间的区别变得越来越难以检测。在另一实施方式中，测试图案是被动测试图案，用户在手术程序期间无法检测到该被动测试图案。例如，被动测试图案可以以反射红外或紫外线范围内的光的方式设置在手术器械250的表面252上。

在另一实施方式中，测试图案255a、255b沿着手术器械250的表面252的整个外部区域延伸。替代地，可以预期，测试图案255a、255b可以位于手术器械250的表面252上的离散位置。在又一实施方式中，可以预期，测试图案255a、255b中的任何一个可以包括特定的标记，诸如专门的形状，其增强了图像捕获装置200确定在手术部位“s”的接收到的图像中存在测试图案255a、255b的能力。在实施方式中，可以预期，测试图案255a、255b对应于手术器械的类型，使得每个不同的手术器械250或手术器械250的类型(例如，消融装置、解剖装置、吻合器、血管密封装置等)具有唯一的测试图案，该唯一的测试图案在必要时可用于标识手术器械250。

在另一实施方式中，使用手术器械250和手术器械250的图像背景之间的对比度来生成伪测试图案。伪测试图案可以是实际测试图案(例如测试图案255a、255b)的代用或代替。在一些实施方式中，手术器械250的一个或多个几何特征可以用作伪测试图案和/或可以用于限定用作伪测试图案的图像区域。在一个例示性实施方式中，外科工具250的一个或多个边缘用于限定伪测试图案，例如，外科工具250的边缘的两侧上的图像区域限定伪测试图案。例如，现在参考图3，图像捕获装置200(未示出)使用透镜210、220连续捕获手术部位“s”的图像。手术部位“s”包括解剖材料230，其可以包括组织、骨骼、血管和/或其他生物材料，并且手术器械250(包括边缘251)定位在手术部位“s”内。尽管示出为单个图像，但是右眼透镜210和左眼透镜220中的每一个捕获手术部位“s”的不同图像，所述不同图像由显示装置44显示为手术部位“s”的立体图像。如上文简要提到的，测试图案无需设置在手术器械250的表面252上。相反，可以通过延伸至边缘251的手术器械250与手术部位“s”周围的解剖物质230之间的亮度差异来产生伪测试图案255c。特别地，由图像捕获装置200在图像中捕获的外科工具250的边缘251可以代替测试图案255a、255b，并且如下文进一步描述的，手术器械250的边缘251，特别是手术器械250近侧边缘251的亮度与背景(例如手术部位“s”)的亮度之间的对比度/差异可以用作伪测试图案225c以取代实际测试图案225a、225b。尽管手术器械250的任何边缘之间的对比度差异可以用于限定伪测试图案，但是在一些实施方式中，使用倾斜的边缘，例如，如由图像捕获装置200所观察到的非正交角度的直边缘。例如，可以使用分析软件来寻找和标识基本上不远离或偏离水平或竖直(例如，偏离大约5°至10°之间)的边缘。

图4例示了手术部位“s”的另一视图，示出了放置在手术部位“s”和周围解剖材料230内的手术器械250。伪测试图案255c是从包括手术器械250的至少一个边缘251的手术部位“s”的图像的区段产生的。例如，包括手术器械250和周围解剖材料230的手术部位“s”的图像的截面可以用于生成伪测试图案255c，其可以基于延伸至边缘251的手术器械250与周围解剖材料230之间的亮度差异。例如，伪测试图案255c可以在外科工具250的边缘251的相对侧包括与较亮区段形成对比的较暗区段，从而形成由手术器械250的引至手术器械250的边缘251的表面252和周围解剖材料230产生的具有不同的和形成对比的亮度的两个区域。如本领域技术人员将理解的，较亮区段和较暗区段可以分别对应于外科工具250的表面252和周围解剖材料230，并且取决于手术器械250和/或图像捕获装置200的类型，可以在与较亮区段和较暗区段相对应的方面进行颠倒。

现在参考图5，提供了在图像捕获装置200的校准期间捕获的测试图案的图像与在手术程序期间捕获的测试图案的图像的例示性比较。出于示例的目的，下面描述的例示性比较将涉及在图像捕获装置200的校准期间捕获的设置在手术器械250上的测试图案255b的图像，以及在手术程序期间捕获的测试图案255b′的图像。然而，本领域技术人员将认识到，如上所述，在不脱离本公开的范围的情况下，也可以使用其他测试图案和/或用其他测试图案代替测试图案255b。测试图案255b的图像是在图像捕获装置200的校准期间捕获的图像，而测试图案255b′的图像是在手术程序期间的某个时刻由图像捕获装置200接收到的图像。由于解剖材料230的阻挡和/或该解剖材料与透镜210、220接触，与测试图案255b的图像相比，测试图案255b′的图像稍微模糊或退化。由于从左到右观看测试图案255b、255b′，所以其每个都可以被分成宽度越来越细的黑条和白条。对于“x”的所有区域，可以容易地区分测试图案255b、255b′的黑条和白条之间的对比度。然而，在区域“y”内，区分黑条、白条的位置以及它们各自的过渡区域变得越来越困难。

在实施方式中，测试图案255b′的图像用于确定调制传递函数(“mtf”)的值。例如，mtf用于提供测试图案255b′的对比度传递以及图像捕获装置200的透镜210、220在捕获的图像中复制(或传递)测试图案255b的细节的效果如何的度量。通过在图像捕获装置200的校准期间获取测试图案255b或其他测试图案(例如，测试图案255a、伪测试图案255c等)的图像，可以确定测试图案255b的图像或其他测试图案的基线特征。在使用图像捕获装置200期间，图像捕获装置200的透镜210、220继续复制(或传递)测试图案的细节的能力是通过将mtf应用于接收到的测试图案的图像以产生测试图案的图像的一个或多个确定的特征来确定的。随着时间的推移，测试图案的图像的确定的特征可能会由于图像捕获装置200的透镜210、220的退化和/或遮挡而改变，例如，如测试图案255b′的图像所示。如下文参考图7所描述的，在手术程序期间使用图像捕获装置200时，可以将测试图案的基线特征与测试图案255b′的确定的特征进行比较，以便确定何时发生图像退化。

为了计算测试图案的基线特征和测试图案的确定的特征两者的mtf，处理器32用于区分测试图案255b的黑条和白条，或者在伪测试图案255c的情况下，用于区分手术器械250的边缘251近侧的捕获图像的较暗区段和较亮区段。基于黑条和白条之间或较暗区段和较亮区段之间的差异，可以绘制正弦曲线图。现在转到图6，例示了图5的测试图案255b′的黑条和白条之间的对比度的曲线图。图6的曲线图用于计算测试图案255b′的mtf。在一些实施方式中，诸如图6的曲线图中所描绘的，将幅度100分配给包含黑条的区域，并且将幅度-100分配给包含白条的区域。随着测试图案255b在黑条和白条之间转换，曲线图的绘图在幅度-100和100之间增加或减小。

另外，随着测试图案255b′的黑条和白条的宽度减小，处理器32继续区分黑条和白条的能力也减小。这样，曲线图的峰值幅度可能不再接近-100和100的峰值幅度，从而最终黑条和白条的宽度变得很细，以至于处理器32无法再将测试图案225b′的黑条与白条区分开，并且峰值幅度稳定在0处。在一些实施方式中，在峰值幅度在-100到100之间的情况下可以分配100％的值，而在峰值幅度稳定在0处的情况下可以分配0％的值。对于在-100至100之间的峰值幅度，可以分配在100％至0％之间的对应的百分比。mtf通常被表达为黑条和白条之间的可区分对比度的基于每个图片高度的线宽(lw/ph)的百分比。因此，随着测试图案255b′的线宽(黑条和白条的宽度)变得越来越细，代表黑条和白条之间的对比度的百分比减小。

通过将形式为lw/ph的值分配给黑条和白条的宽度逐渐变细的分组，mtf百分比可以对应于lw/ph。例如，如果对于小至100mm的lw/ph，图6的曲线图的一部分的范围在峰值幅度100和-100之间，则100mm处的mtf为100％。如果对于50mm处的lw/ph，图6的曲线图的另一部分的范围在峰值幅度50和-50之间，则50mm处的mtf为50％。mtf的这些值由处理器32确定并存储在存储器35中。

在另外的实施方式中，mtf百分比可以从范围在0％到100％之间的百分比转换成范围在0到1之间的对应值，其中，0对应于处理器32不能将黑条与白条区分开，而1对应于处理器32能够将黑条与白条完全区分开。还可以预期，处理器32能够确定测试图案255b′的mtf，因为其通过右眼透镜210和左眼透镜220中的每一个被独立地接收。因此，可以检测通过右眼透镜210和左眼透镜220中的每一个捕获的图像的图像退化。

尽管以上对图5和图6的描述涉及作为示例的测试图案255b，但是当用伪测试图案255c代替测试图案255b时，可以执行类似的确定和计算。例如，在实施方式中，手术器械250的一个或多个倾斜边缘251可以用于计算mtf。在这样的实施方式中，可以不存在设置在手术器械250上的测试图案255a、255b。相反，较亮区段和较暗区段之间的对比度分别对应于手术器械250的边缘251近侧的表面252或周围解剖材料230。slanted-edgemtffordigitalcameraandscanneranalysis(用于数码相机和扫描仪分析的倾斜边缘mtf),peterd.burns著,proc.is&t2000picsconference,第135-138页(2000)和sharpness:whatisitandhowisitmeasured？(锐度：它是什么以及如何测量？),http://www.imatest.com/docs/sharpness(上次访问时间：2017年9月11日)中描述了与基于手术器械250的倾斜边缘251计算mtf有关的另外的信息，上述文献中的每一个的全部内容通过引用并入本文。

图7是根据本公开的实施方式的在手术程序期间检测由图像捕获装置200捕获的图像的图像退化的方法700的流程图。方法700可以至少部分地由处理器32来实施，该处理器执行存储在存储器35中的指令。另外，通过示例性而非限制性的方式提供了图7的方法700中所示的特定步骤顺序。因此，在不脱离本公开的范围的情况下，可以以不同于图7所示顺序的顺序执行方法700的步骤。此外，在不脱离本公开的范围的情况下，图7的方法700中所示的一些步骤可以相对于彼此同时执行，而不是相对于彼此顺序地执行，并且可以被重复和/或省略。

通常，在执行方法700之前会执行图像捕获装置200的校准。例如，在工厂校准过程中，图像捕获装置200可以接收一个或多个测试图案的左眼和右眼图像，或者存储器32中可以存储所述一个或多个测试图案的左眼和右眼图像。测试图案可以类似于设置在手术装置250的表面252上的测试图案255a、255b，或者可以是与手术装置250的边缘和周围环境之间的对比度有关的数据，从而生成伪测试图案255c。在另一实施例中，可以在手术程序开始时执行校准过程。在校准期间由图像捕获装置200接收测试图案的图像(“基线图像”)的实施方式中，将图案分析函数(诸如调制传递函数(mtf))应用于测试图案以计算输出值。输出值可以表示构成测试图案的特征上的过渡的锐度或清晰度，并且可以被表达为每图片高度的线宽(lw/ph)。计算出的输出值可以被包括作为由图像捕获装置200的右眼透镜210和左眼透镜220捕获的基线图像的一个或多个特征(“基线特征”)，并且可以被存储在存储器32中以供以后使用，如下文将详细描述的。替代地，这些基线特征可以是存储在存储器32中的已知值。另外，在校准过程中，图像捕获装置200可以将测试图案的基线特征存储在存储器中。

在任何情况下，外科系统10被配置成容许用户在步骤705处开始在手术部位“s”内进行手术程序。例如，在机器人手术程序的情况下，用户移动万向节70，从而将图像捕获装置200和手术器械250定位在手术部位“s”周围。在一些实施方式中，图像捕获装置200的视场可以最初与手术器械250对准，以使图像捕获装置200能够分别通过右眼透镜210和左眼透镜220捕获手术器械250的图像，特别是测试图案255a、255b。替代地，如本领域技术人员将理解的，在非机器人微创手术程序程序中，图像捕获装置200和手术器械250可以手动地定位在手术部位“s”周围。

一旦合适地定位，图像捕获装置200就在步骤710处捕获手术部位“s”的图像，并且将捕获的图像传输到控制器30。除了在其上执行手术程序的组织和周围解剖材料230之外，捕获的图像还显示由用户操纵的手术器械250。捕获的图像可以是立体图像，即，左眼图像和右眼图像。

在从图像捕获装置200接收到捕获的图像之后，处理器32在步骤715处处理捕获的图像以标识测试图案。如本文所述，可以预期，测试图案可以是设置在手术器械250的表面252上的图案，或者是由手术器械250和围绕手术器械250的倾斜边缘251的周围解剖材料230之间的对比度形成的测试图案。如上所述，测试图案的示例包括但不限于测试图案255a、255b和伪测试图案255c等。在实施方式中，将合适的算法应用于手术部位“s”的左眼图像和右眼图像以输出结果，该结果由处理器32进行分析以检测测试图案的存在。

可选地，在将测试图案255b设置在手术器械250上的实施方式中，在步骤720处，在标识测试图案255b′之后，确定测试图案255b′是否与已知的测试图案匹配。例如，已知的测试图案的数据库可以存储在存储器35中，例如存储在查找表中。将图像捕获装置200捕获的测试图案255b′的图像与存储在存储器35中的已知测试图案图像进行比较。在实施方式中，每个已知的测试图案与不同的手术器械相关联。这样，将测试图案255b′与已知测试图案匹配还包括：标识与已知测试图案相对应的手术器械。在实施方式中，通过显示装置44或通过音频装置将手术器械的标识提供给用户。出于例示目的并通过示例提供，伪测试图案255c，(即手术器械250的倾斜边缘251)被用作图7的其余描述的示例性测试图案。

在步骤725处，获取在校准期间生成和/或计算的测试图案的一个或多个基线特征(“测试图案的基线图像的特征”)。在手术程序开始之前未执行校准过程的实施方式中，可在步骤725处执行校准过程。在其他实施方式中，如上所述，可以将测试图案的基线图像的特征存储在存储器35中。在这样的实施方式中，从存储在存储器35中的查找表和/或数据库中检索测试图案的基线图像的对应特征。

在步骤730处，分析在步骤715处接收到的伪测试图案255c的图像，并从伪测试图案255c的图像确定一个或多个特征。在实施方式中，为伪测试图案255c的图像计算mtf，以便确定伪测试图案255c的图像的特征。伪测试图案255c的图像的确定的特征可以是在lw/ph处的百分比的形式。例如，在步骤730处，mtf可以在105mm处产生100％的值，而在50mm处产生45％的值。在其他实施方式中，可以将各种其他类型的分析函数应用于伪测试图案255c的图像。无论如何，步骤730被连续地重复，使得随着时间的推移，可以从伪测试图案255c的图像中检测到伪测试图案255c的图像的确定的特征的变化。

在步骤735中，将伪测试图案255c的图像的确定的特征与伪测试图案255c的基线图像的一个或多个特征进行比较。在一个实施方式中，可以预期，在伪测试图案255c的基线图像的特征的特定值处选择百分比或lw/ph以与伪测试图案255c的图像的确定的特征的百分比或lw/ph进行比较。例如，如上文在图6的描述中所述，如果在50mm的特定值处选择伪测试图案255c的基线图像的特征的lw/ph，并且对应的百分比为50％(因此产生在50mm的lw/ph处范围在50到-50的mtf曲线图幅度)，则在步骤735处，将在55m的lw/ph处伪测试图案255c的图像的确定的特征(50mm的45％，如步骤30中所述)与50mm处的50％进行比较。因此，使用上述实施例，伪测试图案255c的基线图像的特征与伪测试图案255c的确定的特征之间的比较产生5％的差异。

在实施方式中，在步骤740处，确定伪测试图案255c的基线图像的特征与伪测试图案255c的图像的确定的特征之间的差异是否大于预定阈值。预定阈值是伪测试图案255c的基线图像的特征与伪测试图案255c的确定的特征之间的百分比减小。例如，调制函数的预定阈值可以转换为每图片高度的线宽(lw/ph)减少15％，这可以指示图像与一个或两个图像的透镜上的材料匹配。如果该差异不大于预定阈值(在步骤740处为“否”)，则方法700进行到步骤745，在该步骤处接收手术部位“s”的新图像。接下来，在步骤747处，类似于步骤715，手术部位“s”的新图像被处理以标识伪测试图案255c。在步骤747之后，方法700返回到步骤730，在该步骤处，由处理器32分析接收到的伪测试图案255c的图像，并确定伪测试图案255c的图像的一个或多个特征。

可以预期，步骤730至步骤740以及返回至步骤730可以被迭代地执行并且以规则的间隔重复。在一个实施方式中，可以预期，处理器32将从步骤730继续进行至步骤740，返回至步骤730，在60hz、可能为30hz、甚至低至10hz下处理新接收到的手术部位“s”的图像。因此，相对频繁地，手术部位“s”的新图像被接收、处理，并确定伪测试图案255c的基线图像的特征与伪测试图案255c的图像的确定的特征之间的差异是否大于预定阈值。在其他实施方式中，基于手术程序，可以缩短从步骤730到步骤740返回到步骤730的间隔，以便增加确定图像退化的频率，例如每半秒、四分之一秒或十分之一秒。

在又一实施方式中，确定是否从在步骤735处确定的差异中检测到趋势。可以预期，来自步骤735的差异被存储在存储器35中，并且监视数据以确定趋势。例如，处理器32可以确定由于组织遮挡了透镜210、220中的一个或两个，图像退化可能已经发生，其中，在少量地从步骤730到740并返回步骤730之后，图像退化迅速发生。替代地，处理器32可以确定由于流体或其他解剖材料逐渐积累而发生了图像退化，其中图像退化发生得较慢。

如果在步骤740处确定伪测试图案255c的基线图像的特征与伪测试图案255c的图像的确定的特征之间的差异大于预定阈值(在步骤740处为“是”)，则方法700进行到步骤742。在步骤742处，基于步骤740处的确定结果，确定是否发生了图像退化。例如，图像退化可以包括图像失真、失焦、部分或全部被遮挡和/或左眼透镜210和右眼透镜220捕获的图像之间的失配，从而导致立体视觉失真，即使分别查看图像时图像看起来没有失真。此后，方法700进行到步骤750，在该步骤处生成通知并提供给用户，指示可能已经发生图像退化。该通知可以例如通过用户接口40的显示装置44或便携式显示装置45来显示，和/或可以通过万向节70以听觉或触觉方式提供。

在步骤750之后，方法700进行到步骤755，在该步骤处向用户提供指示如何改善图像质量的反馈。例如，所提供的反馈可以是通过显示装置44或便携式显示装置45的通知的形式，即用户应当移除并清洁透镜210、220中的一个或两个以便改善图像质量。在步骤755处提供了指示如何改善图像质量的反馈之后，方法700进行到步骤760，在该步骤处确定在手术程序期间是否可以改善图像质量。例如，可以确定图像捕获装置200是否需要从手术部位“s”移除并清洁或更换。本领域技术人员将设想可以采取各种其他动作来改善由图像捕获装置200捕获的图像的图像质量，因此，为了简洁起见，这里将不描述所有这样的替代动作。如果在步骤760处确定在手术程序期间不能改善图像质量(在步骤760处为“否”)，则方法700进行到步骤775，在此手术程序过程结束。替代地，如果在步骤760处确定在手术程序期间可以改善图像质量(在步骤760处为“是”)，则方法700前进至步骤765。

在步骤765处，确定图像质量是否已经得到改善。例如，可以重复上面参考步骤745、747、730、735和740所描述的过程，以确定是否已经改善了由图像捕获装置200捕获的图像的图像质量。如果在步骤765处确定没有改善图像质量(在步骤765处为“否”)，则处理返回到步骤755。替代地，如果在步骤765处确定图像质量已经被改善(在步骤765处为“是”)，则方法700进行到步骤770。

在步骤770处，确定手术过程是否已经完成。例如，可以确定用户是否已经提供了手术程序已经完成的指令和/或指示。如果在步骤770处确定手术程序尚未完成(在步骤770处为“否”)，则处理返回到步骤745。替代地，如果在步骤770处确定手术程序已经完成(在步骤770处为“是”)，则处理结束。

再次参考图1的计算机可读介质，存储器35包括用于存储可由处理器32执行并控制控制器30的操作的数据和/或软件的任何非暂时性计算机可读存储介质。在实施方式中，存储器35可以包括一个或多个固态存储装置，如闪存存储器芯片。替代地或除了一个或多个固态存储装置之外，存储器35可以包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器32的一个或多个大容量存储装置。尽管本文中包含的计算机可读介质的描述是指固态存储，但是本领域技术人员应当理解，计算机可读存储介质可以是处理器32可以访问的任何可用介质。也就是说，计算机可读存储介质包含以用于存储(如计算机可读指令、数据结构、程序模块或其它数据)信息的任何方法或技术实施的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质包括ram、rom、eprom、eeprom、闪速存储器或其他固态存储器技术、cd-rom、dvd、蓝光或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储装置、或者可以用于存储所期望的信息并且可以由工作站30访问的任何其他介质。在2011年11月3日提交的专利号为8,828,023题为“medicalworkstation(医疗工作站)”的专利中描述了该系统和方法的其他方面，其全部内容通过引用并入本文。

本文已经描述了装置、并入此类装置的系统以及使用它们的方法的详细实施方式。然而，这些详细的实施方式仅是本公开的示例，其可以以各种形式实施。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅是作为权利要求的基础和允许本领域技术人员在实际上任何适当的详细结构中采用本公开的代表性基础。