通过超声探头检测组织接触的系统和方法与流程

通过超声探头检测组织接触的系统和方法
1.相关发明
2.本技术要求于2019年5月31日提交的题为“systems and methods for detecting tissue contact by an ultrasound probe(通过超声探头检测组织接触的系统和方法)”的美国临时专利申请号62/855，881的优先权，其内容通过引用整体并入本文。


背景技术：

3.在外科手术过程中，内窥镜可以定位在患者体内以捕获患者体内外科手术区域的内窥镜图像。内窥镜图像可以通过显示设备呈现给外科医生，使得外科医生可以在执行外科手术过程的同时可视化患者体内的内部解剖结构和其他类型组织的外表面。
4.在一些情境中，超声探头也可以定位在患者体内，以在外科手术过程中捕获患者体内的超声图像。超声图像可以与内窥镜图像同时呈现给外科医生(例如，通过显示内窥镜图像的同一显示设备)。以这种方式，外科医生可以在执行外科手术过程的同时可视化外科手术区域中包括的组织的外表面(使用内窥镜图像)和外科手术区域中的组织内部的结构(使用超声图像)两者。
5.为了捕获有用的超声图像，超声探头必须与组织进行良好的物理接触。超声探头与组织接触不良将导致超声图像以噪声为主(例如，通过电子部件产生的噪声和/或出现在超声探头的换能器表面附近的信号伪影)。如果超声探头没有与组织良好接触，则在外科手术过程期间将超声图像呈现给外科医生可能会分散注意力和/或无用。


技术实现要素：

6.示例性系统包括存储指令的存储器；和处理器，该处理器通信地耦合到存储器并且被配置为执行指令以：将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织；并且基于多个像素中的每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态，该接触状态指示超声探头是否与患者的组织处于手术物理接触。
7.另一个示例性系统包括存储指令的存储器和处理器，该处理器通信地耦合到存储器并被配置为执行指令以：基于通过位于患者体内的超声探头捕获的超声图像确定超声探头的接触状态的处理器，接触状态指示超声探头是否与患者的组织处于手术物理接触；并且基于超声探头的接触状态控制超声图像在显示设备显示的可视图像内的显示。
8.示例性方法包括通过接触检测系统将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织；并且通过接触检测系统基于将多个像素中的每个像素分类为显示组织或显示非组织，确定超声探头的接触状态，该接触状态指示超声探头是否与患者的组织处于手术物理接触。
附图说明
9.附图说明了各种实施方案，是本说明书的一部分。所说明的实施方案只是示例，并
不限制本公开的范围。在整个附图中，相同或相似的参考号表示相同或相似的元素。
10.图1示出了根据本文描述的原理的示例性超声成像系统的各种部件。
11.图2a至图2c示出了根据本文描述的原理的超声探头相对于组织的不同的可能的物理状态。
12.图3示出了根据本文描述的原理的示例性接触检测系统。
13.图4a示出了根据本文描述的原理的超声图像的详细视图。
14.图4b示出了根据本文描述的原理的在图4a的超声图像内的示例性感兴趣区域。
15.图5a至图5b示出了根据本文描述的原理的通过显示设备显示的示例性可视图像。
16.图6a至图6b示出了根据本文描述的原理的通过显示设备显示的示例性可视图像。
17.图7示出了根据本文描述的原理的示例性计算机辅助外科手术系统。
18.图8至图12示出了根据本文描述的原理的示例性方法。
19.图13示出了根据本文描述的原理的示例性计算设备。
具体实施方式
20.本文描述了通过超声探头检测组织接触的系统和方法。例如，接触检测系统可以被配置为将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织，并且基于多个像素中的每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态。该接触状态指示超声探头是否与患者的组织处于手术物理接触。
21.在一些示例中，接触检测系统可以确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值并且使用局部描述符值来执行分类。如本文所述，局部描述符值可以表征多个像素中的每个像素的强度分布和/或空间自相关。
22.如本文所用，手术物理接触是指当超声探头进行充分足够的组织接触以捕获有用的超声图像(即，至少包括代替噪声或除噪声之外的阈值量有用信息的超声图像，其中可以以本文所述的任何方式来确定阈值量)。因此，超声探头可以通过与组织的完全物理接触或与组织的部分物理接触来与组织处于手术物理接触，只要部分物理接触足以呈现有用的超声图像。当超声探头没有进行足够的组织接触以捕获有用的超声图像时，超声探头就没有与组织处于手术物理接触。
23.基于所确定的超声探头的接触状态，接触检测系统可以执行一个或多个操作。例如，基于超声探头的接触状态，接触检测系统可以控制超声图像在显示设备显示的可视图像内的显示、设置连接到超声探头的超声机器的参数和/或生成被配置为通过计算机辅助外科手术系统使用以控制超声探头的定位的控制信号。本文描述了可以通过接触检测系统基于所确定的超声探头的接触状态执行的这些和其他操作。
24.本文描述的系统和方法可以提供各种优点和益处。例如，当超声图像不包括有用信息时，本文描述的系统和方法可以智能地防止超声图像被包括在呈现给用户(例如，外科医生)的可视图像中，从而在外科手术过程期间为用户提供改进的视觉体验。附加地或可替代地，本文描述的系统和方法可以自动优化在外科手术期间使用的超声机器的一个或多个设置，从而提高通过超声机器生成的超声图像的质量。附加地或可替代地，本文描述的系统和方法可以促进超声探头在患者体内的最佳定位。这些操作中的每一个都可以提高外科手
术过程的效率和有效性。
25.本文描述的系统和方法有利地仅基于超声图像(也称为b模式图像)的内容来确定超声探头是否与组织处于手术物理接触。特别地，本文描述的系统和方法可以被配置为区分散斑(超声图像中通过从组织内的结构反射的声波的建设性和破坏性相干产生的内容)和包括在超声图像中的无用噪声。尽管散斑在视觉上可能与噪声相似，但超声图像内的散斑的强度分布和空间自相关与噪声不同。该系统和方法利用这种区别来确定超声探头是否与组织处于手术物理接触。这可以有利地导致对超声探头的接触状态的基本上实时的确定。
26.本文描述的系统和方法的这些和其他优点和益处将在本文中显而易见。
27.图1图示了示例性超声成像系统100的各种部件。如图所示，超声成像系统100可以包括超声机器102、超声探头104和显示设备106。超声机器102通过通信链路108通信地耦合到超声探头104，并且通过通信链路110通信地耦合到显示设备106。通信链路108和110可以通过任何合适的有线和/或无线部件实现。例如，通信链路108可以实现为电缆、轴或其他结构，其承载将超声机器102和超声探头104通信互连的一根或多根导线。
28.超声机器102可以包括被配置为促进超声图像的生成的计算部件。例如，超声机器102可以包括控制器，该控制器被配置为通过引导超声探头104发射和检测声波来控制超声探头104的操作。在一些示例中，控制器和/或超声机器102的任何其他部件被配置为根据一个或多个可定义的(例如，可调整的)参数操作。例如，超声机器102可以被配置为引导超声探头104发射具有可定义频率的声波和/或以特定增益接收声波。作为另一个示例，超声机器102还可以被配置为指定超声图像114的扇形深度。
29.超声机器102可以附加地或可替代地包括一个或多个图像处理部件，该一个或多个图像处理部件被配置为基于由超声探头104检测到的声波而生成超声图像数据112。如图所示，超声机器102可以通过通信链路110将超声图像数据112传输到显示设备106。显示设备106可以使用超声图像数据112来生成和显示超声图像114。
30.在一些示例中，超声机器102连接到外科手术系统、集成到外科手术系统中或通过外科手术系统实现。例如，超声机器102可以连接到、集成到计算机辅助外科手术系统中或通过其实现，该计算机辅助外科手术系统利用机器人和/或远程操作技术来执行外科手术程序(例如，微创手术程序)。本文描述了示例性计算机辅助外科手术系统。
31.超声探头104(也称为换能器)被配置为通过发射声波并在声波从身体内部的结构(例如，患者体内的器官或其他组织的内部结构)反射后检测该声波来捕获超声图像。超声探头104可以具有任何合适的形状和/或尺寸，以服务于特定的实现。在一些示例中，超声探头104可具有允许超声探头104通过患者体壁中的端口插入患者的形状和尺寸。在这些示例中，可以手动控制超声探头104在患者内的定位(例如，通过手动操纵超声探头104连接到的轴)。附加地或可替代地，可以以计算机辅助方式(例如，通过利用机器人和/或远程操作技术的计算机辅助外科手术系统)来控制超声探头104的定位。
32.显示设备106可以通过被配置为基于超声图像数据112渲染或显示超声图像114的任何合适的设备来实现。如本文所述，显示设备106还可以被配置为显示附加的或替代的图像和/或信息。例如，在一些情境中，显示设备106可以显示包括超声图像114以及通过内窥镜获取的内窥镜图像一起的的可视图像和/或与内窥镜图像配准的患者解剖结构的术前模
型(例如，3d模型)。
33.如上所述，超声探头104必须与患者的组织处于手术物理接触以捕获有用的超声图像。为了说明，图2a至图2c图示了超声探头104相对于组织202的不同的可能的接触状态。组织202可以表示患者的任何器官或解剖学特征。
34.图2a图示了第一接触状态，其中超声探头104与组织202处于手术物理接触。如图所示，超声探头104的整个底表面204(其在本文提供的示例中为凸形)与组织202进行物理接触。在这种接触状态下，超声探头104和组织202之间存在充分的声学耦合以捕获有用的超声图像。
35.图2b图示了第二接触状态，其中超声探头104不与组织202处于手术物理接触。如图所示，超声探头104的底表面204与组织202分离间隙206。在这种接触状态中，因为超声探头104和组织202之间没有物理接触，超声探头104捕获的超声图像将以噪声为主，因此对用户没有用。
36.图2c图示了第二接触状态的另一个实例，其中超声探头104没有与组织202处于手术物理接触。在图2c中，仅超声探头104的底表面204的小部分与组织202进行物理接触。由此，如果超声探头104生成的超声图像中包括的有用信息的量低于特定阈值，则可以确定超声探头104未与组织202处于手术物理接触。因此，如图2c所示，即使超声探头104至少部分地接触组织202，超声探头104有时也可能不与组织202处于手术物理接触。
37.图3示出了示例性接触检测系统300(“系统300”)，其可以被配置为通过超声探头(例如，超声探头104)来检测组织接触。系统300可被包括在任何外科手术系统、超声机器或本文所述的其它计算系统中、或通过其实现、或与其连接。例如，系统300可以通过计算机辅助外科手术系统和/或超声机器102实现。如另一个示例，接触检测系统300可以通过通信地耦合到计算机辅助外科手术系统和/或超声机器102的独立计算系统来实现。
38.如图所示，系统300可以包括但不限于选择性地和通信地彼此耦合的存储设施302和处理设施304。设施302和304可以各自包括硬件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中以供处理器执行的指令等)或通过其实现。例如，设施302和304可以通过计算机辅助外科手术系统中的任何部件实现。在一些示例中，设施302和304可以分布在多个设备和/或多个位置之间，以服务于特定的实现方式。
39.存储设施302可以维护(例如，存储)处理设施304使用的可执行数据以执行本文描述的任何操作。例如，存储设施302可存储可通过处理设施304执行的指令306以执行本文所述的任何操作。指令306可以通过任何合适的应用程序、软件、代码和/或其他可执行数据实例来实现。存储设施302还可以维护通过处理设施304接收、生成、管理、使用和/或传输的任何数据。
40.处理设施304可以被配置为执行(例如，执行存储在存储设施302中的指令306以执行)与通过超声探头检测组织接触相关联的各种操作。例如，处理设施304可以被配置为将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织。处理设施304进一步可被配置将为基于多个像素中的每个像素分类为显示组织或显示非组织，确定超声探头的接触状态。本文描述了可以通过处理设施304执行的这些和其他操作。在下面的描述中，对通过系统300执行的操作的任何引用都可以理解为通过系统300的处理设施304执行。
41.图4a图示了超声图像114的详细视图。如图所示，超声图像114包括多个像素(例如，像素402)。每个像素具有通过超声图像数据112定义的强度值。术语“像素”在本文中用于指超声图像114的任何合适大小和/或形状的区域，以服务于特定的实现方式。
42.在一些示例中，系统300可以出于确定超声探头104的接触状态的目的将其的像素处理限制为特定感兴趣区域内的像素。例如，图4b示出了超声图像114内的示例性感兴趣区域404。在这种情况下，系统300可以仅仅确定感兴趣区域404内的像素而不是感兴趣区域404外的一组像素的局部描述符值。这可以限制超声探头表面附近的伪影(图4b中的区域a)和超声图像114中更深的信号丢失(图4b中的区域b)的影响，因为这两个区域都会混淆系统300处理局部描述符值的结果。如图所示，超声图像114的左右边界区域(图4b中的区域c)也可以从感兴趣区域404中排除。可替代地，边界处理试探法可以用于在处理中包括边界区域像素。感兴趣区域404可以包括任何合适数量的像素，以可以服务于特定的实现方式。在一些示例中，感兴趣区域404包括超声图像114中包括的所有像素。在其他示例中，超声图像114中可以包括多个感兴趣区域。
43.系统300可以以任何合适的方式为包括在感兴趣区域404中的每个像素确定一个或多个局部描述符值。局部描述符值表征感兴趣区域404中的每个像素的强度分布和/或感兴趣区域404中的每个像素的空间自相关。表征像素强度分布的示例性局部描述符值包括像素强度分布的矩(例如，局部方差和/或平均值)和/或表示像素强度分布的任何其他度量。表征空间自相关的示例性局部描述符值包括自相关值(例如，自协方差函数的一个或多个项)和/或表示像素的空间自相关的任何其他度量。
44.在一些示例中，通过系统300确定的自相关值是空间自相关值(例如，在竖直(y)或水平(x)方向上的滞后1自相关值)。附加地或可替代地，自相关值可以是时间的。在本文提供的示例中，将假设自相关值是空间的。
45.在一些示例中，系统300可以为感兴趣区域404中的每个像素确定多个局部描述符值。例如，系统300可以确定包括在感兴趣区域404中的每个像素的局部方差值和自相关值。在一些替代示例中，系统300可以仅为每个像素确定单个局部描述符值。例如，系统300可以仅仅确定包括在感兴趣区域404中的每个像素的局部方差值。本文描述了确定像素的局部描述符值的示例。
46.系统300可以基于局部描述符值以任何合适的方式将像素分类为显示组织或显示非组织。系统300可以可替代地以任何其他合适的方式将像素分类为显示组织或显示非组织。例如，一个或多个图像处理技术、机器学习技术等可用于将像素分类为显示组织或显示非组织。然而，用于说明的目的，本文的分类示例是基于局部描述符值。
47.例如，系统300可以将局部描述符值与一个或多个阈值进行比较。为了说明，系统300可以将具有高于局部描述符阈值的局部描述符值的像素分类为显示组织，并将具有低于局部描述符阈值的局部描述符值的像素分类为显示非组织。
48.作为示例，通过系统300确定的局部描述符可以包括局部方差值和自相关值。在该示例中，系统300可以将具有高于方差阈值的局部方差值和高于自相关阈值的自相关值的像素分类为显示组织。同样，系统300可以将具有低于方差阈值的局部方差值和/或低于自相关阈值的自相关值的像素分类为显示非组织。这些阈值可以以多种不同方式确定，其中一些在本文中描述。
49.作为另一个示例，系统300可以仅仅确定每个像素的局部方差值。在该示例中，系统300可以将具有高于方差阈值的局部方差值的像素分类为显示组织并且将具有低于方差阈值的局部方差值的像素分类为显示非组织。
50.附加地或可替代地，系统300可以通过提供局部描述符值作为机器学习模型的输入，并基于机器学习模型的输出，将感兴趣区404中的每个像素分类为显示组织或显示非组织，来将像素分类为显示组织或显示非组织。机器学习模型可以是有监督的和/或无监督的，并且可以通过任何合适的算法来实现，例如逻辑回归、分类和回归树、随机森林和/或神经网络。
51.附加地或可替代地，系统300可以通过评估可服务于特定的实现方式的任何其他类型的函数来将像素分类为显示组织或显示非组织。该函数可输出显示组织或非组织的二元分类或指示像素显示组织或非组织的概率的模糊值。在后一种情况下，然后可以将概率与阈值进行比较，以进行显示组织或非组织的二元分类。
52.一旦感兴趣区域404中的像素被分类为显示组织或显示非组织，系统300就可以基于每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态。接触状态指示超声探头是否与患者的组织处于手术物理接触。
53.系统300可以使用每个像素的分类为显示组织或显示非组织，来以任何合适的方式确定接触状态。例如，系统300可以确定平均像素分类，其表示被分类为显示组织的像素的数量与被分类为显示非组织的像素的数量相比较。平均像素分类可以是被分类为显示组织的像素与被分类为显示非组织的像素的比率，并且将该比率与接触状态阈值进行比较，接触状态阈值可以以如本文所述的多种不同方式来确定。附加地或可替代地，平均像素分类可以是均值、中值或其他合适的度量。
54.如果平均像素分类高于接触状态阈值，则系统300可以确定超声探头104处于第一接触状态，其指示超声探头104与患者的组织处于手术物理接触。如果平均像素分类低于接触状态阈值，则系统300可以确定超声探头104处于第二接触状态，其指示超声探头104与患者的组织未处于手术物理接触。
55.在一些示例中，系统300可以使用两个不同的接触状态阈值用于去抖动目的。例如，系统100可以最初将平均像素分类与第一接触状态阈值进行比较。一旦平均像素分类高于第一接触状态阈值，系统300就可以确定超声探头104处于指示超声探头104与患者组织处于手术物理接触的第一接触状态。当超声探头104处于第一接触状态的同时，平均像素分类必须低于第二接触状态阈值(第二接触状态阈值低于系统300的第一接触状态阈值)以确定超声探头104处于超声探头104与患者的组织未处于手术物理接触的第二接触状态。
56.系统300可以以任何其它合适的方式确定超声探头104的接触状态。例如，系统300可以向机器学习模型提供分类，并使用机器学习模型的输出来确定超声探头104的接触状态。作为另一个示例，系统300可基于分类来评估任何合适的函数，以确定超声探头104的接触状态。
57.在一些示例中，在确定局部描述符值之前，系统300可以可选地确定超声图像114的背景强度并且通过从超声图像114中减去背景强度来生成降低的超声图像。然后系统300可以通过确定包括在降低的超声图像中的像素的局部描述符值，来确定超声图像114中的像素的局部描述符值。
58.现在将描述可以通过系统300根据本文描述的原理执行以确定超声探头104的接触状态的特定处理试探法。将认识到，处理试探法是可通过系统300执行以确定超声探头104的接触状态的各种不同处理试探法的示例。
59.如前所述，由于散斑，超声图像可能看起来很嘈杂。然而，散斑的强度分布和空间自相关与噪声的不同。由于图像内容和增益设置可以在整个图像中变化，自协方差函数可以根据以下方程进行局部评估：w
j，k
(x，y)＝e[(i(x，y)-μ(x，y))(i(x+j，y+k)-μ(x+j，y+k))]。
[0060]
在方程中，w
j，k
(x，y)是位置x和y处的空间自协方差，i(x，y)是图像强度值，以及μ(x，y)是局部平均强度。
[0061]
为了在噪声和斑点(表示组织)之间区分，系统300可以确定局部平均强度和自协方差函数的一项或多项(也称为系数)。
[0062]
例如，系统300可以首先对超声图像114执行背景减法。为了说明，系统300可以使用箱式滤波器h1(例如，7
×
7像素滤波器)来评估背景强度，然后从原始超声图像114中减去背景强度以产生降低的图像，其中，
[0063]
系统300然后可以确定自协方差函数的一项或多项。例如，系统300可以确定每个像素周围的局部邻域内的评估值例如，系统300可以根据以下方程和使用第二箱式滤波器h2(例如，13
×
13像素滤波器)。
[0064]
系统300然后可以生成二进制组织图t(x，y)，其显示哪些像素与来自从组织反射或反向散射的超声波的信号一致。例如，二进制组织图可以根据以下方程生成：
[0065]
在这个方程中，v和ac1是对应于竖直方向的最小方差和滞后1自相关的阈值参数。在本文的示例中，自相关是通过方差归一化的自协方差函数(即，)。
[0066]
系统300可以可选地应用形态学处理以从t(x，y)中去除孤立像素并产生更平滑的图。可以以任何合适的方式执行形态学处理。
[0067]
系统300可以使用感兴趣区域404(在该区域检测到组织)内的像素比率，根据以下方程来确定超声探头104的接触状态：∑
roi t(x，y)/n
roi
。
[0068]
在一些示例中，为了防止接触状态之间的抖动，系统300可以使用两个阈值。例如，如果∑
roi t(x，y)/n
roi
高于第一接触状态阈值，系统300可以确定超声波探头104处于指示超声波探头104与患者的组织处于手术物理接触的第一接触状态。一旦处于此状态，在系统300确定超声探头104处于指示超声探头104与患者的组织未处于手术物理接触的第二接触状态之前，∑
roi t(x，y)/n
roi
必须低于第二接触状态阈值(其低于第一接触状态阈值)。
[0069]
在一些替代实施例中，系统300可通过使用基于短时傅立叶变换(stft)或小波变换的频域方法来获得自协方差函数的局部评估。stft系数或另一个小波变换的系数可直接用于生成本文所述的组织图。在一些示例中，本文所述的自协方差函数的系数可以用stft或小波变换的系数来替换。
[0070]
在一些示例中，可以通过系统300响应于用户输入来设置本文所述的任何阈值(例如，本文所述的局部描述符阈值和接触状态阈值)。以这种方式，用户可以手动地调整阈值
到合适的水平。附加地或可替代地，本文所述的任何阈值可以基于机器学习模型的输出来设置。本文所述的阈值可以附加地或替代地以任何其他方式确定。
[0071]
系统300可以基于超声探头104的接触状态执行各种操作。例如，基于超声探头104的接触状态，系统300可以控制在通过显示设备106显示的可视图像内的超声图像114的显示。
[0072]
为了说明，图5a至图5b示出了通过显示设备106显示的示例性可视图像502。可视图像502包括通过内窥镜捕获的患者体内的外科手术区域的内窥镜图像。如在图5a至图5b两者所示，内窥镜图像描绘了组织504(例如，患者体内的器官)、被配置为响应于用户输入来操纵组织504的外科手术工具506以及超声探头104。尽管可视图像502在图5a至图5b中被描绘为二维图像，将认识到，在其他示例中，可视图像502可以可替代地为三维图像。
[0073]
在一些示例中，可视图像502进一步可以包括在可视图像502中描绘的外科手术区域内的患者解剖结构的术前模型。这在美国临时专利申请号62/855，755中有更完整的描述，其内容通过引用整体并入本文。术前模型可以与内窥镜图像配准，使得模型位于可视图像502内的定位对应于患者解剖结构的实际定位。例如，术前模型可以包括基于术前成像(例如，mri和/或ct扫描成像)生成的组织504内部结构的三维模型。
[0074]
在图5a中，超声探头104与组织504处于手术物理接触。因此，系统300可以确定超声探头104的接触状态指示超声探头104与组织504处于手术物理接触。基于此确定并且如图5a中所示，系统300可以显示可视图像502内的超声图像114。如图所示，超声图像114可以位于可视图像502内的一个定位处，该定位看起来直接在超声探头104的底表面下方。通过以这种方式定位超声图像114，系统300可以允许用户更容易地查明组织504内部的并且包括在超声图像114内的结构的相对位置，其中可视图像502中示出了其他内容。可替代地，超声成像器114可以位于可视图像502内的任何其他定位，以用于特定的实现方式。
[0075]
图5b示出了超声探头104已经被重新定位到不与组织504处于物理接触的位置。这种重新定位可以响应于用户对超声探头104的操纵和/或以任何其他方式发生。响应于重新定位，系统300可以确定超声探头的接触状态现在指示超声探头未与组织504处于手术物理接触。在响应中并且如图5b所示，系统300可以放弃在可视图像502中显示(例如，通过隐藏或以其他方式不显示)超声图像114。
[0076]
通过以这种方式智能地控制超声图像114的显示，系统300可以确保超声图像114仅在其包括对用户有用的信息时才被显示。否则，超声图像114被隐藏，以便不遮挡可视图像502中的其他内容。
[0077]
在一些示例中，系统300可以响应于确定超声探头104的接触状态指示超声探头104与组织504处于手术物理接触而仅显示超声图像114的一部分。例如，如果超声图像114的特定区域(例如，饼形切片)包括有用信息，但是超声图像114的其余部分不包括，这可以表明仅超声图像的一部分与组织504处于手术物理接触。在响应中，系统300可以生成和显示仅包括超声图像114的一部分的裁剪超声图像。裁剪超声图像可以包括包含有用信息的区域，并且可以基于像素的分类为显示组织或显示非组织被确定。
[0078]
为了说明，图6a示出了通过显示设备106显示的可视图像502。如图所示，代替在可视图像502内显示全超声图像114，系统300在可视图像502内显示裁剪超声图像602。为了比较，在图6a中示出了表示全超声图像114在显示时的样子的虚线轮廓604。虚线轮廓604可以
或可以不实际显示在可视图像502中，以用于特定的实现方式。
[0079]
图6b示出了在可视图像502中仅显示超声图像114的一部分的另一个示例。在该示例中，系统300显示裁剪超声图像606代替全超声图像114，全超声图像114再次通过虚线604表示，虚线604可以或可以不实际显示在可视图像502中。如图所示，裁剪超声图像606不包括全超声图像114的远端区域。这种类型的裁剪超声图像606可能有利于在较深的组织区域导致信号丢失致使全超声图像114的远端区域包括比有用内容更多的噪声的情境中显示。
[0080]
系统300可以附加地或替代地基于超声探头104的接触状态设置(例如，调整)超声成像机器102的参数。例如，系统300可以基于超声探头104的接触状态设置通过超声探头104发射或接收的声音的频率和/或增益。系统300可以基于超声探头104的接触状态附加地或替代地设置超声图像114的扇形深度。通过基于超声探头104的接触状态设置一个或多个参数，系统300可以被配置为自动获取质量更好的超声图像114。
[0081]
例如，超声探头104的接触状态可以指示超声探头102几乎没有与组织504处于手术物理接触(例如，如果上述比率仅仅高于接触状态阈值)。在这种情境中，系统300可以增加超声探头104接收到的声音的增益以提高超声图像114的图像质量。
[0082]
系统300可以附加地或替代地基于超声探头104的接触状态生成控制信号，该控制信号被配置为通过计算机辅助外科手术系统使用以控制超声探头104的定位(例如，以实现和/或维持组织接触)。例如，超声探头104的轴可以耦合到计算机辅助外科手术系统的操纵器臂。在此示例中，计算机辅助外科手术系统可以被配置为通过重新定位操纵器臂基于控制信号来调整超声探头104的定位。作为另一个示例，可通过计算机辅助外科手术系统控制的不同外科手术工具(例如，抓钳)可以被配置为保持和重新定位超声探头104。在任一示例中，控制信号可以指示超声探头102未与组织504处于手术物理接触。在响应中，计算机辅助外科手术系统可以重新定位超声探头104，直到控制信号指示超声探头102与组织504处于手术物理接触。
[0083]
图7示出了示例性计算机辅助外科手术系统700(“外科手术系统700”)。如本文所述，超声机器102和系统300可以通过外科手术系统700实现、连接到外科手术系统700，和/或以其他方式与外科手术系统700结合使用。
[0084]
如图所示，外科手术系统700可以包括相互通信耦合的操纵系统702、用户控制系统704和辅助系统706。外科手术系统700可以被外科手术团队用来对患者708执行计算机辅助的外科手术程序。如图所示，外科手术团队可以包括外科医生710-1、助理710-2、护士710-3和麻醉师710-4，他们都可以被统称为“外科手术团队成员710”。附加的或替代的外科手术团队成员可以在外科手术会诊中出现以用于特定的实现方式。
[0085]
虽然图7示出了正在进行的微创外科手术程序，但应当理解，外科手术系统700可类似地用于执行开放式外科手术程序或可类似地受益于外科手术系统700的准确性和便利性的其他类型的外科手术程序。此外，应当理解，可以采用外科手术系统700的整个外科手术会诊可以不仅包括外科手术程序的手术阶段，如图7所示，而且也可以包括手术前、手术后和/或其他合适的阶段。外科手术程序可以包括对患者使用手动和/或器械技术以检查或治疗患者的身体状况的任何程序。
[0086]
如图7所示，操纵系统702可包括多个操纵器臂712(例如，操纵器臂712-1至712-4)，多个外科手术器械可耦合到这些操纵器臂。每个外科手术器械可以由任何合适的外科
手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像设备(例如，内窥镜)、传感器械(例如，力传感外科手术器械)、诊断器械等来实现，这些外科手术器械可以用于对患者708进行计算机辅助外科手术程序(例如，通过至少部分地插入患者708体内并被操纵以对患者708执行计算机辅助外科手术程序)。虽然操纵系统702在本文中被描绘和描述为包括四个操纵器臂712，但是应当认识到，操纵系统702可以仅包括单个操纵器臂712或可以用于特定实现方式的任何其他数量的操纵器臂。
[0087]
操纵器臂712和/或附接到操纵器臂712的外科手术器械可以包括用于生成天然(即，未校正)运动学信息的一个或多个位移传感器、取向传感器和/或定位传感器。外科手术系统700的一个或多个部件可以被配置为使用运动学信息来跟踪(例如，确定其定位)和/或控制外科手术器械。
[0088]
用户控制系统704可以被配置为便于外科医生710-1控制操纵器臂712和附接到操纵器臂712的外科手术器械。例如，外科医生710-1可以与用户控制系统704交互以远程移动或操纵操纵器臂712和外科手术器械。为此，用户控制系统704可以向外科医生710-1提供通过成像系统(例如，本文描述的任何医学成像系统)捕获的与患者708相关联的外科手术区域的影像(例如，高分辨率的3d影像)。在某些示例中，用户控制系统704可以包括具有两个显示器的立体查看器，其中与患者708相关联并且通过立体成像系统生成的外科手术区域的立体图像可以被外科医生710-1查看。外科医生710-1可以利用影像使用附接到操纵器臂712的一个或多个外科手术器械执行一个或多个程序。
[0089]
为了便于控制外科手术器械，用户控制系统704可以包括一组主控件。这些主控件可通过外科医生710-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控件可以被配置为检测外科医生710-1的各种手、手腕和手指运动。以这种方式，外科医生710-1可以使用一个或多个外科手术器械直观地执行程序。
[0090]
辅助系统706可以包括一个或多个计算设备，该一个或多个计算设备被配置为执行外科手术系统700的主要处理操作。在这样的配置中，辅助系统706中包括的一个或多个计算设备可以控制和/或协调通过外科手术系统700的各种其他部件(例如，操纵系统702和用户控制系统704)执行的操作。例如，用户控制系统704中包括的计算设备可以通过辅助系统706中包括的一个或多个计算设备传输指令到操纵系统702。作为另一个示例，辅助系统706可以从操纵系统702接收和处理表示通过附接到操纵器臂712之一的成像设备捕获的影像的图像数据。
[0091]
在一些示例中，辅助系统706可以被配置为向可能无法访问在用户控制系统704处提供给外科医生710-1的图像的外科手术团队成员710呈现视觉内容。为此，辅助系统706可以包括显示监视器714，其被配置为显示一个或多个用户界面，例如外科手术区域的图像(例如，2d图像)、与患者708和/或外科手术程序相关联的信息，和/或任何其他视觉内容，以用于特定的实现方式。例如，显示监视器714可以一起显示外科手术区域的图像以及与图像同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器714通过触摸屏显示器实现，外科手术团队成员710可以与其交互(例如，通过触摸手势)以向外科手术系统700提供用户输入。
[0092]
操纵系统702、用户控制系统704和辅助系统706可以以任何合适的方式彼此通信耦合。例如，如图7所示，操纵系统702、用户控制系统704和辅助系统706可以通过控制线716
通信耦合，控制线716可以表示任何有线或无线通信链路，以用于特定的实现方式。为此，操纵系统702、用户控制系统704和辅助系统706可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等。
[0093]
图8示出了示例性方法800。虽然图8示出了根据一个实施例的示例性操作，但是其他实施例可以省略、添加、重新排序、组合和/或修改图8中所示的任何步骤。图8所示的一个或多个操作可以通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
[0094]
在操作802中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值。操作802可以以本文描述的任何方式来执行。
[0095]
在操作804中，接触检测系统基于局部描述符值将多个像素中的每个像素分类为显示组织或显示非组织。操作804可以以本文描述的任何方式来执行。
[0096]
在操作806中，接触检测系统基于多个像素中每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态，接触状态指示超声探头是否与患者组织处于手术物理接触。操作806可以以本文描述的任何方式来执行。
[0097]
图9示出了另一个示例性方法900。虽然图9示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图9中所示的任何步骤。图9中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
[0098]
在操作902中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值。操作902可以以本文描述的任何方式来执行。
[0099]
在操作904中，接触检测系统基于局部描述符值确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作904可以以本文描述的任何方式来执行。
[0100]
在操作906中，接触检测系统基于超声探头的接触状态控制超声图像在显示设备显示的可视图像内的显示。操作906可以以本文描述的任何方式来执行。
[0101]
图10示出了另一个示例性方法1000。虽然图10示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图10中所示的任何步骤。图10中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
[0102]
在操作1002中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值。操作1002可以以本文描述的任何方式来执行。
[0103]
在操作1004中，接触检测系统基于局部描述符值确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作1004可以以本文描述的任何方式来执行。
[0104]
在操作1006中，接触检测系统基于超声探头的接触状态设置连接到超声探头的超声成像机器的参数。操作1006可以以本文描述的任何方式来执行。
[0105]
图11示出了另一个示例性方法1100。虽然图11示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图11中所示的任何步骤。图11中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
[0106]
在操作1102中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超
声图像中的多个像素的局部描述符值。操作1102可以以本文描述的任何方式来执行。
[0107]
在操作1104中，接触检测系统基于局部描述符值确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作1104可以以本文描述的任何方式来执行。
[0108]
在操作1106中，接触检测系统基于超声探头的接触状态生成控制信号，该控制信号被配置为通过计算机辅助外科手术系统使用以控制超声探头的定位。操作1106可以以本文描述的任何方式来执行。
[0109]
图12示出了另一个示例性方法1200。虽然图12示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图12中所示的任何步骤。图12中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
[0110]
在操作1202中，接触检测系统将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织。操作1202可以以本文描述的任何方式来执行。
[0111]
在操作1204中，接触检测系统基于多个像素中的每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作1204可以以本文描述的任何方式来执行。
[0112]
在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当通过计算设备的处理器执行时，指令可以引导处理器和/或计算设备执行一个或多个操作，包括本文描述的一个或多个操作。可以使用多种已知的计算机可读介质中的任一种来存储和/或传输这样的指令。
[0113]
本文所指的非暂时性计算机可读介质可以包括参与提供可通过计算设备(例如，通过计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电体随机存取存储器(“ram”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于ram(例如，动态ram)。
[0114]
图13示出了示例性计算设备1300，该计算设备1300可以被具体配置为执行本文描述的一个或多个过程。本文描述的任何系统、单元、计算设备和/或其他部件可以通过计算设备1300实现。
[0115]
如图13所示，计算设备1300可以包括经由通信基础设施1310彼此通信连接的通信接口1302、处理器1304、存储设备1306和输入/输出(“i/o”)模块1308。尽管图13中示出了示例性计算设备1300，但图13中所示的部件不旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图13中所示的计算设备1300的部件。
[0116]
通信接口1302可以被配置为与一个或多个计算设备通信。通信接口1302的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
[0117]
处理器1304通常表示能够处理数据和/或解释、执行和/或引导本文描述的一个或多个指令、过程和/或操作的执行的任何类型或形式的处理单元。处理器1304可以通过执行
存储在存储设备1306中的计算机可执行指令1312(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
[0118]
存储设备1306可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1306可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。包括本文描述的数据的电子数据可以临时和/或永久地存储在存储设备1306中。例如，表示被配置为引导处理器1304执行本文描述的任何操作的计算机可执行指令1312的数据可以存储在存储设备1306内。在一些示例中，数据可以被布置在驻存于存储设备1306内的一个或多个数据库中。
[0119]
i/o模块1308可以包括一个或多个i/o模块，该一个或多个i/o模块被配置为接收用户输入并提供用户输出。i/o模块1308可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块1308可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。
[0120]
i/o模块1308可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，i/o模块1308被配置为向显示器提供图形数据用于呈现给用户。图形数据可以表示一个或多个图形用户界面和/或以用于特定的实现方式的任何其他图形内容。
[0121]
在前面的描述中，已经参考附图描述了各种示例性实施例。然而，显而易见的是，可以对其进行各种修改和改变，并且可以实现附加的实施例，而不脱离所附权利要求中阐述的本发明的范围。例如，本文描述的一个实施例的某些特征可以与本文描述的另一个实施例的特征组合或替代。因此，描述和附图被认为是说明性的而不是限制性的。