用于确定、调整和管理围绕患者组织的切除边缘的系统和方法与流程

用于确定、调整和管理围绕患者组织的切除边缘的系统和方法


背景技术：

1.外科系统通常结合有成像系统，该成像系统可允许临床医生例如在一个或多个显示器(诸如监视器)上观看外科部位和/或其一个或多个部分。显示器可以是手术室本地的和/或远程的。成像系统可包括具有相机的观察镜，该观察镜观看外科部位并将视图传输到临床医生可观看的显示器。观察镜包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜和外镜。成像系统可受到它们能够识别和/或传达给临床医生的信息的限制。例如，某些成像系统可能无法在术中识别三维空间内的某些隐蔽结构、物理轮廓和/或尺寸。另外，某些成像系统可能无法在术中将某些信息传送和/或传达给临床医生。


技术实现要素：

2.在一个总体方面，公开了一种包括结构化光发射器和光谱光发射器的外科可视化系统，该结构化光发射器被配置成能够将电磁辐射的结构化图案发射到解剖结构上，并且该光谱光发射器被配置成能够发射包括多个波长的电磁辐射。选择该多个波长的至少一个波长以穿透该解剖结构的一部分并且从患者组织反射。图像传感器，该图像传感器被配置成能够检测从该解剖结构反射的电磁辐射的该结构化图案和从该患者组织反射的该至少一个波长。控制电路，该控制电路被配置成能够从该图像传感器接收第一信号和第二信号，基于该第一信号来构建该解剖结构的模型，基于该第二信号来检测该患者组织相对于该解剖结构的该模型的位置，并且至少部分地基于该患者组织的该位置来确定围绕该患者组织的边缘。
3.在另一个总体方面，公开了一种外科可视化系统，该外科可视化系统包括光发射器，该光发射器被配置成能够发射电磁辐射，该电磁辐射包括朝向解剖结构多个波长和多个频率。该电磁辐射的一部分被配置成能够从该解剖结构的表面反射，并且该电磁辐射的一部分被配置成能够穿透该解剖结构的表面并且从该解剖结构的患者组织和特征中的至少一者反射。图像传感器，该图像传感器被配置成能够检测从该解剖结构的表面反射的该电磁辐射的部分。该图像传感器被进一步配置成能够检测穿透该解剖结构的表面并且从该解剖结构的患者组织和特征中的至少一者反射的该电磁辐射的部分。控制电路，该控制电路被配置成能够从该图像传感器接收信号，并且至少部分地基于该信号来确定围绕该解剖结构的患者组织和特征中的至少一者的边缘。该信号与反射的电磁辐射相关联
4.在又一个总体方面，公开了一种外科可视化系统，该外科可视化系统包括光谱成像系统和结构化光系统，该光谱成像系统被配置成能够发射包括多个波长的电磁辐射，并且该结构化光系统被配置成能够将电磁辐射的结构化图案发射到该解剖结构的表面上。该光谱成像系统被配置成能够基于该多个波长的第一波长的反射来检测解剖结构内的第一结构。该结构化光系统被进一步配置成能够生成该解剖结构的三维模型。传感器系统，该传感器系统被配置成能够检测反射的电磁辐射。控制系统，该控制系统被配置成能够基于该
多个波长的该第一波长的反射来确定围绕该解剖结构内的该第一结构的边缘。
附图说明
5.各个方面的新型特征在随附权利要求书中具体阐述。然而，关于组织和操作方法两者的所述方面可通过结合附图参照以下描述最好地理解，其中：
6.图1是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。
7.图2是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。
8.图2a示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的控制电路。
9.图2b示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的组合逻辑电路。
10.图2c示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统的各方面的时序逻辑电路。
11.图3是根据本公开的至少一个方面的描绘在图1的外科装置、成像装置与关键结构之间进行三角测量以确定关键结构在组织表面下方的深度da的示意图。
12.图4是根据本公开的至少一个方面的被配置成能够识别组织表面下方的关键结构的外科可视化系统的示意图，其中该外科可视化系统包括用于确定关键结构在组织表面下方的深度da的脉冲光源。
13.图5是根据本公开的至少一个方面的包括成像装置和外科装置的外科可视化系统的示意图，该外科可视化系统被配置成能够识别组织表面下方的关键结构。
14.图6是根据本公开的至少一个方面的包括三维相机的外科可视化系统的示意图，其中该外科可视化系统被配置成能够识别嵌入组织内的关键结构。
15.图7a和图7b是根据本公开的至少一个方面的由图6的三维相机拍摄的关键结构的视图，其中图7a是来自三维相机的左侧透镜的视图，并且图7b是来自三维相机的右侧透镜的视图。
16.图8是根据本公开的至少一个方面的图6的外科可视化系统的示意图，其中可确定从三维相机到关键结构的相机-关键结构距离dw。
17.图9是根据本公开的至少一个方面的利用两个相机来确定嵌入关键结构的方位的外科可视化系统的示意图。
18.图10a是根据本公开的至少一个方面的利用相机的外科可视化系统的示意图，该相机在多个已知方位之间轴向运动以确定嵌入关键结构的方位。
19.图10b是根据本公开的至少一个方面的图10a的外科可视化系统的示意图，其中相机在多个已知方位之间轴向且旋转运动以确定嵌入关键结构的方位。
20.图11是根据本公开的至少一个方面的用于外科可视化系统的控制系统的示意图。
21.图12是根据本公开的至少一个方面的用于外科可视化系统的结构化光源的示意图。
22.图13a是根据本公开的至少一个方面的各种生物材料的吸收系数不同波长的曲线图。
schemes for surgical networkcontrol and interaction”，现为美国专利申请公开号2019/0206563；
100.·
美国专利申请序列号16/209,478，其名称为“method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage”，现为美国专利申请公开号2019/0104919；
101.·
美国专利申请序列号16/209,490，其名称为“method for facility data collection and interpretation”，现为美国专利申请公开号2019/0206564；以及
102.·
美国专利申请序列号16/209,491，其名称为“method for circular stapler control algorithm adjustment based on situational awareness”，现为美国专利申请公开号2019/0200998。
103.在详细说明外科可视化平台的各个方面之前，应当指出，例示性示例在应用或使用上不限于附图和说明书中所示出的部件的构造和布置的细节。例示性示例可在其他方面、变型和修改中实现或并入，并且可以各种方式实践或执行。此外，除非另外指明，否则本文所用的术语和表达是为了方便读者而对例示性示例进行描述而所选的，并非为了限制性的目的。而且，应当理解，以下描述的方面、方面的表达和/或示例中的一者或多者可与其他以下描述的方面、方面的表达和/或示例中的任何一者或多者组合。
104.外科可视化系统
105.本公开涉及一种外科可视化平台，该外科可视化平台利用“数字外科手术”来获得关于患者的解剖结构和/或外科手术的附加信息。该外科可视化平台被进一步配置成能够以有帮助的方式将数据和/或信息传达给一个或多个临床医生。例如，本公开的各个方面提供了患者的解剖结构和/或外科手术的改善的可视化。
[0106]“数字外科手术”可涵盖机器人系统、高级成像、高级仪器、人工智能、机器学习、用于性能跟踪和基准测试的数据分析、手术室(or)内部和外部两者的连接性以及更多。尽管本文所述的各种外科可视化平台可与机器人外科系统结合使用，但是外科可视化平台不限于与机器人外科系统一起使用。在某些情况下，高级外科可视化可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。类似地，数字外科可在没有机器人以及/或者具有有限的和/或任选的机器人辅助的情况下进行。
[0107]
在某些情况下，结合有外科可视化平台的外科系统可实现智能解剖以便识别和避开关键结构。关键结构包括解剖结构诸如输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构可以是例如解剖场中的外来结构，诸如外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。关键结构可基于不同患者和/或不同手术来确定。本文还描述了示例性关键结构。例如，智能解剖技术可提供用于解剖的改善的术中指导，并且/或者可利用关键解剖结构检测和避开技术来实现智能决策。
[0108]
结合有外科可视化平台的外科系统还可实现智能吻合技术，该智能吻合技术利用改善的工作流程在最佳位置处提供更一致的吻合。也可利用本文所述的各种外科可视化平台和手术来改善癌症定位技术。例如，癌症定位技术可识别和跟踪癌症位置、取向及其边缘。在某些情况下，癌症定位技术可在外科手术期间补偿工具、患者和/或患者的解剖结构
的移动，以便为临床医生提供回到感兴趣的点的指导。
[0109]
在本公开的某些方面，外科可视化平台可提供改善的组织表征和/或淋巴结诊断和标测。例如，组织表征技术可在不需要物理触觉的情况下表征组织类型和健康，特别是当在组织内解剖和/或放置缝合装置时。本文所述的某些组织表征技术可在没有电离辐射和/或造影剂的情况下使用。关于淋巴结诊断和标测，外科可视化平台可在术前定位、标测和理想地诊断涉及例如癌性诊断和分期的淋巴系统和/或淋巴结。
[0110]
在外科手术期间，临床医生可经由“肉眼”和/或成像系统获得的信息可提供外科部位的不完整视图。例如，某些结构(诸如嵌入或掩埋在器官内的结构)可至少部分地被隐蔽或隐藏起来使其不被看见。另外，某些尺寸和/或相对距离可能难以利用现有的传感器系统探知和/或难以让“肉眼”感知。此外，某些结构可在术前(例如，在外科手术之前但在术前扫描之后)和/或术中运动。在此类情况下，临床医生可能无法在术中准确地确定关键结构的位置。
[0111]
当关键结构的方位不确定时和/或当关键结构与外科工具之间的接近度未知时，临床医生的决策过程可能受到阻碍。例如，临床医生可避开某些区域，以便避免意外解剖关键结构；然而，所避开的区域可能不必要地较大和/或至少部分地错位。由于不确定性和/或过于/过度谨慎操作，临床医生可能无法进入某些期望的区域。例如，过度谨慎可能导致临床医生留下肿瘤和/或其他不期望的组织的一部分，以企图避开关键结构，即使关键结构不在该特定区域中和/或不会受到在该特定区域中工作的临床医生的负面影响。在某些情况下，可通过增加知识和/或确定性来改善外科结果，这可使得外科医生在特定解剖区域方面更加准确，并且在某些情况下，使得外科医生不那么保守/更有进取性。
[0112]
在各个方面，本公开提供了用于术中识别和避开关键结构的外科可视化系统。在一个方面，本公开提供了一种外科可视化系统，该外科可视化系统实现了加强的术中决策和改善的外科结果。在各个方面，所公开的外科可视化系统提供了高级可视化能力，超出临床医生用“肉眼”所见的内容以及/或者超出成像系统可识别和/或传达给临床医生的内容。各种外科可视化系统可增强和加强临床医生在组织治疗(例如，解剖)之前能够知道的内容，并且因此可在各种情况下改善结果。
[0113]
例如，可视化系统可包括被配置成能够发射多个光谱波的第一光发射器、被配置成能够发射光图案的第二光发射器以及被配置成能够检测可见光、对光谱波的分子响应(光谱成像)和/或光图案的一个或多个接收器或传感器。应该注意的是，在下面的整个公开内容中，除非特别提到可见光，否则任何提到的“光”可以包括电磁辐射(emr)或emr波长光谱的可见和/或不可见部分中的光子。外科可视化系统还可包括成像系统以及与接收器和成像系统信号通信的控制电路。基于来自接收器的输出，控制电路可确定外科部位处可见表面的几何表面标测图(即三维表面形貌)以及相对于外科部位的一个或多个距离。在某些情况下，控制电路可确定到至少部分隐蔽的结构的一个或多个距离。此外，成像系统可将几何表面标测图和一个或多个距离传达给临床医生。在此类情况下，提供给临床医生的外科部位的增强视图可提供外科部位的相关环境内的隐蔽结构的表示。例如，成像系统可在隐蔽和/或阻挡组织的几何表面标测图上虚拟地增强隐蔽结构，类似于在地面上绘制的线以指示表面下方的实用线。另外或另选地，成像系统可传达一个或多个外科工具与可见的阻挡组织和/或与至少部分隐蔽的结构的接近度以及/或者隐蔽结构在阻挡组织的可见表面
下方的深度。例如，可视化系统可确定相对于可见组织的表面上的增强线的距离，并且将该距离传达到成像系统。
[0114]
在本公开的各个方面，公开了用于术中识别和避开关键结构的外科可视化系统。此类外科可视化系统可在外科手术期间向临床医生提供有价值的信息。因此，例如，临床医生知道外科可视化系统正在跟踪例如可在解剖期间接近的关键结构(诸如输尿管、特定神经和/或关键血管)，可在整个外科手术过程中确信地保持动力。在一个方面，外科可视化系统可在足够长的时间内向临床医生提供指示，以使临床医生暂停和/或减慢外科手术并且评估与关键结构的接近度，以防止对其造成意外损坏。外科可视化系统可向临床医生提供理想的、优化的和/或可定制的信息量，以允许临床医生确信地和/或快速地运动穿过组织，同时避免对健康组织和/或关键结构造成意外损坏，并且因此最小化由外科手术引起的伤害风险。
[0115]
图1是根据本公开的至少一个方面的外科可视化系统100的示意图。外科可视化系统100可在解剖场内创建关键结构101的视觉表示。外科可视化系统100可用于例如临床分析和/或医疗干预。在某些情况下，外科可视化系统100可在术中使用，以在外科手术期间向临床医生提供关于接近度数据、尺寸和/或距离的实时或近实时的信息。外科可视化系统100被配置用于在术中识别关键结构和/或有利于外科装置避开关键结构101。例如，通过识别关键结构101，临床医生可避免在外科手术期间在关键结构101和/或关键结构101的预定接近度中的区域周围操纵外科装置。例如，临床医生可避免对例如被识别为关键结构101的静脉、动脉、神经和/或血管进行解剖和/或避免在这些关键结构附近进行解剖。在各种情况下，关键结构101可基于不同患者和/或不同手术来确定。
[0116]
外科可视化系统100结合距离传感器系统104结合有组织识别和几何表面标测。结合起来，外科可视化系统100的这些特征可确定关键结构101在解剖场内的方位以及/或者外科装置102与可见组织的表面105和/或与关键结构101的接近度。此外，外科可视化系统100包括成像系统，该成像系统包括例如被配置成能够提供外科部位的实时视图的成像装置120，诸如相机。在各种情况下，成像装置120是光谱相机(例如，高光谱相机、多光谱相机或选择性光谱相机)，该光谱相机被配置成能够检测反射的光谱波形并且基于对不同波长的分子响应来生成图像的光谱立方体。来自成像装置120的视图可被提供给临床医生，并且在本公开的各个方面，可基于组织识别、地形标测和距离传感器系统104用附加信息来增强这些视图。在此类情况下，外科可视化系统100包括多个子系统，即成像子系统、表面标测子系统、组织识别子系统和/或距离确定子系统。这些子系统可配合以在术中向临床医生提供高级数据合成和集成信息。
[0117]
成像装置可包括相机或成像传感器，该相机或成像传感器被配置成能够检测例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。在本公开的各个方面，成像系统可包括例如成像装置，诸如内窥镜。另外或另选地，成像系统可包括例如成像装置，诸如关节镜、血管镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、肠镜、食管胃-十二指肠镜(胃镜)、喉镜、鼻咽-肾镜、乙状结肠镜、胸腔镜、输尿管镜或外镜。在其他情况下，诸如在开放外科手术应用中，成像系统可不包括观察镜。
[0118]
在本公开的各个方面，组织识别子系统可用光谱成像系统来实现。光谱成像系统可依赖于例如高光谱成像、多光谱成像或选择性光谱成像。组织的高光谱成像进一步在
2016年3月1日公布的名称为“system and method for gross anatomic pathology using hyperspectral imaging”的美国专利号9,274,047中描述，该专利全文以引用方式并入本文。
[0119]
在本公开的各个方面，表面标测子系统可用光图案系统来实现，如本文进一步所述。光图案(或结构化光)用于表面标测是已知的。已知的表面标测技术可用于本文所述的外科可视化系统中。
[0120]
结构化光是将已知图案(通常为网格或水平条)投射到表面上的过程。2017年3月2日公布的名称为“set comprising a surgical instrument”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“depiction system”的美国专利申请公布2017/0251900公开了一种外科系统，该外科系统包括光源以及用于投射光图案的投射仪。2017年3月2日公布的名称为“set comprising a surgical instrument”的美国专利申请公布2017/0055819以及2017年9月7日公布的名称为“depiction system”的美国专利申请公布2017/0251900全文以引用方式并入本文。
[0121]
在本公开的各个方面，距离确定系统可结合到表面标测系统中。例如，可利用结构化光来生成可见表面的三维虚拟模型并且确定相对于可见表面的各种距离。另外或另选地，距离确定系统可依赖于飞行时间测量来确定到外科部位处所识别的组织(或其他结构)的一个或多个距离。
[0122]
图2是可与外科可视化系统100一起使用的控制系统133的示意图。控制系统133包括与存储器134信号通信的控制电路132。存储器134存储可由控制电路132执行的指令，以确定和/或识别关键结构(例如，图1中的关键结构101)，确定和/或计算一个或多个距离和/或三维数字表示，并将某些信息传送给一个或多个临床医生。例如，存储器134存储表面标测逻辑部件136、成像逻辑部件138、组织识别逻辑部件140或距离确定逻辑部件141或者逻辑部件136、138、140和141的任何组合。控制系统133还包括成像系统142，该成像系统具有一个或多个相机144(如图1中的成像装置120)、一个或多个显示器146或者一个或多个控件148或者这些元件的任何组合。相机144可包括一个或多个图像传感器135，以接收来自发射各种可见光谱和不可见光谱下的光的各种光源(例如，可见光、光谱成像器、三维透镜等)的信号。显示器146可包括一个或多个屏幕或监视器，用于向一个或多个临床医生描绘真实、虚拟和/或虚拟增强的图像和/或信息。
[0123]
在各个方面，相机144的心脏是图像传感器135。一般来讲，现代图像传感器135是包含高达数百万个离散光电探测器位点(称为像素)的固态电子装置。图像传感器135技术属于以下两类中的一类：电荷耦合器件(ccd)和互补金属氧化物半导体(cmos)成像器，并且近来，短波红外(swir)是一种新兴的成像技术。另一种类型的图像传感器135采用混合ccd/cmos架构(以名称“scmos”出售)，并且由凸块粘结到ccd成像基板的cmos读出集成电路(roic)组成。ccd和cmos图像传感器135对大约350nm至1050nm的波长敏感，但该范围通常被给出为400nm至1000nm。一般来讲，cmos传感器比ccd传感器对ir波长更敏感。固态图像传感器135基于光电效应，并且因此不能区分颜色。因此，存在两种类型的彩色ccd相机：单芯片和三芯片。单芯片彩色ccd相机提供常见的低成本成像解决方案，并且使用马赛克(例如，拜耳)光学滤光器将入射光分成一系列颜色，并且采用内插算法来解析全色图像。然后，每种颜色指向不同的像素集。三芯片彩色ccd相机通过采用棱镜将入射光谱的每个部分引导到
不同的芯片来提供更高的分辨率。更准确的颜色再现是可能的，因为物体的空间中的每个点具有单独的rgb强度值，而不是使用算法来确定颜色。三芯片相机提供极高的分辨率。
[0124]
控制系统133还包括光谱光源150和结构化光源152。在某些情况下，单个源可以是脉冲式的，以发射光谱光源150范围内的光的波长和结构化光源152范围内的光的波长。另选地，单个光源可以是脉冲式的，以提供不可见光谱中的光(例如红外光谱光)和可见光谱上的光的波长。光谱光源150可以是例如高光谱光源、多光谱光源和/或选择性光谱光源。在各种情况下，组织识别逻辑部件140可经由由相机144的图像传感器135部分接收的来自光谱光源150的数据来识别关键结构。表面标测逻辑部件136可基于反射的结构化光来确定可见组织的表面轮廓。利用飞行时间测量结果，距离确定逻辑部件141可确定到可见组织和/或关键结构101的一个或多个距离。来自表面标测逻辑部件136、组织识别逻辑部件140和距离确定逻辑部件141的一个或多个输出可被提供给成像逻辑部件138，并且可被组合、共混和/或重叠以经由成像系统142的显示器146传达给临床医生。
[0125]
说明书现在简要转到图2a至图2c，以描述用于控制外科可视化系统100的各个方面的控制电路132的各个方面。转到图2a，示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的控制电路400。控制电路400可被配置成能够实现本文所述的各种过程。控制电路400可以包括微控制器，该微控制器包括耦接到至少一个存储器电路404的一个或多个处理器402(例如，微处理器、微控制器)。存储器电路404存储机器可执行指令，这些机器可执行指令在由处理器402执行时使处理器402执行机器指令以实现本文所述的各种过程。处理器402可以是本领域中已知的多种单核或多核处理器中的任一种。存储器电路404可包括易失性存储介质和非易失性存储介质。处理器402可包括指令处理单元406和运算单元408。指令处理单元可被配置成能够从本公开的存储器电路404接收指令。
[0126]
图2b示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的组合逻辑电路410。组合逻辑电路410可被配置成能够实现本文所述的各种过程。组合逻辑电路410可包括有限状态机，该有限状态机包括组合逻辑部件412，该组合逻辑部件被配置成能够在输入414处接收与外科器械或工具相关联的数据，通过组合逻辑部件412处理数据并提供输出416。
[0127]
图2c示出了根据本公开的至少一个方面的被配置成能够控制外科可视化系统100的各方面的时序逻辑电路420。时序逻辑电路420或组合逻辑部件422可被配置成能够实现本文所述的各种过程。时序逻辑电路420可包括有限状态机。时序逻辑电路420可包括例如组合逻辑部件422、至少一个存储器电路424和时钟429。至少一个存储器电路424可存储有限状态机的当前状态。在某些情况下，时序逻辑电路420可以是同步的或异步的。组合逻辑部件422被配置成能够从输入426接收与外科装置或系统相关联的数据，通过组合逻辑部件422处理数据并提供输出428。在其他方面，电路可包括处理器(例如，图2a中的处理器402)和有限状态机的组合以实现本文的各种过程。在其他方面，有限状态机可包括组合逻辑电路(例如，组合逻辑电路410，图2b)和时序逻辑电路420的组合。
[0128]
再次参见图1中的外科可视化系统100，关键结构101可以是感兴趣的解剖结构。例如，关键结构101可以是输尿管、动脉诸如肠系膜上动脉、静脉诸如门静脉、神经诸如膈神经和/或肿瘤等解剖结构。在其他情况下，关键结构101可以是例如解剖场中的外来结构，诸如
外科装置、外科紧固件、夹具、大头钉、探条、带和/或板。示例性关键结构在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为“visualization of surgical devices”的美国专利申请号16/128,192)中进一步描述，这些专利申请全文以引用方式并入本文。
[0129]
在一个方面，关键结构101可嵌入组织103中。换句话说，关键结构101可定位在组织103的表面105下方。在此类情况下，组织103隐蔽关键结构101使其不被临床医生看见。从成像装置120的视角来看，关键结构101也被组织103遮蔽。组织103可以是例如脂肪、结缔组织、粘连和/或器官。在其他情况下，关键结构101可被部分地遮蔽使其不被看见。
[0130]
图1还描绘了外科装置102。外科装置102包括端部执行器，该端部执行器具有从外科装置102的轴的远侧端部延伸的相对钳口。外科装置102可以是任何合适的外科装置，诸如例如解剖器、缝合器、抓紧器、施夹器和/或能量装置(包括单极探针、双极探针、消融探针和/或超声端部执行器)。另外或另选地，外科装置102可包括例如另一个成像或诊断模态，诸如超声装置。在本公开的一个方面，外科可视化系统100可被配置成能够实现识别一个或多个关键结构101以及外科装置102与关键结构101的接近度。
[0131]
外科可视化系统100的成像装置120被配置成能够检测各种波长的光，诸如例如可见光、光谱光波(可见光或不可见光)和结构化光图案(可见光或不可见光)。成像装置120可包括用于检测不同信号的多个透镜、传感器和/或接收器。例如，成像装置120可以是高光谱、多光谱或选择性光谱相机，如本文进一步所述。成像装置120还可包括波形传感器122(诸如光谱图像传感器、检测器和/或三维相机透镜)。例如，成像装置120可包括一起使用以同时记录两个二维图像的右侧透镜和左侧透镜，并且因此生成外科部位的三维图像，渲染外科部位的三维图像，并且/或者确定外科部位处的一个或多个距离。另外或另选地，成像装置120可被配置成能够接收指示可见组织的形貌以及隐藏关键结构的识别和方位的图像，如本文进一步所述。例如，成像装置120的视场可与组织的表面105上的光(结构化光)的图案重叠，如图1所示。
[0132]
在一个方面，外科可视化系统100可结合到机器人系统110中。例如，机器人系统110可包括第一机器人臂112和第二机器人臂114。机器人臂112、114包括刚性结构构件116和接头118，这些接头可包括伺服马达控件。第一机器人臂112被配置成能够操纵外科装置102，并且第二机器人臂114被配置成能够操纵成像装置120。机器人控制单元可被配置成能够向机器人臂112、114发出控制运动，这些控制运动可影响例如外科装置102和成像装置120。
[0133]
外科可视化系统100还包括发射器106，该发射器被配置成能够发射光的图案，诸如条纹、网格线和/或点，以使得能够确定表面105的形貌或地形。例如，投射光阵列130可用于表面105上的三维扫描和配准。投射光阵列130可从位于例如外科装置102和/或机器人臂112、114中的一者和/或成像装置120上的发射器106发射。在一个方面，投射光阵列130用于确定由组织103的表面105和/或表面105在术中的运动限定的形状。成像装置120被配置成能够检测从表面105反射的投射光阵列130，以确定表面105的形貌以及相对于表面105的各种距离。
[0134]
在一个方面，成像装置120还可包括光学波形发射器123，该光学波形发射器被配置成能够发射可穿透组织103的表面105并到达关键结构101的电磁辐射124(nir光子)。成
像装置120及其上的光学波形发射器123可能够由机器人臂114定位。成像装置120上的对应波形传感器122(例如，图像传感器、光谱仪或振动传感器)被配置成能够检测由波形传感器122接收的电磁辐射的影响。由光学波形发射器123发射的电磁辐射124的波长可被配置成能够使得能够识别解剖结构和/或物理结构(诸如关键结构101)的类型。关键结构101的识别可通过例如光谱分析、光声学和/或超声来实现。在一个方面，电磁辐射124的波长可以是可变的。波形传感器122和光学波形发射器123可包括例如多光谱成像系统和/或选择性光谱成像系统。在其他情况下，波形传感器122和光学波形发射器123可包括例如光声学成像系统。在其他情况下，光学波形发射器123可定位在与成像装置120分开的外科装置上。
[0135]
外科可视化系统100还可包括距离传感器系统104，该距离传感器系统被配置成能够确定外科部位处的一个或多个距离。在一个方面，飞行时间距离传感器系统104可以是包括发射器(诸如发射器106)以及可定位在外科装置102上的接收器108的飞行时间距离传感器系统。在其他情况下，飞行时间发射器可与结构化光发射器分开。在一个一般方面，飞行时间距离传感器系统104的发射器106部分可包括非常微小的激光源，并且飞行时间距离传感器系统104的接收器108部分可包括匹配传感器。飞行时间距离传感器系统104可检测“飞行时间”或由发射器106发射的激光反弹回到接收器108的传感器部分所花费的时间。在发射器106中使用非常窄的光源使得距离传感器系统104能够确定到距离传感器系统104正前方的组织103的表面105的距离。仍然参见图1，de是从发射器106到组织103的表面105的发射器-组织距离，并且d
t
是从外科装置102的远侧端部到组织的表面105的装置-组织距离。距离传感器系统104可用于确定发射器-组织距离de。装置-组织距离d
t
可根据发射器106在外科装置102的轴上相对于外科装置102的远侧端部的已知方位获得。换句话讲，当发射器106与外科装置102的远侧端部之间的距离已知时，装置-组织距离d
t
可根据发射器-组织距离de确定。在某些情况下，外科装置102的轴可包括一个或多个关节运动接头，并且可能够相对于发射器106和钳口进行关节运动。关节运动构型可包括例如多接头椎骨状结构。在某些情况下，三维相机可用于对到表面105的一个或多个距离进行三角测量。
[0136]
在各种情况下，飞行时间距离传感器系统104的接收器108可安装在单独的外科装置上而不是外科装置102上。例如，接收器108可安装在插管或套管针上，外科装置102延伸穿过该插管或套管针以到达外科部位。在其他情况下，飞行时间距离传感器系统104的接收器108可安装在单独的机器人控制的臂(例如，机器人臂114)上，安装在由另一个机器人操作的可运动臂上和/或安装到手术室(or)工作台或固定装置。在某些情况下，成像装置120包括飞行时间接收器108，以使用外科装置102上的发射器106与成像装置120之间的线来确定从发射器106到组织103的表面105的距离。例如，可基于飞行时间距离传感器系统104的发射器106(在外科装置102上)和接收器108(在成像装置120上)的已知方位来对距离de进行三角测量。接收器108的三维方位可以是已知的和/或在术中与机器人坐标平面配准。
[0137]
在某些情况下，飞行时间距离传感器系统104的发射器106的方位可由第一机器人臂112控制，并且飞行时间距离传感器系统104的接收器108的方位可由第二机器人臂114控制。在其他情况下，外科可视化系统100可与机器人系统分开使用。在此类情况下，距离传感器系统104可独立于机器人系统。
[0138]
在某些情况下，机器人臂112、114中的一者或多者可与外科手术中使用的主机器人系统分开。机器人臂112、114中的至少一者可在没有伺服马达控件的情况下定位并与特
定坐标系配准。例如，用于机器人臂110的闭环控制系统和/或多个传感器可控制和/或配准机器人臂112、114相对于特定坐标系的方位。类似地，外科装置102和成像装置120的方位可相对于特定坐标系配准。
[0139]
仍然参见图1，dw是从位于成像装置120上的光学波形发射器123到关键结构101的表面的相机-关键结构距离，并且da是关键结构101在组织103的表面105下方的深度(即，表面105的最靠近外科装置102的部分与关键结构101之间的距离)。在各个方面，从位于成像装置120上的光学波形发射器123发射的光学波形的飞行时间可被配置成能够确定相机-关键结构距离dw。光谱成像结合飞行时间传感器的使用在本文中进一步描述。此外，现在参见图3，在本公开的各个方面，关键结构101相对于组织103的表面105的深度da可通过以下方法来确定：根据距离dw以及发射器106在外科装置102上和光学波形发射器123在成像装置120上的已知方位(以及因此它们之间的已知距离d
x
)进行三角测量，以确定距离dy(其为距离de和da之和)。
[0140]
另外或另选地，来自光学波形发射器123的飞行时间可被配置成能够确定从光学波形发射器123到组织103的表面105的距离。例如，第一波形(或波形范围)可用于确定相机-关键结构距离dw，并且第二波形(或波形范围)可用于确定到组织103的表面105的距离。在此类情况下，不同波形可用于确定关键结构101在组织103的表面105下方的深度。
[0141]
另外或另选地，在某些情况下，距离da可由超声、配准磁共振成像(mri)或计算机断层摄影(ct)扫描来确定。在其他情况下，距离da可用光谱成像来确定，因为由成像装置接收的检测信号可基于材料的类型而变化。例如，脂肪可以第一方式或第一量降低检测信号，并且胶原可以不同的第二方式或第二量降低检测信号。
[0142]
现在参见图4中的外科可视化系统160，其中外科装置162包括光学波形发射器123以及被配置成能够检测反射的波形的波形传感器122。光学波形发射器123可被配置成能够发射波形，以用于确定与公共装置(诸如外科装置162)的距离d
t
和dw，如本文进一步所述。在此类情况下，从组织103的表面105到关键结构101的表面的距离da可如下确定：
[0143]
da＝d
w-d
t
。
[0144]
如本文所公开，关于可见组织、嵌入的关键结构和外科装置的各种信息可通过利用组合方法来确定，该组合方法结合被配置成能够检测光谱波长和结构化光阵列的图像传感器结合有一个或多个飞行时间距离传感器、光谱成像和/或结构化光阵列。此外，图像传感器可被配置成能够接收可见光，并且因此将外科部位的图像提供给成像系统。采用逻辑或算法来识别从飞行时间传感器接收的信息、光谱波长、结构化光和可见光，并且渲染表面组织和下面的解剖结构的三维图像。在各种情况下，成像装置120可包括多个图像传感器。
[0145]
相机-关键结构距离dw也可以一种或多种替代方式进行检测。在一个方面，可利用例如荧光透视可视化技术(诸如荧光吲哚菁绿(icg))来照亮关键结构201，如图6至图8所示。相机220可包括两个光学波形传感器222、224，这两个光学波形传感器同时拍摄关键结构201的左侧图像和右侧图像(图7a和图7b)。在此类情况下，相机220可描绘关键结构201在组织203的表面205下方的辉光，并且距离dw可由传感器222与224之间的已知距离来确定。在某些情况下，可通过利用多于一个相机或通过使相机在多个位置之间运动来更准确地确定距离。在某些方面，一个相机可由第一机器人臂控制，并且第二相机可由另一个机器人臂控制。在此类机器人系统中，一个相机可以是例如从动件臂上的从动件相机。从动件臂及其
上的相机可被编程为跟踪另一个相机并保持例如特定的距离和/或透镜角度。
[0146]
在其他方面，外科可视化系统100可采用两个单独的波形接收器(即，相机/图像传感器)来确定dw。现在参见图9，如果关键结构301或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号302，则可根据已知位置处的两个单独的相机320a、320b对实际位置进行三角测量。
[0147]
在另一方面，现在参见图10a和图10b，外科可视化系统可采用抖动或移动相机440来确定距离dw。相机440是机器人控制的，使得相机440在不同方位处的三维坐标是已知的。在各种情况下，相机440可在插管或患者接口处枢转。例如，如果关键结构401或其内容物(例如，血管或血管内容物)可诸如利用荧光透视发射信号，则可根据在两个或更多个已知位置之间快速运动的相机440对实际位置进行三角测量。在图10a中，相机440沿轴线a轴向移动。更具体地，相机440沿轴线a更靠近关键结构401平移距离d1，以平移到被指示为位置440'的位置，诸如通过在机器人臂上移入和移出。当相机440运动距离d1并且视图的尺寸相对于关键结构401改变时，可计算到关键结构401的距离。例如，4.28mm的轴向平移(距离d1)可对应于6.28度的角度θ1和8.19度的角度θ2。另外或另选地，相机440可沿不同方位之间的弧线旋转或扫掠。现在参见图10b，相机440沿轴线a轴向移动并且围绕轴线a旋转角度θ3。用于相机440的旋转的枢转点442定位在插管/患者接口处。在图10b中，相机440平移并旋转到位置440”。当使相机440运动并且视图边缘关于关键结构401改变时，可计算到关键结构401的距离。在图10b中，距离d2可为例如9.01mm，并且角度θ3可为例如0.9度。
[0148]
图5描绘了外科可视化系统500，其在许多方面类似于外科可视化系统100。在各种情况下，外科可视化系统500可以是外科可视化系统100的另一个范例。类似于外科可视化系统100，外科可视化系统500包括外科装置502和成像装置520。成像装置520包括光谱光发射器523，该光谱光发射器被配置成能够发射多个波长的光谱光，以获得例如隐藏结构的光谱图像。在各种情况下，成像装置520还可包括三维相机和相关联的电子处理电路。外科可视化系统500被示出为在术中用于识别和有利于避开在表面上不可见的某些关键结构，诸如器官503(在该示例中为子宫)中的输尿管501a和血管501b。
[0149]
外科可视化系统500被配置成能够经由结构化光确定从外科装置502上的发射器506到子宫503的表面505的发射器-组织距离de。外科可视化系统500被配置成能够基于发射器-组织距离de来外推从外科装置502到子宫503的表面505的装置-组织距离d
t
。外科可视化系统500还被配置成能够确定从输尿管501a到表面505的组织-输尿管距离da以及从成像装置520到输尿管501a的相机-输尿管距离dw。如本文关于图1所述，例如，外科可视化系统500可利用例如光谱成像和飞行时间传感器来确定距离dw。在各种情况下，外科可视化系统500可基于本文所述的其他距离和/或表面标测逻辑部件来确定(例如，三角测量)组织-输尿管距离da(或深度)。
[0150]
现在参见图11，其中描绘了用于例如外科可视化系统(诸如外科可视化系统100)的控制系统600的示意图。例如，控制系统600是转换系统，该转换系统整合光谱特征组织识别和结构化光组织定位以识别关键结构，特别是当这些结构被其他组织(诸如脂肪、结缔组织、血液和/或其他器官)遮蔽时。此类技术也可用于检测组织可变性，诸如区分器官内的肿瘤和/或不健康组织与健康组织。
[0151]
控制系统600被配置用于实现高光谱成像和可视化系统，其中利用分子响应来检
测和识别外科视场中的解剖结构。控制系统600包括转换逻辑电路648以将组织数据转换成外科医生可用的信息。例如，可利用基于相对于遮蔽材料的波长的可变反射率来识别解剖结构中的关键结构。此外，控制系统600将所识别的光谱特征和结构光数据组合在图像中。例如，控制系统600可用于创建三维数据集，以在具有增强图像叠加的系统中用于外科用途。可在术中和术前两者使用附加视觉信息来使用技术。在各种情况下，控制系统600被配置成能够在接近一个或多个关键结构时向临床医生提供警告。可采用各种算法来基于外科手术和与关键结构的接近度引导机器人自动化和半自动化方法。
[0152]
采用投射光阵列在术中确定组织形状和运动。另选地，闪光激光雷达可用于组织的表面标测。
[0153]
控制系统600被配置成能够检测关键结构并提供关键结构的图像叠加，并且测量到可见组织的表面的距离和到嵌入/掩埋关键结构的距离。在其他情况下，控制系统600可测量到可见组织的表面的距离或检测关键结构，并且提供关键结构的图像叠加。
[0154]
控制系统600包括光谱控制电路602。例如，光谱控制电路602可以是现场可编程门阵列(fpga)或如本文结合图2a至图2c所述的另一种合适的电路配置。光谱控制电路602包括处理器604以从视频输入处理器606接收视频输入信号。例如，处理器604可被配置用于高光谱处理并且可利用c/c++代码。例如，视频输入处理器606接收控制(元数据)数据的视频输入，诸如快门时间、波长和传感器分析。处理器604被配置成能够处理来自视频输入处理器606的视频输入信号并将视频输出信号提供给视频输出处理器608，该视频输出处理器包括例如接口控制(元数据)数据的高光谱视频输出。视频输出处理器608将视频输出信号提供给图像叠加控制器610。
[0155]
视频输入处理器606经由患者隔离电路614联接到患者侧处的相机612。如前所述，相机612包括固态图像传感器634。患者隔离电路可包括多个变压器，使得患者与系统中的其他电路隔离。相机612通过光学器件632和图像传感器634接收术中图像。图像传感器634可包括例如cmos图像传感器，或者可包括例如本文结合图2所述的任何图像传感器技术。在一个方面，相机612以14位/像素信号输出图像。应当理解，在不脱离本公开的范围的情况下，可采用更高或更低的像素分辨率。隔离的相机输出信号613被提供给彩色rgb融合电路616，该融合电路利用硬件寄存器618和nios2协处理器620来处理相机输出信号613。彩色rgb融合输出信号被提供给视频输入处理器606和激光脉冲控制电路622。
[0156]
激光脉冲控制电路622控制激光引擎624。激光引擎624输出包括近红外(nir)在内的多个波长(λ1，λ2，λ3......λn)的光。激光引擎624可在多种模式下操作。在一个方面，激光引擎624可在例如两种模式下操作。在第一模式(例如正常操作模式)下，激光引擎624输出照明信号。在第二模式(例如，识别模式)下，激光引擎624输出rgbg和nir光。在各种情况下，激光引擎624可在偏振模式下操作。
[0157]
来自激光引擎624的光输出626照亮术中外科部位627中的目标解剖结构。激光脉冲控制电路622还控制用于激光图案投射仪630的激光脉冲控制器628，该激光图案投射仪将预先确定的波长(λ2)的激光图案631(诸如线和/或点的网格或图案)投射在外科部位627处的手术组织或器官上。相机612接收图案化光以及通过相机光学器件632输出的反射光。图像传感器634将所接收的光转换成数字信号。
[0158]
彩色rgb融合电路616还将信号输出到图像叠加控制器610和视频输入模块636，以
用于读取由激光图案投射仪630投射到外科部位627处的目标解剖结构上的激光图案631。处理模块638处理激光图案631并且输出表示到外科部位627处的可见组织的距离的第一视频输出信号640。数据被提供给图像叠加控制器610。处理模块638还输出表示外科部位处的目标解剖结构的组织或器官的三维渲染形状的第二视频信号642。
[0159]
第一视频输出信号640和第二视频输出信号642包括表示关键结构在三维表面模型上的方位的数据，该数据被提供给整合模块643。结合来自光谱控制电路602的视频输出处理器608的数据，整合模块643可确定到掩埋关键结构的距离da(图1)(例如，经由三角测量算法644)，并且距离da可经由视频输出处理器646提供给图像叠加控制器610。上述转换逻辑部件可涵盖转换逻辑电路648、中间视频监视器652以及定位在外科部位627处的相机624/激光图案投射仪630。
[0160]
在各种情况下，可采用来自ct或mri扫描的术前数据650来配准或匹配某些三维可变形组织。此类术前数据650可被提供给整合模块643并最终提供给图像叠加控制器610，使得此类信息可与来自相机612的视图叠加并被提供给视频监视器652。术前数据的配准在本文和前述同时提交的美国专利申请(包括例如于2018年9月11日提交的名称为为“integration of imaging data”的美国专利申请号16/128,195)中进一步描述，这些专利申请全文以引用方式并入本文。
[0161]
视频监视器652可从图像叠加控制器610输出整合/增强视图。临床医生可在一个或多个监视器上在不同视图之间选择和/或切换。在第一监视器652a上，临床医生可在(a)其中描绘可见组织的三维渲染的视图与(b)其中在可见组织的三维渲染上描绘一个或多个隐藏关键结构的增强视图之间切换。在第二监视器652b上，临床医生可例如将距离测量切换到一个或多个隐藏关键结构和/或可见组织的表面。
[0162]
控制系统600和/或其各种控制电路可结合到本文所公开的各种外科可视化系统中。
[0163]
图12示出了根据本公开的至少一个方面的结构化(或图案化)光系统700。如本文所述，条纹或线形式的结构化光例如可从光源和/或投射仪706被投射到目标解剖结构的表面705上，以识别表面705的形状和轮廓。在各个方面可类似于成像装置120(图1)的相机720例如可被配置成能够检测光在表面705上的投射图案。投射图案在撞击表面705时变形的方式允许视觉系统计算目标解剖结构的深度和表面信息。
[0164]
在某些情况下，可利用不可见的(或察觉不到的)结构化光，其中在不干扰投射图案可能混淆的其他计算机视觉任务的情况下使用该结构化光。例如，可利用在两个完全相反的图案之间交替的红外光或极快的可见光帧速率来防止干扰。结构化光在en.wikipedia.org/wiki/structured_light处进一步描述。
[0165]
如上所述，本文描述的各种外科可视化系统可以用于将各种不同类型的组织和/或解剖结构可视化，包括可被光谱的可见部分中的emr遮挡而无法可视化的组织和/或解剖结构。在一个方面，外科可视化系统可以利用光谱成像系统来基于组成材料的不同组合来对不同类型的组织进行可视化。特别地，光谱成像系统可以被配置成能够基于组织在各种emr波长上的吸收系数来检测被可视化的组织内各种组成材料的存在。光谱成像系统可被进一步配置成能够基于组成材料的特定组合来表征被可视化的组织的组织类型。为了说明，图13a是描绘各种生物材料的吸收系数如何在emr波长光谱上变化的曲线图2300。在曲
线图2300中，纵轴2303表示生物材料的吸收系数(例如，以cm-1
为单位)，横轴2304表示emr波长(例如，以μm为单位)。曲线图2300进一步示出了表示水在各种emr波长下的吸收系数的第一条线2310、表示蛋白质在各种emr波长下的吸收系数的第二条线2312、表示黑色素在各种emr波长下的吸收系数的第三条线2314、表示脱氧血红蛋白在各种emr波长下的吸收系数的第四条线2316、表示氧合血红蛋白在各种emr波长下的吸收系数的第五条线2318，以及表示胶原蛋白在各种emr波长下的吸收系数的第六条线2319。不同的组织类型具有组成材料的不同组合，因此由外科可视化系统可视化的组织类型可以根据检测到的组成材料的特定组合来识别和区分。因此，光谱成像系统可以被配置成能够发射多个不同波长的emr，基于在不同波长处检测到的吸收emr吸收响应来确定组织的组成材料，然后基于组成材料的特定检测组合来表征组织类型。
[0166]
图13b示出了利用光谱成像技术来对不同的组织类型和/或解剖结构进行可视化。在图13b中，光谱发射器2320(例如，光谱光源150)被成像系统用来对外科部位2325进行可视化。由光谱发射器2320发射并从外科部位2325处的组织和/或结构反射的emr可以由图像传感器135(图2)接收，以对组织和/或结构进行可视化；该组织和/或结构可以是可见的(例如，位于外科部位2325的表面)或被遮挡的(例如，位于外科部位2325处的其他组织和/或结构的下面)。在该示例中，成像系统142(图2)可以基于光谱特征来对肿瘤2332、动脉2334和各种异常2338(即，与已知或预期的光谱特征不相符的组织)进行可视化，所述光谱特征由不同组织/结构类型中每一个的组成材料的不同吸收特性(例如，吸收系数)来表征。可视化的组织和结构可以显示在与成像系统142关联或联接的显示屏上，例如成像系统显示器146(图2)、主显示器2119(图18)、非无菌显示器2109(图18)、集线器显示器2215(图19)、装置/器械显示器2237(图19)等。
[0167]
此外，成像系统142可以被配置成能够根据所识别的组织和/或结构类型来定制或更新所显示的外科部位可视化。例如，成像系统142可以在显示屏(例如，显示器146)上显示与正在可视化的肿瘤2332相关联的边缘2330a。边缘2330a可以指示应该切除以确保肿瘤2332完全切除的组织的面积或数量。控制系统133(图2)可以被配置成能够基于由成像系统142识别的组织和/或结构来控制或更新边缘2330a的尺寸。在所示示例中，成像系统142已经识别了fov内的多个异常2338。因此，控制系统133可以将显示的边缘2330a调整到第一更新边缘2330b，该第一更新边缘2330b具有足够的尺寸来涵盖异常2338。此外，成像系统142还识别出了与最初显示的边缘2330a部分重叠的动脉2334(如动脉2334的高亮区域2336所示)。因此，控制系统133可以将显示的边缘2330a调整到第二更新边缘2330c，该第二更新边缘具有足够的尺寸来涵盖动脉2334的相关部分。
[0168]
除了以上关于图13a和13b所描述的吸收特性之外或代替所述吸收特性，还可以根据组织和/或结构的反射特性在emr波长光谱上对其进行成像或表征。例如，图13c至图13e示出了不同类型的组织或结构在不同emr波长上的反射率的各种曲线图。图13c是例示性输尿管特征相对于遮蔽物的图形表示1050。图13d是例示性动脉特征相对于遮蔽物的图形表示1052。图13e是例示性神经特征相对于遮蔽物的图形表示1054。图13c至图13e中的曲线表示特定结构(输尿管、动脉和神经)相对于脂肪、肺组织和血液在相应波长的相应反射率的反射率与波长(nm)的函数关系。这些曲线图仅仅是出于说明性目的，并且应当理解，其他组织和/或结构可以具有相应的可检测反射特征，该反射特征将允许对组织和/或结构进行识
别和可视化。
[0169]
在各种情况下，可基于外科部位处的预期关键结构和/或遮蔽物来识别和利用用于光谱成像的选定波长(即，“选择性光谱”成像)。通过利用选择性光谱成像，可最小化获得光谱图像所需的时间量，使得可实时或接近实时地获得信息，并在手术中加以利用。在各种情况下，波长可由临床医生选择或由控制电路基于临床医生的输入来选择。在某些情况下，波长可基于例如机器学习和/或控制电路可经由云访问的大数据来选择。
[0170]
光谱成像到组织的前述应用可在手术中用于测量波形发射器与被组织遮蔽的关键结构之间的距离。在本公开的一个方面，现在参见图14和图15，示出了利用波形1124、1125的飞行时间传感器系统1104。在某些情况下，飞行时间传感器系统1104可结合到外科可视化系统100(图1)中。飞行时间传感器系统1104包括相同外科装置1102上的波形发射器1106和波形接收器1108。发射波1124从发射器1106延伸到关键结构1101，并且接收波1125被接收器1108从关键结构1101反射回去。外科装置1102穿过延伸到患者的腔1107中的套管针1110定位。
[0171]
波形1124、1125被配置成能够穿透遮蔽组织1103。例如，波形1124、1125的波长可在nir或swir波长光谱中。在一个方面，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1106发射并且可穿透其中隐蔽有关键结构1101的组织1103。所发射的波形1124可被关键结构1101反射。所接收的波形1125可由于外科装置1102的远侧端部与关键结构1101之间的距离d而被延迟。在各种情况下，可基于关键结构1101的光谱特征来选择波形1124、1125以靶向组织1103内的关键结构1101，如本文进一步所述。在各种情况下，发射器1106被配置成能够提供二进制信号开和关，如图15所示，例如该二进制信号可由接收器1108测量。
[0172]
基于发射波1124与接收波1125之间的延迟，飞行时间传感器系统1104被配置成能够确定距离d(图14)。图14的发射器1106和接收器1108的飞行时间时序图1130在图15中示出。延迟是距离d的函数，并且距离d由下式给出：
[0173][0174]
其中：
[0175]
c＝光的速度；
[0176]
t＝脉冲的长度；
[0177]
q11＝发射光时累积的电荷；以及
[0178]
q2＝不发射光时累积的电荷。
[0179]
如本文所提供，波形1124、1125的飞行时间对应于图14中的距离d。在各种情况下，附加发射器/接收器和/或来自发射器1106的脉冲信号可被配置成能够发射非穿透信号。非穿透组织可被配置成能够确定从发射器到遮蔽组织1103的表面1105的距离。在各种情况下，关键结构1101的深度可由下式确定：
[0180]
da＝d
w-d
t
。
[0181]
其中：
[0182]
da＝关键结构1101的深度；
[0183]dw
＝从发射器1106到关键结构1101的距离(图14中的d)；以及
[0184]dt
＝从发射器1106(在外科装置1102的远侧端部上)到遮蔽组织1103的表面1105的距离。
[0185]
在本公开的一个方面，现在参见图16，示出了利用波1224a、1224b、1224c、1225a、1225b、1225c的飞行时间传感器系统1204。在某些情况下，飞行时间传感器系统1204可结合到外科可视化系统100(图1)中。飞行时间传感器系统1204包括波形发射器1206和波形接收器1208。波形发射器1206定位在第一外科装置1202a上，并且波形接收器1208定位在第二外科装置1202b上。外科装置1202a、1202b分别穿过其相应的套管针1210a、1210b定位，这两个套管针延伸到患者的腔1207中。发射波1224a、1224b、1224c从发射器1206朝向外科部位延伸，并且接收波1225a、1225b、1225c从外科部位处的各种结构和/或表面反射回接收器1208。
[0186]
不同的发射波1224a、1224b、1224c被配置成能够靶向外科部位处的不同类型的材料。例如，波1224a靶向遮蔽组织1203，波1224b靶向第一关键结构1201a(例如，血管)，并且波1224c靶向第二关键结构1201b(例如，癌性肿瘤)。波1224a、1224b、1224c的波长可在可见光、nir或swir波长光谱中。例如，可见光可从组织1203的表面1205反射，并且nir和/或swir波形可被配置成能够穿透组织1203的表面1205。在各个方面，如本文所述，光谱信号(例如，高光谱、多光谱或选择性光谱)或光声学信号可从发射器1206发射。在各种情况下，可基于关键结构1201a、1201b的光谱特征来选择波1224b、1224c以靶向组织1203内的关键结构1201a、1201b，如本文进一步所述。光声学成像在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中。
[0187]
发射波1224a、1224b、1224c可从目标材料(即，分别为表面1205、第一关键结构1201a和第二结构1201b)反射。所接收的波形1225a、1225b、1225c可由于图16所示的距离d
1a
、d
2a
、d
3a
、d
1b
、d
2b
、d
2c
而被延迟。
[0188]
在其中发射器1206和接收器1208可独立定位(例如，定位在单独的外科装置1202a、1202b上和/或由单独的机器人臂控制)的飞行时间传感器系统1204中，可根据发射器1206和接收器1208的已知方位来计算各种距离d
1a
、d
2a
、d
3a
、d
1b
、d
2b
、d
2c
。例如，当外科装置1202a、1202b由机器人控制时，这些方位可以是已知的。关于发射器1206和接收器1208的方位以及光子流靶向某一组织的时间的知识以及由接收器1208接收的该特定响应的信息可允许确定距离d
1a
、d
2a
、d
3a
、d
1b
、d
2b
、d
2c
。在一个方面，可使用穿透波长对到被遮蔽的关键结构1201a、1201b的距离进行三角测量。由于光的速度对于任何波长的可见光或不可见光是恒定的，因此飞行时间传感器系统1204可确定各种距离。
[0189]
仍然参见图16，在各种情况下，在提供给临床医生的视图中，接收器1208可被旋转成使得所得图像中的目标结构的质心保持恒定，即在垂直于所选目标结构1203、1201a或1201b的轴线的平面中。此类取向可快速传送关于关键结构的一个或多个相关距离和/或视角。例如，如图16所示，从关键结构1201a垂直于视平面(即，血管在页面内/页面外取向)的视角显示外科部位。在各种情况下，此类取向可以是默认设置；然而，该视图可由临床医生旋转或以其他方式调整。在某些情况下，临床医生可在限定由成像系统提供的外科部位的视角的不同表面和/或目标结构之间切换。
[0190]
在各种情况下，接收器1208可安装在套管针或插管(诸如套管针1210b)上，例如外科装置1202b通过该套管针或插管定位。在其他情况下，接收器1208可安装在三维方位已知
的单独机器人臂上。在各种情况下，接收器1208可安装在与控制外科装置1202a的机器人分开的可运动臂上，或者可安装到可在术中与机器人坐标平面配准的手术室(or)工作台。在此类情况下，发射器1206和接收器1208的方位可能够与同一坐标平面配准，使得可根据来自飞行时间传感器系统1204的输出对距离进行三角测量。
[0191]
将飞行时间传感器系统和近红外光谱(nirs)(称为tof-nirs，其能够测量具有纳秒分辨率的nir光的时间分辨特征图)组合可见于名称为“time-of-flight near-infrared spectroscopy for nondestructive measurement of internal quality in grapefruit”(美国园艺科学学会杂志(journal of the american society for horticultural science)，2013年5月，第138卷，第3期，第225-228页)的文章(该文章全文以引用方式并入本文)中，并且可在journal.ashspublications.org/content/138/3/225.full处获取。
[0192]
在各种情况下，飞行时间光谱波形被配置成能够确定关键结构的深度和/或外科装置与关键结构的接近度。此外，本文所公开的各种外科可视化系统包括表面标测逻辑部件，该表面标测逻辑部件被配置成能够创建可见组织的表面的三维渲染。在此类情况下，即使当可见组织阻挡关键结构时，临床医生也可知道外科装置与关键结构的接近度(或缺乏接近度)。在一种情况下，外科部位的形貌由表面标测逻辑部件提供在监视器上。如果关键结构靠近组织的表面，则光谱成像可将关键结构的方位传达给临床医生。例如，光谱成像可检测表面的5mm或10mm内的结构。在其他情况下，光谱成像可检测组织的表面下方10mm或20mm的结构。基于光谱成像系统的已知限值，系统被配置成能够在光谱成像系统根本无法检测到关键结构的情况下传达该关键结构在范围外。因此，临床医生可继续移动外科装置和/或操纵组织。当关键结构移动到光谱成像系统范围内时，系统可识别该结构，并且因此传送该结构在范围内。在此类情况下，当初始识别结构和/或在预定义的接近度区域内进一步移动结构时，可提供警示。在此类情况下，即使光谱成像系统利用已知边界/范围未识别关键结构，也可向临床医生提供接近度信息(即，缺乏接近度)。
[0193]
本文所公开的各种外科可视化系统可被配置成能够在手术中识别关键结构的存在和/或关键结构的接近度，并且在通过意外解剖和/或横切损坏关键结构之前警示临床医生。在各个方面，外科可视化系统被配置成能够识别例如以下关键结构中的一种或多种关键结构：输尿管、肠、直肠、神经(包括膈神经、喉返神经[rln]、骶岬面部神经、迷走神经以及它们的分支)、血管(包括肺动脉和大叶动脉以及肺静脉和大叶静脉、肠系膜下动脉[ima]及其分支、直肠上动脉、乙状动脉和左结肠动脉)、肠系膜上动脉(sma)及其分支(包括中结肠动脉、右结肠动脉、回肠动脉)、肝动脉及其分支、门静脉及其分支、脾动脉/静脉及其分支、外部和内部(下腹部)回肠血管、短胃动脉、子宫动脉、骶中血管和淋巴结。此外，外科可视化系统被配置成能够指示外科装置与关键结构的接近度和/或在外科装置靠近关键结构时警告临床医生。
[0194]
本公开的各个方面提供了手术中关键结构识别(例如，输尿管、神经和/或血管的识别)和器械接近度监视。例如，本文所公开的各种外科可视化系统可包括光谱成像和外科器械跟踪，这使得能够可视化例如组织的表面下方(诸如组织的表面下方1.0cm至1.5cm)的关键结构。在其他情况下，外科可视化系统可识别组织的表面下方小于1.0cm或大于1.5cm的结构。例如，如果结构由于深度原本不能被看到，则即使例如可识别仅在表面0.2mm内的
结构的外科可视化系统也可以是有价值的。在各个方面，外科可视化系统可例如利用关键结构的虚拟描绘作为叠加在可见组织的表面上的可见白光图像来增强临床医生的视图。外科可视化系统可提供外科器械的远侧末端的实时三维空间跟踪，并且可例如在外科器械的远侧末端在关键结构的特定范围内(诸如在关键结构的1.0cm内)移动时提供接近度警示。
[0195]
本文所公开的各种外科可视化系统可识别解剖何时太靠近关键结构。基于温度(即，在可能有损坏/加热/熔融关键结构的风险的关键结构附近太热)和/或基于张力(即，在可能有损坏/撕裂/牵拉关键结构的风险的关键结构附近张力太大)，解剖可能“太靠近”关键结构。例如，当在结扎之前使血管骨架化时，此类外科可视化系统可有利于在血管周围进行解剖。在各种情况下，可利用热成像相机来读取外科部位处的热量并向临床医生提供基于所检测到的热量和从工具到结构的距离的警告。例如，如果工具的温度高于预定义阈值(诸如例如120℉)，则可在第一距离(诸如例如10mm)处向临床医生提供警示，并且如果工具的温度小于或等于预定义阈值，则可在第二距离(诸如例如5mm)处向临床医生提供警示。预定义阈值和/或警告距离可以是默认设置和/或可临床医生编程。另外或另选地，接近度警示可与由工具本身(诸如测量例如单极或双极解剖器或血管密封器的远侧钳口中的热量的热电偶)进行的热测量关联。
[0196]
本文所公开的各种外科可视化系统可提供关于关键结构和特异性的足够的灵敏度，以使得临床医生能够基于护理和/或装置安全性数据的标准对快速但安全的解剖有信心地进行。系统可在外科手术期间在手术中实时地起作用，而对患者或临床医生的电离辐射风险最小，并且在各种情况下，对患者或临床医生没有电离辐射风险。相反地，在荧光透视过程中，患者和临床医生可经由例如用于实时观察解剖结构的x射线束暴露于电离辐射。
[0197]
诸如当外科装置的路径由机器人控制时，本文所公开的各种外科可视化系统可被配置成能够例如检测和识别外科装置的向前路径中的一种或多种期望类型的关键结构。另外或另选地，外科可视化系统可被配置成能够检测和识别例如外科装置的周围区域中和/或多个平面/维度中的一种或多种类型的关键结构。
[0198]
本文所公开的各种外科可视化系统可易于操作和/或解释。此外，各种外科可视化系统可结合允许临床医生覆写默认设置和/或操作的“覆写”特征。例如，诸如当关键结构的风险小于避开该区域的风险(例如，当摘除关键结构周围的癌症时，留下癌性组织的风险可能大于对关键结构造成损坏的风险)时，临床医生可选择性地关闭来自外科可视化系统的警示和/或比外科可视化系统所建议的更靠近关键结构。
[0199]
本文所公开的各种外科可视化系统可结合到外科系统中和/或在对工作流程具有有限影响的情况下在外科手术期间使用。换句话讲，外科可视化系统的具体实施可能不会改变实施外科手术的方式。此外，与意外横切的成本相比，外科可视化系统可能更经济。数据表明，对关键结构的意外损坏减少可驱动增量补偿。
[0200]
本文所公开的各种外科可视化系统可实时或接近实时地并且提前足够远地操作，以使得临床医生能够预期关键结构。例如，外科可视化系统可提供足够的时间以“减慢、评估和避开”，以便使外科手术的效率最大化。
[0201]
本文所公开的各种外科可视化系统可能不需要注射到组织中的造影剂或染料。例如，光谱成像被配置成能够在不使用造影剂或染料的情况下在手术中可视化隐藏结构。在其他情况下，造影剂可比其他可视化系统更容易注射到适当的组织层中。例如，造影剂的注
射与关键结构的可视化之间的时间可少于两小时。
[0202]
本文所公开的各种外科可视化系统可与临床数据和/或装置数据关联。例如，数据可提供关于能量启用的外科装置(或其他潜在损坏装置)应与外科医生不想损坏的组织相距多近的边界。与本文所公开的外科可视化系统交互的任何数据模块可与机器人整体地或分开地提供，以使得能够与独立的外科装置一起用于例如开放式或腹腔镜式手术中。在各种情况下，外科可视化系统可与机器人外科系统兼容。例如，可视化图像/信息可显示在机器人控制台中。
[0203]
在各种情况下，临床医生可能不知道关键结构相对于外科工具的位置。例如，当关键结构嵌入组织中时，临床医生可能无法确定关键结构的位置。在某些情况下，临床医生可能想要将外科装置保持在围绕关键结构的方位范围之外和/或远离覆盖隐藏关键结构的可见组织。当隐蔽关键结构的方位未知时，临床医生可能有移动得太靠近关键结构的风险，这可能导致关键结构的无意创伤和/或解剖和/或关键结构附近的过多能量、热量和/或张力。另选地，临床医生可能保持与关键结构的可疑位置相距过远，并且有在较不理想的位置影响组织以试图避开关键结构的风险。
[0204]
本发明提供了一种外科可视化系统，该外科可视化系统呈现相对于一个或多个关键结构的外科装置跟踪。例如，外科可视化系统可跟踪外科装置相对于关键结构的接近度。此类跟踪可在术中、实时和/或近实时地发生。在各种情况下，跟踪数据可经由成像系统的显示屏(例如，监视器)提供给临床医生。
[0205]
在本公开的一个方面，外科可视化系统包括：外科装置，该外科装置包括发射器，该发射器被配置成能够将结构化光图案发射到可见表面上；成像系统，该成像系统包括相机，该相机被配置成能够检测嵌入结构和可见表面上的结构化光图案；以及控制电路，该控制电路与相机和成像系统信号通信，其中，控制电路被配置成能够确定从外科装置到嵌入结构的距离，并且向成像系统提供指示该距离的信号。例如，该距离可通过计算从相机到用荧光透视技术照亮的关键结构的距离并且基于由来自相机的多个透镜(例如，左侧透镜和右侧透镜)的图像提供的所照亮的结构的三维视图来确定。例如，从外科装置到关键结构的距离可基于外科装置和相机的已知方位来进行三角测量。本文进一步描述了用于确定到嵌入关键结构的距离的替代装置。例如，可采用nir飞行时间距离传感器。另外或另选地，外科可视化系统可确定到叠加/覆盖嵌入关键结构的可见组织的距离。例如，外科可视化系统可通过在可见结构上描绘隐藏关键结构的示意图(诸如可见组织的表面上的线)来识别隐藏关键结构并增强隐藏关键结构的视图。外科可视化系统还可确定到可见组织上的增强线的距离。
[0206]
通过向临床医生提供如本文所公开的各种外科可视化系统所提供的关于外科装置到隐蔽关键结构和/或可见结构的接近度的最新信息，临床医生可以做出关于外科装置相对于隐蔽关键结构的放置的更知情的决定。例如，临床医生可实时地/在术中查看外科装置与关键结构之间的距离，并且在某些情况下，当外科装置移动到关键结构的预定义接近度和/或区域内时，可由成像系统提供警示和/或警告。在某些情况下，当外科装置的轨迹指示与关键结构附近(例如，在关键结构的1mm、2mm、5mm、10mm、20mm或更多内)的“禁飞”区的可能碰撞时，可以提供警示和/或警告。在此类情况下，临床医生可在整个外科手术期间保持动量，而无需临床医生监测关键结构的可疑位置和外科装置与其的接近度。因此，某些外
科手术可以更快地执行，具有更少的暂停/中断，以及/或者具有改进的准确性和/或确定性。在一个方面，外科可视化系统可用于检测组织可变性，诸如器官内组织的可变性，以区分肿瘤/癌组织/不健康组织与健康组织。此类外科可视化系统可使不健康组织的移除最大化，同时使健康组织的移除最小化。
[0207]
外科集线器系统
[0208]
本文所述的各种可视化或成像系统可以并入到外科集线器系统中，如结合图17-19示出并且在下文中进一步详细描述。
[0209]
参见图17，计算机实现的交互式外科系统2100包括一个或多个外科系统2102和基于云的系统(例如，可包括耦接到存储装置2105的远程服务器2113的云2104)。每个外科系统2102包括与云2104通信的至少一个外科集线器2106，该云可包括远程服务器2113。在一个示例中，如图17中所示，外科系统2102包括可视化系统2108、机器人系统2110和手持式智能外科器械2112，它们被配置成能够彼此通信并且/或者与集线器2106通信。在一些方面，外科系统2102可包括m数量的集线器2106、n数量的可视化系统2108、o数量的机器人系统2110和p数量的手持式智能外科器械2112，其中m、n、o和p为大于或等于一的整数。
[0210]
图18示出了用于对平躺在外科手术室2116中的手术台2114上的患者执行外科手术的外科系统2102的示例。机器人系统2110在外科手术中用作外科系统2102的一部分。机器人系统2110包括外科医生的控制台2118、患者侧推车2120(外科机器人)和外科机器人集线器2122。当外科医生通过外科医生的控制台2118观察外科部位时，患者侧推车2120可通过患者体内的微创切口来操纵至少一个可移除地耦接的外科工具2117。外科部位的图像可通过医学成像装置2124获得，该医学成像装置可由患者侧推车2120操纵以定向成像装置2124。机器人集线器2122可用于处理外科部位的图像，以随后通过外科医生的控制台2118显示给外科医生。
[0211]
其他类型的机器人系统可容易地适于与外科系统2102一起使用。适用于本公开的机器人系统和外科工具的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
[0212]
由云2104执行的并且适用于本公开的基于云的分析的各种示例在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
[0213]
在各个方面，成像装置2124包括至少一个图像传感器和一个或多个光学部件。合适的图像传感器包括但不限于电荷耦接装置(ccd)传感器和互补金属氧化物半导体(cmos)传感器。
[0214]
成像装置2124的光学部件可包括一个或多个照明源和/或一个或多个透镜。一个或多个照明源可被引导以照明外科场地的多部分。一个或多个图像传感器可接收从外科场地反射或折射的光，包括从组织和/或外科器械反射或折射的光。
[0215]
一个或多个照明源可被配置成能够辐射可见光谱中的电磁能以及不可见光谱。可见光谱(有时被称为光学光谱或发光光谱)是电磁光谱中对人眼可见(即，可被其检测)的那部分，并且可被称为可见光或简单光。典型的人眼将对空气中约380nm至约750nm的波长作出响应。
[0216]
不可见光谱(即，非发光光谱)是电磁光谱的位于可见光谱之下和之上的部分(即，低于约380nm且高于约750nm的波长)。人眼不可检测到不可见光谱。大于约750nm的波长长
于红色可见光谱，并且它们变为不可见的红外(ir)、微波和无线电电磁辐射。小于约380nm的波长比紫色光谱短，并且它们变为不可见的紫外、x射线和γ射线电磁辐射。
[0217]
在各个方面，成像装置2124被配置用于微创手术中。适用于本公开的成像装置的示例包括但不限于关节镜、血管镜、支气管镜、胆道镜、结肠镜、细胞检查镜、十二指镜、肠窥镜、食道-十二指肠镜(胃镜)、内窥镜、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜。
[0218]
在一个方面，成像装置采用多光谱监测来辨别形貌和底层结构。多光谱图像是捕获跨电磁波谱的特定波长范围内的图像数据的图像。可通过滤波器或通过使用对特定波长敏感的器械来分离波长，特定波长包括来自可见光范围之外的频率的光，例如ir和紫外。光谱成像可允许提取人眼未能用其红色，绿色和蓝色的受体捕获的附加信息。多光谱成像的使用在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。在完成外科任务以对处理过的组织执行一个或多个先前所述测试之后，多光谱监测可以是用于重新定位外科场地的有用工具。
[0219]
不言自明的是，在任何外科期间都需要对手术室和外科设备进行严格灭菌。在“外科室”(即，手术室或治疗室)中所需的严格的卫生和灭菌条件需要所有医疗装置和设备的最高可能的无菌性。该灭菌过程的一部分是需要对接触患者或穿透无菌区的任何物质进行灭菌，包括成像装置2124及其附接件和部件。应当理解，无菌区可被认为是被认为不含微生物的指定区域，诸如在托盘内或无菌毛巾内，或者无菌区可被认为是已准备用于外科规程的患者周围的区域。无菌区可包括被恰当地穿着的擦洗的团队成员，以及该区域中的所有设备和固定装置。
[0220]
在各个方面，可视化系统2108包括一个或多个成像传感器、一个或多个图像处理单元、一个或多个存储阵列、以及一个或多个显示器，其相对于无菌区进行策略布置，如图18中所示。在一个方面，可视化系统2108包括用于hl7、pacs和emr的界面。可视化系统2108的各种组件在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
[0221]
如图18中所示，主显示器2119被定位在无菌区中，以对在手术台2114处的操作者可见。此外，可视化塔21121被定位在无菌区之外。可视化塔21121包括彼此背离的第一非无菌显示器2107和第二非无菌显示器2109。由集线器2106引导的可视化系统2108被配置成能够利用显示器2107、2109和2119来将信息流协调到无菌区内侧和外侧的操作者。例如，集线器2106可使可视化系统2108在非无菌显示器2107或2109上显示由成像装置2124记录的外科部位的快照，同时保持外科部位在主显示器2119上的实时馈送。非无菌显示器2107或2109上的快照可允许非无菌操作者例如执行与外科手术相关的诊断步骤。
[0222]
在一个方面，集线器2106被进一步配置成能够将由非无菌操作者在可视化塔21121处输入的诊断输入或反馈路由至无菌区内的主显示器2119，其中可由操作台上的无菌操作者查看。在一个示例中，输入可以是对显示在非无菌显示器2107或2109上的快照的修改形式，其可通过集线器2106路由到主显示器2119。
[0223]
参见图18，外科器械2112作为外科系统2102的一部分在外科手术中使用。集线器2106还被配置成能够将信息流协调至外科器械2112的显示器，如在各种美国专利申请中所描述的那样，这些专利申请以引用方式并入本公开中。由非无菌操作者在可视化塔21121处输入的诊断输入或反馈可由集线器2106路由至无菌区内的外科器械显示器2115，其中外科
器械2112的操作者可观察到该输入或反馈。适用于外科系统2102的示例性外科器械在各种美国专利申请中有所描述，这些专利申请以引用方式并入本公开中。
[0224]
图19示出了由计算机实现的交互式外科系统2200。由计算机实现的交互式外科系统2200在许多方面类似于由计算机实现的交互式外科系统2100。外科系统2200包括与可包括远程服务器2213的云2204通信的至少一个外科集线器2236。在一个方面，由计算机实现的交互式外科系统2200包括外科集线器2236，该外科集线器连接到多个手术室装置，诸如例如智能外科器械、机器人和位于手术室中的其他计算机化装置。外科集线器2236包括用于将外科集线器2236以可通信地联接到云2204和/或远程服务器2213的通信接口。如图19的示例中所示，外科集线器2236耦接到成像模块2238(该成像模块耦接到内窥镜2239)、耦接到能量装置2421的发生器模块2240、排烟器模块2226、抽吸/冲洗模块2228、通信模块2230、处理器模块2232、存储阵列2234、任选地耦接到显示器2237的智能装置/器械2235和非接触传感器模块2242。手术室装置经由外科集线器2236耦接到云计算资源和数据存储。机器人集线器2222也可连接到外科集线器2236和云计算资源。装置/器械2235、可视化系统2209等等可经由有线或无线通信标准或协议耦接到外科集线器2236，如本文所述。外科集线器2236可耦接到集线器显示器2215(例如，监测器、屏幕)以显示和叠加从成像模块、装置/器械显示器和/或其他可视化系统208接收的图像。集线器显示器还可结合图像和叠加图像来显示从连接到模块化控制塔的装置接收的数据。
[0225]
态势感知
[0226]
本文所述的各种可视化系统或可视化系统的各个方面可以用作态势感知系统的一部分，该态势感知系统可以由外科集线器2106、2236(图17-19)来实施或执行。特别地，对外科器械或其他外科装置(包括其位置、方向和动作)、组织、结构、用户和位于外科场地或手术室内的其他事物进行表征、识别和/或可视化可以提供情境数据，态势感知系统可以利用该情境数据来推断正在执行的外科手术或其步骤的类型、外科医生正在操作的组织和/或结构的类型等。然后，该态势感知系统可以利用该情境数据来向用户提供警报，建议用户进行后续步骤或动作，准备外科装置以供其使用(例如，在外科手术的后续步骤中使用电外科器械的预期中激活电外科发生器)，智能地控制外科器械(例如，基于每个患者的特定健康状况定制外科器械操作参数)等。
[0227]
尽管包括响应于感测数据的控制算法的“智能”装置可以是对在不考虑感测数据的情况下操作的“哑巴”装置的改进，但当孤立地考虑时，即在没有正在被执行的外科规程的类型或正在手术的组织的类型的背景下，一些感测数据可能是不完整的或不确定的。在不知道手术背景(例如，知道正在手术的组织的类型或正在被执行的手术的类型)的情况下，控制算法可能在给定的特定无背景感测数据的情况下错误地或次优地控制模块化装置。模块化装置可以包括可由态势感知系统控制的任何外科装置，如可视化系统装置(例如，相机或显示屏)、外科器械(例如，超声波外科器械、电外科器械或外科缝合器)以及其他外科装置(例如，排烟器)。例如，用于响应于特定的感测参数来控制外科器械的控制算法的最佳方式可根据正在手术的特定组织类型而变化。这是由于以下事实：不同的组织类型具有不同的特性(例如，抗撕裂性)，并且因此不同地响应于由外科器械采取的动作。因此，可能期望外科器械即使在感测到针对特定参数的相同测量值时也采取不同的动作。作为一个特定示例，响应于器械感测到用于闭合其端部执行器的意外高的力来控制外科缝合和切割
器械的最佳方式将根据组织类型是易于撕裂还是抗撕裂而变化。对于易于撕裂的组织(诸如肺部组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐下降，从而避免撕裂组织。对于抗撕裂的组织(诸如胃组织)，器械的控制算法将响应于用于闭合的意外高的力而最佳地使马达速度逐渐上升，从而确保端部执行器被正确地夹持在组织上。在不知道是肺部组织还是胃组织已被夹持的情况下，控制算法可做出次优决定。
[0228]
一种解决方案利用包括系统的外科集线器，该系统被配置成能够基于从各种数据源所接收的数据来导出关于正在被执行的外科规程的信息，并且然后相应地控制配对的模块化装置。换句话讲，外科集线器被配置成能够从所接收的数据推断关于外科规程的信息，并且然后基于所推断的外科规程的背景来控制与外科集线器配对的模块化装置。图20示出了根据本公开的至少一个方面的态势感知外科系统2400的图。在一些范例中，数据源2426包括例如模块化装置2402(其可包括被配置成能够检测与患者和/或模块化装置本身相关联的参数的传感器)、数据库2422(例如，包含患者记录的emr数据库)和患者监测装置2424(例如，血压(bp)监测器和心电图(ekg)监测器)。
[0229]
外科集线器2404(其可在许多方面类似于集线器106)可被配置成能够例如基于所接收的数据的特定组合或从数据源2426接收数据的特定顺序来从数据导出与外科手术有关的背景信息。从所接收的数据推断的背景信息可包括例如正在被执行的外科规程的类型、外科医生正在执行的外科规程的特定步骤、正在手术的组织的类型或为规程的对象的体腔。外科集线器2404的一些方面从所接收的数据导出或推断与外科手术有关的信息的这种能力可被称为“态势感知”。在一个范例中，外科集线器2404可并入态势感知系统，该态势感知系统是与外科集线器2404相关联的从所接收的数据导出与外科手术有关的背景信息的硬件和/或程序设计。
[0230]
外科集线器2404的态势感知系统可被配置成能够以多种不同的方式从接收自数据源2426的数据导出背景信息。在一个范例中，态势感知系统包括已经在训练数据上进行训练以将各种输入(例如，来自数据库2422、患者监测装置2424和/或模块化装置2402的数据)与关于外科手术的对应背景信息相关联的模式识别系统或机器学习系统(例如，人工神经网络)。换句话讲，机器学习系统可被训练成从所提供的输入准确地导出关于外科规程的背景信息。在另一个范例中，态势感知系统可包括查找表，该查找表存储与对应于背景信息的一个或多个输入(或输入范围)相关联的关于外科规程的预先表征的背景信息。响应于利用一个或多个输入的查询，查找表可返回态势感知系统用于控制模块化装置2402的对应背景信息。在一个范例中，由外科集线器2404的态势感知系统接收的背景信息与用于一个或多个模块化装置2402的特定控制调节或一组控制调节相关联。在另一个范例中，态势感知系统包括当提供背景信息作为输入时生成或检索用于一个或多个模块化装置2402的一个或多个控制调整的另外的机器学习系统、查找表或其他此类系统。
[0231]
结合有态势感知系统的外科集线器2404为外科系统2400提供了许多益处。一个益处包括改进对感测和收集到的数据的解释，这将继而改进外科规程过程期间的处理精度和/或数据的使用。回到先前的示例，态势感知外科集线器2404可确定正在手术的组织的类型；因此，当检测到用于闭合外科器械的端部执行器的意外高的力时，态势感知外科集线器2404可正确地使用于组织类型的外科器械的马达速度逐渐上升或逐渐下降。
[0232]
作为另一个示例，正在手术的组织的类型可影响针对特定组织间隙测量值对外科
缝合和切割器械的压缩率和负荷阈值进行的调节。态势感知外科集线器2404可推断正在被执行的外科手术是胸腔手术还是腹部手术，从而允许外科集线器2404确定被外科缝合和切割器械的端部执行器夹持的组织是肺部组织(对于胸腔手术)还是胃组织(对于腹部手术)。然后，外科集线器2404可针对组织的类型适当地调节外科缝合和切割器械的压缩率和负荷阈值。
[0233]
作为又一个示例，在吹入规程期间被操作的体腔的类型可影响排烟器的功能。态势感知外科集线器2404可确定外科部位是否处于压力下(通过确定外科手术正在利用吹入)并确定手术类型。由于一种手术类型通常在特定的体腔内执行，外科集线器2404然后可针对在其中进行操作的体腔适当地控制排烟器的马达速率。因此，态势感知外科集线器2404可提供对于胸腔和腹部手术两者一致的烟排出量。
[0234]
作为又一个示例，正在被执行的规程的类型可影响超声外科器械或射频(rf)电外科器械操作的最佳能量水平。例如，关节镜规程需要更高的能量水平，因为超声外科器械或rf电外科器械的端部执行器浸没在流体中。态势感知外科集线器2404可确定外科手术是否是关节镜手术。然后，外科集线器2404可调节发生器的rf功率水平或超声振幅(即“能量水平”)以补偿流体填充的环境。相关地，正在手术的组织的类型可影响超声外科器械或rf电外科器械操作的最佳能量水平。态势感知外科集线器2404可确定正在被执行的外科手术的类型，并且然后根据该外科手术的预期组织概况分别定制超声外科器械或rf电外科器械的能量水平。此外，态势感知外科集线器2404可被配置成能够在整个外科手术过程中而不是仅在逐个手术的基础上调节超声外科器械或rf电外科器械的能量水平。态势感知外科集线器2404可确定正在被执行或随后将要被执行的外科手术的步骤，并且然后更新用于发生器和/或超声外科器械或rf电外科器械的控制算法，以根据该外科手术步骤将能量水平设定在适合于预期组织类型的值。
[0235]
作为又一个示例，可从附加数据源2426提取数据，以改进外科集线器2404从一个数据源2426提取的结论。态势感知外科集线器2404可用已从其它数据源2426构建的关于外科手术的背景信息来扩充其从模块化装置2402接收的数据。例如，态势感知外科集线器2404可被配置成能够根据从医学成像装置所接收的视频或图像数据来确定止血是否已经发生(即，在外科部位的出血是否已经停止)。然而，在一些情况下，视频或图像数据可能是不确定的。因此，在一个范例中，外科集线器2404可被进一步配置成能够将生理测量值(例如，由可通信地连接至外科集线器2404的bp监测器感测的血压)与止血的视觉或图像数据(例如，来自可通信地耦接到外科集线器2404的医学成像装置124(图2))进行比较，以确定缝合线或组织焊缝的完整性。换句话讲，外科集线器2404的态势感知系统可考虑生理测量数据以在分析可视化数据时提供附加的背景。当可视化数据本身可能是不确定的或不完整的时，附加背景可以是有用的。
[0236]
另一益处包括根据正在被执行的外科手术的特定步骤主动且自动地控制配对的模块化装置2402，以减少在外科手术过程期间医疗人员需要与外科系统2400交互或控制外科系统的次数。例如，如果态势感知外科集线器2404确定手术的后续步骤需要使用rf电外科器械，则其可主动地激活与该器械连接的发生器。主动地激活能量源允许器械在规程的先前步骤一完成就准备好使用。
[0237]
作为另一个示例，态势感知外科集线器2404可根据在外科部位处外科医生预期需
要查看的(一个或多个)特征部来确定外科手术的当前步骤或后续步骤是否需要在显示器上的不同视图或放大程度。然后，外科集线器2404可相应地主动改变所显示的视图(例如，由用于可视化系统108的医学成像装置提供)，使得在整个外科手术中自动调节显示器。
[0238]
作为又一个示例，态势感知外科集线器2404可确定外科手术的哪个步骤正在被执行或随后将要执行以及针对外科手术的该步骤是否需要特定数据或数据之间的比较。外科集线器2404可被配置成能够基于正在被执行的外科手术的步骤自动地调用数据屏幕，而无需等待外科医生请求该特定信息。
[0239]
另一个益处包括在外科规程的设置期间或在外科规程的过程期间检查错误。例如，态势感知外科集线器2404可确定手术室是否被正确地或最佳地设置以用于待执行的外科手术。外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的清单、产品位置或设置需求，并且然后将当前手术室布局与外科集线器2404确定的用于该正在被执行的外科手术类型的标准布局进行比较。在一个范例中，外科集线器2404可被配置成能够将用于手术的物品列表(例如，由合适的扫描仪扫描)和/或与外科集线器2404配对的装置列表与用于给定外科手术的物品和/或装置的建议或预期清单进行比较。外科集线器2404可被配置成能够如果列表之间存在任何不连续性，则提供指示特定模块化装置2402、患者监测装置2424和/或其它外科物品缺失的警报。在一个范例中，外科集线器2404可被配置成能够例如经由接近传感器来确定模块化装置2402和患者监测装置2424的相对距离或位置。外科集线器2404可将装置的相对位置与用于特定外科手术的建议或预期布局进行比较。外科集线器2404可被配置成能够如果在布局之间存在任何不连续性，则提供指示用于该外科手术的当前布局偏离建议布局的警报。
[0240]
作为另一个示例，态势感知外科集线器2404可确定外科医生(或其它医疗人员)在外科手术过程期间是否正在出错或以其它方式偏离预期的动作过程。例如，外科集线器2404可被配置成能够确定正在被执行的外科手术的类型，(例如，从存储器中)检索对应的步骤列表或设备使用的顺序，并且然后将在外科手术过程期间正在被执行的步骤或正在被使用的设备与外科集线器2404确定的针对该正在被执行的外科手术类型的预期步骤或设备进行比较。在一个范例中，外科集线器2404可被配置成能够提供指示在外科手术中的特定步骤处正在执行意外动作或正在利用意外装置的警报。
[0241]
总体而言，用于外科集线器2404的态势感知系统通过针对每种外科手术的特定背景调节外科器械(和其它模块化装置2402)(诸如针对不同的组织类型进行调节)并在外科手术期间验证动作来改善外科手术结果。态势感知系统还根据手术的特定背景通过自动建议下一步骤、提供数据以及调节显示器和手术室中的其它模块化装置2402来提高外科医生执行外科手术的效率。
[0242]
现在参见图21，其示出了描绘集线器诸如外科集线器106或206(图1至图11)的态势感知的时间轴2500。时间轴2500是说明性的外科手术以及外科集线器106、206可以从外科手术中每个步骤从数据源接收的数据导出的背景信息。时间轴2500描绘了护士、外科医生和其他医疗人员在肺段切除手术期间将采取的典型步骤，从建立手术室开始到将患者转移到术后恢复室为止。
[0243]
态势感知外科集线器106、206在整个外科手术过程中从数据源接收数据，包括每次医疗人员利用与外科集线器106、206配对的模块化装置时生成的数据。外科集线器106、
206可以从配对的模块化装置和其他数据源接收该数据，并且在接收新数据时不断导出关于正在进行的手术的推论(即，背景信息)，诸如在任何给定时间执行手术的哪个步骤。外科集线器106、206的态势感知系统能够例如记录与用于生成报告的过程相关的数据，验证医务人员正在采取的步骤，提供可能与特定过程步骤相关的数据或提示(例如，经由显示屏)，基于背景调节模块化装置(例如，激活监测器，调节医学成像装置的视场(fov)，或者改变超声外科器械或rf电外科器械的能量水平)，以及采取上述任何其他此类动作。
[0244]
作为该示例性手术中的第一步2502，医院工作人员从医院的emr数据库中检索患者的emr。基于emr中的选择的患者数据，外科集线器106、206确定待执行的手术是胸腔手术。
[0245]
第二步2504，工作人员扫描用于手术的进入的医疗用品。外科集线器106、206与在各种类型的手术中利用的用品列表交叉引用扫描的用品，并确认供应的混合物对应于胸腔手术。另外，外科集线器106、206还能够确定手术不是楔形手术(因为进入的用品缺乏胸腔楔形手术所需的某些用品，或者在其他方面不对应于胸腔楔形手术)。
[0246]
第三步2506，医疗人员经由可通信地连接到外科集线器106、206的扫描器来扫描患者带。然后，外科集线器106、206可基于所扫描的数据来确认患者的身份。
[0247]
第四步2508，医务工作人员打开辅助设备。利用的辅助设备可根据外科手术的类型和外科医生待使用的技术而变化，但在此示例性情况下，它们包括排烟器、吹入器和医学成像装置。当激活时，作为其初始化过程的一部分，作为模块化装置的辅助设备可以自动与位于模块化装置特定附近的外科集线器106、206配对。然后，外科集线器106、206可通过检测在该术前阶段或初始化阶段期间与其配对的模块化装置的类型来导出关于外科手术的背景信息。在该具体示例中，外科集线器106、206确定外科手术是基于配对模块化装置的该特定组合的vats手术。基于来自患者的emr的数据的组合，手术中使用的医疗用品的列表以及连接到集线器的模块化装置的类型，外科集线器106、206通常可推断外科小组将执行的具体手术。一旦外科集线器106、206知道正在执行什么具体手术，外科集线器106、206便可从存储器或云中检索该手术的步骤，然后交叉参照其随后从所连接的数据源(例如，模块化装置和患者监测装置)接收的数据，以推断外科团队正在执行的外科手术的什么步骤。
[0248]
第五步2510，工作人员将ekg电极和其他患者监测装置附接到患者。ekg电极和其他患者监测装置能够与外科集线器106、206配对。当外科集线器106、206开始从患者监测装置接收数据时，外科集线器106、206因此确认患者在手术室中。
[0249]
第六步2512，医疗人员诱导患者麻醉。外科集线器106、206可基于来自模块化装置和/或患者监测装置的数据(包括例如ekg数据、血压数据、呼吸机数据、或它们的组合)推断患者处于麻醉下。在第六步2512完成时，肺分段切除手术的术前部分完成，并且手术部分开始。
[0250]
第七步2514，折叠正在操作的患者肺部(同时通气切换到对侧肺)。例如，外科集线器106、206可从呼吸机数据推断出患者的肺已经塌缩。外科集线器106、206可推断手术的手术部分已开始，因为其可将患者的肺部塌缩的检测与手术的预期步骤(可先前访问或检索)进行比较，从而确定使肺塌缩是该特定手术中的第一手术步骤。
[0251]
第八步2516，插入医学成像装置(例如，内窥镜)，并启动来自医学成像装置的视频。外科集线器106、206通过其与医学成像装置的连接来接收医学成像装置数据(即，视频
或图像数据)。在接收到医学成像装置数据之后，外科集线器106、206可确定外科手术的腹腔镜式部分已开始。另外，外科集线器106、206可确定正在执行的特定手术是分段切除术，而不是叶切除术(注意，楔形手术已经基于外科集线器106、206基于在手术的第二步2504处接收到的数据而排除)。来自医学成像装置124(图2)的数据可用于以多种不同的方式确定与正在执行的手术类型相关的情境信息，包括通过确定医学成像装置相对于患者解剖结构的可视化取向的角度，监测所利用的医学成像装置的数量(即，被激活并与外科集线器106、206配对)，以及监测所利用的可视化装置的类型。例如，一种用于执行vats肺叶切除术的技术将相机放置在隔膜上方的患者胸腔的下前拐角中，而一种用于执行vats分段切除术的技术将相机相对于分段裂缝放置在前肋间位置。例如，使用模式识别或机器学习技术，可对态势感知系统进行训练，以根据患者解剖结构的可视化识别医学成像装置的定位。作为另一个示例，一种用于执行vats肺叶切除术的技术利用单个医学成像装置，而用于执行vats分段切除术的另一种技术利用多个相机。作为另一个示例，一种用于执行vats分段切除术的技术利用红外光源(其可作为可视化系统的一部分可通信地耦接到外科集线器)以可视化不用于vats肺部切除术中的分段裂隙。通过从医学成像装置跟踪这些数据中的任何或所有，外科集线器106、206因此可确定正在进行的外科手术的具体类型和/或用于特定类型的外科手术的技术。
[0252]
第九步2518，外科团队开始手术的解剖步骤。外科集线器106、206可推断外科医生正在解剖以调动患者的肺，因为其从rf发生器或超声发生器接收指示正在击发能量器械的数据。外科集线器106、206可将所接收的数据与外科手术的检索步骤交叉，以确定在过程中的该点处(即，在先前讨论的手术步骤完成之后)击发的能量器械对应于解剖步骤。在某些情况下，能量器械可为安装到机器人外科系统的机器人臂的能量工具。
[0253]
第十步2520，外科团队继续进行手术的结扎步骤。外科集线器106、206可推断外科医生正在结扎动脉和静脉，因为其从外科缝合和切割器械接收指示器械正在被击发的数据。与先前步骤相似，外科集线器106、206可通过将来自外科缝合和切割器械的数据的接收与该过程中的检索步骤进行交叉引用来推导该推论。在某些情况下，外科器械可以是安装到机器人外科系统的机器人臂的外科工具。
[0254]
第十一步2522，执行手术的分段切除术部分。外科集线器106、206可推断外科医生正在基于来自外科缝合和切割器械的数据(包括来自其仓的数据)横切软组织。仓数据可对应于例如由器械击发的钉的大小或类型。由于不同类型的钉用于不同类型的组织，因此仓数据可指示正被缝合和/或横切的组织的类型。在这种情况下，被击发的钉的类型用于软组织(或其他类似的组织类型)，这允许外科集线器106、206推断手术的分段切除术部分正在进行。
[0255]
第十二步2524中，执行节点解剖步骤。外科集线器106、206可基于从发生器接收的指示正在击发rf或超声器械的数据来推断外科团队正在解剖节点并且执行泄漏测试。对于该特定手术，在横切软组织后利用的rf或超声器械对应于节点解剖步骤，该步骤允许外科集线器106、206进行此类推论。应当指出的是，外科医生根据手术中的具体步骤定期在外科缝合/切割器械和外科能量(即，rf或超声)器械之间来回切换，因为不同器械更好地适于特定任务。因此，其中使用缝合/切割器械和外科能量器械的特定序列可指示外科医生正在执行的手术的步骤。此外，在某些情况下，机器人工具可用于外科手术中的一个或多个步骤，
并且/或者手持式外科器械可用于外科手术中的一个或多个步骤。一个或多个外科医生可例如在机器人工具与手持式外科器械之间交替和/或可同时使用装置。在第十二步2524完成时，切口被闭合并且手术的术后部分开始。
[0256]
第十三步2526，反向麻醉患者。例如，外科集线器106、206可基于例如呼吸机数据(即，患者的呼吸率开始增加)推断出患者正在从麻醉中醒来。
[0257]
最后，第十四步2528是医疗人员从患者移除各种患者监测装置。因此，当集线器从患者监测装置丢失ekg、bp和其他数据时，外科集线器2106、2236可推断患者正在被转移到恢复室。如从该示例性手术的描述可以看出，外科集线器2106、2236可根据从可通信地耦接到外科集线器2106、2236的各种数据源接收的数据来确定或推断给定外科手术的每个步骤何时发生。
[0258]
态势感知在各种美国专利申请中进一步描述，这些专利申请以引用方式并入本公开中，本公开以引用方式并入本文。在某些情况下，机器人外科系统(包括例如本文所公开的各种机器人外科系统)的操作可由集线器2106、2236基于其态势感知和/或来自其部件的反馈和/或基于来自云2104(图17)的信息来控制。
[0259]
切除边缘确定和调整
[0260]
前述外科可视化系统可用于检测要从解剖结构(例如，器官)移除的关键结构或患者组织(例如，肿瘤)。然而，许多外科手术还需要移除患者组织周围的切除边缘或未受影响组织的边缘。可基于解剖结构的多种特征来确定和/或调整该切除边缘，其中许多特征难以经由“裸眼”看到。特征可包括除了患者组织之外的关键结构，但与该患者组织的切除相关。例如，解剖结构的特征可包括：接近患者组织的二级解剖结构(例如，动脉或输尿管)、接近患者组织的外来结构(例如，外科装置、外科紧固件或夹具)、患者组织周围的组织质量(例如，由肺气肿损坏的组织)和/或解剖结构的物理轮廓(例如器官壁)等。对具有以下配置的外科可视化系统的需求正在增加：能够检测此类关键结构、合成与患者组织相关联的数据，并且将所合成的数据以相关信息和/或指令的形式传达给手术临床医生。例如，期望外科可视化系统用于检测与解剖结构相关联的患者组织的位置，确定围绕该患者组织的切除边缘，并且基于所检测到的解剖结构特征来调整该切除边缘。在该外科可视化系统被进一步配置成能够检测外科器械相对于该切除边缘的位置的情况下，如果该外科器械在外科操作开始之前定位不当，则该外科可视化系统可通知手术临床医生。因此，在本公开的各种非限制性方面，提供了用于基于对各种关键结构的检测来确定、调整和执行围绕患者组织的切除边缘的系统和方法。
[0261]
出于演示的缘故，仅在外科缝合器的上下文中讨论前述原理。本公开可有效地实现于多种外科系统，包括使用射频(rf)能量的那些外科系统。因此，本文中的这些示例是示例性的，并不旨在限制本公开的范围。
[0262]
例如，在图2的非限制性方面，可在外科可视化系统100中实现控制系统133，并且基于与解剖结构相关联的所检测患者组织来确定切除边缘。例如，控制电路132可基于从图像传感器135接收到的信号来检测各种关键结构。该信号可与由结构化光源152和/或光谱光源150发射的电磁辐射相关联，并且从解剖结构的各种特征反射。由控制电路132检测到的关键结构可以是患者组织，并且控制电路132可进一步将与该患者组织相关联的数据集成到解剖结构的三维数字表示或模型中。控制电路132可使用表面标测逻辑部件136、成像
逻辑部件138、组织识别逻辑部件140、距离确定逻辑部件141和/或存储在存储器134中的模块的任何组合，基于与相对于解剖结构的模型的患者组织相关联的数据来确定切除边缘。然而，本公开涵盖了确定该切除边缘(例如，中央处理单元、fpga的)的替代部件和/或方法。另外和/或另选地，由控制电路132检测到的关键结构可以是解剖结构的特征，并且控制电路132可进一步将与该特征相关联的数据集成到解剖结构的模型中。控制电路132可基于与相对于解剖结构的模型的特征相关联的数据来进一步调整切除边缘。控制系统133的显示器146可描绘真实、虚拟和/或虚拟增强图像和/或信息。例如，显示器146可包括一个或多个屏幕或监测器，该一个或多个屏幕或监测器被配置成能够将信息诸如解剖结构的模型、患者组织、切除边缘和/或所调整的切除边缘传达给临床医生。
[0263]
重新参见图13b，描绘了根据本公开的至少一个方面的被配置成能够确定切除边缘2330a和所调整的切除边缘2330b的外科可视化系统的示例。图13b的外科可视化系统包括光谱成像装置2320，该光谱成像装置被配置成能够将电磁辐射发射到解剖结构上。该电磁辐射可构成结构化光的图案和/或包括多个波长的光谱光。在图13b的非限制性方面，光谱成像装置2320可发射结构化光和光谱光两者。例如，电磁辐射的至少一部分包括被发射到解剖结构上的结构化图案，并且电磁辐射的至少一部分包括多个波长，这些波长被配置成能够穿透解剖结构的遮蔽组织并且从关键结构2332、2338反射。结构化光和光谱光可以是可见的或不可见的。然而，在其他非限制性方面，外科可视化系统可包括单独的光谱成像装置2320，其中每个光谱成像装置发射结构化光或光谱光。类似地，尽管图13b的外科可视化系统被简化以使硬件最小化，但其他方面包括被配置成能够实现相同效果的单独专用部件。
[0264]
进一步参见图13b，光谱成像装置2320还可包括图像传感器135(图2)，该图像传感器被配置成能够检测各种波长的反射的电磁辐射。例如，图像传感器135可检测已经从解剖结构反射的电磁辐射的结构化图案。如前所述，该电磁辐射的结构化图案(例如，条纹或线)由光谱成像装置2320发射并且被投射到解剖结构的表面上。该电磁辐射的结构化图案可包括被配置成能够从解剖结构的表面反射的波长。因此，图像传感器135可检测已经从解剖结构的表面反射的电磁辐射的结构化图案的至少一部分。尽管图像传感器135可包括光敏元件(诸如像素)并且被配置成能够ccd和/或cmos，但本公开涵盖了其他合适的图像传感器和配置。
[0265]
图像传感器135可包括光敏元件，这些光敏元件可经由光电效应生成与所反射的电磁辐射相关联的信号。例如，图像传感器135的像素可将光生成的电荷转换成电压，并且随后将该电压放大并且将该电压传输到控制电路132(图2)以进行进一步处理。在接收到来自图像传感器135的信号之后，控制电路132(图2)可处理与所反射的电磁辐射相关联的信号，以确定结构化图案的变形。然后，控制电路132(图2)可评估相对于电磁辐射的最初结构化图案的变形程度，并且基于该评估来生成解剖结构的表面标测图。尽管本公开的其他非限制性方面利用了表征解剖结构的替代方法，但图13b的外科可视化系统可经由距离确定逻辑部件141(图2)进一步确定解剖结构的维度，并且经由表面标测逻辑部件136(图2)进一步确定解剖结构的轮廓。因此，外科可视化系统可生成解剖结构的三维模型，该三维模型可经由显示器146(图2)传达给手术临床医生。尽管图13b的外科可视化系统使用结构化光来对解剖结构进行建模，但本公开涵盖了其他合适的方法来标测组织，诸如激光探测及测距
(lidar)技术。
[0266]
仍然参见图13b，图像传感器135可进一步检测已经从与解剖结构相关联的关键结构2332、2338反射的光谱光。例如，图像传感器135可检测已经从解剖结构的患者组织2332和/或特征2338反射的电磁辐射的波长。如前所述，所发射的电磁辐射的光谱光部分包括多个波长。考虑到构成解剖结构的各种组织所具有的预期吸收系数，可选择该多个波长中的每个波长。该吸收系数影响了该多个波长中的每个波长被解剖结构的各个部分反射、折射和/或吸收的程度。波长与组织之间的这种相互作用构成了参见图1和图11讨论的“分子响应”。因此，电磁辐射可包括多个不同波长，并且每个波长可与解剖结构的不同部分进行不同地反应。因此，电磁辐射可特定地靶向解剖结构内的特定位置处的特定关键结构。
[0267]
图像传感器135可以类似于其结构化光检测的方式来检测反射的光谱光。例如，图像传感器135可使用光敏元件检测反射的光谱光，这些光敏元件可经由光电效应生成信号。然而，对于光谱光，图像传感器135和/或控制电路132(图2)可进一步将由多个波长中的每个反射波长生成的信号编译成仅与反射波长相关联的图像。图像传感器135和/或控制电路132可将这些图像编译成三维光谱立方体以用于进一步处理和分析，这些图像中的每个图像与由特定反射波长生成的信号相关联。例如，该光谱立方体可包括与解剖结构的第一空间维度和第二空间维度相关联的数据，以及与波长范围相关联的第三光谱维度。图像传感器135和/或控制电路132可使用多种光谱成像技术(包括空间扫描、光谱扫描、快照成像和/或空间光谱扫描等)来生成光谱立方体。尽管图13b的外科可视化系统利用了图像传感器135来识别解剖结构内的关键结构，但本公开涵盖了其他识别手段，诸如超声和/或光声学成像。
[0268]
控制电路132(图2)可基于光谱立方体来检测关键结构相对于解剖结构的模型的位置。例如，控制电路132可使用由图像传感器135生成的光谱立方体来识别解剖结构(例如，器官)内的患者组织2332(例如，肿瘤)。控制电路132可将来自与患者组织2332相关联的光谱立方体的数据集成到解剖结构的模型中。控制电路132可生成关系数据，诸如患者组织2332相对于解剖结构的位置。因此，控制电路132可基于该关系数据来确定围绕患者组织2332的未受影响组织的切除边缘2330a。当确定切除边缘2330a时，控制电路132可基于模型来说明解剖结构的几何轮廓。例如，如果控制电路132基于模型确定切除边缘2330a将以其他方式与解剖结构的边界(例如，壁)相交，则控制电路132可将切除边缘2330a调整为解剖结构的边界。同样，当确定切除边缘2330a时，控制电路132可说明解剖结构的其他几何特征。例如，如果控制电路132基于模型确定切除边缘2330a将以其他方式横穿解剖结构的几何特征(例如，裂缝)，则控制电路132可调整切除边缘2330a以绕过或包围几何特征。
[0269]
图13b的外科可视化系统可基于关系数据来确定切除边缘2330a，诸如患者组织2332在解剖结构内的位置，以及存储在存储器134(图2)内的指令。例如，该指令可包括从患者组织2332的所识别边界测量的预先确定的维度。在其他非限制性方面，该指令可包括预先确定的或安全的边缘5030(图22)，控制电路132可应用于所确定的切除边缘2330b以增强患者组织2332的分离和移除。在其他非限制性方面，指令可与外科手术的各种参数相关联。例如，如果手术临床医生输入指示解剖结构是肺的参数，则控制电路132(图2)可自动应用调整所确定的切除边缘2330a的指令，以在移除肿瘤之后保持解剖结构的残留体积(例如，肺容量)。与多种解剖结构和/或患者组织2332相关联的类似指令可存储在存储器134中。例
如，控制电路132可基于存储在存储器134中并且与由光谱成像装置2320检测到的患者组织2332的大小、几何形状和类型有关的指令来调整切除边缘2330a。当确定切除边缘2330a时，控制电路132可自动应用指令，或者经由外科可视化系统的用户界面可将存储在存储器134中的指令列表呈现给手术临床医生以用于选择。手术临床医生还可经由外科可视化系统的用户界面来管理和/或修改存储在存储器134中的指令。例如，该用户界面可包括键盘、鼠标、触摸屏、无线装置、声音命令和/或用于向外科可视化系统提供指令的任何其他合适的方法。
[0270]
在一些方面，外科可视化系统可执行统计分析以表征解剖结构。例如，外科可视化系统可通过比较解剖结构的骨特征的三维扫描来建立相对维度和距离，从而执行普鲁克分析以表征解剖结构的形状。骨特征可包括解剖结构的特征，即当解剖结构被平移、旋转和/或缩放时将不会发生材料变形。物理标记(诸如刚性基准标记物)可用于在整个解剖结构中建立几何数据点并且有助于将三维坐标系转换成外科可视化系统的坐标系。可执行后续仿射变换来表征解剖结构的线、点和平面，从而说明解剖特征的可变形软组织特征。可将软组织特征集成到普鲁克模型中，从而完成解剖结构的三维模型。
[0271]
图13b的外科可视化系统可进一步描绘控制系统133(图2)的显示器146(图2)上的解剖结构的模型、患者组织2332和切除边缘2330a。因此，外科可视化系统可生成解剖结构的模型，检测解剖结构内的患者组织2332，确定患者组织2332周围的切除边缘2330a，并且将这种信息传达给手术临床医生，以增强患者组织2332从解剖结构的分离和移除。
[0272]
进一步参见图13b，外科可视化系统可检测解剖结构内的附加关键结构，并且基于检测到的附加关键结构来确定调整的切除边缘2330b。控制电路132(图2)可基于图像传感器135检测到反射的光谱光来检测附加关键结构，诸如解剖结构的特征。所示的关键结构2338、2334可包括除了患者组织2332之外的关键结构，但与该患者组织的切除相关。例如，解剖结构的一个此类特征2338可包括患者组织2332周围的受损组织。如果解剖结构内的组织受损，则该受损组织可具有更高的吸收系数，并且因此可具有降低的折射系数。因此，图像传感器135可检测从受损组织反射的较少电磁辐射，并且控制电路132(图2)可将该受损组织识别为解剖结构的特征2338。控制电路132(图2)可将所检测到的特征2338的位置集成到解剖结构的模型中，并且基于特征2338相对于患者组织2332的位置来确定调整的切除边缘2330b。尽管图13b的方面利用光谱光来检测附加关键结构，但其他非限制性方面可使用结构化光来实现相同效果。当检测到关键结构位于或更接近于解剖结构的表面时，结构化光可能特别有用。
[0273]
尽管图13b的切除边缘2330a最初由外科可视化系统的控制电路132(图2)确定，但在本公开的其他方面，切除边缘2330a可由手术临床医生确定，并且经由外科可视化系统的显示器146(图2)的用户界面被设置作为输入。
[0274]
仍然参见图13b，最初确定的切除边缘2330a围绕患者组织2332(例如，肿瘤)，但穿过解剖结构的特征2338(例如，受损组织)。受损组织可包括处于可能阻碍解剖结构从外科手术中恢复能力的病症中的任何组织。例如，受损组织可包括患病组织、感染组织、含有粘连的组织、受肺气肿影响的组织和/或患有血流减少的组织，以及其他病症。受损组织可能是僵硬的和/或具有较差完整性，从而使患者易受术后并发症的影响。因此，控制电路132(图2)可确定调整的切除边缘2330b，以说明特征2338诸如受损组织。例如，所调整的切除边
缘2330b可比初始切除边缘2330a更宽，不仅包围患者组织2332，而且还包围特征2338。因此，可从解剖结构(例如，器官)中移除患者组织2332(例如，肿瘤)和特征2338(例如，受损组织)两者，从而促进对患者的更有效恢复。
[0275]
在其他方面，外科可视化系统可包括激光发射器，该激光发射器被配置成能够在解剖结构的组织的血细胞处发射光子束。图像传感器135可被进一步配置成能够检测从该组织的这些血细胞反射的光子的频率偏移，并且控制电路132(图2)可被进一步配置成能够分析该频率偏移并且确定穿过患者组织周围的组织的血管流动的质量。因此，外科可视化系统可进一步评估组织的完整性，并且将该组织的完整性作为确定所调整的切除边缘2330b的因素。例如，如果穿过组织的血管流动较低，则该组织可能具有较低的完整性，易受到撕裂，并且可能导致术后并发症。因此，外科可视化系统可确定调整的切除边缘2330b，该切除边缘包围具有较低血管流动的患者组织周围的组织。
[0276]
在一些方面，基于解剖结构的残留质量的优化来确定所调整的切除边缘2330b，同时完全移除患者组织2332以及解剖结构的特征2338。例如，如果解剖结构包括肺，则手术临床医生可能希望移除肺气肿损坏的大部分组织以及靶向肿瘤，以减少来自该肺漏的术后空气泄露。然而，如果手术临床医生移除过多组织，则它们可能无法保持足够的肺容量，从而增加其他术后并发症的风险。因此，图13b的外科可视化系统可有助于通过表征解剖结构、患者组织2332和解剖结构的任何特征2338来确定最佳切除边缘，并且应用存储在控制系统133(图2)的存储器134(图2)中的任何指令。
[0277]
在一些方面，外科可视化系统可描绘控制系统133(图2)的显示器146(图2)上的解剖结构的模型、患者组织2332、切除边缘2330a和/或所调整的切除边缘2330b。因此，考虑到解剖结构的其他特征2338，外科可视化系统可确定患者组织2332周围的调整的切除边缘2330b，并且将这种信息传达给手术临床医生，以进一步增强患者组织2332从解剖结构的分离和移除。如果切除边缘2330a最初由手术临床医生确定并且经由显示器146(图2)的用户界面被设置作为输入，则外科可视化系统仍然可确定并描绘调整的切除边缘2330b，并且允许手术临床医生经由该用户界面来选择该调整的切除边缘，或保持最初确定的切除边缘2330a。
[0278]
因此，图13b的外科可视化系统可使用光谱光和/或结构化光形式的电磁辐射来扫描解剖结构，检测整个解剖结构中的附加关键结构，并且考虑到所检测到的每个附加关键结构，调整患者组织2332周围的切除边缘2330a。例如，控制电路132(图2)可进一步检测解剖结构的第二特征2334，该第二特征与患者组织2332的切除相关。尽管该第二特征可包括受损组织的另一个样本，但该第二特征也可包括解剖结构的特征或接近患者组织2332和/或解剖结构的第二特征2334。例如，第二特征2334可包括多种关键结构，诸如器官、静脉、神经、组织和/或血管等。在图13b的非限制性方面，第二特征2334可以是接近解剖结构的患者组织2332的动脉。一旦检测到该第二特征，则控制电路132(图2)可将第二特征2334的位置集成到解剖结构的模型中，并且基于第二特征2334相对于患者组织2332的位置来确定第二所调整的切除边缘2330c。因此，外科可视化系统可确定调整的切除边缘2330c，该调整的切除边缘将确保完成患者组织2332(例如，肿瘤)的分离和移除。
[0279]
现在参见图22，示出了根据本公开的至少一个方面的外科可视化系统的显示器5020。图22的显示器5020可描绘由外科可视化系统的控制系统133(图2)生成的信息索引
5022和解剖结构5024的模型。解剖结构5024包括未患病且未被关键结构占据的未受影响组织5026。解剖结构5024的模型可描绘所检测到和/或确定的特征，诸如患者组织5028、预先确定边缘5030、切除边缘5032、解剖结构5024的第一特征5034和调整的切除边缘5036。外科可视化系统的控制系统133已经为解剖结构5024的这些所检测到的特征中的每个特征指定了特定颜色，并且显示器5020可在其特定指定的颜色中描绘这些所检测到的特征中的每个特征，如经由图22的交叉影线所示。信息索引5022可描绘每个特定颜色与信息的相关性，该信息与每个特定颜色指定的检测特征相关。例如，图22的信息索引5022使每个特定颜色与解剖结构5024的对应特征的文本描述相关联。在其他方面，信息索引5022使每个特定颜色与附加信息相关联，该附加信息与对应特征相关。
[0280]
如图22所描绘，外科可视化系统可检测解剖结构5024内的患者组织5028。显示器5020的信息索引5022可指示所检测到的患者组织5028是肿瘤。存储在外科可视化系统的控制系统133(图2)的存储器中的指令可指示控制电路132(图2)基于所检测到的肿瘤质量(包括其大小、几何形状和/或类型)将预先确定边缘5030应用于患者组织5028周围。因此，控制系统133可将切除边缘5030指定为特定颜色，并且信息索引5022可使该特定颜色与附加信息相关联，该附加信息与切除边缘5030相关联。考虑到所检测到的患者组织5028和预先确定的边缘5030，外科可视化系统的控制电路可确定患者组织5028周围的切除边缘5032。在图22的显示器5020中，在围绕解剖结构5024的直线段中描绘了切除边缘5032，对应于预期的外科器械的能力。例如，外科器械可以是被配置成能够在经由线性冲程切割之前缝合组织的外科缝合器。然而，如果实现其他外科器械，则显示器5020可交替地描绘切除边缘5032。
[0281]
图22的显示器5020还描绘了由外科可视化系统检测到的解剖结构5024的特征5034。图22的显示器5020的信息索引5022指示解剖结构5024的所检测到的特征5034是已经由肺气肿损坏的组织5026。图22的最初确定的切除边缘5032穿过解剖结构5024的特征5034，并且因此，外科可视化系统的控制电路可确定调整的切除边缘5036以包围特征5036、患者组织5028和预先确定的边缘5030。图22的显示器5020经由虚线描绘了所调整的切除边缘5036。在一些方面，显示器5020可允许手术临床医生选择最初确定的切除边缘5032或所调整的切除边缘5036。在其他方面，显示器5020将基于存储在控制系统的存储器中的指令将手术临床医生限制在所调整的切除边缘5036。
[0282]
现在参见图23a和23b，描绘了根据本公开的至少一个方面的由外科可视化系统生成的解剖结构的各种模型。图23a的解剖结构5036包括患者组织5038和包围患者组织5038的所确定的切除边缘5040。解剖结构5036还包括解剖结构5036的特征5042和调整的切除边缘5044，该调整的切除边缘包围特征5042以及患者组织5038。例如，图23a的患者组织5038可以是肿瘤。
[0283]
在图23b中，解剖结构5046包括包围解剖结构5046的各种特征5049的各种切除边缘5048。例如，图23b的解剖结构5046的特征5049可以是该解剖结构的支气管。另外，在手术临床医生选择特定的切除边缘5048的情况下，图23b的解剖结构5046包括多个指示器5050，这些指示器中的每个指示器与解剖结构5046的预期体积相关联。例如，手术临床医生可基于期望的术后肺容量来选择切除边缘5048。在其他方面，外科可视化系统的控制系统可基于存储在存储器中的指令来自动确定切除边缘5048，该指令要求解剖结构5046的所得体积
不低于预先确定的阈值。
[0284]
现在参见图24a，描绘了根据本公开的至少一个方面的由外科可视化系统生成的解剖结构的另一个模型5052。图24a描绘了该解剖结构的简化模型5052，该解剖结构包括由外科可视化系统检测到的解剖结构5056的患者组织5054和特征5056。在图24a的模型5052中，患者组织5054是肿瘤，并且所检测到的特征5056包括由肺气肿损坏的组织。
[0285]
现在参见图24b，描绘了根据本公开的至少一个方面的图24a的模型5052的显示器5058。图24b的显示器5058可包括具有信息索引5060的切除边缘叠层。信息索引5060可包括与解剖结构的模型5052中描绘的特征相关的信息，诸如所描绘的特征的文本描述和/或针对所确定的边缘的建议的缝合类型和大小。然而，在其他方面，信息索引5060可被配置成能够显示与模型5052中描绘的特征相关的任何信息。图24b的显示器5058还描绘了围绕患者组织5054的预先确定的边缘5062和包围患者组织5054的最初确定的切除边缘5064。最初确定的切除边缘5064可由外科可视化系统确定或由手术临床医生设置作为输入。在图24b的方面，切除边缘叠层可基于解剖结构5052的所检测到的特征5056或肺气肿来描绘调整的切除边缘5066。可基于存储在外科可视化系统的存储器中的指令来确定所调整的切除边缘5066，以实现期望的生理效应。例如，基于其中检测到的解剖结构和/或关键结构的表征，外科可视化系统可确定优化调整的切除边缘5066，以移除患者组织5054，保持解剖结构的残留体积，并且/或者保持解剖结构的期望质量，诸如最小的空气泄漏。因此，手术临床医生可基于由显示器5058的切除边缘叠层的信息索引5060描绘的信息来选择最初确定的切除边缘5064或所调整的切除边缘5066。
[0286]
现在参见图25，描绘了根据本公开的至少一个方面的由外科可视化系统5067生成的解剖结构5069的三维模型5068。外科可视化系统5067包括成像装置5070，该成像装置具有距离传感器系统5071，该距离传感器系统具有被配置成能够将电磁辐射5074发射到解剖结构5069上的发射器5072和被配置成能够检测反射的电磁辐射5074的接收器5076。图25的成像装置5070可利用前述光谱光、结构化光和激光多普勒技术来识别关键结构(诸如肿瘤5078)，并且生成解剖结构5069的完全集成模型5068和详细表征。例如，图25的三维模型5068可将解剖结构5069描绘为右肺的上叶，并且可具体地描绘解剖结构5069的各种特征，诸如动脉5080、静脉5082、支气管5084、上叶支气管5086、右肺动脉5090和/或主支气管5092。尽管图25的解剖结构5069是肺，但外科可视化系统5067可根据预期的具体实施来对各种解剖结构进行建模。因此，外科可视化系统5067可使用光谱光、结构化光和/或激光多普勒来表征任何解剖结构并且经由三维模型来详细显示所检测到的特征。
[0287]
图25的外科可视化系统5067可提供外科器械的远侧末端的实时三维空间跟踪，并且可在外科器械的远侧末端在关键结构5078的特定范围内移动时提供接近度警示。例如，成像装置5070的距离传感器系统5071可定位在外科器械的远侧末端上并且根据先前参见图5描述的方面进行配置。因此，发射器5072可将电磁辐射5074发射到解剖结构5069的表面上，并且接收器5076可检测已经从解剖结构5069的表面反射的电磁辐射5074。外科可视化系统5067可基于电磁辐射5074的飞行时间或该电磁辐射从发射器5072发射的时间和该电磁辐射由接收器5076检测的时间之间的时间，来确定发射器5072相对于解剖结构5069的表面的位置。尽管图25的外科可视化系统5067使用距离传感器系统5071和飞行时间技术来确定外科器械相对于解剖结构5069的位置，但可采用其他合适的部件和/或技术来实现相同
效果并且包括外科器械在解剖结构5069的三维模型5068中的位置。
[0288]
现在参见图26，描绘了根据本公开的至少一个方面的图25的三维模型5068的显示器5093。图26的显示器5093可包括切除边缘叠层，该切除边缘叠层被配置成能够描绘用户选择的横切路径5096和系统建议的横切路径5104。例如，该切除边缘叠层可进一步描绘检测到的特征(诸如动脉5080、静脉5082和支气管5084)、检测到的患者组织(诸如肿瘤5094)，以及/或者基于存储在存储器134(图2)中的指令检测到的预先确定的边缘5095。在查看了显示器5093之后，手术临床医生可确定用户选择的横切路径5096，以移除肿瘤5094和预先确定的边缘5095。例如，手术临床医生可确定用户选择的横切路径5096，该用户选择的横切路径可优化解剖结构5069的残留体积，诸如肺体积。因此，手术临床医生可经由用户界面向外科可视化系统5067提供用户选择的横切路径5096。
[0289]
图25的外科可视化系统5067可经由用户界面来接收用户选择的横切路径5096，并且相对于解剖结构5069的任何检测到的特征的位置来评估用户选择的横切路径5096。例如，如图26所描绘，该外科可视化系统可识别用户选择的横切路径5096干扰了解剖结构5069的动脉5080、静脉5082和支气管5084。因此，显示器5093可描绘预期干扰并向手术临床医生发出通知。该通知可以是视觉、听觉、触觉和/或它们的任何组合。显示器5093可另外高亮显示受用户选择的横切路径5096影响的解剖结构5069的特征或一部分，以及/或者由用户选择的横切路径5096渲染为无法存活的解剖结构5069的一部分。例如，图26的显示器5093可高亮显示动脉5080的横切部分5098，以表示将受用户选择的横切路径5096影响的血液供应5100。显示器5093还可高亮显示解剖结构5069的一部分5102，该部分可由用户选择的横切路径5096渲染为因为缺乏血液或空气而无法存活。
[0290]
另外和/或另选地，图26的外科可视化系统5067可描绘显示器5093上的系统建议的横切路径5104，该系统建议的横切路径将优化解剖结构5069的残留体积、移除患者组织5094和预先确定的边缘5095，并且使对解剖结构5069的所检测到的特征的不良影响最小化。例如，尽管系统建议的横切路径5104可保持较少的解剖结构5069的残留体积，但该系统建议的横切路径不会干扰动脉5080、静脉5082和支气管5084，并且将仍然从肺的上叶移除肿瘤5094和预先确定的边缘5095。在一些方面，外科可视化系统5067可允许手术临床医生选择用户选择的横切路径5096或系统建议的横切路径5104。在其他方面，外科可视化系统5067可允许手术临床医生拒绝系统建议的横切路径5104，并且基于显示器5093上所描绘的信息来输入第二用户选择的横切路径。
[0291]
现在参见图27，描绘了根据本公开的至少一个方面的由外科可视化系统5107生成的解剖结构5110的三维模型5108的显示器5106。外科可视化系统5107可包括外科器械5109，该外科器械具有距离传感器系统、结构化光系统、光谱光系统或它们的任何组合。在查看了显示器5106之后，手术临床医生可确定用户选择的横切路径5112，以从解剖结构5110移除患者组织。图27的外科可视化系统5107可经由用户界面来接收用户选择的横切路径5112，并且相对于解剖结构5110的任何检测到的特征的位置来评估用户选择的横切路径5112。例如，图27的外科可视化系统5107已经识别出用户选择的横切路径5112会干扰解剖结构5110的膨胀不足部分5114。解剖结构5110的膨胀不足部分5114可对患者组织的切除具有不利影响，并且可能导致术后并发症，包括解剖结构5110的小于最佳残留体积。因此，显示器5106可描绘预期问题并向手术临床医生发出通知。该通知可以是视觉、听觉、触觉和/
或它们的任何组合。
[0292]
另外和/或另选地，图27的外科可视化系统5107可描绘显示器5106上的系统建议的横切路径5116，该系统建议的横切路径将优化解剖结构5110的残留体积、移除患者组织和预先确定的边缘，并且使由解剖结构5110的所检测到的特征引起的不良影响最小化。例如，膨胀不足的组织5114的横切可能使外科手术复杂化并且引入不必要的风险。图27的系统建议的横切路径5116将手术临床医生引导到解剖结构5110的完全膨胀的组织，从而使风险最小化。在一些方面，外科可视化系统5107可允许手术临床医生选择用户选择的横切路径5112或系统建议的横切路径5116。在其他方面，外科可视化系统5107可允许手术临床医生拒绝系统建议的横切路径5116，并且基于显示器5106上所描绘的信息来输入第二用户选择的横切路径。
[0293]
在前述方面的任何方面，外科器械可被配置有距离传感器系统或其他装置，以使得外科可视化系统能够检测该外科器械相对于解剖结构的位置。如果所检测到的外科器械位置不符合所选择的横切路径，则本文讨论的外科可视化系统还可发出通知来告知手术临床医生。该外科可视化系统可向手术临床医生发出视觉、听觉和/或触觉通知，指示在开始外科手术之前应该重新定位该外科器械。在一些方面，该外科可视化系统可防止手术临床医生执行外科手术，直到该外科器械根据显示器上描绘的所选择交易路径进行正确定位。
[0294]
示例性临床应用
[0295]
本文所公开的各种外科可视化系统可用于以下临床应用中的一种或多种临床应用中。以下临床应用是用于本文所公开的各种外科可视化系统中的一个或多个外科可视化系统的非穷举性和仅例示性应用。
[0296]
如本文所公开的外科可视化系统可用于多种不同类型的手术中，以用于例如不同的医学专业，诸如泌尿科、妇科、肿瘤科、结肠直肠科、胸科、肥胖科/胃科和肝胰胆管科(hpb)。例如，在泌尿手术(诸如前列腺切除术)中，例如可在脂肪中检测输尿管，或者可在脂肪中检测结缔组织和/或神经。例如，在妇科肿瘤手术(诸如例如子宫切除术)中，以及在结肠直肠手术(诸如例如低位前切除(lar)手术)中，可在脂肪和/或结缔组织中检测到输尿管。例如，在胸部手术(诸如叶切除术)中，可在肺或结缔组织中检测到血管，并且/或者可在结缔组织中检测到神经(例如，食管造口术)。在肥胖手术中，可在脂肪中检测到血管。例如，在hpb手术(诸如肝切除术或胰切除术)中，可在脂肪(肝外)、结缔组织(肝外)中检测到血管，并且可在薄壁(肝脏或胰腺)组织中检测到胆管。
[0297]
在一个示例中，临床医生可能想要摘除子宫内膜肌瘤。根据术前磁共振成像(mri)扫描，临床医生可知道子宫内膜肌瘤位于肠的表面上。因此，临床医生可能想要在术中知道哪些组织构成肠的一部分以及哪些组织构成直肠的一部分。在此类情况下，如本文所公开的外科可视化系统可指示不同类型的组织(肠与直肠)，并且经由成像系统将该信息传达给临床医生。此外，成像系统可确定外科装置与所选组织的接近度并传送该接近度。在此类情况下，外科可视化系统可提供增加的手术效率而没有严重的并发症。
[0298]
在另一个示例中，临床医生(例如，妇科医生)可保持远离某些解剖区域以避免太靠近关键结构，并且因此临床医生可能无法摘除例如所有子宫内膜异位。如本文所公开的外科可视化系统可使得妇科医生能够降低太靠近关键结构的风险，使得妇科医生可用外科装置足够靠近以摘除所有子宫内膜异位，这可改善患者结果(使外科手术大众化)。此类系
统可使得外科医生能够在外科手术期间“保持移动”而不是反复停止和重新开始，以便识别要避开的区域，例如特别是在施加治疗能量诸如超声或电外科能量期间。在妇科应用中，子宫动脉和输尿管是重要的关键结构，并且考虑到所涉及组织的呈现和/或厚度，系统对于子宫切除术和子宫内膜异位手术可能特别有用。
[0299]
在另一个示例中，临床医生可能有在太近的位置处解剖血管的风险，并且因此这可能影响到除了目标叶之外的叶的血液供应。此外，患者与患者之间的解剖学差异可能导致解剖基于特定患者影响不同叶的血管(例如分支)。如本文所公开的外科可视化系统可使得能够识别期望位置处的正确血管，这使得临床医生能够以适当的解剖确定性进行解剖。例如，系统可确认正确的血管在正确的位置，并且然后临床医生可安全地将血管分开。
[0300]
在另一个示例中，由于血管的解剖结构的不确定性，临床医生可能会在最佳位置处进行解剖之前进行多次解剖。然而，希望在第一种情况下在最佳位置进行解剖，因为更多解剖可增加出血的风险。如本文所公开的外科可视化系统可通过指示正确的血管和用于解剖的最佳位置来最小化解剖数量。例如，输尿管和主韧带很密集，并且在解剖期间会带来独特的挑战。在此类情况下，可能特别希望最小化解剖数量。
[0301]
在另一个示例中，临床医生(例如，摘除癌性组织的外科肿瘤医生)可能希望知道关键结构的识别、癌症的定位、癌症的分期和/或组织健康的评估。此类信息超出临床医生用“肉眼”所见的内容。如本文所公开的外科可视化系统可在术中确定此类信息和/或将此类信息传达给临床医生，以加强术中决策并改善外科结果。在某些情况下，外科可视化系统可与例如使用内窥镜或外镜的微创外科手术(mis)、开放式外科手术和/或机器人方法兼容。
[0302]
在另一个示例中，临床医生(例如，外科肿瘤医生)可能想要关闭关于外科工具与一个或多个关键结构的接近度的一个或多个警示，以避免在外科手术期间过于保守。在其他情况下，临床医生可能想要接收某些类型的警示诸如触觉反馈(例如，振动/蜂鸣)以指示接近度和/或“禁飞区”，从而保持充分远离一个或多个关键结构。例如，如本文所公开的外科可视化系统可基于临床医生的经验和/或手术的期望进取性来提供灵活性。在此类情况下，系统提供“知道太多”和“知道足够多”之间的平衡以预期和避开关键结构。外科可视化系统可有助于在外科手术期间规划接下来的步骤。
[0303]
本文所述主题的各个方面在以下编号的实施例中陈述。
[0304]
实施例1.一种外科可视化系统，包括结构化光发射器、光谱光发射器、图像传感器和控制电路，所述结构化光发射器被配置成能够将电磁辐射的结构化图案发射到解剖结构上，所述光谱光发射器被配置成能够发射包括多个波长的电磁辐射。选择所述多个波长中的至少一个波长，以穿透所述解剖结构的一部分并且从患者组织反射。所述图像传感器被配置成能够检测从所述解剖结构反射的所述电磁辐射的结构化图案和从所述患者组织反射的所述至少一个波长。所述控制电路被配置成能够从所述图像传感器接收第一信号和第二信号，基于所述第一信号来构建所述解剖结构的模型，基于所述第二信号来检测所述患者组织相对于所述解剖结构的所述模型的位置，并且至少部分地基于所述患者组织的所述位置来确定围绕所述患者组织的边缘。
[0305]
实施例2.根据实施例1所述的外科可视化系统，其中，所述第一信号对应于从所述解剖结构反射的所述电磁辐射的结构化图案。
[0306]
实施例3.根据实施例1或2所述的外科可视化系统，其中，所述第二信号对应于从所述患者组织反射的所述至少一个波长。
[0307]
实施例4.根据实施例1至3中任一项所述的外科可视化系统，进一步包括被配置成能够存储指令的存储器。所述控制电路被进一步配置成能够基于所述指令来调整围绕所述患者组织的所述边缘。
[0308]
实施例5.根据实施例4所述的外科可视化系统，其中，所述指令对应于所述解剖结构的残留体积。
[0309]
实施例6.根据实施例1至5中任一项所述的外科可视化系统，其中，所述控制电路被进一步配置成能够从所述图像传感器接收第三信号。所述第三信号与反射的电磁辐射相关联，基于所述第三信号来检测所述解剖结构的特征的位置，并且至少部分地基于所述特征的所述位置来确定围绕所述患者组织的调整的边缘。
[0310]
实施例7.根据实施例6所述的外科可视化系统，其中，所述特征是所述解剖结构的受损组织。
[0311]
实施例8.根据实施例6所述的外科可视化系统，其中，所述特征是接近所述患者组织的第二解剖结构。
[0312]
实施例9.根据实施例6至8中任一项所述的外科可视化系统，进一步包括外科装置和距离传感器系统，所述距离传感器系统包括被配置成能够发射光子束的发射器和被配置成能够接收反射光子的接收器。所述控制电路被进一步配置成能够从所述距离传感器系统接收第四信号，基于所述第四信号来检测所述外科装置相对于所述解剖结构的所述模型的当前位置，并且至少部分地基于所述调整的边缘来确定所述外科装置相对于所述解剖结构的所述模型的建议横切路径。
[0313]
实施例10.根据实施例9所述的外科可视化系统，进一步包括用户界面，所述用户界面被配置成能够接收用户选择的横切路径作为到所述外科可视化系统的输入。
[0314]
实施例11.根据实施例10所述的外科可视化系统，其中，所述控制电路被进一步配置成能够基于以下中的至少一者来发出通知：所述患者组织、所述特征、所述边缘、所述调整的边缘、所述外科装置的所述当前位置、所述外科装置的所述建议横切路径和所述外科装置的所述用户选择的横切路径。
[0315]
实施例12.根据实施例10所述的外科可视化系统，进一步包括显示器，所述显示器被配置成能够描绘以下中的至少一者：所述解剖结构的所述模型、所述患者组织的所述位置、所述边缘、所述特征的所述位置、所述调整的边缘、所述外科装置的所述当前位置、所述外科装置的所述建议横切路径、所述用户选择的横切路径和所述通知。
[0316]
实施例13.一种外科可视化系统，包括光发射器，所述光发射器被配置成能够发射电磁辐射，所述电磁辐射包括朝向解剖结构的多个波长和多个频率。所述电磁辐射的一部分被配置成能够从所述解剖结构的表面反射，并且所述电磁辐射的一部分被配置成能够穿透所述解剖结构的表面并且从所述解剖结构的患者组织和特征中的至少一者反射。图像传感器，所述图像传感器被配置成能够检测从所述解剖结构的所述表面反射的所述电磁辐射的所述一部分。所述图像传感器被进一步配置成能够检测穿透所述解剖结构的所述表面并且从所述解剖结构的所述患者组织和所述特征中的所述至少一者反射的所述电磁辐射的所述部分。控制电路，所述控制电路被配置成能够从所述图像传感器接收信号，并且至少部
分地基于所述信号来确定围绕所述解剖结构的所述患者组织和所述特征中的至少一者的边缘。所述信号与反射的电磁辐射相关联
[0317]
实施例14.根据实施例13所述的外科可视化系统，其中，所述控制电路被进一步配置成能够从所述图像传感器接收第二信号，并且至少部分地基于所述第二信号来确定围绕所述解剖结构的所述患者组织和所述特征中的至少一者的调整的边缘。所述第二信号与反射的电磁辐射相关联
[0318]
实施例15.根据实施例14所述的外科可视化系统，其中，所述第二信号与所反射的电磁辐射的波长特定地相关联。
[0319]
实施例16.根据实施例14所述的外科可视化系统，进一步包括外科装置和距离传感器系统，所述距离传感器系统被配置成能够朝向所述解剖结构发射光子束并且检测从所述解剖结构的所述表面反射的光子。所述控制电路被进一步配置成能够从所述距离传感器系统接收第三信号，基于所述第三信号来检测所述外科装置相对于所述解剖结构的当前位置，并且至少部分地基于所述调整的边缘来确定所述外科装置的建议横切路径。
[0320]
实施例17.根据实施例16所述的外科可视化系统，进一步包括显示器，所述显示器被配置成能够描绘以下中的至少一者：所述边缘、所述调整的边缘、所述外科装置的所述当前位置和所述外科装置的所述建议横切路径。
[0321]
实施例18.根据实施例13至17中任一项所述的外科可视化系统，其中，所述信号与所反射的电磁辐射的频率偏移特定地相关联。所述控制电路被进一步配置成能够基于所述信号来构建所述解剖结构的模型。
[0322]
实施例19.一种外科可视化系统，包括光谱成像系统和结构化光系统，所述光谱成像系统被配置成能够发射包括多个波长的电磁辐射，并且所述结构化光系统被配置成能够将电磁辐射的结构化图案发射到所述解剖结构的表面上。所述光谱成像系统被配置成能够基于所述多个波长的第一波长的反射来检测解剖结构内的第一结构。所述结构化光系统被进一步配置成能够生成所述解剖结构的三维模型。传感器系统，所述传感器系统被配置成能够检测反射的电磁辐射。控制系统，所述控制系统被配置成能够基于所述多个波长的所述第一波长的所述反射来确定围绕所述解剖结构内的所述第一结构的边缘。
[0323]
实施例20.根据实施例19所述的外科可视化系统，其中，所述光谱成像系统被进一步配置成能够基于所述多个波长的第二波长的反射来检测所述解剖结构内的第二结构。所述控制系统被进一步配置成能够基于所述多个波长的所述第二波长的所述反射来调整围绕所述解剖结构内的所述第二结构的所述边缘。
[0324]
尽管已举例说明和描述了多个形式，但是申请人的意图并非将所附权利要求的范围约束或限制在此类细节中。在不脱离本公开的范围的情况下，可实现对这些形式的许多修改、变型、改变、替换、组合和等同物，并且本领域技术人员将想到这些形式的许多修改、变型、改变、替换、组合和等同物。此外，另选地，可将与所描述的形式相关联的每个元件的结构描述为用于提供由所述元件执行的功能的器件。另外，在公开了用于某些部件的材料的情况下，也可使用其他材料。因此，应当理解，上述具体实施方式和所附权利要求旨在涵盖属于本发明所公开的形式范围内的所有此类修改、组合和变型。所附权利要求旨在涵盖所有此类修改、变型、改变、替换、修改和等同物。
[0325]
上述具体实施方式已经由使用框图、流程图和/或示例阐述了装置和/或方法的各
种形式。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域的技术人员就要将其理解为此类框图、流程图和/或示例中的每个功能和/或操作都可以单独和/或共同地通过多种硬件、软件、固件或实际上它们的任何组合来实施。本领域的技术人员将会认识到，本文公开的形式中的一些方面可作为在一台或多台计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实际上它们的任何组合全部或部分地在集成电路中等效地实现，并且根据本公开，设计电路系统和/或编写软件和/或硬件的代码将在本领域技术人员的技术范围内。另外，本领域的技术人员将会认识到，本文所述主题的机制能够作为多种形式的一个或多个程序产品进行分布，并且本文所述主题的例示性形式适用，而不管用于实际进行分布的信号承载介质的具体类型是什么。
[0326]
用于编程逻辑以执行各种所公开的方面的指令可存储在系统中的存储器内，诸如动态随机存取存储器(dram)、高速缓存、闪存存储器或其他存储器。此外，指令可经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可包括用于存储或传输以机器(例如，计算机)可读形式的信息的任何机构，但不限于软盘、光学盘、光盘只读存储器(cd-rom)、和磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存存储器、或经由电信号、光学信号、声学信号或其他形式的传播信号(例如，载波、红外信号、数字信号等)在因特网上传输信息时使用的有形的、机器可读存储装置。因此，非暂态计算机可读介质包括适于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的有形机器可读介质。
[0327]
如本文任一方面所用，术语“控制电路”可指例如硬连线电路系统、可编程电路系统(例如，计算机处理器，该计算机处理器包括一个或多个单独指令处理内核、处理单元，处理器、微控制器、微控制器单元、控制器、数字信号处理器(dsp)、可编程逻辑装置(pld)、可编程逻辑阵列(pla)、场可编程门阵列(fpga))、状态机电路系统、存储由可编程电路系统执行的指令的固件、以及它们的任何组合。控制电路可以集体地或单独地实现为形成更大系统的一部分的电路系统，例如集成电路(ic)、专用集成电路(asic)、片上系统(soc)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。因此，如本文所用，“控制电路”包括但不限于具有至少一个离散电路的电子电路、具有至少一个集成电路的电子电路、具有至少一个专用集成电路的电子电路、形成由计算机程序配置的通用计算设备的电子电路(如，至少部分地实施本文所述的方法和/或设备的由计算机程序配置的通用计算机，或至少部分地实施本文所述的方法和/或设备的由计算机程序配置的微处理器)、形成存储器设备(如，形成随机存取存储器)的电子电路，和/或形成通信设备(如，调节解调器、通信开关或光电设备)的电子电路。本领域的技术人员将会认识到，可以模拟或数字方式或它们的一些组合实施本文所述的主题。
[0328]
如本文的任何方面所用，术语“逻辑”可指被配置成能够执行前述操作中的任一者的应用程序、软件、固件和/或电路系统。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为在存储器装置中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。
[0329]
如本文任一方面所用，术语“部件”、“系统”、“模块”等可指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。
[0330]
如本文任一方面中所用，“算法”是指导致所期望结果的有条理的步骤序列，其中“步骤”是指物理量和/或逻辑状态的操纵，物理量和/或逻辑状态可(但不一定)采用能被存储、转移、组合、比较和以其他方式操纵的电或磁信号的形式。常用于指这些信号，如位、值、元素、符号、字符、术语、数字等。这些和类似的术语可与适当的物理量相关联并且仅仅是应用于这些量和/或状态的方便的标签。
[0331]
网络可包括分组交换网络。通信装置可能够使用所选择的分组交换网络通信协议来彼此通信。一个示例性通信协议可包括可能够允许使用传输控制协议/因特网协议(tcp/ip)进行通信的以太网通信协议。以太网协议可符合或兼容电气和电子工程师学会(ieee)于2008年12月发布的标题为“ieee 802.3standard”的以太网标准和/或本标准的更高版本。另选地或附加地，通信装置可能够使用x.25通信协议彼此通信。x.25通信协议可符合或兼容由国际电信联盟电信标准化部门(itu-t)发布的标准。另选地或附加地，通信装置可能够使用帧中继通信协议彼此通信。帧中继通信协议可符合或兼容由国际电报电话咨询委员会(ccitt)和/或美国国家标准学会(ansi)发布的标准。另选地或附加地，收发器可能够使用异步传输模式(atm)通信协议彼此通信。atm通信协议可符合或兼容atm论坛于2001年8月发布的名为“atm-mpls network interworking 2.0”的atm标准和/或该标准的更高版本。当然，本文同样设想了不同的和/或之后开发的连接取向的网络通信协议。
[0332]
除非上述公开中另外明确指明，否则可以理解的是，在上述公开中，使用术语如“处理”、“估算”、“计算”、“确定”、“显示”的讨论是指计算机系统或类似的电子计算装置的动作和进程，其操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换成相似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内的物理量的其他数据。
[0333]
一个或多个部件在本文中可被称为“被配置成能够”、“可配置为”、“可操作地/操作地”、“适于/可适于”、“能够”、“可适形/适形于”等。本领域的技术人员将会认识到，除非上下文另有所指，否则“被配置成能够”通常可涵盖活动状态的部件和/或未活动状态的部件和/或待机状态的部件。
[0334]
术语“近侧”和“远侧”在本文中是相对于操纵外科器械的柄部部分的临床医生来使用的。术语“近侧”是指最靠近临床医生的部分，术语“远侧”是指远离临床医生定位的部分。还应当理解，为简洁和清楚起见，本文可结合附图使用诸如“竖直”、“水平”、“上”和“下”等空间术语。然而，外科器械在许多取向和方位中使用，并且这些术语并非是限制性的和/或绝对的。
[0335]
本领域的技术人员将认识到，一般而言，本文、以及特别是所附权利要求(例如，所附权利要求的正文)中所使用的术语通常旨在为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解，如果所引入权利要求表述的具体数目为预期的，则此类意图将在权利要求中明确表述，并且在不存在此类叙述的情况下，不存在此类意图。例如，为有助于理解，下述所附权利要求可含有对介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求。然而，对此类短语的使用不应视为暗示通过不定冠词“一个”或“一
种”引入权利要求表述将含有此类引入权利要求表述的任何特定权利要求限制在含有仅一个这样的表述的权利要求中，甚至当同一权利要求包括介绍性短语“一个或多个”或“至少一个”和诸如“一个”或“一种”(例如，“一个”和/或“一种”通常应解释为意指“至少一个”或“一个或多个”)的不定冠词时；这也适用于对用于引入权利要求表述的定冠词的使用。
[0336]
另外，即使明确叙述引入权利要求叙述的特定数目，本领域的技术人员应当认识到，此种叙述通常应解释为意指至少所叙述的数目(例如，在没有其他修饰语的情况下，对“两个叙述”的裸叙述通常意指至少两个叙述、或两个或更多个叙述)。此外，在其中使用类似于“a、b和c中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有a、b和c中的至少一者的系统”将包括但不限于具有仅a、仅b、仅c、a和b一起、a和c一起、b和c一起和/或a、b和c一起等的系统)。在其中使用类似于“a、b或c中的至少一者等”的惯例的那些情况下，一般而言，此类构造意在具有本领域的技术人员将理解所述惯例的意义(例如，“具有a、b或c中的至少一者的系统”应当包括但不限于具有仅a、仅b、仅c、a和b一起、a和c一起、b和c一起和/或a、b和c一起等的系统)。本领域的技术人员还应当理解，通常，除非上下文另有指示，否则无论在具体实施方式、权利要求或附图中呈现两个或更多个替代术语的转折性词语和/或短语应理解为涵盖包括所述术语中的一者、所述术语中的任一个或这两个术语的可能性。例如，短语“a或b”通常将被理解为包括“a”或“b”或“a和b”的可能性。
[0337]
对于所附的权利要求，本领域的技术人员将会理解，其中表述的操作通常可以任何顺序进行。另外，尽管以一个或多个序列出了各种操作流程图，但应当理解，可以不同于所示顺序的其他顺序执行各种操作，或者可同时执行所述各种操作。除非上下文另有规定，否则此类替代排序的示例可包括重叠、交错、中断、重新排序、增量、预备、补充、同时、反向，或其他改变的排序。此外，除非上下文另有规定，否则像“响应于”、“相关”这样的术语或其他过去式的形容词通常不旨在排除此类变体。
[0338]
值得一提的是，任何对“一个方面”、“一方面”、“一范例”、“一个范例”的提及均意指结合所述方面所述的具体特征部、结构或特征包括在至少一个方面中。因此，在整个说明书的各种位置出现的短语“在一个方面”、“在一方面”、“在一范例中”、“在一个范例中”不一定都指同一方面。此外，具体特征部、结构或特征可在一个或多个方面中以任何合适的方式组合。
[0339]
本说明书提及和/或在任何申请数据表中列出的任何专利申请，专利，非专利公布或其他公开材料均以引用方式并入本文，只要所并入的材料在此不一致。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。
[0340]
概括地说，已经描述了由采用本文所述的概念产生的许多有益效果。为了举例说明和描述的目的，已经提供了一个或多个形式的上述具体实施方式。这些具体实施方式并非意图为详尽的或限定到本发明所公开的精确形式。可以按照上述教导内容对本发明进行修改或变型。选择和描述的一个或多个形式是为了说明原理和实际应用，从而使本领域的普通技术人员能够利用适用于预期的特定用途的各种形式和各种修改。与此一同提交的权利要求书旨在限定完整范围。