内窥镜图像与超声图像的基于图像的融合的制作方法

本公开总体涉及：涉及解剖区域的腹腔镜成像的内窥镜视图的微创流程(例如，心脏外科手术、腹腔镜外科手术、自然孔口经腔外科手术、单切口腹腔镜外科手术、肺部/支气管镜外科手术以及诊断介入)。本公开更具体涉及解剖区域的内窥镜图像与超声图像的基于图像的融合。

背景技术：

内窥镜和腹腔镜是允许临床医师观察患者的内部解剖结构而无需外科手术地暴露解剖结构以用于直接观察的细的细长相机组件。内窥镜能够适配通过狭窄的自然孔口或者皮肤中的小切口，因此相比于开放性外科手术导致对患者的减少的创伤。

腹腔镜超声(lus)指代通过端口(或自然孔口)被引入到患者的内部解剖结构中并且被用于对内部器官进行成像的任何超声成像设备。lus探头的两个范例包括philipsl10-4lap探头和philipsc9-3io探头。

更具体地，lus被用于评价内部器官，并且识别外科手术目标(例如，肿瘤)并且识别那些器官内部的敏感结构(例如，血管)。在现今的临床实践中，lus探头通过用于外科手术器械的端口中的一个端口被引入到身体中。(一个或多个)器官被扫描以评价各种结构和目标的位置。在评价之后，lus探头从端口被移除，并且器械通过(一个或多个)端口被引入到身体内以完成该流程。如果随后需要的话，lus探头能够在不同的时间被再次引入到身体中。

如在本领域中实践的基于跟踪的融合主要依赖于外部跟踪设备(例如，光学跟踪和/或电磁跟踪)以用于跟踪腹腔镜超声探头和超声-内窥镜图像融合两者，因此，使该实践在微创流程期间使用起来非常复杂并且笨重。

另外，对于lus的外科手术使用存在若干主要问题。

首先，操作者仅在当内窥镜和lus探头正在被跟踪时操作者通过lus探头扫描解剖区域的时间知晓内窥镜图像与(一幅或多幅)超声图像之间的基于跟踪的对应关系。一旦lus扫描完成并且lus探头从身体被移除，则内窥镜图像与(一幅或多幅)超声图像之间的关系就丢失。

第二，由于lus探头的细长性质和允许lus探头围绕单个入口点的有限运动的支点效应，对lus探头的操纵是复杂的。

第三，对lus探头的跟踪能够解决所述问题中的一些问题，但是其引入了对于外科手术室中更多设备的需要，损害了工作流。另外，如果使用光学跟踪，则难以使用外部标记准确地推测lus探头的位置。

技术实现要素：

为了基于微创流程期间的解剖区域的腹腔镜成像的优点和益处进行改善，本公开提供了整合解剖区域的内窥镜图像与所述解剖区域的(一幅或多幅)腹腔镜超声(lus)图像并且在解剖区域的操作者扫描期间或在所述流程期间的任何其他时间显示整合的信息的系统、工作站、控制器和方法。本公开的系统、工作站、控制器和方法实施内窥镜图像与(一幅或多幅)超声图像的基于图像的融合，这消除了对于额外跟踪设备(例如，光学跟踪和/或电磁跟踪)的需要。本公开的基于图像的融合将实现对lus探头的更直观的使用，并且将实现在所述流程(例如，心脏外科手术、腹腔镜外科手术、自然孔口经腔外科手术、单切口腹腔镜外科手术、肺部/支气管镜外科手术以及诊断介入)期间的更好的对准。

本公开的发明的一种形式是一种用于由内窥镜生成的解剖区域的内窥镜图像(例如，所述解剖区域内的解剖器官的内窥镜视图)与由腹腔镜超声探头生成的所述解剖区域的超声图像(例如，所述解剖区域内的解剖器官的超声视图)的基于图像的融合的图像融合工作站。所述图像融合工作站采用图像融合控制器，所述图像融合控制器基于所述内窥镜的内窥镜图像空间与根据由所述图像融合控制器对所述内窥镜的视场内的所述腹腔镜超声探头的检测而导出的所述腹腔镜超声探头的超声图像空间之间的图像变换来控制所述内窥镜图像与所述超声图像之间的所述融合。所述工作站还采用显示控制器，所述显示控制器控制由所述图像融合控制器对所述内窥镜图像和所述超声图像的所述融合的显示(例如，超声图像在内窥镜图像上的配准的叠加、或者所述超声图像相对于内窥镜图像的显示的配准的窗口显示)。

本公开的发明的第二形式是所述图像融合控制器，所述图像融合控制器采用探头检测器、图像变换器和图像整合器。所述探头检测器控制对所述内窥镜的视场内的所述腹腔镜超声探头的检测。所述图像变换器控制所述内窥镜的内窥镜图像空间与根据由所述探头检测器对所述内窥镜的视场内的所述腹腔镜超声探头的所述检测而导出的所述腹腔镜超声探头的超声图像空间之间的图像变换的计算。所述图像整合器基于由所述图像变换器计算的所述图像变换来控制所述内窥镜图像与所述超声图像的所述融合。

本公开的发明的第三形式是一种用于由内窥镜生成的解剖区域的内窥镜图像(例如，所述解剖区域内的解剖器官的内窥镜视图)与由腹腔镜超声探头生成的所述解剖区域的超声图像(例如，所述解剖区域内的解剖器官的超声视图)的基于图像的融合的方法。所述方法涉及图像融合工作站，所述图像融合工作站检测所述内窥镜的视场内的所述腹腔镜超声探头；并且计算所述内窥镜的内窥镜图像空间与所述腹腔镜超声探头的超声图像空间之间的图像变换，其中，所述图像融合工作站根据对所述内窥镜的所述视场内的所述腹腔镜超声探头的所述检测来导出所述图像变换。所述方法还涉及所述图像融合工作站基于所述图像变换对所述内窥镜图像与所述超声图像进行融合。

本公开的所有发明都可以额外地将内窥镜/超声图像的融合并入到以下形式的解剖模型：

(1)通过成像模态生成的解剖区域的体积图像(例如，解剖区域内的解剖器官的计算机断层摄影(ct或xperct)、磁共振图像(mri)、正电子发射断层摄影(pet)等视图)，或者

(2)解剖区域内的解剖器官的解剖图集。

根据解剖模型配准，内窥镜/超声图像的融合的显示可以包括：

(1)所述解剖模型与所述内窥镜图像一起被显示(例如，所述解剖模型的参考平面在所述内窥镜图像上的配准的叠加)，

(2)所述解剖模型与所述超声图像一起被显示(例如，超声图像在解剖模型上的配准的叠加)，和/或

(3)所述解剖模型与内窥镜/超声图像的融合一起显示(例如，超声图像和解剖模型的参考平面两者在内窥镜图像上的配准的叠加)。

出于本公开的目的，包括但不限于“融合”、“解剖区域”、“解剖器官”、“内窥镜”、“内窥镜图像”、“视场”、“腹腔镜超声探头”、“超声图像”、“图像变换”、“配准”、“图像空间”、“显示器”、“体积图像”、“成像模态”和“解剖图集”的技术术语应当被解读为在本公开的领域中进行理解，并且如在本文中示范性描述的。。

更具体地出于本公开的目的，术语“内窥镜”宽泛地涵盖在结构上被配置为具有从身体内部进行成像的能力的任何设备，如在本公开的领域中所理解的并且如在本文中示范性描述的。

内窥镜的范例包括但不限于任何类型的观察器械，柔性的或刚性的(例如，内窥镜、关节镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、胃镜、子宫镜、腹腔镜、喉镜、神经镜、耳镜、推鼻镜、鼻窦镜、乙状结肠镜、鼻窦镜、胸腔镜、阴道镜、胸腔镜、s状结肠镜，神经内镜等)以及类似于配备有图像系统的观察器械的任何设备。成像是局部的，并且表面图像可以利用光纤、透镜和小型化(例如，基于ccd的)成像系统(例如，腹腔镜超声波)来光学地获得。

出于本公开的目的，术语“控制器”宽泛地涵盖被容纳在工作站或者链接到工作站的专用主板或专用集成电路的所有结构配置，以用于控制如随后在本文中所描述的本公开的各种发明原理的应用。所述控制器的结构配置可以包括但不限于：(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)插槽以及(一个或多个)端口。

本文中的控制器的任何描述性标签(例如，“内窥镜控制器”、“lus探头控制器”、“图像融合控制器”和“显示控制器”)用于识别如在本文中所描述和请求保护的控制器而并不指定或暗示对术语“控制器”的任何额外的限制。

工作站的范例包括但不限于：一个或多个计算设备、一个或多个输入设备(例如，键盘、操纵杆和鼠标)以及一个或多个显示器/监测器(例如，客户端计算机、台式电脑、笔记本电脑和平板电脑)的组件。

出于本公开的目的，术语“应用模块”宽泛地涵盖包含由用于运行特定应用的电子电路和/或可执行程序(例如，被存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)组成的控制器的部件。在本文中的应用模块的任何描述性标签(例如，“探头检测器”、“图像变换器”、“图像整合器”和“显示控制器”)用于识别如在本文中所描述和请求保护的具体应用模块而不指定或暗示对术语“应用模块”的任何额外的限制。

结合附图阅读本公开的发明的各种实施例的以下详细描述，本公开的发明的前述形式和其他形式以及本公开的发明的各种特征和优点将变得更加显而易见。详细描述和附图仅仅是对本公开的发明的说明而非限制，本公开的发明的范围由权利要求以及其等价方案来限定。

附图说明

图1图示了根据本公开的发明原理的微创流程和控制器套件的示范性实施例。

图2图示了根据本公开的发明原理的微创控制系统的示范性实施例。

图3图示了根据本公开的发明原理的表示基于图像的融合方法的示范性实施例的流程图。

图4a和图4b图示了根据本公开的发明原理的内窥镜图像与超声图像的基于图像的融合。

图5图示了如在本领域中众所周知的内窥镜图像与术前体积图像的配准。

图6图示了根据本公开的发明原理的内窥镜图像与超声图像的基于图像的融合到解剖图集的配准的示范性实施例。

图7-16图示了根据本公开的发明原理的内窥镜图像和超声图像基于图像的融合的显示的示范性实施例。

图17a和图17b图示了根据本公开的发明原理的基于图像的融合工作站的示范性实施例。

具体实施方式

为了便于对本公开的理解，图1和图2的以下描述教导了由控制器网络20实现针对微创流程的解剖区域的内窥镜图像与超声图像的基于图像的融合10的基本发明原理。根据该描述，本领域技术人员将意识到如何应用本公开的发明原理将本公开的基于图像的融合并入到各种类型的微创流程中。

参考图1，基于图像的融合10包括被并入在涉及解剖区域(例如，腹部区域)的微创流程内的内窥镜成像阶段11、腹腔镜超声(lus)成像阶段12以及图像融合阶段13。

一般地，内窥镜成像阶段11涉及通过患者的端口将内窥镜引入到解剖区域中，如在本公开的领域中众所周知的，由此内窥镜被操作为生成解剖区域的内窥镜图像(例如，解剖区域内的器官的内窥镜视图)，如将在本文中结合图2进一步描述的。

在内窥镜成像阶段11之前、与内窥镜成像阶段11同时或者在内窥镜成像阶段11之后，lus成像阶段12一般涉及通过患者的另一端口将lus探头引入到解剖区域中，如在本公开的领域中众所周知的，由此lus探头被操作为生成解剖区域的2d平面超声图像(例如，解剖区域内的器官的2d超声图像)或者由2d平面超声图像的空间序列组成的解剖区域的3d扫描超声图像(例如，解剖区域内的器官的3d超声图像)，如将在本文中结合图2进一步描述的。

根据所生成的内窥镜/超声图像，图像融合阶段13涉及根据本公开的发明原理的以检测内窥镜的视场内的lus探头为前提的基于图像的融合，如将在本文中结合图2进一步描述的。

在内窥镜/超声图像的初始融合后，lus探头可以从解剖区域被移除，如在本公开的领域中众所周知的，由此(一个或多个)外科手术/诊断器械可以被引入到解剖区域中，并且对基于图像融合的内窥镜/超声图像的显示支持对解剖区域内的(一个或多个)外科手术/诊断器械的导航和操作。阶段11-13此后可以根据需要被个体地/共同地重复来完成所述微创流程。

为了实施基于图像的融合10，控制器网络20采用内窥镜控制器30、lus探头控制器40、图像融合控制器50以及显示控制器60。

一般地，内窥镜控制器30如在本公开的领域中众所周知的那样在结构上被配置用于在生成内窥镜图像的过程中控制内窥镜的操作，lus探头控制器40如在本领域中众所周知的那样在结构上被配置用于在生成(一幅或多幅)超声图像的过程中控制lus探头的操作，并且显示控制器60如在本领域中众所周知的那样在结构上被配置用于控制显示器/控制器的操作。

图像融合控制器50根据本公开的发明原理在结构上被配置用于控制以检测内窥镜的视场内的lus探头为前提的内窥镜图像与超声图像的基于图像的融合，如将在本文中结合图2进一步描述的。

显示控制器60可以根据本公开的发明原理在结构上被配置为显示图形用户界面，所述图形用户界面用于为图像融合控制器50提供用户交互式命令以由此操纵内窥镜图像与超声图像的基于图像的融合的显示。

实际上，控制器网络20可以被并入在单个工作站内或者以任何方式被分布在多个工作站中。

图2图示了针对涉及腹部区域ar的微创流程的通过控制器网络20的基于图像的融合10的示范性实施方式。

参考图1和图2，内窥镜控制器30控制由内窥镜31对内窥镜图像的生成，如在本公开的领域中众所周知的。更具体地，内窥镜31具有可以是固定的或者是能通过内窥镜控制器30调节的视场32，并且内窥镜控制器30采用视频捕获设备以将来自内窥镜31的内窥镜视频信号转换成表示内窥镜图像的计算机可读时间帧序列。在实践中，所述视频捕获设备可以采用用于从内窥镜视频信号捕获个体数字静态内窥镜图像帧(“eif”)33的任何类型的帧抓取器。

lus探头控制器40控制由lus探头41对一幅或多幅超声图像的生成，如在本公开的领域中众所周知的。更具体地，lus探头41具有用于在成像平面42内纵向地发射短超声脉冲并且用于接收图示超声图像的反射声音的(“超声回波”)的换能器头41h。lus探头41可以在成像期间是静止的，导致单幅2d平面超声图像43，或者lus探头41可以相对于端口被枢转，导致由2d平面超声图像43的空间序列组成的3d扫描超声图像。

图像融合控制器50采用探头检测器51、图像变换器52以及图像整合器53。

探头检测器51控制对内窥镜图像帧33的处理，以检测内窥镜31的视场32内的腹腔镜超声探头41，如将在本文中结合图3进一步描述的。

图像变换器52控制对内窥镜图像帧33和(一幅或多幅)超声图像43的处理，以计算内窥镜31的内窥镜图像空间(例如，视场31或者其部分)与根据由探头检测器51对内窥镜31的视场32内的lus探头41的检测而导出的lus探头41的超声图像空间(例如，成像平面42或者其部分)之间的图像变换^内窥镜tlus探头，如将在本文中结合图3进一步描述的。

图像整合器53控制对内窥镜图像帧33和(一幅或多幅)超声图像43的处理，以基于由图像变换器52计算的图像变换对内窥镜图像与(一幅或多幅)超声图像进行融合，如将在本文中结合图3进一步描述的。

显示控制器60控制显示器/监测器62的操作，如在本公开的领域中众所周知的，以便个体地或者如通过图像整合器53融合的方式来图示内窥镜图像和(一幅或多幅)超声图像43。关于融合的内窥镜/超声图像，图像整合器52为显示控制器60提供图像融合数据(“ifd”)54，由此显示控制器60生成融合的内窥镜图像/超声图像(“feui”)61，以用于通过显示器/监测器62进行显示。如果是交互式的，则显示控制器60经由图形用户界面(未示出)为图像整合器53提供交互式图像命令(“iic”)63，以用于操纵由显示器/监测器62对融合的内窥镜图像/超声图像61的显示。

为了便于对本公开的进一步理解，图3的以下描述在图2的控制网络的背景下教导了本公开的基于图像的融合方法的基本发明原理。根据该描述，本领域技术人员将意识到如何将基于图像的融合方法的发明原理应用于本公开的许多另外的控制网络实施例。

图3图示了表示本公开的一种基于图像的融合方法的流程图70。

参考图3，流程图70的阶段s72涵盖探头检测器51(图2)检测内窥镜31的视场32内的lus探头41。

在阶段s72的一个实施例中，探头检测器41通过执行本领域中已知的基于对换能器头41h的样式(pattern)、换能器头41的特定形状/颜色/纹理或者换能器头41h上的补充/额外样式的检测的技术而自动地检测内窥镜31的视场32内的lus探头41的远侧换能器头41h。

在阶段s72的第二实施例中，探头检测器41通过执行本公开的领域中众所周知的基于对内窥镜图像和/或(一幅或多幅)超声图像内的运动的检测(例如，光流、背景提取等)的检测技术而自动地检测内窥镜31的视场32内lus探头41的远侧换能器头41h。

流程图70的阶段s74涵盖图像变换器52(图2)将参考帧44附接到换能器头41h，以由此执行如在本领域中众所周知的2d-3d配准(例如，ransac配准)，以计算内窥镜31的内窥镜图像空间34与lus探头41的超声图像空间42之间的图像变换^内窥镜tlus探头。

流程图70的阶段s76涵盖图像整合器53(图2)对内窥镜图像和(一幅或多幅)超声图像进行融合，以由此便于融合的内窥镜/超声图像的同时显示，包括但不限于：超声图像在内窥镜图像上的配准的叠加、或者相对于内窥镜图像的显示的超声图像的配准的窗口显示。

在阶段s76的一个实施例中，如在本公开的领域中众所周知的图像混合技术可以由图像整合器53来执行，由此该融合过程可以包括2d平面超声图像的透视变换或者3d扫描超声图像的3d变换。

在实践中，阶段s72-s76可以针对lus探头41在解剖区域内的每个成像位置或者lus探头41在特定时间标记(例如，5秒)处的(一个或多个)成像位置、或者针对由操作者选择的lus探头41的(一个或多个)成像位置来执行。

变换^内窥镜tlus可以针对lus探头41在扫描期间的每个成像位置或者针对由操作者选择的lus探头41的成像位置被图像融合控制器50保存在超声图像旁边。

一旦lus探头41从解剖区域(例如，在图1中示出的腹部区域ar)被移除，操作者就可以通过利用任何交互式方法经由保存的变换^内窥镜tlus、内窥镜图像与(一幅或多幅)超声图像的组合来开始对融合的内窥镜/超声图像的显示，所述交互式方法包括但不限于：屏幕上的鼠标(或者其他输入设备)点击、保存的位置(例如，a、b、c)或者通过分配的名称。

图4a和图4b图示了流程图70的示范性执行，涉及：

1.阶段s72a：内窥镜图像33a的视场内的lus探头41的换能器头41h的自动样式检测示出了肝脏形式的解剖器官的内窥镜视图；

2.阶段74a：内窥镜31的内窥镜图像空间(像素)与lus探头41的超声图像空间之间的映射生成超声图像43a，提供一段肝脏的超声图像；

3.阶段74b：超声图像43a的轮廓45的勾画；

4a.阶段76a1：轮廓45用于显示超声图像43a在内窥镜图像33a上的透视叠加形式的内窥镜/超声图像33a/43a的融合；以及

4b.阶段76a2：轮廓45用于显示超声图像43a在内窥镜图像33a的左上角中的窗口显示形式的内窥镜/超声图像33a/43a的融合。

返回参考图3，流程图70的阶段s76还可以涵盖执行内窥镜/超声图像到解剖模型的额外融合的图像整合53，包括但不限于：解剖区域的体积图像以及解剖区域内的解剖器官的解剖图集。

体积图像配准。内窥镜视图可以使用本公开的领域中众所周知的方法(例如，美国专利no.9095252b2)被配准到术前3d图像(例如，ct、xperct、mri、pet等)。例如，图5图示了术前ct图像80的体积空间81与内窥镜31的内窥镜图像空间34之间的配准^内窥镜tct，由此来自术前ct图像80的3d图像和结构可以基于内窥镜/超声图像的融合被同时显示，如将结合图7-16进一步解释的。

^内窥镜tct配准能够使用本公开的领域中众所周知的在感兴趣平面处采集的基于图像的配准方法(例如，互信息)来细化。根据^内窥镜tct和^内窥镜tlus，能够计算超声与ct图像空间之间的变换：

解剖图集配准。内窥镜/超声图像的融合可以被配准到解剖器官的解剖图集，所述解剖器官的解剖图集捕获跨人群的解剖器官的形状。这样的配准仅实现lus探头41相对于解剖器官的粗略定位。例如，图6图示了通过使用在被配准到内窥镜图像的超声图像43b-43d中示出的一组预先定义的可快速识别的解剖参考点92在肝脏的解剖图集90的模型空间91与内窥镜之间的配准^模型t内窥镜。这些参考点92可以是器官特异性大血管分叉或表面标志。

为了便于对本公开的进一步理解，图5-16的以下描述教导了本公开的内窥镜图像与超声图像的图像融合的显示的基本发明原理，其中，内窥镜视图或解剖模型充当基本图像。根据该描述，本领域技术人员将意识到如何将所述发明原理应用于本公开的用于显示内窥镜图像与超声图像的图像融合的许多额外的实施例。

超声图像深度。在该显示实施例中，3d扫描超声图像的特定2d平面超声图像能够被显示到操作者的偏好。更具体地，操作者能够决定将3d扫描超声图像的特定2d平面超声图像叠加在内窥镜视图或者充当基本图像的解剖模型显示上。

图7a和图7b图示了操作者能够操纵图形滑块64以在与肝脏的基本图像100(例如，内窥镜视图或解剖模型视图显示)融合的肝脏的3d扫描超声图像的特定深度43b与43c之间进行选择的范例。

超声图像/器械视图。在该显示实施例中，先前记录并保存的2d平面超声图像能够在流程期间并且在生成3d扫描超声图像的超声扫描之后被显示在器械下方。2d平面超声图像能够被进一步变换为从器械的角度放置2d平面超声图像。

例如，图8a和图8b图示了先前记录并保存的肝脏的目标区域的2d平面超声图像43e在流程期间并且在扫描之后被变换并且作为基本图像100(例如，内窥镜视图、分割的体积视图或解剖图集视图)上的叠加被显示在器械46下方。

超声图像透视变换。在该显示实施例中，在扫描期间或者在流程期间，基本图像(例如，内窥镜视图、分割的体积视图或解剖图集视图)能够使用透视来重新计算和变换，从而超声图像以无失真的透视来示出。这能够使用如在本公开的领域中众所周知的逆透视变换来实现。

例如，图9a和图9b图示了如被重新计算和变换以无失真的透视来示出超声图像43e的内窥镜图像33b。

内窥镜视图中的模型参考。在该显示实施例中，使用前面提到的解剖模型变换，每幅扫描的2d平面超声图像(或者由操作者选择的每幅2d平面超声图像)可以在解剖模型(例如，术前ct模型或解剖图集)的背景下进行显示。在解剖模型中选择的额外的参考平面能够被显示，以便于对2d平面超声图像的更好的使用和选择。所述2d平面超声图像能够在内窥镜视图、解剖模型视图或者这两者中进行可视化。

例如，图10a图示了配合超声图像43g被叠加在内窥镜图像33c上的术前ct信息的参考平面101a-101c，并且图10b图示了具有术前ct信息的超声图像43g，所述术前ct信息被叠加在超声图像43g上。

通过另外的范例，图11图示了内窥镜图像33d中对应于ct图像83的参考平面101a-101c的参考平面101d-101f。

lus扫描。本公开的技术便于相同/相似平面在一个扫描运行期间或者在扫描的重新访问期间的重新访问。操作者能够使用保存的内窥镜视图中的lus扫描位置来放置超声图像。由于内窥镜图像的2d性质，找到正确的成像平面会是具有挑战性的。在该显示实施例中，如在图12中示范性显示的，操作者将lus探头的头41h粗略地定位在靠近期望成像平面的位置中(2d问题)。在放置之后，操作者如利用箭头示出的那样枢转lus探头的头41，并且成像融合控制器50收集超声图像的序列43g。使用本公开的领域中众所周知的相似性度量(例如，互信息)，成像融合控制器50找到与期望图像位置最相似的超声图像，并且通知操作者何时停止枢转。

虚拟的lus探头。在该实施例中，虚拟探头配合解剖模型(例如，器官表面和内部结构的3d重建)来进行显示。另外(或者替代地)，超声体积/平面的轮廓能够配合解剖模型来进行显示，以便于针对操作者的更好的空间取向。另外(或者替代地)，超声图像或体积能够被叠加在解剖模型或3d重建上。例如，图13图示了由虚拟探头141的显示跟随的然后被叠加在解剖模型104(例如，ct图像或解剖图集)上的解剖结构103的3d重建。

外科手术可视化。在该显示实施例中，外科手术流程的过程通过对当前和以前访问/处置的包含肿瘤的参考平面进行可视化来跟踪。第一，内窥镜视图被配准到解剖模型(例如，如之前在本文中结合图5和图6所描述的术前3d图像或解剖图集)。第二，基于该配准，操作者通过采集并存储参考平面来在术中标记肿瘤位置。第三，所述系统通过对当前和/或之前处置的肿瘤进行可视化来跟踪流程的过程。当前平面可以被可视化为闪烁的红色平面，而包含处置的(消融的)肿瘤的平面被示为黑色的。

例如，图15a和图15b示出了被叠加在基本图像100(例如，内窥镜视图、分割的体积视图或解剖图集视图)上的参考平面101g-101i，由此图15a具体将参考平面101g示为当前外科手术参考平面，并且图15b具体示出了表示处置区域的参考平面101g，并且参考平面101i是当前的外科手术参考平面。

投影的lus视图。为了对期望的解剖区域或病灶进行可视化，腹腔镜探头必须被放置在特定位置和取向中。由于镜像运动以及lus探头、患者与解剖模型视图之间的坐标系的失配，这会是微创设置中的有挑战性的任务。该显示实施例通过呈现解剖器官的解剖模型(例如，分割的ct图像或解剖图集)以及将实现相关视图的探头位置和取向(诸如，例如在图15中示出的当前位置110以及相对于解剖模型图像104(例如，分割的ct图像或解剖图集)的投影位置111a-111d)的叠加来帮助减轻这种困难。这些位置和取向能够根据先前发现的视图来手动地保存，或者是从感兴趣区域的位置的了解来计算的。另外，如果腹腔镜探头被跟踪，则其当前位置和取向能够相对于图集被叠加以进一步帮助探头放置。

变换的投影的lus视图。在先前的实施例之后，图集视角能够被变换成直观透视，诸如如在图16中所示的具有当前位置110和投影位置111a-111d的解剖模型图像104(例如，分割的ct图像或解剖图集)的鸟瞰视图、用户控制台视角或者腹腔镜视角。这样的变换允许临床医师在他/她自己的参考系中指示探头移动，并且这些方向被变换成解剖模型坐标系中的适当运动。相反，获得解剖模型坐标系中的期望视图所需的探头运动能够被转换成临床医师的参考系中的运动。

在实践中，图像融合控制器50(图1)可以被安装在工作站内或者被链接到工作站。

例如，图17a示出了图像融合工作站200，图像融合工作站200采用监测器201、接口平台202(例如，键盘、按钮、拨盘、操纵杆等)、客户端计算机203、以及被安装在工作站计算机203内的控制器网络204。

根据本公开的发明原理，控制器网络204包括内窥镜控制器205、lus探头控制器206、图像融合控制器207以及显示控制器208。在实践中，控制器205-208可以在任何程度上被分离和/或被集成在客户端计算机203内。备选地，如在图17b中所示的，内窥镜控制器205可以被安装在内窥镜工作站210(具有监测器211、接口平台212和客户端计算机213)内，并且lus探头控制器206可以被安装在lus工作站220(具有监测器221、接口平台222和客户端计算机223)内，由此图像融合控制器207和显示控制器208被安装在被链接到工作站210和220的工作站平板电脑230。

参考图1-17，本领域技术人员将意识到本公开的许多益处，包括但不限于：作为对被并入到涉及解剖区域的内窥镜图像与超声图像的基于跟踪的融合的微创流程中的现有系统、工作站、控制器和方法的显著改善的本公开的解剖区域的内窥镜图像与超声图像的基于图像的融合。

此外，鉴于在本文中所提供的教导，本领域普通技术人员将意识到，在本公开/说明书中所描述的和/或在附图中所描绘的特征、元件、部件等可以以电子部件/电路、硬件、可执行软件和可执行固件的各种组合来实施，并且提供可以被组合在单个元件或多个元件中的功能。例如，在附图中显示/示出/描绘的各种特征、元件、部件等的功能能够通过使用专用硬件以及与适当的软件相关联的能够运行软件的硬件来提供。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器或者由多个个体处理器来提供，其中的一些能够被共享和/或复用。此外，术语“处理器”的明确使用不应当被解释为排他性地指代能够运行软件的硬件，并且能够隐含地包括但不限于：数字信号处理器(“dsp”)硬件、存储器(例如，用于存储软件的只读存储器(“rom”)、随机存取存储器(“ram”)、非易失性存储器等)以及实际上能够(和/或能配置为)执行和/或控制过程的任何模块和/或机器(包括硬件、软件、固件、电路以及其组合等)。

此外，本文中列举本发明的原理、方面和实施例的所有陈述以及其特定范例旨在涵盖其结构和功能等价物两者。另外，这样的等价物旨在包括当前已知的等价物以及将来开发的等价物(例如，开发的能够执行相同或基本类似的功能的任何元件，而不管结构)两者。因此，例如，鉴于在本文中所提供的教导，本领域普通技术人员将意识到，在本文中所呈现的任何框图能够表示实现本发明的原理的说明性系统部件和/或电路的概念视图。类似地，鉴于本文提供的教导，本领域普通技术人员应当意识到，任何流程图、流图等能够表示各种过程，所述各种过程能够基本上在计算机可读存储介质中表示，并且因此，由计算机、处理器或者具有处理能力的其他设备来运行，而不管这样的计算机或处理器是否被明确示出。

此外，本公开的示范性实施例能够采取能从计算机可用和/或计算机可读存储介质存取的计算机程序产品或应用模块的形式，所述存储介质提供程序代码和/或指令以由例如计算机或任何指令运行系统使用或者与例如计算机或任何指令运行系统结合使用。根据本公开，计算机可用或计算机可读存储介质可以是能够例如包括、存储、通信、传播或运输由指令运行系统、装置或设备使用或者与其结合使用的指令的任何装置。这样的示范性介质能够是例如电子、磁性、光学、电磁、红外或半导体系统(或者装置或设备)或传播介质。计算机可读介质的范例包括例如半导体或固态存储器、磁带、可移除计算机软盘、随机存取存储器(ram)、只读存储器(rom)、闪存(驱动器)、刚性磁盘和光盘。光盘的当前范例包括光盘-只读存储器(cd-rom)、光盘-读/写(cd-r/w)和dvd。此外，应当理解，此后开发的任何新的计算机可读介质应当被认为是根据本公开和公开内容的示范性实施例可以使用或参考的计算机可读介质。

已经描述了新颖的和创造性的解剖区域的内窥镜图像与超声图像的基于图像的融合的优选和示范性实施例(所述实施例旨在是说明性的而不是限制性的)，应当注意，鉴于包括附图的本文提供的教导，本领域普通技术人员可以做出修改和变化。因此，应当理解，可以在本文中所公开的实施例的范围内对本公开的优选和示范性实施例进行改变。

此外，设想到了，并入和/或实施所述设备的对应的和/或相关的系统或诸如可以在根据本公开的设备中使用/实施的对应的和/或相关的系统也被设想到并且被认为是在本公开的范围内。此外，用于制造和/或使用根据本公开的设备和/或系统的对应的和/或相关的方法也被设想到并且被认为是在本公开的范围内。