箭头在术前图像43内高亮显示在列表45a中被选择的任意界标(例如，左前降支作为界标3)。用户可以相对被高亮显示的解剖特征移动指针箭头，以选择解剖特征的感兴趣片段(一个或多个)。在对指针的期望定位后，用户可以做出对解剖特征的选择(例如，鼠标点击)以方便对解剖特征或其片段的体积坐标位置(X，Y，Z)以及任选的取向的描绘，如由VCP模式23a描述的，并命名解剖特征，尤其是被选择的(一个或多个)片段。
[0040]自然语言解释模式(“NTLI”)23c使用文本解释器(“TI”)47解释自然语言以生成针对VCP 23a的界标列表45b。具体地，文本解释器47被用于解释并转化在对解剖特征的手术规划期间生成的自由文本指令，其然后被存储以被用于在描绘过程和/或内窥镜手术期间移动内窥镜12。解剖学描述被提取成在良好定义的医学本体(例如医学术语系统命名法(“SN0MED”))或者解剖学基础模型(“FMA”)中的代码。
[0041]以下是自由文本报告的范例:“EKG显示非特异性ST片段改变。超声心动描记图显示具有一些轻度肥大的正常左心室。在诊断性心导管上，识别出到左前降支的病灶。旋支系统中存在约80%的狭窄。后降支具有约70%的狭窄。推荐旁路手术。”针对该报告，文本解释器47提取解剖特征:左前降支、旋支系统、后降支等等。另外，根据本体，文本解释器47可以确定识别出的解剖结构(例如左前降支与左回旋支起源于左主动脉)之间的解剖学关系。另外，可以提取诸如“后”的一般位置标记并将其与特定界标相关联。其后，界标列表45b可以以与界标列表45a相同的方式被使用以针对VCP模式23a在解剖区域的术前图像43内突出显示解剖区域。
[0042]图集配准(“AR”)模式23d涉及解剖区域的图集到术前图像43的配准，其中，使图集中的每个解剖特征与术前图像内的对应解剖特征相关联。因此，类似于VCP模式23a，用户可以使用解剖区域的图集选择并描绘感兴趣的解剖特征或其(一个或多个)片段。例如，胸部区域的图集48(在图4中被示为心脏的图片)到术前图像43的配准使得图集48中的解剖特征能够被与术前图像43内的对应解剖特征相关联(例如图集48的左前降支49)。因此，对图集48中的解剖特征或其片段的选择描绘了术前图像43内的体积坐标位置以及任选的取向。
[0043]返回参考图2，流程图30的阶段S32涵盖了图像配准模块24采集内窥镜图像14并将内窥镜14与术前图像43配准，如本领域已知的。在一个实施例中，模块24可以实施对内窥镜图像14与术前图像43的基于点的配准。在另一实施例中，模块24可以实施内窥镜图像14与术前图像43的图形匹配配准，涉及对解剖特征(例如血管树)在内窥镜图像14与术前图像43中的图形表示的匹配。
[0044]在阶段S32完成后，流程图30的阶段S33涵盖解剖特征选择模块25接收对感兴趣解剖特征或其片段的用户输入到VSM 26(图1)，以帮助随后对内窥镜12在解剖区域内的内窥镜位姿的确定，用于在内窥镜图像14内可视化解剖特征或其片段。在实践中，模块25可以提供解剖区域的一个或多个视图，这些视图依赖于被用于描绘解剖特征的体积坐标位置以及任选的取向的模式(图4)。例如，可以在解剖区域的图像或经设计的计算机屏幕中示出所标记或命名的解剖特征或其(一个或多个)片段，其中，用户可以与图像或屏幕交互，以选择解剖特征或其片段(例如键盘、鼠标、触摸屏、语音命令、手势等等)。也通过举例，可以呈现所配准的图集，其中，用户可以与图集交互，以选择解剖特征或其片段。通过另外的范例，可以呈现界标名称的列表，以方便对解剖特征或其片段的选择。
[0045]仍然参考图2，流程30的阶段S34涵盖视觉伺服模块26以确定内窥镜12在解剖区域内的内窥镜位姿，用于在内窥镜图像14内可视化所选择的解剖特征或其片段，以及生成内窥镜位置命令28到机器人控制器21，以从而将内窥镜12(图1)引导至所确定的内窥镜位姿。
[0046]具体地，从阶段S32的图像配准和阶段S33的解剖特征选择，在术前图像43内所描绘的体积坐标位置(X，Y，Z)对应于内窥镜图像14内的帧坐标位置(x，y)，这提供了在术前图像43的体积坐标位置(X，Y，Z)(例如内窥镜图像14的中心帧坐标位置)处对解剖特征的可视化。额外地，帧坐标位置(x，y)可以根据所描绘的内窥镜视图取向来取向。
[0047]如果内窥镜12得到校准(即，诸如焦距的内窥镜相机参数以及内窥镜图像14的光学中心是已知的)，则可以如本领域已知地建立内窥镜特征4的帧坐标位置(X，y)与内窥镜12在解剖区域内的位姿之间的关系。还假设根据现有技术中的机器人校准流程知晓内窥镜12与机器人11的关节之间的空间变换，则可以导出机器人关节与图像空间之间的关系。该关系在本领域被称作图像Jacobian。根据图像Jacobian，可以计算出机器人关节值，其中，在机器人11已将内窥镜12移动到所计算的体积坐标位置(X，Y，Z)之后，解剖特征即位于内窥镜图像14的期望帧坐标位置(X，y)处(例如，图像的中心)。
[0048]如果内窥镜12未被校准和/或内窥镜12与机器人11的关节之间的变换是未知的，则如本领域已知的机器人11的未校准的视觉伺服可以被用于确定内窥镜12在解剖区域内的位姿以及将内窥镜12移动到解剖区域内的位姿，以根据内窥镜图像14内的帧坐标位置(x，y)可视化解剖特征或其片段(例如未校准的速度优化方法)。
[0049]例如，参考图5，内窥镜图像14a内的解剖特征51被脂肪覆盖并且被遮挡而看不至IJ。然而，在外科医师挑选了解剖特征后，则可以在半球(触摸半球)上移动内窥镜12，从而解剖特征51进入内窥镜图像14b的中心。注意，内窥镜12是基于如在图像14a和14b中所示的解剖特征51之间的距离而绕固定点枢转的。
[0050]通过另外的范例，参考图6，选择的解剖特征52在内窥镜图像14c的视图之外。可以再次在球体50上将内窥镜12移动到在内窥镜图像14d的中间的解剖特征52。更具体地，在内窥镜图像14c内的点之间的模拟距离可以服务于探知针对机器人11的未校准的视觉伺服的校正运动参数。
[0051]返回参考图2，可以循环执行阶段S33和S34，直到机器人11已将内窥镜12移动到解剖区域内的每个期望位姿的时间。
[0052]在实践中，模块23-26(图1)可以通过如所示被集成在内窥镜控制器22内的硬件、软件和/或固件来实施。
[0053]机器人控制器21和内窥镜控制器22可以是物理上分离的控制器或是在逻辑上被集成在单个物理控制器内的控制器。
[0054]根据本文中对图1-图6的描述，本领域普通技术人员将认识到本发明的众多益处，包括，但不限于，本发明对涉及对解剖区域内的特定解剖特征或其片段的可视化的任意类型的内窥镜手术的应用。
[0055]尽管已参考示范性方面、特征和实施方式描述了本发明，但所公开的系统和方