体内导航系统和方法与流程

本发明涉及计算机辅助医疗技术领域，具体地，涉及一种体内导航系统和方法。

背景技术：

在医疗临床实践过程中，常需要将医疗器械探入人体内，进行某种操作。例如，可通过经皮体外穿刺来获取人体内病变组织的微量标本。这类操作中，医疗器械的准确导航是非常重要的。在如上示例中，基于影像的穿刺定位导航一直是临床工作中的重点需求。

现有的影像导航系统主要分为两类：基于红外反光点的光学导航系统和基于微线圈的电磁场导航系统(简称磁导航)。在实际使用中，这两种系统各有问题，如表1所示：

表1现有的导航系统简介

因此，需要提供一种体内导航系统和方法，以至少部分地解决现有技术中存在的上述问题。

技术实现要素：

为了至少部分地解决现有技术中存在的问题，根据本发明的一个方面，提供一种体内导航系统，包括：

视频采集装置，用于实时采集目标的视频，其中所述视频中包括所述目标上所固定的光学标识，所述视频采集装置采集视频的角度与用户的观察方向保持一致，其中，所述目标包括器械和/或对象；

定位装置，用于识别所述视频中的所述光学标识，根据所识别的光学标识和所述目标的三维图像中的光学标识，将所述目标的三维图像锚定到所述视频中的对应位置；以及

显示器，用于在所述视频中三维显示所述目标在对象体内的部分。

示例性地，所述视频采集装置是头戴式光学摄像头。

示例性地，所述显示器是头戴式显示器。

示例性地，所述光学标识是二维码和/或棋盘格。

示例性地，所述光学标识是所述目标表面的立体图形。

示例性地，所述定位装置通过以下方式根据所识别的光学标识和所述目标的三维图像中的光学标识将所述目标的三维图像锚定到所述视频中的对应位置：

根据所述所识别的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到用户坐标系下的第一转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第一转换参数将所述三维图像锚定到所述视频中的对应位置。

示例性地，所述定位装置通过以下方式根据所识别的光学标识和所述目标的三维图像中的光学标识将所述目标的三维图像锚定到所述视频中的对应位置：

根据所述目标的图像中的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到目标坐标系下的第二转换参数，其中所述目标的图像是所述目标坐标系下的，并且所述目标的图像中也包括所述光学标识；

利用所述第二转换参数将所述三维图像转换为所述目标坐标系下的三维图像；

根据所述所识别的光学标识和所述目标坐标系下的三维图像中的光学标识中的特征点，确定用于将所述目标坐标系下的三维图像转换到用户坐标系下的第三转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第三转换参数将所述目标坐标系下的三维图像锚定到所述视频中的对应位置。

示例性地，所述视频采集装置包括定位传感器，用于实时检测所述视频采集装置的位置；

所述定位装置通过以下方式将所述目标的三维图像锚定到所述视频中的对应位置：

根据所述目标的图像中的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到目标坐标系下的第四转换参数，其中所述目标的图像是由所述视频采集装置在第一时刻采集的、所述目标坐标系下的图像；

利用所述第四转换参数将所述三维图像转换为所述目标坐标系下的三维图像；

根据所检测的所述视频采集装置在第一时刻和当前时刻的位置变化，确定用于将所述目标坐标系下的三维图像转换到用户坐标系下的第五转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第五转换参数将所述目标坐标系下的三维图像锚定到所述视频中的对应位置。

示例性地，所述体内导航系统还包括输入装置，用于接收所述用户的输入；

所述定位装置还用于根据所述输入调整所述目标的三维图像在所述视频中的对应位置。

示例性地，所述目标是对象，所述对象的三维图像是利用ct、mri或超声设备对所述对象进行扫描后，经重建操作所获得的三维图像。

示例性地，所述目标是器械，所述器械的三维图像是通过制图软件针对所述器械绘制的、三维扫描仪对所述器械扫描测绘的或ct扫描后经重建操作所获得的三维图像。

根据本发明另一方面，还提供了一种体内导航方法，包括：

实时采集目标的视频，其中所述视频中包括所述目标上所固定的光学标识，所述视频的采集角度与用户的观察方向保持一致，其中，所述目标包括器械和/或对象；

识别所述视频中的所述光学标识，根据所识别的光学标识和所述目标的三维图像中的光学标识，将所述目标的三维图像锚定到所述视频中的对应位置；以及

在所述视频中三维显示所述目标在对象体内的部分。

示例性地，所述根据所识别的光学标识和所述目标的三维图像中的光学标识，将所述目标的三维图像锚定到所述视频中的对应位置进一步包括：

根据所述所识别的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到用户坐标系下的第一转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第一转换参数将所述三维图像锚定到所述视频中的对应位置。

示例性地，所述根据所识别的光学标识和所述目标的三维图像中的光学标识将所述目标的三维图像锚定到所述视频中的对应位置进一步包括：

根据所述目标的图像中的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到目标坐标系下的第二转换参数，其中所述目标的图像是所述目标坐标系下的，并且所述目标的图像中也包括所述光学标识；

利用所述第二转换参数将所述三维图像转换为所述目标坐标系下的三维图像；

根据所述所识别的光学标识和所述目标坐标系下的三维图像中的光学标识中的特征点，确定用于将所述目标坐标系下的三维图像转换到用户坐标系下的第三转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第三转换参数将所述目标坐标系下的三维图像锚定到所述视频中的对应位置。

示例性地，所述方法还包括：实时检测用于实时采集所述目标的视频采集装置的位置；

所述根据所识别的光学标识和所述目标的三维图像中的光学标识将所述目标的三维图像锚定到所述视频中的对应位置进一步包括：

根据所述目标的图像中的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到目标坐标系下的第四转换参数，其中所述目标的图像是由所述视频采集装置在第一时刻采集的、所述目标坐标系下的图像；

利用所述第四转换参数将所述三维图像转换为所述目标坐标系下的三维图像；

根据所检测的所述视频采集装置在第一时刻和当前时刻的位置变化，确定用于将所述目标坐标系下的三维图像转换到用户坐标系下的第五转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第五转换参数将所述目标坐标系下的三维图像锚定到所述视频中的对应位置。

示例性地，所述方法还包括：

接收所述用户的输入；

根据所述输入调整所述目标的三维图像在所述视频中的对应位置。

根据本发明提供的体内导航系统和方法，用户在对象体内的操作空间范围内不会出现可干扰视线的设备或耗材，因此不仅有效避免了固定式红外光学导航的视野问题，还避免了磁导航系统中的导航硬件占用手术空间，电磁场易受干扰影响定位精度的问题。上述体内导航系统使用可见光光学标识，在大幅降低导航手术的耗材成本的同时，保证了导航的实用性。同时方案实施简单，用户只需要时刻保持注意力在患者或手术器械上，不改变传统使用习惯，学习推广难度低。可以让更多操作对象受益于体内导航技术。

在发明内容中引入了一系列简化的概念，这些概念将在具体实施方式部分中进一步详细说明。本发明内容部分并不意味着要试图限定所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

以下结合附图，详细说明本发明的优点和特征。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施方式及其描述，用来解释本发明的原理。在附图中，

图1示出根据本发明一个实施例的体内导航系统以及其工作环境的示意性框图；

图2示出了根据本发明一个实施例的对象和针对其进行操作的器械的示意图；

图3示出了根据本发明一个实施例的对象的三维图像；

图4示出了根据本发明一个实施例的器械的三维图像；

图5示出了根据本发明一个实施例的视频中的一帧；

图6示出了根据本发明一个实施例的定位装置将对象的三维图像锚定到视频中的对应位置的方式；

图7示出了根据本发明另一个实施例的定位装置将对象的三维图像锚定到视频中的对应位置的方式；

图8示出了图7的实施例中的坐标转换过程；

图9示出了根据本发明又一个实施例的定位装置将对象的三维图像锚定到视频中的对应位置的方式；以及

图10示出了根据本发明一个实施例的定位装置将器械的三维图像锚定到视频中的对应位置的方式。

具体实施方式

在下文的描述中，提供了大量的细节以便能够彻底地理解本发明。然而，本领域技术人员可以了解，如下描述仅涉及本发明的较佳实施例，本发明可以无需一个或多个这样的细节而得以实施。此外，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

本申请所提供的体内导航系统用于为用户提供针对对象体内的组织和/或器械位于对象体内的部分的导航。其中，用户是整个体内导航过程的观察者，其也是将器械探入对象体内的操作者。对象可以是用户需要对其进行操作的人或其他动物。器械可以是任意可探入对象体内的工具。器械可以例如是穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等医疗器械。

在上述体内导航系统中，首先基于可见光影像来确定目标的位置，然后在该可见光影像中三维地显示前述目标。示意性地，该目标可以是器械和/或对象。从而，将实际不可见的对象的体内器官、病变和/或医疗器械三维地显示给用户，以指引用户在真实环境操作器械。

根据本发明的一个方面，提供一种体内导航系统。该体内导航系统中的显示器显示给用户的视频中，能够在其中的对应位置显示对象和器械这二者，为用户提供了更全面的导航信息。本领域普通技术人员可以理解，也可以在其中只显示对象或器械，对于未显示的目标，凭用户的经验进行器械操作。根据以下描述，本领域普通技术人员能够理解，只显示对象或器械的实施例，为了简洁，在此不再赘述。

图1示出根据本发明一个实施例的体内导航系统以及其工作环境的示意性框图。图1所示的体内导航系统包括视频采集装置110、定位装置120和显示器130。该视频采集装置110用于实时采集对象以及器械的视频。用户可以观看显示器130，其用于显示视频，在该视频中不仅显示视频采集装置110所采集的对象和器械的表面部分，而且还在对应位置三维地显示实际不可见的对象的体内器官、病变以及器械在对象体内的部分。换言之，在视频中，将实际不可见的体内器官、病变以及器械位于体内的部分与人体及实际器械对准，从而指引用户在类似于真实环境的虚拟三维场景中操作器械。

视频采集装置110的采集角度与用户的观察方向保持一致。当用户使用该体内导航系统时，其可以将视频采集装置110佩戴于身体上，例如头部。可选地，视频采集装置是头戴式光学摄像头。在用户使用体内导航系统时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。由此，不仅保证了显示器130所显示的视频的角度是用户所观看的角度，保证了器械导航的精准度，而且避免了体内导航系统的使用对用户的各种操作的干扰。从而显著提高了用户体验。

在体内导航系统工作时，对象的表面固定有第一光学标识，并且器械的表面固定有第二光学标识。例如，对象的皮肤上可以黏贴有第一光学标识。在器械的、靠近手持的部分可以印有第二光学标识，该部分在体内导航系统工作时处于对象的体外。第一光学标识和第二光学标识都是在可见光图像中可识别的。

图2示出了根据本发明一个实施例的对象和针对其进行操作的器械。如图2所示，对象和器械表面都具有光学标识，即图2中的二维码。二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。可选地，光学标识还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为光学标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。

可选地，对象和器械表面上所固定的光学标识还可以是立体图形。例如，在器械设计生产过程中，第二光学标识可以是该器械的手柄，或者第二光学标识可以是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。

在视频采集装置110所采集的视频中包括该第一光学标识和该第二光学标识，如前所述，其分别用于对视频中的对象和器械进行定位。

定位装置120用于识别视频中的第一光学标识和第二光学标识。即从视频的各个帧中识别其中的第一光学标识和第二光学标识。该识别操作可以基于现有成熟的图像识别算法，例如基于纹理特征、频域分析和机器学习等识别方式。

定位装置120还用于根据所识别的第一光学标识和对象的三维图像中的第一光学标识，将该对象的三维图像锚定到视频采集装置110所采集的视频中的对应位置，并且根据所识别的第二光学标识和器械的三维图像中的第二光学标识，将该器械的三维图像锚定到该视频中的对应位置。

上述对象的三维图像中包括第一光学标识中的特征点。示例性地，首先利用ct、mri或超声设备等对对象进行扫描，以获得对象的断层图像。然后对该断层图像进行重建，以获得该三维图像。该三维图像是影像坐标系下的。可以在扫描前，在对象身上的特定位置固定一个标识图片或标识结构，其与对象一同接受扫描。图片材质包含可以被扫描设备(如ct、mri、超声设备等)识别的标识点。获得该对象的三维图像的方式成本低、易实现而且准确度高。本领域普通技术人员可以理解，上述示例给出的获得对象的三维图像的方式仅为示意，而非限制。

为了更好地为用户呈现对象体内的其感兴趣的目标元素，例如骨骼、血管、脏器及病变目标等，避免其他无关元素的干扰，在获得包含第一光学标识的特征点的断层图像后，可利用常规图像后处理方法，从断层图像原始数据中分割出特征点以及对象的特定的解剖结构，例如骨骼、血管、脏器及病变等目标元素，并且经重建来生成对象的三维图像。该对象的三维图像中可以立体地示出对象的目标元素和第一光学标识的特征点。图3示出了根据本发明一个实施例的对象的三维图像。其中示出了对象的骨骼和肝脏以及第一光学标识的三个特征点。

上述器械的三维图像中包括第二光学标识。器械的三维图像中包含第二光学标识与器械本身的空间关系。图4示出了根据本发明一个实施例的器械的三维图像。示例性地，器械的三维图像可以是通过制图软件针对器械绘制的、三维扫描仪对器械进行扫描所测绘的或对器械进行ct扫描后经重建操作所获得的三维图像。

如前所述，对象的三维图像中包括第一光学标识，而且对象和第一光学标识都可以认为是近似刚性的，所以定位装置120将对象的三维图像中的第一光学标识与从视频中识别的第一光学标识完全对齐，即可将该对象的三维图像锚定到视频采集装置110所采集的视频帧中的对应位置。

可以理解，上述对齐操作，可以仅利用第一光学标识中的特征点。多个特征点可以替代整个第一光学标识，来完成对对象的定位。上述利用特征点来实现对象的定位仅为示意，还可以利用第一光学标识上的直线等其他图形来实现对象的定位。

可以理解，该对象的三维图像可以仅包括对象的一部分目标元素，该目标元素可以是对象的人体组织，例如各种脏器、气管、血管和骨骼等，还可以是对象的病灶部位。由此，将对象的三维图像投影至与对象自身一致的现实空间三维位置，实现了对象的三维图像与其视频的位置匹配。

与对象的前述定位方式类似地，定位装置120还用于根据所识别的第二光学标识和器械的三维图像中的第二光学标识，将该器械的三维图像锚定到该视频中的对应位置。为了简洁，其原理和详细过程在此不再赘述。

显示器130用于在视频中三维显示对象体内的部分和器械在对象体内的部分。图5示出了根据本发明一个实施例的显示器130所显示的视频中的一帧。图5中的人体轮廓是视频的原始帧中的内容。在该原始帧的基础上，还在人体的对应位置处显示了对象的三维图像。其中仅显示了用户感兴趣的、对象的目标元素，包括骨骼、肝脏以及病灶部位等。对于器械(穿刺针)也是类似的，不仅显示了视频的原始帧中的真实器械本身，即对象体外的部分，还在器械的对应位置处虚拟了器械在对象体内的部分。

因为在视频中，对象的虚拟的三维图像已与真实对象配准，用户可实时“看”到从三维图像中提取的三维器官在体内的真实位置，选择避开骨骼，大血管等重要器官的操作路径。当器械的头部插入对象体内，无法看到时，用户可依靠持续识别器械的第二光学标识，通过显示器对器械的三维图像的显示，“看”到隐藏在对象体内的部分，以及器械的头部对应的延长线方向，确保器械随时瞄准目标，沿既定路线前进。对象的所有解剖部位、目标区域，器械，前进路径(手术计划)等提示图像或信息，可显示于独立的显示器130中，供用户实时观察。

显示器130可以是在用户视野范围内竖立的普通显示器。可选地，显示器130是头戴式显示器。在用户使用体内导航系统时，头戴式显示器随时保持于用户的视野，便于其聚焦到对象和器械，不用用户频繁在抬头观察显示器与低头看手术器械这两个动作中切换，降低其操作风险。

利用根据本发明的上述体内导航系统进行操作时，用户在对象体内的操作空间范围内不会出现可干扰视线的设备或耗材，因此不仅有效避免了固定式红外光学导航的视野问题，还避免了现有的磁导航系统中的导航硬件占用手术空间的问题。上述体内导航系统使用可见光追踪光学标识，在大幅降低导航手术的耗材成本的同时，确保了视频中三维地显示用户的期望目标区域，保证了导航的实用性。同时方案实施简单，不改变用户传统使用习惯，学习推广难度低。可以让更多操作对象受益于体内导航技术。

示例性地，体内导航系统还包括输入装置，用于接收用户的输入。该输入装置例如鼠标、键盘、声控输入装置等。用户可通过直接观察显示器130上真实目标与目标的三维图像的重叠情况，确认目标的定位精度，同时可以利用输入装置输入指令。在该示例中，定位装置120还用于根据输入装置所接收的用户的输入调整目标的三维图像在视频中的对应位置，从而使得显示器130上的目标的三维图像发生平移或旋转，以获得更高精度的定位效果。

根据本发明的一个实施例，如图6所示，定位装置120可以通过以下方式将对象的三维图像锚定到视频中的对应位置。

s11，根据从视频中所识别的第一光学标识和对象的三维图像中的第一光学标识中的特征点，确定用于将对象的三维图像转换到用户坐标系下的第一转换参数。如前所述对象的三维图像是影像坐标系下的，视频是用户坐标系下的。该第一转换参数可以用于将对象的三维图像和视频统一到同一坐标系下。由此，可以在视频中视频帧的合适的位置呈现虚拟的对象，使得用户看起来好像看到了视频中虚拟的、立体的对象体内的目标元素，例如脏器、骨骼等。

对视频中的第一光学标识与对象的三维图像中的第一光学标识进行匹配。示例性地，该匹配操作使用迭代最近点算法实现配准，并通过均方误差函数来求取最优解，即寻找最佳匹配结果。可以利用公式(1)计算视频中视频帧和对象的三维图像的均方误差f(r,t)。当均方误差f(r,t)小于某一特定阈值时即可认为获得了期望的第一转换参数r^3d和t^3d。其中r^3d和t^3d分别表示旋转矩阵和转换矩阵。

其中f(r,t)表示视频中视频帧和对象的三维图像的均方误差，n表示第一光学标识中的特征点的总数，和分别表示对象的三维图像中的第一光学标识中的特征点和视频帧中的第一光学标识的对应特征点。

s12，利用所确定的第一转换参数将对象的三维图像锚定到视频中的对应位置。可选地，利用公式(2)实现该操作。对于对象的三维图像中每个像素点，基于其在三维图像中的坐标xp、yp和zp以及所确定的第一转换参数r^3d和t^3d，即可计算该像素点在用户坐标系下的坐标xo、yo和zo，即获得了该像素点在视频中的位置。

上述实施例中，根据第一光学标识的特征点将对象的三维图像锚定到视频中，计算量小，实时性好。

本发明的另一实施例支持视频采集装置110相对于对象的较快速的位置移动，即允许用户相对于对象的较快速移动。例如，用户可以佩戴视频采集装置110，以其舒适、方便的体位操作对象。在该实施例中，定位装置120可以通过以下方式将对象的三维图像锚定到视频中的对应位置，下面结合图7进行详细描述。

s21，获得也包括前述第一光学标识的对象的图像。设该对象的图像是对象坐标系下的。可以理解，该对象的图像可以是利用视频采集装置110所采集的视频中的一个初始视频帧。本领域普通技术人员可以理解，该对象的图像也可以是视频采集装置110以外的其他装置所采集的。并且，根据该对象的图像中的第一光学标识和对象的三维图像中的第一光学标识中的特征点，确定用于将对象的三维图像转换到对象坐标系下的第二转换参数。由此，第二转换参数可以用于将对象的三维图像统一到对象的图像所在的坐标系下，即对象坐标系。由此，可以在对象的图像中的合适位置呈现虚拟的、立体的对象体内的目标元素，例如脏器、骨骼等。

s22，利用第二转换参数将对象的三维图像转换为对象坐标系下的对象的三维图像。

上述两个操作s21和s22分别与如上操作s11和s12类似，只需将其中的视频的视频帧更换为本操作中的对象的图像，为了简介，在此不再赘述。

s23，根据从视频中识别的第一光学标识和所述对象坐标系下的三维图像中的第一光学标识，确定用于将对象坐标系下的三维图像转换到用户坐标系下的第三转换参数，其中前述视频是该用户坐标系下的。

可选地，利用如下公式(3)确定第三转换参数：和其中和分别表示旋转矩阵和转换矩阵。

其中，xp、yp和zp分别表示对象坐标系下的三维图像中的第一光学标识中的一个特征点的x轴、y轴和z轴坐标，xo、yo和zo分别表示前述特征点在视频的视频帧中的x轴、y轴和z轴坐标。

根据已知的多个特征点的坐标，利用如上公式(3)即可以确定第三转换参数：和

s24，利用第三转换参数将对象坐标系下的三维图像锚定到所述视频中的对应位置。该操作与如上操作s12类似，只需将其中的影像坐标系下的三维图像更换为本操作中的对象坐标系下的三维图像，为了简介，在此不再赘述。

在该实施例中，操作s21中所涉及的对象坐标系下的对象的图像可以是在第一时刻采集的视频帧，操作s24所涉及的视频的视频帧可以是在第一时刻之后采集的视频帧，通过操作s21和操作s22，将影像坐标系下的对象的三维图像转换为对象坐标系下的三维图像。然后根据对象坐标系和用户坐标系的转换，其对应于用户在前后时刻的观察位置的变化，将对象坐标系下的三维图像转换为用户坐标系下的三维图像。图8示出了根据本发明上述实施例的坐标转换过程。该实施例中，通过两次坐标变换实现了对对象位置的实时精准追踪，不再对对象和用户的体位做限制，提高了对象的舒适度和用户的方便性。

本发明的又一实施例也支持用户相对于对象的较快速位置移动，即允许视频采集装置110相对于对象的较快速移动。在该实施例中，视频采集装置110包括定位传感器，其用于实时检测视频采集装置110的位置。该定位传感器例如陀螺仪和加速度计等，其能够记录自身的空间位移。定位装置120可以通过以下方式将对象的三维图像锚定到视频中的对应位置，下面结合图9进行详细描述。

s31，根据对象的图像中的第一光学标识和三维图像中的第一光学标识中的特征点，确定用于将三维图像转换到对象坐标系下的第四转换参数。所述对象的图像是由视频采集装置110采集的、对象坐标系下的图像。所述对象的图像中也包括第一光学标识。

s32，利用所述第四转换参数将所述三维图像转换为所述对象坐标系下的三维图像。

上述两个操作s31和s32分别与如上操作s11和s12类似，只需将其中的视频的视频帧更换为本操作中的对象的图像，为了简介，在此不再赘述。

s33，根据所检测的视频采集装置110在第一时刻和当前时刻的位置变化，确定用于将对象坐标系下的三维图像转换到用户坐标系下的第五转换参数。所述第一时刻是视频采集装置110采集所述对象的图像的时刻。前述视频是该用户坐标系下的，其是视频采集装置110在当前时刻采集的。视频采集装置110在第一时刻和当前时刻的位置变化对应于对象坐标系和用户坐标系的转换。在一个示例中，根据视频采集装置在不同时刻的位置变化确定用于将对象坐标系下的三维图像转换到用户坐标系下的第五转化参数：旋转矩阵和转换矩阵。

s34，利用第五转换参数将对象坐标系下的三维图像锚定到前述视频中的对应位置。在如上示例中，可以利用第五转换参数：旋转矩阵和转换矩阵，将对象坐标系下的三维图像锚定到前述视频中。该操作与如上所述的操作s12类似，为了简洁，在此不再赘述。

该实施例中，利用视频采集装置110上的定位传感器来实时确定其位置，从而实现对视频中对象的追踪。用户可不必随时保持注意力在对象的第一光学标识附近，而多去观察对象体内的目标位置，从而提高了用户体验。

根据本发明再一个实施例，可以在不同时间段分别执行上述操作s21至s24和上述操作s31至s34。换言之，在不同时间段分别根据对象的第一光学标识和定位传感器检测的视频采集装置110的位置来进行对象的追踪。定位传感器对于视频采集装置110的位置的检测有误差，如果长时间基于所检测的位置进行对象追踪，误差有可能逐渐累积增加。先后采用上述两种方式可以实现更准确的追踪定位。

根据本发明的一个实施例，所述定位装置120通过以下方式将器械的三维图像锚定到视频中的对应位置。下面结合图10详细描述该过程。

s41，如前所述，器械的三维图像中包括第二光学标识。可以根据从视频中识别的第二光学标识和该三维图像中的第二光学标识的特征点，确定用于将器械的三维图像转换到用户坐标系下的第六转换参数。视频是所述用户坐标系下的。

s42，利用所述第六转换参数将器械的三维图像锚定到视频中的对应位置。

上述操作s41和s42分别与如上操作s11和s12类似，只需将其中的对象的三维图像更换为本操作中的器械的三维图像，为了简介，在此不再赘述。根据第二光学标识的特征点将器械的三维图像锚定到视频中，计算量小，实时性好。

根据本发明另一方面，还提供了一种体内导航方法。该体内导航方法包括：

实时采集目标的视频，其中所述视频中包括所述目标上所固定的光学标识，所述视频的采集角度与用户的观察方向保持一致，其中，所述目标包括器械和/或对象；

识别所述视频中的所述光学标识，根据所识别的光学标识和所述目标的三维图像中的光学标识，将所述目标的三维图像锚定到所述视频中的对应位置；以及

在所述视频中三维显示所述目标在对象体内的部分。

示例性地，所述根据所识别的光学标识和所述目标的三维图像中的光学标识，将所述目标的三维图像锚定到所述视频中的对应位置进一步包括：

根据所述所识别的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到用户坐标系下的第一转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第一转换参数将所述三维图像锚定到所述视频中的对应位置。

示例性地，所述根据所识别的光学标识和所述目标的三维图像中的光学标识将所述目标的三维图像锚定到所述视频中的对应位置进一步包括：

根据所述目标的图像中的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到目标坐标系下的第二转换参数，其中所述目标的图像是所述目标坐标系下的，并且所述目标的图像中也包括所述光学标识；

利用所述第二转换参数将所述三维图像转换为所述目标坐标系下的三维图像；

根据所述所识别的光学标识和所述目标坐标系下的三维图像中的光学标识中的特征点，确定用于将所述目标坐标系下的三维图像转换到用户坐标系下的第三转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第三转换参数将所述目标坐标系下的三维图像锚定到所述视频中的对应位置。

示例性地，所述方法还包括：实时检测用于实时采集所述目标的视频采集装置的位置；

所述根据所识别的光学标识和所述目标的三维图像中的光学标识将所述目标的三维图像锚定到所述视频中的对应位置进一步包括：

根据所述目标的图像中的光学标识和所述三维图像中的光学标识中的特征点，确定用于将所述三维图像转换到目标坐标系下的第四转换参数，其中所述目标的图像是由所述视频采集装置在第一时刻采集的、所述目标坐标系下的图像；

利用所述第四转换参数将所述三维图像转换为所述目标坐标系下的三维图像；

根据所检测的所述视频采集装置在第一时刻和当前时刻的位置变化，确定用于将所述目标坐标系下的三维图像转换到用户坐标系下的第五转换参数，其中所述视频是所述用户坐标系下的；以及

利用所述第五转换参数将所述目标坐标系下的三维图像锚定到所述视频中的对应位置。

示例性地，所述方法还包括：

接收所述用户的输入；

根据所述输入调整所述目标的三维图像在所述视频中的对应位置。

可以理解，上述体内导航算法中的目标可以对象和/或器械。在以上关于体内导航系统的描述中，已经详细描述了其中各装置的实施方式和功能作用等，本领域技术人员结合以上关于图1至图10的描述能够理解体内导航方法的具体步骤及其优点等，为了简洁，本文不对此进行赘述。

在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。