跟踪系统及利用其的跟踪方法与流程

本发明涉及一种跟踪系统及利用其的跟踪方法，更详细地，涉及一种可跟踪如同手术工具等器具的位置的跟踪系统及利用其的跟踪方法。

背景技术：

由于手术工具需配置在准确的位置来进行手术，因而需要可准确、实时跟踪上述手术工具的位置及姿势的系统，即跟踪系统。这种跟踪系统有利用立体摄像头的光学跟踪器(Optical tracker)。

这种光学跟踪器为可通过立体摄像头拍摄固定于手术工具的标记(marker)来跟踪手术工具的位置及姿势的装置。但是，若固定于手术工具的标记未被立体摄像头拍摄到，即发生遮挡(Occlusion)问题，则将无法继续用上述光学跟踪器跟踪上述手术工具的位置及姿势。

因此，在近期的部分研究中，着力通过另外设置固定于手术工具或标记的惯性测量单元(IMU，Inertial Measurement Unit)来解决如上所述的问题。这种惯性测量单元属于测定并获取手术工具的加速度及角速度的传感装置，可通过所获取的加速度及角速度来跟踪上述手术工具的位置及姿势。因此，即使立体摄像头发生上述遮挡问题，也可通过上述惯性测量单元进行补偿，因而可连续跟踪上述手术工具的位置及姿势。

但是，在上述惯性测量单元测定的加速度包括基于地球重力的重力加速度及基于移动的移动加速度。此时，只有上述移动加速度用于掌握上述手术工具的位置，因而需从由上述惯性测量装置测定的加速度去除上述重力加速度。因此，为了从由上述惯性测量装置测定的加速度中去除上述重力加速度，需对与重力加速度相对应的地球坐标系及与由上述惯性测量单元测定的加速度相对应的光学跟踪器坐标系之间进行补正。

但是，若完成对地球坐标系与光学跟踪器坐标系之间的补正，则不能移动上述光学跟踪器。若上述光学跟踪器被移动，则因上述光学跟踪器的移动而导致光学跟踪器坐标系发生改变，因而需重新进行坐标系补正。这种坐标系重新补正过程不仅繁琐，而且还有可能在手术过程中光学跟踪器的位置意外发生改变的情况下无法认识到需要进行坐标系补正。

技术实现要素：

(解决的技术问题)

因此，本发明用于解决如上所述的问题，本发明所要实现的一目的在于，提供可与光学跟踪器的移动无关地连续跟踪测定对象的位置及姿势的跟踪系统。

并且，本发明的另一目的在于，提供利用上述跟踪系统的跟踪方法。

(技术方案)

本发明的一实施例的跟踪系统包括标记(marker)、摄像头部、第一惯性测定部、第二惯性测定部及跟踪处理部。

上述标记固定于测定对象。上述摄像头部通过拍摄上述标记来输出标记影像。上述第一惯性测定部固定于上述摄像头部，测定并输出将第一加速度及第一角速度包括在内的第一惯性。上述第二惯性测定部固定于上述测定对象及上述标记中的任意一个，测定并输出包括第二加速度及第二角速度在内的第二惯性。上述跟踪处理部通过上述标记影像第一次抽取上述测定对象的位置及姿势，通过上述第一惯性及第二惯性第二次抽取上述测定对象的位置及姿势。

上述跟踪处理部可通过上述第一加速度及第二加速度抽取上述测定对象的位置，可通过上述第一角速度及第二角速度抽取上述测定对象的姿势。

上述跟踪处理部可在利用从上述第一加速度抽取的重力加速度来从上述第二加速度抽取基于上述测定对象的移动的移动加速度之后，通过上述移动加速度抽取上述测定对象的位置。

上述跟踪处理部可在从上述第一加速度抽取上述重力加速度并将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同之后，利用坐标系互相相同的上述第二加速度及上述重力加速度来抽取移动加速度。

接着，本发明的一实施例的跟踪方法包括：摄像头部对固定于测定对象的标记进行拍摄并输出标记影像的步骤；跟踪处理部从上述标记影像第一次抽取上述测定对象的位置及姿势的步骤；固定于上述摄像头部的第一惯性测定部测定并输出将第一加速度及第一角速度包括在内的第一惯性的步骤；固定于上述测定对象及上述标记中的任意一个的第二惯性测定部测定并输出包括第二加速度及第二角速度在内的第二惯性的步骤；以及上述跟踪处理部通过上述第一惯性及第二惯性第二次抽取上述测定对象的位置及姿势的步骤。

第二次抽取上述测定对象的位置及姿势的步骤可包括：通过上述第一加速度及第二加速度抽取上述测定对象的位置的步骤；以及通过上述第一角速度及第二角速度抽取上述测定对象的姿势的步骤。

抽取上述测定对象的位置的步骤可包括：利用从上述第一加速度抽取的重力加速度来从上述第二加速度抽取基于上述测定对象的移动的移动加速度的步骤；以及通过上述移动加速度抽取上述测定对象的位置的步骤。

抽取上述移动加速度的步骤可包括：从上述第一加速度抽取上述重力加速度的步骤；将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同的步骤；以及利用坐标系互相相同的上述第二加速度及上述重力加速度来抽取移动加速度的步骤。

在上述第一惯性测定部存在第一惯性坐标系，在上述第二惯性测定部存在第二惯性坐标系，将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同的步骤可包括：将基于上述第一惯性坐标系的上述重力加速度转换成上述第二惯性坐标系的步骤；以及从上述第二加速度去除被转换成上述第二惯性坐标系的上述重力加速度来抽取上述移动加速度的步骤。

在上述标记中存在标记坐标系，在上述摄像头部中存在摄像头坐标系，将基于上述第一惯性坐标系的上述重力加速度转换成上述第二惯性坐标系的步骤可包括：将基于上述第一惯性坐标系的上述重力加速度转换成上述摄像头坐标系的步骤；将转换成上述摄像头坐标系的上述重力加速度转换成上述标记坐标系的步骤；以及将转换成上述标记坐标系的上述重力加速度转换成上述第二惯性坐标系的步骤。

在上述摄像头部中存在摄像头坐标系，通过上述移动加速度抽取上述测定对象的位置的步骤可包括：将上述移动加速度转换成上述摄像头坐标系的步骤；以及利用被转换成上述摄像头坐标系的上述移动加速度来抽取上述测定对象的位置的步骤。

另一方面，上述第一加速度与上述重力加速度相同，上述第一角速度可以是0。

(发明效果)

根据如上所述的本发明的跟踪系统及利用其的跟踪方法，可通过第一惯性测定部固定于处于静止状态的摄像头部来测定重力加速度，可通过第二惯性测定部固定于标记或测定对象来测定测定对象的加速度及角速度。之后，可通过从上述测定对象的加速度去除上述重力加速度来抽取上述测定对象的移动加速度，可通过上述移动加速度及上述测定对象的角速度来连续跟踪上述测定对象的位置及姿势。

并且，随着上述第一惯性测定部固定于上述摄像头部，即使上述摄像头部发生移动，也可使上述第一惯性测定部的坐标系及上述摄像头部的坐标系之间的转换关系得到一定地维持。最终，可通过省略基于上述摄像头部的移动的上述重力加速度的坐标系补正，来简化跟踪过程。

附图说明

图1为用于说明本发明的一实施例的跟踪系统的概念图。

图2为用于说明本发明的一实施例的跟踪方法的流程图。

图3为用于说明图2中的跟踪方法中的第二次抽取测定对象的位置及姿势的过程的流程图。

图4为用于说明图3中的抽取测定对象的位置及姿势的过程中的抽取测定对象的位置的过程的流程图。

图5为用于说明图2中的跟踪方法中的各个坐标系的关系及转换过程的概念图。

图6为用于说明图4中的抽取测定对象的位置的过程中的坐标系转换过程的流程图。

具体实施方式

可对本发明实施多种变形，并且本发明可具有多种实施方式，附图中示出本发明的特定实施例，并在本文内容中详细说明本发明。

但是，这并不用于将本发明限定于特定的公开形态，而应理解为包括本发明的思想及技术范围内的所有变形、等同物及代替物。第一、第二等术语可用于说明多种结构要素，但上述结构要素并不受上述术语的限制。上述术语仅用于对一个结构要素和其他结构要素进行区分。例如，在不脱离本发明的权利范围的情况下，第一结构要素可被命名为第二结构要素，相似地，第二结构要素也可被命名为第一结构要素。

本申请中所使用的术语仅用于说明特定实施例，并不用于限定本发明。只要未在上下文中明确表现出其他含义，单数的表达包含复数的表达。应理解的是，在本申请中，“包括”、“具有”等术语仅用于指出本说明书中所记载的特征、数字、步骤、动作、结构要素、部件或它们的组合的存在，而不是事先排除一个或一个以上的其他特征、数字、步骤、结构要素、部件或它们的组合的存在或附加可能性。

以下，参照附图，对本发明的优选实施例进行更详细的说明。

图1为用于说明本发明的一实施例的跟踪系统的概念图。

参照图1，本实施例的跟踪系统作为可跟踪测定对象10的位置及姿势的装置，包括标记(marker)100、摄像头部200、第一惯性测定部300、第二惯性测定部400及跟踪处理部500。此时，例如上述测定对象10可以是手术工具。

另一方面，在本实施例中，“上述测定对象10的位置”是指上述测定对象10的任意位置的三维坐标值，“上述测定对象10的姿势”可指上述测定对象10以垂直的虚拟线为基准来在空间上或平面上倾斜的角度。此时，若上述测定对象10不是完整的球形，即上述测定对象10形成向任意一侧长长地延伸的形状，则上述测定对象10以上述垂直的虚拟线为基准来形成倾斜的角度，因而可通过数值来表示“上述测定对象10的姿势”。

上述标记100配置并固定于上述测定对象10的一侧。因此，在上述测定对象10发生移动的情况下，上述标记100可与上述测定对象100一同移动。上述标记100可包括多个位置点，以用于测定上述测定对象10的位置及姿势。例如，如图1所示，上述标记100可包括四个位置点。另一方面，在上述标记100存在以上述标记100为基准来表示三维位置及移动关系的标记坐标系。

上述摄像头部200通过拍摄上述标记100来输出标记影像。上述摄像头部200可配置或固定于单独的放置单元20，以便于拍摄上述标记100。例如，上述摄像头部200可以是可准确测定空间位置及姿势信息的立体摄像头。另一方面，在上述摄像头部200存在以上述摄像头部200为基准来表示三维位置及移动关系的摄像头坐标系。其中，用于表示上述测定对象10的位置及姿势的基准坐标系可以是摄像头坐标系。

上述第一惯性测定部300配置并固定于上述摄像头部200的一侧。在上述第一惯性测定部300存在以上述第一惯性测定部300为基准来表示三维位置及移动关系的第一惯性坐标系。因此，若上述摄像头部200移动，则上述第一惯性测定部300一同移动，若上述摄像头部静止，则上述第一惯性测定部300一同静止，从而可使上述摄像头坐标系与上述第一惯性坐标系之间的转换关系始终恒定。

上述第一惯性测定部300包括可测定包括加速度及角速度在内的惯性的传感器。例如，上述第一惯性测定部300可以是惯性测量单元。因此，上述第一惯性测定部300测定并输出包括第一加速度及第一角速度在内的第一惯性。另一方面，优选地，当测定上述标记100时，上述摄像头部200处于静止状态。若上述摄像头部100处于静止状态，则上述第一加速度与基于地球重力的重力加速度相同，上述第一角速度的值为0。

上述第二惯性测定部400配置并固定于上述测定对象10及上述标记100中的任意一个。在上述第二惯性测定部400存在以上述第二惯性测定部400为基准来表示三维位置及移动关系的第二惯性坐标系。因此，若上述测定对象10移动，则上述标记100及上述第二惯性测定部400一同移动，若上述测定对象10静止，则上述标记100及上述第二惯性测定部400一同静止，从而可使上述标记坐标系与上述第二惯性坐标系之间的转换关系始终恒定。

上述第二惯性测定部400包括可测定包括加速度及角速度在内的惯性的传感器。例如，上述第二惯性测定部400可以是惯性测量单元。因此，上述第二惯性测定部400测定并输出包括第二加速度及第二角速度在内的第二惯性。此时，上述第二惯性是指基于上述测定对象10的移动的物理量。

上述跟踪处理部500可通过有线通信或无线通信方式与上述摄像头部200、上述第一惯性测定部300及上述第二惯性测定部400收发信号。因此，上述跟踪处理部500可从上述摄像头部200接收上述标记影像，可从上述第一惯性测定部300接收上述第一惯性，可从上述第二惯性测定部400接收上述第二惯性。

首先，上述跟踪处理部500可通过分析上述标记影像来第一次抽取上述测定对象10的位置及姿势。例如，可通过从上述标记影像分析上述标记的位置点的位置及大小等来计算上述测定对象10的位置及姿势。此时，上述测定对象10的位置及姿势可根据上述摄像头坐标系来表示。

接着，上述跟踪处理部500可通过上述第一惯性及第二惯性来第二次抽取上述测定对象10的位置及姿势。其中，“第二次抽取上述测定对象10的位置及姿势”可指“仅在无法进行基于上述标记影像的分析的第一次抽取时，对此进行补充而进行抽取”以及“与基于上述标记影像的分析的第一次抽取无关地单独进行抽取”。并且，“无法进行基于上述标记影像的分析的第一次抽取时，对此进行补充而进行抽取”可指“因被任意物体遮挡而无法拍摄上述标记的情况”和“即使获得上述标记影像也无法进行分析的情况”。

另一方面，若对任意物体的加速度进行二重积分，则可计算出上述物体的相对位置，若对上述物体的角速度进行积分，则可计算出上述物体的相对角度，若知道上述物体的初始位置及初始倾斜角度，则可计算出上述物体的位置及姿势。因此，上述跟踪处理部500可通过如上所述的计算方式第二次抽取上述测定对象10的位置及姿势。即，上述跟踪处理部500可通过上述第一加速度及第二加速度抽取上述测定对象10的位置，可通过上述第一角速度及第二角速度抽取上述测定对象10的姿势。

在通过上述第一加速度及第二加速度抽取上述测定对象10的位置的过程中，上述跟踪处理部500在利用从上述第一加速度抽取的上述重力加速度来从上述第二加速度抽取基于上述测定对象10的移动的移动加速度之后，可通过上述移动加速度抽取上述测定对象10的位置。其中，在抽取基于上述测定对象10的移动的移动加速度的过程中，上述跟踪处理部500从上述第一加速度抽取上述重力加速度并将上述第二加速度及上述重力加速度中的一个转换成坐标系互相相同之后，可利用坐标系互相相同的上述第二加速度及上述重力加速度来抽取移动加速度。

以下，对利用如上所述的上述跟踪系统跟踪上述测定对象的位置及姿势的跟踪方法进行详细说明。

图2为用于说明本发明的一实施例的跟踪方法的流程图。

参照图2，在本实施例的跟踪方法中，首先，上述摄像头部200对固定于上述测定对象10的上述标记100进行拍摄并输出上述标记影像(S100)。

之后，上述跟踪处理部500从由上述摄像头部200所提供的上述标记影像第一次抽取上述测定对象10的位置及姿势(S200)。例如，上述跟踪处理部500可从上述标记影像分析上述标记的多个位置点的位置及大小等来计算出上述测定对象10的位置及姿势。此时，上述测定对象10的位置及姿势可根据上述摄像头坐标系来表示。

另一方面，固定于上述摄像头部200的上述第一惯性测定部300测定并输出包括上述第一加速度及上述第一角速度在内的上述第一惯性(S300)。

并且，固定于上述测定对象10及上述标记100中的任意一个的上述第二惯性测定部400测定并输出包括上述第二加速度及上述第二角速度在内的上述第二惯性(S400)。其中，上述步骤S400可在前后顺序上与上述步骤S300无关地单独进行，即，可与上述步骤S300同时进行，也可在上述步骤S300之前或之后进行。

之后，上述跟踪处理部500通过由上述第一惯性测定部300所提供的上述第一惯性及由上述第二惯性测定部400所提供的上述第二惯性来第二次抽取上述测定对象10的位置及姿势(S500)。

在本实施例中，上述步骤S100及步骤S200可在前后顺序上与上述步骤S300、步骤S400及步骤S500无关地互相单独进行。或者，上述步骤S300、步骤S400及步骤S500可仅在无法通过上述步骤S100及步骤S200抽取上述测定对象10的位置及姿势的情况下选择性地执行。

并且，上述步骤S100、步骤S200、步骤S300、步骤S400及步骤S500可均实时连续执行，但也可留有规定时间间隔断续地、间歇性地或周期性地执行。

图3为用于说明图2中的跟踪方法中的第二次抽取测定对象的位置及姿势的过程的流程图。

参照图3，第二次抽取上述测定对象10的位置及姿势的步骤(S500)可包括：通过上述第一加速度及第二加速度抽取上述测定对象10的位置的步骤(S510)；以及通过上述第一角速度及第二角速度抽取上述测定对象10的姿势的步骤(S520)。此时，上述步骤S510及步骤S520能够以与前后顺序无关的方式互相单独执行。

图4为用于说明图3中的抽取测定对象的位置及姿势的过程中的抽取测定对象的位置的过程的流程图，图5为用于说明图2中的跟踪方法中的各个坐标系的关系及转换过程的概念图。

参照图4及图5，在抽取上述测定对象10的位置的步骤(S510)中，首先从上述第一加速度抽取上述重力加速度(S512)。其中，上述第一加速度包括上述重力加速度及基于上述第一惯性测定部300的移动的加速度，若固定有上述第一惯性测定部300的上述摄像头部200处于静止状态，则上述第一加速度将具有实际上与上述重力加速度相同的值。

接着，将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同(S514)。其中，上述第二加速度根据上述第二惯性坐标系来表示，上述重力加速度根据上述第一惯性坐标系来表示。因此，在上述步骤S514中，通过使上述第二加速度从上述第二惯性坐标系转换成上述第一惯性坐标系，来达到坐标系与上述重力加速度相同，或使上述重力加速度从上述第一惯性坐标系转换成上述第二惯性坐标系，来达到坐标系与上述第二加速度相同，可均将上述第二加速度及上述重力加速度转换成任意坐标系，例如，可转换成上述摄像头坐标系来实现坐标系一致。

另一方面，在本实施例中，优选地，在上述步骤S514中的转换中，为了将转换过程的误差最小化，将上述重力加速度从上述第一惯性坐标系转换成上述第二惯性坐标系，来使坐标系与上述第二加速度相同。这是因为，虽然上述第二加速度是随着时间发生变化的值，但从上述第一加速度抽取的上述重力加速度是几乎恒定的值。

接着，利用坐标系互相相同的上述第二加速度及上述重力加速度抽取基于上述测定对象10的移动的移动加速度(S516)。具体地，上述跟踪处理部500可通过从上述第二加速度去除上述重力加速度来计算出上述移动加速度。

接着，通过上述移动加速度抽取上述测定对象10的位置(S518)。其中，上述移动加速度根据通过上述步骤S514对上述第二加速度及上述重力加速度中的至少一个进行坐标转换来使坐标系变得相同的坐标系(以下称为相同坐标系)进行表示，上述测定对象10的位置可根据上述摄像头坐标系表示。

若上述相同坐标系与上述摄像头坐标系不相同，则抽取上述测定对象10的位置的步骤(S518)可包括：将上述移动加速度从上述相同坐标系转换成上述摄像头坐标系的步骤；以及利用转换成上述摄像头坐标系的上述移动加速度来抽取上述测定对象10的位置的步骤。例如，在上述相同坐标系为上述第二惯性坐标系的情况下，首先，上述跟踪处理部500将上述移动加速度转换成上述标记坐标系，之后再转换成上述摄像头坐标系，之后，可通过对上述移动加速度进行二重积分来计算出上述测定对象10的位置。

另一方面，在上述相同坐标系与上述摄像头坐标系相同的情况下，也可在抽取上述测定对象10的位置的步骤(S518)中，以没有坐标转换的方式直接对上述移动加速度进行二重积分，来计算出上述测定对象10的位置。

另一方面，若上述摄像头部200处于静止状态，则上述第一惯性测定部300也处于静止状态，从而上述第一角速度的值为0。因此，在图3所示的上述步骤S520中，可仅利用上述第二角速度来抽取上述测定对象10的姿势。例如，上述跟踪处理部500可通过对上述第二角速度进行积分来计算出上述测定对象10的倾斜角度。

图6为用于说明图4中的抽取测定对象的位置的过程中的坐标系转换过程的流程图。

参照图5及图6，将基于上述第一惯性坐标系的上述重力加速度转换成上述第二惯性坐标系的过程可包括：第一转换过程，将基于上述第一惯性坐标系的上述重力加速度转换成上述摄像头坐标系；第二转换过程，将转换成上述摄像头坐标系的上述重力加速度转换成上述标记坐标系；以及第三转换过程，将转换成上述标记坐标系的上述重力加速度转换成上述第二惯性坐标系。

在本实施例中，由于上述第一惯性测定部300固定于上述摄像头部200，上述第二惯性测定部400固定于上述标记100或上述测定对象，因而，基于上述第一转换过程的转换行列式和基于上述第三转换过程的转换行列式可分别具有恒定值。因此，上述跟踪处理部500可直接使用初期所给的值来执行坐标转换，而无需为了求得基于上述第一转换步骤及第三转换过程的转换行列式而进行计算。

另一方面，若上述测定对象10在借助上述摄像头部100进行拍摄时发生移动，则上述标记坐标系也发生改变，因此，基于上述第二转换过程的转换行列式也有可能发生改变。因此，上述跟踪处理部500需在执行转换成上述重力加速度的上述第二惯性坐标系之前首先计算出基于上述第二转换过程的转换行列式。

根据如上所述的本发明的实施例，可通过上述第一惯性测定部300固定于处于静止状态的上述摄像头部200来测定上述重力加速度，可通过上述第二惯性测定部400固定于上述标记100或上述测定对象10来测定上述测定对象10的加速度及角速度。之后，可通过从上述测定对象10的加速度去除上述重力加速度来抽取上述测定对象10的移动加速度，可通过上述移动加速度及上述测定对象的角速度来跟踪上述测定对象10的位置及姿势。

并且，随着上述第一惯性测定部300固定于上述摄像头部200，即使上述摄像头部200在拍摄过程中移动，也可使上述第一惯性坐标系与上述摄像头坐标系之间的转换关系得到一定地维持。最终，可通过省略基于上述摄像头部200的移动的上述重力加速度的坐标系补正，来简化跟踪过程。

以上，在本发明的详细说明中参照本发明的优选实施例进行了说明，但只要是本发明所属技术领域的熟练技术人员或本发明所属技术领域的普通技术人员就可以理解，可在不脱离后述的专利权利要求书中所记载的本发明的思想及技术领域的范围内对本发明进行多种修改及变更。

(附图标记的说明)

100：标记 200：摄像头部

300：第一惯性测定部 400：第二惯性测定部

500：跟踪处理部 10：测定对象

20：放置单元