一种基于增强现实的手术导航图像显示方法和系统与流程

本发明涉及增强现实技术领域，具体涉及一种基于增强现实的手术导航图像显示方法和系统。

背景技术：

在现代手术中，通过核磁共振等方法生成的医学图像能够将病灶与健康组织区分出来，在此基础上，利用跟踪技术对手术工具进行跟踪并将跟踪信息与医学图像进行结合，可以生成动态实时的手术导航图像。手术导航图像能够引导医生在手术中实时调整手术工具的位置达到切除病灶的目的，使用增强现实显示方法可以将手术导航图像直接显示在医生的视场中。

现有主要采用光学跟踪系统对手术工具进行实时跟踪，而在光学跟踪系统中，由于与世界坐标系相对应的参考标志板保持不动，在手术中仍难以避免安装在医生头部的摄像头与固定在病人身体上的参考标志板间的遮挡问题，从而未能准确获取手术工具的位置信息和姿态信息，进而不能将手术导航图像准确地反馈给用户。

技术实现要素：

本发明的目的在于提供一种基于增强现实的手术导航图像显示方法和系统，其可以在遮挡的情况下，准确获取手术工具的位置信息和姿态信息，进而将手术导航图像准确地反馈给用户。

为解决上述问题，本发明实施例提供一种基于增强现实的手术导航图像显示方法，包括：

判断标志物上的标志点是否被遮挡；

若所述标志物上的标志点被遮挡，则执行以下步骤：

获取所述标志物当前时刻的角速度、加速度和磁场的测量值，并根据所述标志物当前时刻的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵；

获取所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移；

基于预设算法模型对所述标志物当前时刻的姿态旋转矩阵、所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标；

根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻所述目标物的位置信息；

将所述姿态信息与所述位置信息作为所述目标物的位姿追踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

同样地，为解决上述问题，本发明实施例还提供一种基于增强现实的手术导航图像显示系统，包括：

判断装置，用于判断标志物上的标志点是否被遮挡；

第一获取装置，用于在所述标志物上的标志点被遮挡时，获取所述标志物当前时刻的角速度、加速度和磁场的测量值，并根据所述标志物当前时刻的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵；

第二获取装置，用于获取所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移；

第一处理装置，用于基于预设算法模型对所述志物当前时刻的姿态旋转矩阵、所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标；

第二处理装置，用于根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻所述目标物的位置信息；

第一融合装置，用于将所述姿态信息与所述位置信息作为所述目标物的位姿追踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

相交于现有技术，本发明实施例在标志物上的标志点被遮挡时，采用预设算法模型对标志物当前时刻的姿态旋转矩阵、标志物上的标志点的三维空间坐标以及标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标；进而根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻目标物的位置信息；最后将姿态信息与位置信息作为目标物的位姿追踪结果，并将位姿追踪结果与真实场景进行结合，生成手术导航图像。该方案提升了手术导航图像中手术工具在真实场景中的位置的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于增强现实的手术导航图像显示方法的第一流程示意图；

图2为本发明实施例提供的一种基于增强现实的手术导航图像显示方法的显示状态示意图；

图3为本发明实施例提供的一种基于增强现实的手术导航图像显示方法的第二流程示意图；

图4为本发明实施例提供的一种基于增强现实的手术导航图像显示系统的第一结构示意图；

图5为本发明实施例提供的一种基于增强现实的手术导航图像显示系统的第二结构示意图；

图6是本发明实施例提供的基于增强现实的手术导航图像显示服务器的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例提供一种基于增强现实的手术导航图像显示方法和系统。以下将分别进行说明。

请参阅图1，图1为本发明实施例提供的一种基于增强现实的手术导航图像显示方法的第一流程示意图。所述方法包括步骤s101、步骤s102、步骤s103、步骤s104、步骤s105、步骤s106、s107和步骤s108。

具体的，基于增强现实的手术导航图像显示方法包括步骤s101：判断标志物上的标志点是否被遮挡；若所述标志物上的标志点被遮挡，则执行步骤s102、步骤s103、步骤s104、步骤s105和步骤s106；若所述标志物上的标志点未被遮挡，则执行步骤s107和步骤s108。

基于增强现实的手术导航图像显示方法包括步骤s102：获取所述标志物当前时刻的角速度、加速度和磁场的测量值，并根据所述标志物当前时刻的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵。

基于增强现实的手术导航图像显示方法包括步骤s103：获取所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移。

基于增强现实的手术导航图像显示方法包括步骤s104：基于预设算法模型对所述标志物当前时刻的姿态旋转矩阵、所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标。

基于增强现实的手术导航图像显示方法包括步骤s105：根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻所述目标物的位置信息。

基于增强现实的手术导航图像显示方法包括步骤s106：将所述姿态信息与所述位置信息作为所述目标物的位姿追踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

基于增强现实的手术导航图像显示方法包括步骤s107：直接获取当前时刻目标物的位置信息和姿态信息。

基于增强现实的手术导航图像显示方法包括步骤s108：将所述位姿信息和所述姿态信息作为目标物的位姿跟踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

请参阅图2，图2为本发明实施例提供的一种基于增强现实的手术导航图像显示方法的显示状态示意图。如图2所示，本发明实施例以手术中对手术工具a(目标物)进行长时间位姿追踪为例进行说明，手术过程中，需要对手术工具a相对于病灶部分b的位置进行实时的精确计算，以便引导手术顺利进行。光学跟踪系统通过手术工具a上设置的标志物(图中未标示)对手术工具a进行位姿跟踪，并将该位姿跟踪结果c在真实场景中显示。但在手术过程中，经常出现标志物被遮挡的情况，当标志物上只有两个或一个标志点未被遮挡，则会导致光学跟踪系统只能利用标志物获得位置信息，却无法获得姿态信息。

在步骤s101中，判断标志物上的标志点是否被遮挡，具体的，所述判断标志物上的标志点是否被遮挡的步骤，包括：通过摄像头实时采集图像，并确定所述图像中标志物上的标志点的数量是否大于预设阈值；若所述标志物上的标志点的数量大于预设阈值，则所述标志物上的标志点未被遮挡；若所述标志物上的标志点的数量小于预设阈值，则所述标志物上的标志点被遮挡。本优选实施例中的预设阈值可根据实际需要设置成3，即当标志物上的标志点有3个或3个以上可见时，则可判定标志物上的标志点未被遮挡，该基于增强现实的手术导航图像显示方法执行步骤s102至步骤s106；当标志物上的标志点只有一个或两个可见时，则可判定标志物上的标志点被遮挡，该基于增强现实的手术导航图像显示方法执行步骤s107至步骤s108。

在步骤s102中，获取所述标志物当前时刻的角速度、加速度和磁场的测量值，并根据所述标志物当前时刻的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵。具体的，可采用加速度计、磁传感器和陀螺仪组成的惯性跟踪系统获得所述标志物当前时刻的角速度、加速度和磁场的测量值，进而采用卡尔曼滤波器获得当前时刻标志物的俯仰角θ、横滚角γ和航向角ψ，最终得到当前时刻标志物的姿态旋转矩阵rn：

在步骤s103中，获取所述标志物上的标志点的三维空间坐标xn、yn和zn以及所述标志点与初始定义的原点之间的三维空间位移δxn、δyn和δzn。具体的，在光学跟踪系统进行初始化标定时，定义了标志物原点位置与各个标志点之间的三维空间位移，本优选实施例通过光学跟踪系统可获取该标志点的三维空间坐标xn、yn和zn，并通过该标志点的三维空间坐标xn、yn和zn获得该标志点与初始定义的原点之间的三维空间位移δxn、δyn和δzn。

在步骤s104中，基于预设算法模型对所述标志物当前时刻的姿态旋转矩阵、所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻原点的三维空间坐标xo、yo和zo，其中，当前时刻标志物的姿态旋转矩阵与标志点与初始定义的原点之间的三维空间位移的乘积即为当前时刻原点在全局坐标系中的空间位移，再用标志点的三维空间坐标减去该全局坐标系中的空间位移，则得到原点在全局坐标系中的坐标xo、yo和zo：

在步骤s105中，根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻所述目标物的位置信息。

在步骤s106中，将所述姿态信息与所述位置信息作为所述目标物的位姿追踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

在步骤s107中，直接获取当前时刻目标物的位置信息和姿态信息。

在步骤s108中，将所述位姿信息和所述姿态信息作为目标物的位姿跟踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

另外，请参阅图3，图3为本发明实施例提供的一种基于增强现实的手术导航图像显示方法的第二流程示意图。如图3所示，所述方法还包括步骤s109，步骤s110和步骤s111。

具体的，基于增强现实的手术导航图像显示方法包括步骤s109：对所述标志物上的标志点未被遮挡时获取的当前时刻目标物的姿态信息进行处理，以得到理想的角速度、加速度和磁场的测量值。

基于增强现实的手术导航图像显示方法包括步骤s110：在所述标志物上的标志点被遮挡时，将所述标志物当前时刻的角速度、加速度和磁场的测量值与所述理想的角速度、加速度和磁场的测量值进行比对，以获得对应的误差值。

基于增强现实的手术导航图像显示方法包括步骤s111：采用所述对应的误差值对所述志物当前时刻的角速度、加速度和磁场的测量值进行补偿，并根据所述补偿后的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵。

例如，光学跟踪系统进行位姿跟踪的同时，采用陀螺仪、加速度计和磁传感器分别对标志物的角速度、加速度和磁场进行测量；然后根据光学跟踪系统获得的姿态信息，使用余弦算法计算出标志物当前位姿对应的角速度、加速度和磁场，由于光学跟踪系统的精确度更高，因此由光学跟踪系统的姿态信息解算的角速度、加速度和磁场值较惯性系统的测量值具有更高的精确度，因此，可用，将光学跟踪系统的姿态信息解算的角速度、加速度和磁场值分别与陀螺仪、加速度计以及磁传感器的测量值进行比对，获得陀螺仪、加速度计以及磁传感器的偏置误差；

在采用惯性跟踪系统获得标志物的的角速度、加速度和磁场的测量值后，采用偏置误差分别对该三个测量值进行补偿，再根据补偿后的角速度、加速度和磁场，分别得到标志物的姿态信息和旋转矩阵，如此，在光学跟踪系统的姿态跟踪失效不得已采用惯性跟踪系统时，可提高惯性跟踪系统的跟踪精度。

需要说明的是，当所述标志物上的标志点被遮挡，且有两个标志点未被遮挡时，分别基于各标志点的位置信息得到当前时刻原点的位置信息并求均值，以得到当前时刻目标物的位置信息。

本发明实施例的基于增强现实的手术导航图像显示方法在标志物上的标志点被遮挡时，采用预设算法模型对标志物当前时刻的姿态旋转矩阵、标志物上的标志点的三维空间坐标以及标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标；进而根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻目标物的位置信息；最后将姿态信息与位置信息作为目标物的位姿追踪结果，并将位姿追踪结果与真实场景进行结合，生成手术导航图像，提升了手术导航图像中手术工具在真实场景中的位置的准确性。

请参阅图4，图4为本发明实施例提供的一种基于增强现实的手术导航图像显示系统的第一结构示意图。如图4所示，该基于增强现实的手术导航图像显示系统包括：判断装置401、第一获取装置402、第二获取装置403、第一处理装置404、第二处理装置405、第一融合装置406、第三获取装置407和第二融合装置408。

其中，判断装置401用于判断标志物上的标志点是否被遮挡。

其中，第一获取装置402用于在所述标志物上的标志点被遮挡时，获取所述标志物当前时刻的角速度、加速度和磁场的测量值，并根据所述标志物当前时刻的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵。

其中，第二获取装置403用于获取所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移。

其中，第一处理装置404用于基于预设算法模型对所述志物当前时刻的姿态旋转矩阵、所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标。

其中，第二处理装置405用于根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻所述目标物的位置信息。

其中，第一融合装置406用于将所述姿态信息与所述位置信息作为所述目标物的位姿追踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

其中，第三获取装置407用于在所述标志物上的标志点未被遮挡时，直接获取当前时刻目标物的位置信息和姿态信息。

其中，第二融合装置408用于将所述位姿信息和所述姿态信息作为目标物的位姿跟踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

进一步的，该判断装置401倍具体配置为：通过摄像头实时采集图像，并确定所述图像中标志物上的标志点的数量是否大于预设阈值；若所述标志物上的标志点的数量大于预设阈值，则所述标志物上的标志点未被遮挡；若所述标志物上的标志点的数量小于预设阈值，则所述标志物上的标志点被遮挡。

另外，请参阅图5，图5为本发明实施例提供的一种基于增强现实的手术导航图像显示系统的第二结构示意图。如图3所示，所述系统还包括第三处理装置409、比对装置410和补偿装置411。

其中，第三处理装置409用于对所述标志物上的标志点未被遮挡时获取的当前时刻目标物的姿态信息进行处理，以得到理想的角速度、加速度和磁场的测量值。

其中，比对装置410比对装置用于在所述标志物上的标志点被遮挡时，将所述标志物当前时刻的角速度、加速度和磁场的测量值与所述理想的角速度、加速度和磁场的测量值进行比对，以获得对应的误差值。

其中，补偿装置411用于采用所述对应的误差值对所述志物当前时刻的角速度、加速度和磁场的测量值进行补偿，并根据所述补偿后的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵。

需要说明的是，当所述标志物上的标志点被遮挡，且有两个标志点未被遮挡时，分别基于各标志点的位置信息得到当前时刻原点的位置信息并求均值，以得到当前时刻目标物的位置信息。

本发明实施例的基于增强现实的手术导航图像显示系统在标志物上的标志点被遮挡时，采用预设算法模型对标志物当前时刻的姿态旋转矩阵、标志物上的标志点的三维空间坐标以及标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标；进而根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻目标物的位置信息；最后将姿态信息与位置信息作为目标物的位姿追踪结果，并将位姿追踪结果与真实场景进行结合，生成手术导航图像，提升了手术导航图像中手术工具在真实场景中的位置的准确性。

本发明实施例还提供一种基于增强现实的手术导航图像显示服务器，如图6所示，该基于增强现实的手术导航图像显示服务器可以包括射频(rf，radiofrequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(wifi，wirelessfidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图6中示出的基于增强现实的手术导航图像显示服务器结构并不构成对虚拟信息显示服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

rf电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，rf电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim，subscriberidentitymodule)卡、收发信机、耦合器、低噪声放大器(lna，lownoiseamplifier)、双工器等。此外，rf电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(gsm，globalsystemofmobilecommunication)、通用分组无线服务(gprs，generalpacketradioservice)、码分多址(cdma，codedivisionmultipleaccess)、宽带码分多址(wcdma，widebandcodedivisionmultipleaccess)、长期演进(lte，longtermevolution)、电子邮件、短消息服务(sms，shortmessagingservice)等。

存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如虚拟信息的显示)等；存储数据区可存储根据虚拟信息显示服务器的使用所创建的数据(比如模板、以及模板对应的虚拟信息)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。

输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器(lcd，liquidcrystaldisplay)、有机发光二极管(oled，organiclight-emittingdiode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

基于增强现实的手术导航图像显示服务器还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在虚拟信息显示服务器移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经rf电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与终端的通信。

wifi属于短距离无线传输技术，终端通过wifi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了wifi模块607，但是可以理解的是，其并不属于虚拟信息显示服务器的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器608是终端的控制中心，利用各种接口和线路连接整个虚拟信息显示服务器的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行虚拟信息显示服务器的各种功能和处理数据，从而对基于增强现实的手术导航图像显示服务器进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。

基于增强现实的手术导航图像显示服务器还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，基于增强现实的手术导航图像显示服务器还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，基于增强现实的手术导航图像显示服务器中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能：

判断标志物上的标志点是否被遮挡；若所述标志物上的标志点被遮挡，则执行以下步骤：

获取所述标志物当前时刻的角速度、加速度和磁场的测量值，并根据所述标志物当前时刻的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵；

获取所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移；

基于预设算法模型对所述标志物当前时刻的姿态旋转矩阵、所述标志物上的标志点的三维空间坐标以及所述标志点与初始定义的原点之间的三维空间位移进行处理，以得到当前时刻的原点的三维空间坐标；

根据目标物与初始定义的原点之间的位置关系以及当前时刻的原点的三维空间坐标，得到当前时刻所述目标物的位置信息；

将所述姿态信息与所述位置信息作为所述目标物的位姿追踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

优选的，所述处理器608还可以用于，通过摄像头实时采集图像，并确定所述图像中标志物上的标志点的数量是否大于预设阈值；若所述标志物上的标志点的数量大于预设阈值，则所述标志物上的标志点未被遮挡；若所述标志物上的标志点的数量小于预设阈值，则所述标志物上的标志点被遮挡。

优选的，所述处理器608还可以用于，若所述标志物上的标志点未被遮挡，则执行以下步骤：直接获取当前时刻目标物的位置信息和姿态信息；将所述位姿信息和所述姿态信息作为目标物的位姿跟踪结果，并将所述位姿追踪结果与真实场景进行结合，以生成手术导航图像。

优选的，所述处理器608还可以用于，对所述标志物上的标志点未被遮挡时获取的当前时刻目标物的姿态信息进行处理，以得到理想的角速度、加速度和磁场的测量值；在所述标志物上的标志点被遮挡时，将所述标志物当前时刻的角速度、加速度和磁场的测量值与所述理想的角速度、加速度和磁场的测量值进行比对，以获得对应的误差值；采用所述对应的误差值对所述志物当前时刻的角速度、加速度和磁场的测量值进行补偿，并根据所述补偿后的角速度、加速度和磁场的测量值生成表征所述标志物的姿态信息的俯仰角、横滚角和航向角，以及所述标志物当前时刻的姿态旋转矩阵。

优选的，所述处理器608还可以用于，当所述标志物上的标志点被遮挡，且有两个标志点未被遮挡时，分别基于各标志点的位置信息得到当前时刻原点的位置信息并求均值，以得到当前时刻目标物的位置信息。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对信息分享方法的详细描述，此处不再赘述。

需要说明的是，对本发明基于增强现实的手术导航图像显示方法而言，本领域普通测试人员可以理解实现本发明实施例所述教学方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在虚拟信息显示服务器的存储器中，并被该虚拟信息显示服务器内的至少一个处理器执行，在执行过程中可包括如所述显示方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)等。

对本发明实施例的基于增强现实的手术导航图像显示系统而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本发明实施例所提供的一种基于增强现实的手术导航图像显示方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。