基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统的制作方法

本发明涉及图像处理领域，确切地说是涉及基于实时跟踪和自适应动态立体增强现实作业导航系统，为精确作业提供高质、高效的手段。

背景技术：

传统的作业导航利用工作站在二维显示屏上显示三维作业场景，缺乏景深信息、实时影像信息及便利的人机交互能力，作业用户需要通过想象建立三维作业场景，难以对作业器械进行灵活有效的控制，不利于精确高效作业。

技术实现要素：

本发明提供一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示生成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可使得作业高质量、高效率完成。

本发明采取了以下的技术方案：一种基于实时跟踪和多源信息融合的自适应动态立体增强现实作业导航系统，由头部姿态跟踪单元、实时成像单元、作业器械、作业器械跟踪定位单元、图形工作站和显示器构成。所述头部姿态跟踪单元由多目摄像机、立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态；所述多目摄像机由一对或多对摄像机组成，用来获取头部姿态变化数据；所述立体眼镜携带3个或3个以上的标志点，用于立体场景观察及头部姿态跟踪；所述实时成像单元由成像传感器、图像采集与处理模块组成，用于获取作业对象的实时影像；所述作业器械携带成像传感器和位姿传感器；所述作业器械跟踪定位单元，由位姿传感器、数据采集与处理模块组成，用于实时跟踪作业器械并获取其空间坐标。

所述头部姿态跟踪单元由多目摄像机、携带标志点的立体眼镜及头部姿态信号采集与处理模块组成，用于跟踪作业用户的头部姿态。立体眼镜携带3个或3个以上的标志点；多目摄像机由一对或多对摄像机组成，多目摄像机安装于显示器上，用来跟踪立体眼镜上的标志点；头部姿态信号采集和处理模块对多目摄像机跟踪立体眼镜上标志点获得的信息进行分析和处理，获得作业用户的头部姿态。

所述立体眼镜携带3个或3个以上的标志点，作业用户利用它观察显示屏上的左右眼视差图像，从而在人脑中形成具有景深的作业立体场景；同时，立体眼镜携带的标志点也被用于头部姿态的实时跟踪。

所述实时成像单元由成像传感器、图像采集与处理模块组成，它通过成像传感器采集作业器械当前位姿处的实时影像信号，经处理后生成实时影像并保存于图形工作站。

所述作业器械携带有成像传感器和位姿传感器，用于作业、实时影像信息及位姿信息获取。

所述作业器械跟踪定位单元由位姿传感器、定位单元信号采集与处理模块组成，它通过位姿传感器采集作业器械及成像传感器的位姿信号，经处理后得到作业器械及成像传感器的位姿信息，并保存于图形工作站；作业前，通过标定操作获得作业前作业对象成像坐标系与作业器械跟踪定位坐标系之间的空间变换矩阵T₁。

所述图形工作站通过对多源信息(作业前影像及其三维模型、作业规划路径、作业姿态、实时影像、实际作业路径等)进行融合，利用虚拟摄像机产生左右眼视差图像并显示在显示屏上，作业用户利用立体眼睛观察显示屏，从而在人脑中形成具有景深的作业立体场景，并根据作业规划及观察到的实时作业场景对作业器械进行实时调整和控制。作业前，根据作业对象的几何结构或者断层成像数据，利用图形工作站进行三维建模及作业路径规划，并建立虚拟摄像机，对作业对象三维模型、作业规划路径进行融合生成左右眼视差图像；作业中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取作业路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前作业路径周边的关键信息，为后继作业提供数据；图形工作站根据上述位姿信息及变换矩阵T₁进行计算形成实际作业路径，将实时影像、作业规划路径、实际作业路径、作业前作业对象影像及其三维模型进行融合，利用虚拟摄像机生成左右眼视差图像。

与现有技术相比，本发明具有如下有益效果：

本发明通过作业用户头部姿态实时跟踪、实时成像、实时作业器械位姿跟踪及立体显示形成立体增强现实场景并进行自适应动态调整，使作业用户可从不同视角便捷地观察实时作业立体场景，提高了肉眼对不可见作业场景的认知能力，使得作业器械灵活易控，可有效提高作业质量与效率。

附图说明

图1为实时跟踪自适应动态立体增强现实导航系统原理图

具体实施方式

下面结合图1说明采用本发明的系统实施作业导航的实例。

实施例1：微创脊柱外科手术

(1)在患者病变周边布置多个标志点，标志点数目n不少于3个；然后对患者进行断层成像，利用图形工作站对断层图像进行处理获取所有标记点在成像系统中的坐标P＝[P₁，P₂，...，P_n]^T以及脊柱、血管、神经等组织的三维模型，并进行手术路径规划，手术路径应尽可能避开重要组织或器官；

(2)将患者置于手术床上，利用作业器械跟踪定位单元获取忠者体部布置的所有标记点在定位坐标系统中的坐标P’＝[P₁’，P₂’，...，P_n’]^T；

(3)根据患者体部布置的标记点在成像系统和作业器械跟踪定位坐标系统中的坐标P和P’，利用如下公式(1)进行坐标变换计算，获取作业器械跟踪定位坐标系与成像坐标系之间的坐标变换矩阵T₁；

P＝T₁ P’ (1)

(4)利用图形工作站建立虚拟摄像机，对术前患者影像及其三维模型及手术计划路径进行融合生成左右眼视差图像；启动头部姿态跟踪单元，手术医生戴上立体眼睛观察具有景深的虚拟现实立体场景，对手术计划进行评估和调整；头部姿态跟踪单元跟踪立体眼睛上的标志点获得头部姿态参数，传送给图形工作站，图形工作站根据该头部姿态参数对虚拟场景进行坐标变换，使手术医生可从不同姿态便捷地观察具有景深的虚拟立体手术场景。

(5)启动作业器械跟踪定位单元、实时成像单元、头部姿态跟踪单元，手术医生戴上立体眼睛开始手术，将作业器械按照手术计划路径逐步置入患者体内，抵达病变位置后进行病变手术作业。在作业过程中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像单元获取手术路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，获取当前手术路径周边的关键信息，为后继作业提供支持；图形工作站根据上述位姿信息及变换矩阵T₁进行计算形成实际作业路径，并对实时影像、作业前作业对象影像及其三维模型、手术计划路径、实际作业路径进行融合，利用虚拟摄像机生成左右眼视差图像；手术医生利用立体眼睛实时观察具有景深的立体增强现实手术场景及实时影像的处理分析结果，对手术过程进行控制和调整，避开重要器官，提高手术精度；头部姿态跟踪单元实时跟踪手术医生的头部姿态，图形工作站根据头部姿态参数对虚拟场景进行调整，使得手术医生可从不同姿态随时观察具有景深的虚拟立体场景，避免对重要组织的损伤，提高手术质量和效率。

实施例2：发动机缺陷检测

(1)根据发动机的机械结构，建立检测坐标系统及其三维模型，确定其表面n个角点在该坐标系下的坐标P＝[P₁，P₂，...，P_n]^T，n不小于3，并对缺陷检测路径进行规划；

(2)利用作业器械跟踪定位单元获取上述发动机表面n个角点在定位坐标系统中的坐标P’＝[P₁’，P₂’，...，P_n’]^T；

(3)根据检测坐标系和作业器械跟踪定位坐标系统中的坐标P和P’，利用上述公式(1)进行坐标变换计算，获取作业器械跟踪定位坐标系与成像坐标系之间的坐标变换矩阵T₁；

(4)利用图形工作站建立虚拟摄像机，对发动机三维模型及缺陷检测规划路径进行融合生成左右眼视差图像；启动头部姿态跟踪系统，手术医生戴上立体眼睛观察具有景深的虚拟现实立体场景，对缺陷检测路径进行评估和调整；头部姿态跟踪系统跟踪立体眼睛上的标志点获得头部姿态参数并传送给图形工作站，图形工作站根据该头部姿态参数对虚拟场景进行坐标变换，作业者可从不同姿态便捷地观察具有景深的虚拟立体检测场景。

(5)启动作业器械跟踪定位单元、实时成像单元、头部姿态跟踪单元，作业者戴上立体眼睛开始进行缺陷检测，将作业器械按照缺陷检测规划路径逐步置入发动机内。在作业过程中，作业器械跟踪定位单元获取作业器械及成像传感器在定位坐标系中的实时位姿；实时成像系统获取检测路径上的实时影像，实时影像被传送到图形工作站进行处理和分析，提取图像特征，判断当前检测路径周边发动机是否存在可疑缺陷；图形工作站根据上述位姿信息及变换矩阵T₁进行计算形成实际作业路径，并对实时影像、作业前作业对象影像及其三维模型、手术计划路径、实际作业路径进行融合，利用虚拟摄像机生成左右眼视差图像；作业者利用立体眼睛观察具有景深的立体增强现实缺陷检测场景及实时影像的处理分析结果，对缺陷检测作业过程进行控制和调整，对可疑缺陷区域，进行仔细检查和分析，及时获取缺陷的位置、种类及定量定性参数；头部姿态跟踪系统实时跟踪作业者的头部姿态，图形工作站根据头部姿态参数对虚拟场景进行调整，使得作业者可从不同姿态随时观察具有景深的虚拟立体场景，可有效提高缺陷检测水平和效率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。