一种基于AR设备的信息同步方法及系统与流程

本发明涉及航空技术领域，特别涉及一种基于AR设备的信息同步方法及系统。

背景技术：

SVS系统通过对飞机外部的地形、障碍物以及跑道等环境的模拟，在低能见度环境下为飞行员提供情形认识与飞行辅助。

但是在实现本发明的过程中，发明人发现现有的合成视景系统SVS至少存在如下问题：

合成视景系统SVS的呈现信息缺少飞行指引信息提示(例如：机场位置提示、剩余跑道距离提示、擦机尾提示、低能见度引导起飞，III类进近偏差)，没有在降落过程中提供给飞行员,因此现阶段合成视景系统SVS在提高飞行员态势感知能力、辅助着陆方面发挥的作用并不大。实用效能的缺失，导致FAA和CAAC都尚未启动针对合成视景系统SVS降低起飞和降落的最低天气标准的特殊批准程序；同时在目前的民机系统中，合成视景系统SVS显示输出只能呈现在下视显示器上，其显示方式与位置忽视了人体观察习惯，尤其忽视了在飞机进行高速贴地/近地运动时观察重心转换对于飞行员有效操作的影响。总结来说，显示位置位于下视显示器的合成视景系统SVS具有两个主要问题：基于下视显示器的布局位置，其无法在目视飞行状态下为飞行员提供持续的飞行辅助，这无法满足民航安全条例中关于着陆目视飞行条件的相关规定；同样是由于下视显示器的空间布局，使得其无法满足合成视景系统SVS所追求的“所见即所得”标准，可能存在并难以纠正虚拟图景与机外环境的“脱扣”情况，进而可能造成安全隐患。

平视导视系统HGS是在平视显示器上进行飞行数据、指引信息、辅助信息的显示，并且可以和外部视景叠加，增强飞行员情景意识，但是在实现本发明的过程中，发明人发现平视导视系统HGS至少存在如下问题：平视导视系统不具备三维重构与实时地形视景的生成能力，当遭遇恶劣天气时，难以为飞行员提供更好的情景意识。

以飞行头盔形式存在的军用增强现实设备利用其搭载的HMD为飞行员提供实时的全视角战场环境告知与飞行辅助信息显示，但是在实现本发明的过程中，发明人发现至少存在如下问题：

由于功能差异，其系统重点在于与导航系统、雷达系统与火控系统的协调搭配，不会/几乎不会存储巨量的地面场景、障碍物和跑道等信息，同时其功能上并不具有合成视景系统SVS的三维重构与图像合成能力，仅能作为技术手段参考项

因此，在技术和经济性可达的情况下，应为飞行员提供全视场的合成视景信息与飞行指引信息，以实现在低可见度环境下的目视参考飞行。

技术实现要素：

本发明实施例的目的是提供一种基于AR设备的信息同步方法及系统，综合SVS系统和头戴式AR设备的各自优势，同时参考HGS中关于飞行指引的相关功能，将主飞行数据、导航数据、飞行指引数据、起飞降落辅助决策数据通过符合设计和画面布局形成指引画面与三维地形模拟、障碍物模拟、跑道模拟生成的仿真画面重合叠加，结合AR眼镜使得飞行员得以以任意观察角度获取全方位的机外场景信息与飞行指引信息；在低能见度情况下，以大幅度增强飞行员情景意识和态势感知能力。

根据本发明实施例的一个方面，本发明的实施例提供了一种基于AR设备的信息同步方法，应用于机载计算机系统，包括：

实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；

基于预定定位方式，确定AR设备在T_n-1时间点时在驾驶舱中的相对位姿；

基于所述T_n-1时间点的上一时间点T_n-2对应的视景虚拟模型画面在AR设备上的显示时间点T_d，获取传输延时T_d-T_n-2；

基于所述传输延时T_d-T_n-2、AR设备在时间点T_k至时间点T_n-1这一时间段T_kT_n-1相对于飞行设备的相对加速度和相对角速度及AR设备在T_n-1时间点时在驾驶舱中的相对位姿，构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在T_n时间点时在驾驶舱中的相对位姿；

基于AR设备在T_n时间点时在驾驶舱中的相对位姿，确定AR设备在T_n时间点时的视角方向；

基于AR设备在T_n时间点时的视角方向，从T_n时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；

将所述预测视景虚拟模型画面同步至AR设备以显示。

优选地,在所述构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在T_n时间点时在驾驶舱中的相对位姿的步骤之前，所述方法还包括：

获取AR设备在时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息；

基于获取的AR设备在时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1，相对于飞行设备的相对加速度信息和相对角速度信息。

优选地,所述基于预定定位方式，确定AR设备在T_n-1时间点时，在驾驶舱中的相对位姿的步骤包括：

确定AR设备在驾驶舱中的初始位姿；

获取所述AR设备在初始位姿下采集的初始图像；

获取AR设备在采样时间点C_n时采集的样本图像；

判断是否存在一个采样时间点C_n与T_n-1时间点重合；

若存在，则基于所述初始图像和图像匹配定位算法，获取所述T_n-1时间点的样本图像相对于所述初始图像的位姿信息；

基于AR设备在驾驶舱中的初始位姿和T_n-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在T_n-1时间点时在驾驶舱中的相对位姿。

优选地,所述方法还包括：

若不存在一个采样时间点C_n与T_n-1时间点重合，则基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1的相对加速度和相对角速度；

基于AR设备在时间段T_kT_n-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T₀时间点至T_n-1时间点的时间间隔，利用惯性导航方法计算AR设备在T_n-1时间点时在驾驶舱中的相对位姿，其中，T₀时间点为所述初始位姿对应的初始时间点，T₀＜T_k＜T_n-1。

优选地,所述方法还包括：

若不存在一个采样时间点C_n与T_n-1时间点重合，则获取图像采集模块在T_n-1时间点之前的采样时间点C_n采集的样本图像；

基于所述初始图像和图像匹配定位算法，获取所述采样时间点C_n的样本图像相对于所述初始图像的位姿信息；

基于AR设备在驾驶舱中的初始位姿和采样时间点C_n的样本图像相对于所述初始图像的位姿信息，确定在采样时间点C_n时AR设备在驾驶舱中的相对位姿；

基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1的相对加速度和相对角速度；

基于AR设备在时间段T_kT_n-1的相对加速度和相对角速度、所述AR设备在该采样时间点C_n时在驾驶舱中的相对位姿，以及该采样时间点C_n至T_n-1时间点的时间间隔，利用惯性导航定位计算AR设备在T_n-1时间点时在驾驶舱中的相对位姿。

优选地,所述获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面包括:

基于与驾驶舱相对应的驾驶舱三维模型、T_n时间点时的全角度视景虚拟模型画面及投影定理，获取T_n时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。

优选地,所述确定AR设备在驾驶舱中的初始位姿的方法包括：

获取预估初始位姿下AR设备采集的预估图像；

获取AR设备采集的实际的初始图像；

基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；

基于AR设备在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备在驾驶舱中实际的初始位姿。

根据本发明实施例的另一个方面，本发明的实施例提供了一种机载计算机系统，包括：

图像生成模块，用于实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；

定位模块，用于基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；和，

用于基于所述T_n-1时间点的上一时间点T_n-2对应的视景虚拟模型画面在AR设备上的显示时间点T_d，获取传输延时T_d-T_n-2；和，

用于基于所述传输延时T_d-T_n-2、AR设备在时间点T_k至时间点T_n-1这一时间段T_kT_n-1相对于飞行设备的相对加速度和相对角速度及AR设备在T_n-1时间点时在驾驶舱中的相对位姿，构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在T_n时间点时在驾驶舱中的相对位姿；

所述图像生成模块，还用于基于AR设备在T_n时间点时在驾驶舱中的相对位姿，确定AR设备在T_n时间点时的视角方向；和，

用于基于AR设备在T_n时间点时的视角方向，从T_n时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；和，

用于将所述预测视景虚拟模型画面同步至AR设备以显示。

优选地，

所述定位模块，还用于在所述构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在T_n时间点时在驾驶舱中的相对位姿之前，获取AR设备时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息；和,

用于基于获取的AR设备在时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1，相对于飞行设备的相对加速度信息和相对角速度信息。

优选地，

所述定位模块，还用于确定AR设备在驾驶舱中的初始位姿；和，

用于获取所述AR设备在初始位姿下采集的初始图像；和，

用于获取AR设备在采样时间点C_n时采集的样本图像；和，

用于判断是否存在一个采样时间点C_n与T_n-1时间点重合；

若存在，则基于所述初始图像和图像匹配定位算法，获取所述T_n-1时间点的样本图像相对于所述初始图像的位姿信息；和，

用于基于AR设备在驾驶舱中的初始位姿和T_n-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在T_n-1时间点时在驾驶舱中的相对位姿。

优选地，

所述定位模块，还用于在不存在一个采样时间点C_n与T_n-1时间点重合时，基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1的相对加速度和相对角速度；和，

用于基于AR设备在时间段T_kT_n-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T₀时间点至T_n-1时间点的时间间隔，利用惯性导航方法计算AR设备在T_n-1时间点时在驾驶舱中的相对位姿，其中，T₀时间点为所述初始位姿对应的初始时间点，T₀＜T_k＜T_n-1。

优选地，

所述定位模块，还用于在不存在一个采样时间点C_n与T_n-1时间点重合时，获取图像采集模块在T_n-1时间点之前的采样时间点C_n采集的样本图像；和，

用于基于所述初始图像和图像匹配定位算法，获取所述采样时间点C_n的样本图像相对于所述初始图像的位姿信息；和，

用于基于AR设备在驾驶舱中的初始位姿和采样时间点C_n的样本图像相对于所述初始图像的位姿信息，确定在采样时间点C_n时AR设备在驾驶舱中的相对位姿；和，

用于基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1的相对加速度和相对角速度；和，

用于基于AR设备在时间段T_kT_n-1的相对加速度和相对角速度、所述AR设备在该采样时间点C_n时在驾驶舱中的相对位姿，以及该采样时间点C_n至T_n-1时间点的时间间隔，利用惯性导航定位计算AR设备在T_n-1时间点时在驾驶舱中的相对位姿。

优选地，

所述系统还包括：

视景虚拟模型画面处理模块，用于基于与驾驶舱相对应的驾驶舱三维模型、T_n时间点时的全角度视景虚拟模型画面及投影定理，获取T_n时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。

优选地，

所述定位模块，还用于获取预估初始位姿下AR设备采集的预估图像；和，

用于获取AR设备采集的实际的初始图像；和，

用于基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；和，

用于基于AR设备在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备在驾驶舱中实际的初始位姿。

根据本发明实施例的另一个方面，本发明的实施例提供了一种机载终端，所述机载终端中设有包括以上所述的机载计算机系统。

本发明实施例提供的基于AR设备的信息同步方法及系统，综合SVS系统和头戴式AR设备的各自优势，同时参考了HGS中关于飞行指引的相关功能，将主飞行数据、导航数据、飞行指引数据、起飞降落辅助决策数据通过符合设计和画面布局形成指引画面与三维地形模拟、障碍物模拟、跑道模拟生成的仿真画面重合叠加，结合AR眼镜使得飞行员得以以任意观察角度获取全方位的机外场景信息与飞行指引信息；在低能见度情况下，能大幅度增强飞行员情景意识和态势感知能力，并通过提前预测位姿实现“所见即所得”的技术效果。

附图说明

图1是本发明实施例提供的基于AR设备的信息同步方法的流程图；

图2是本发明实施例提供的基于AR设备的信息同步方法的框架图；

图3是本发明实施例提供的基于AR设备的信息同步系统的模块关系示意图。

附图标记说明：1-图像生成模块；2-定位模块；3-合成视景模块SVS；4-平视导视模块HGS；5-画面处理模块；6-下视显示模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1所示，本发明的实施例提供了一种基于AR设备的信息同步方法，应用于机载计算机系统，包括：

实时对平视导视系统HGS的飞行指引图像和合成视景系统SVS的舱外三维视景进行画面重合叠加以合成全角度视景虚拟模型画面；其中，需要说明的是，飞行指引信息包括：主飞行数据，导航数据、飞行指引数据、起飞降落辅助决策数据(例如：机场位置提示、剩余跑道距离提示、擦机尾提示、低能见度引导起飞，III类进近偏差)，飞行指引信息是从飞行设备的机载计算机系统上的平视导视模块(子系统)HGS中获取的；其中，AR设备优选为AR眼镜；

基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；其中，预定定位方式包括图像识别匹配定位和惯性导航定位，其中，图片识别匹配定位，利用物理尺寸与图像特征已知的标识块或图片确定特征点，利用PNP技术进行标识块定位后，依据已知的相对位置关系定位设备，准确性高，但是由于图片识别匹配定位需依赖于图片的实时采集，而图片的采集的频率相对较低，导致在采集的两张图片之间的时刻，会出现空白图片，导致无法定位，因此，在图片定位的基础上，本发明还结合惯性导航定位方式，因为惯性导航定位是实时的数据采集，其数据采集频率很高，能够很好地弥补上述图片识别匹配定位的不足，结合这两种定位方式，能够准确快速的对AR设备进行相对位姿的定位。

基于所述T_n-1时间点的上一时间点T_n-2对应的视景虚拟模型画面在AR设备上的显示时间点T_d，获取传输延时T_d-T_n-2；其中，需要说明的是，此处时间点T_n-2对应的视景虚拟模型画面在AR设备上的显示时间点T_d是指未经卡尔曼滤波预测时的时间点T_n-2的实际视景虚拟模型画面在考虑到网络延迟等因素在AR设备上显示的实际时间，此处的实际视景虚拟模型画面是是相对于经卡尔曼滤波预测模型预测得到的预测视景虚拟模型画面而言的。也即，在理想状态下，AR设备在T_n-2时间点采集了一组与该时间点对应的样本图像和加速度信息和角速度信息之后，会上传到机载计算机系统，并将短暂处理后(定位)得到的AR设备在T_n-2时间点是的相对位姿用于确定该时刻的视景虚拟模型画面，最终，在时间点T_d时，该视景虚拟模型画面被同步到AR设备以显示，也即，在AR设备上显示的视景虚拟模型画面落后于真实场景(即T_n-1时间点时，驾驶舱外的真实的视景)T_d-T_n-2时长，为了避免时间延迟带来的用户体验感降低，因此，在计算AR设备的相对位姿时，需要利用上一传输周期得到的延时T_d-T_n-2构建基于卡尔曼滤波的AR设备位姿预测器以提前预测AR设备的位姿进而来弥补传输延时。

基于所述传输延时T_d-T_n-2、AR设备在时间点T_k至时间点T_n-1这一时间段T_kT_n-1相对于飞行设备的相对加速度和相对角速度及AR设备在T_n-1时间点时在驾驶舱中的相对位姿，构建基于卡尔曼滤波的AR设备位姿预测模型，以预测AR设备在T_n时间点时在驾驶舱中的相对位姿；其中，需要说明的是，T_n-T_n-1＝T_d-T_n-2,也即，在当前时刻T_n-1时即预测T_n时间点时AR设备的相对位姿以使得在经过T_d-T_n-2时长的传输延时后到达T_n时间点时，AR设备刚好能够显示当前时间点(T_n时间点)的画面，从而实现“所见即所得”。其中，基于卡尔曼滤波构建预测模型基于现有技术手段能够实现，在此不再做进一步说明。

基于AR设备在T_n时间点时在驾驶舱中的相对位姿，确定AR设备在T_n时间点时的视角方向；其中，需要说明的是，AR设备在驾驶舱中的相对位姿确定了，那么AR设备的视角方向也即确定了。

基于AR设备在T_n时间点时的视角方向，从T_n时间点时的全角度视景虚拟模型画面中获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面；

将所述预测视景虚拟模型画面同步至AR设备以显示。

如图2所示，下面结图2进行进一步说明，图2中，飞机外部场景(障碍物、天气情况及跑道信息等)即是指驾驶舱外部场景为外部的真实环境，机载计算机系统中的视景合成模块(系统)SVS，实时对驾驶舱外部场景进行三维场景重构形成舱外三维视景，其具体的舱外三维视景随着飞行设备的位姿变换而变化的；机载计算机系统中的视导视模块(系统)HGS会根据飞行设备当前的位姿信息及飞行指引数据生成飞行指引信息图像，其中，舱外三维视景是带有深度信息的三维画面，飞行指引信息图像是不包含深度信息的二维画面，两种图像叠加时，飞行指引信息图像叠加在舱外三维视景之上以形成全角度视景虚拟模型画面，即图2中展示的机外场景与合成指引信息生成，然后再根据AR眼镜的位姿信息确定视角方向以从全角度视景虚拟模型获取与AR设备在该视角方向上对应的视景虚拟模型画面，最后再根据驾驶舱布局信息也即驾驶舱对该视角方向上的视景虚拟模型画面进行驾驶舱遮挡计算(即获取预测视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面)。

在合成全角度视景虚拟模型画面的步骤之前，还包括：

实时对驾驶舱外部场景进行三维重构，以形成与驾驶舱外部场景相对应的舱外三维视景；其中，需要说明的是，实时对驾驶舱外部场景进行三维重构是基于机载计算机系统中的视景合成模块(系统)SVS实现的，SVS以飞行设备的位置和姿态为基准，将存储的飞行数据库中的(或实时获取的)三维地形-高程数据、障碍物数据，飞机跑道信息等通过三维场景可视化重构技术进行投影形成三维视景，并发送至图像生成模块；再由图像生成模块将获取的三维视景与飞行指引信息进行合成匹配即形成了全角度视景虚拟模型画面，同时，图像生成模块还会将全角度视景虚拟模型画面发送到飞行仪表显示屏(下视显示器HDD)上进行显示。

实时获取飞行设备的飞行指引数据以形成飞行指引信息图像，其中飞行指引信息的形成是基于机载计算机系统中的平视导视模块(系统)HGS实现的，在此不再进一步说明。

在所述构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备在T_n时间点时在驾驶舱中的相对位姿的步骤之前，所述方法还包括：

获取AR设备在时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息；同时，需要说明的是，在获取到AR设备的加速度信息和角速度信息及飞行设备的加速度信息和角速度信息后，会通过卡尔曼滤波进行滤波处理。

基于获取的AR设备在时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1，相对于飞行设备的相对加速度信息和相对角速度信息。

所述基于预设的驾驶舱和预定定位方式，确定AR设备在T_n-1时间点时，在驾驶舱中的相对位姿的步骤包括：

确定AR设备在驾驶舱中的初始位姿；

获取所述AR设备在初始位姿下采集的初始图像；

获取AR设备在采样时间点C_n时采集的样本图像；

判断是否存在一个采样时间点C_n与T_n-1时间点重合；

若存在，则基于所述初始图像和图像匹配定位算法，获取所述T_n-1时间点的样本图像相对于所述初始图像的位姿信息；其中,需要说明的是,AR设备采集的各个图像均为与各自本身相对应的位姿下的驾驶舱照片,故可通过图片匹配定位技术来实现AR设备定位。

基于AR设备在驾驶舱中的初始位姿和T_n-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备在T_n-1时间点时在驾驶舱中的相对位姿。

若不存在一个采样时间点C_n与T_n-1时间点重合，则基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1的相对加速度和相对角速度；

基于AR设备在时间段T_kT_n-1的相对加速度和相对角速度、AR设备在驾驶舱中的初始位姿、以及T₀时间点至T_n-1时间点的时间间隔，利用惯性导航方法计算AR设备在T_n-1时间点时在驾驶舱中的相对位姿，其中，T₀时间点为所述初始位姿对应的初始时间点，T₀＜T_k＜T_n，T_k的具体取值可根据实际计算需要进行取值。

或，若不存在一个采样时间点C_n与T_n-1时间点重合，则获取图像采集模块在T_n-1时间点之前的采样时间点C_n采集的样本图像；

基于所述初始图像和图像匹配定位算法，获取所述采样时间点C_n的样本图像相对于所述初始图像的位姿信息；

基于AR设备在驾驶舱中的初始位姿和采样时间点C_n的样本图像相对于所述初始图像的位姿信息，确定在采样时间点C_n时AR设备在驾驶舱中的相对位姿；

基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备在时间段T_kT_n-1时的相对加速度和相对角速度；

基于AR设备在时间段T_kT_n-1的相对加速度和相对角速度、所述AR设备在该采样时间点C_n时在驾驶舱中的相对位姿，以及该采样时间点C_n至T_n-1时间点的时间间隔，利用惯性导航定位计算AR设备在T_n-1时间点时在驾驶舱中的相对位姿。

其中，需要说明的是，在通过图像匹配定位算法进行定位之前，会对各个图像进行防抖处理以提高定位精度。

所述获取与AR设备在该时间点的视角方向上对应的预测视景虚拟模型画面包括:

基于与驾驶舱相对应的驾驶舱三维模型、T_n时间点时的全角度视景虚拟模型画面及投影定理，获取T_n时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。其中，需要说明的是，在飞行员头部可随意运动的情况下，透过AR眼镜，飞行员理论上可以看到在飞行员视角方向上(也即AR设备的视角方向上)的虚拟模型画面，但是为了避免虚拟模型画面影响驾驶员对驾驶舱内部仪表板的观察，再将所述预测视景虚拟模型画面同步至AR设备之前，需要结合投影定理将遮挡驾驶舱内部仪表板的部分画面抹去，使得AR设备仅仅显示预测视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面。

在所述确定AR设备在T_n-1时间点时，在驾驶舱中的相对位姿的步骤之后,还包括:

获取AR设备的指北模块在T_n-1时间点采集的指北针信息；

基于T_n-1时间点采集的指北针信息,判断所述AR设备在T_n-1时间点时的相对位姿是否与指北针信息相对应；

若不对应,则发出告警信号以提示AR设备在T_n-1时间点时的相对位姿有误。

所述确定AR设备在驾驶舱中的初始位姿的方法包括：

获取预估初始位姿下AR设备采集的预估图像；其中，需要说明的是，预估初始位姿时基于飞行员的身高数据，飞行员的座位位置，以及驾驶舱布局等信息估算的一个位姿。

获取AR设备采集的实际的初始图像；

基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；

基于AR设备在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备在驾驶舱中实际的初始位姿。

如图3所示，本发明的实施例还提供了一种机载计算机系统，包括：

图像生成模块1，用于将获取的飞行指引信息和舱外三维视景进行实时画面重合叠加，以合成全角度视景虚拟模型画面；

所述系统还包括：下视显示模块7，用于显示合成的全角度视景虚拟模型画面；

定位模块2，用于基于预定定位方式，确定AR设备在Tn-1时间点时在驾驶舱中的相对位姿；和，

用于基于所述T_n-1时间点的上一时间点T_n-2对应的视景虚拟模型画面在AR设备6上的显示时间点T_d，获取传输延时T_d-T_n-2；和，

用于基于所述传输延时T_d-T_n-2、AR设备6在时间点T_k至时间点T_n-1这一时间段T_kT_n-1相对于飞行设备的相对加速度和相对角速度及AR设备6在T_n-1时间点时在驾驶舱中的相对位姿，构建基于AR设备相对位姿的卡尔曼滤波预测模型，以预测AR设备6在T_n时间点时在驾驶舱中的相对位姿；

所述图像生成模块1，还用于基于AR设备6在T_n时间点时在驾驶舱中的相对位姿，确定AR设备6在T_n时间点时的视角方向；和，

用于基于AR设备6在T_n时间点时的视角方向，从T_n时间点时的全角度视景虚拟模型画面中获取与AR设备6在该时间点的视角方向上对应的预测视景虚拟模型画面；和，

用于将所述预测视景虚拟模型画面同步至AR设备6以显示。

所述系统，还包括：

合成视景模块SVS3，用于在所述图像生成模块1将获取的飞行指引信息和舱外三维视景进行实时画面重合叠加，以合成全角度视景虚拟模型画面之前，实时对驾驶舱外部场景进行三维重构，以形成与驾驶舱外部场景相对应的舱外三维视景；

平视导视模块HGS4，用于在所述图像生成模块1将获取的飞行指引信息和舱外三维视景进行实时画面重合叠加，以合成全角度视景虚拟模型画面之前，实时获取飞行设备的飞行数据以形成飞行指引信息。

所述定位模块2，还用于在所述构建基于卡尔曼滤波的AR设备6位姿预测模型，以预测AR设备6在T_n时间点时在驾驶舱中的相对位姿之前，获取AR设备6在时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息；和基于获取的AR设备6在时间段T_kT_n-1的加速度信息和角速度信息，和飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备6在时间段T_kT_n-1，相对于飞行设备的相对加速度信息和相对角速度信息。

所述定位模块2，还用于确定AR设备6在驾驶舱中的初始位姿；和，

用于获取所述AR设备6在初始位姿下采集的初始图像；和，

用于获取AR设备6在采样时间点C_n时采集的样本图像；和，

用于判断是否存在一个采样时间点C_n与T_n-1时间点重合；

若存在，则基于所述初始图像和图像匹配定位算法，获取所述T_n-1时间点的样本图像相对于所述初始图像的位姿信息；和，

用于基于AR设备6在驾驶舱中的初始位姿和T_n-1时间点的样本图像相对于所述初始图像的位姿信息，确定AR设备6在T_n-1时间点时在驾驶舱中的相对位姿。

所述定位模块2，还用于在不存在一个采样时间点C_n与T_n-1时间点重合时，基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备6在时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备6在时间段T_kT_n-1的相对加速度和相对角速度；和，

用于基于AR设备6在时间段T_kT_n-1的相对加速度和相对角速度、AR设备6在驾驶舱中的初始位姿、以及T₀时间点至T_n-1时间点的时间间隔，利用惯性导航方法计算AR设备6在T_n-1时间点时在驾驶舱中的相对位姿，其中，T₀时间点为所述初始位姿对应的初始时间点，T₀＜T_k＜T_n。

所述定位模块2，还用于在不存在一个采样时间点C_n与T_n-1时间点重合时，获取图像采集模块在T_n-1时间点之前的采样时间点C_n采集的样本图像；和，

用于基于所述初始图像和图像匹配定位算法，获取所述采样时间点C_n的样本图像相对于所述初始图像的位姿信息；和，

用于基于AR设备6在驾驶舱中的初始位姿和采样时间点C_n的样本图像相对于所述初始图像的位姿信息，确定在采样时间点C_n时AR设备6在驾驶舱中的相对位姿；和，

用于基于飞行设备在时间段T_kT_n-1的加速度信息和角速度信息，和AR设备6在T时间段T_kT_n-1的加速度信息和角速度信息，计算AR设备6在时间段T_kT_n-1的相对加速度和相对角速度；和，

用于基于AR设备6在时间段T_kT_n-1的相对加速度和相对角速度、所述AR设备6在该采样时间点C_n时在驾驶舱中的相对位姿，以及该采样时间点C_n至T_n-1时间点的时间间隔，利用惯性导航定位计算AR设备6在T_n-1时间点时在驾驶舱中的相对位姿。

所述系统还包括：

视景虚拟模型画面处理模块5(即图2中所示画面处理模块5)，用于基于与驾驶舱相对应的驾驶舱三维模型、T_n时间点时的全角度视景虚拟模型画面及投影定理，获取T_n时间点时的全角度视景虚拟模型画面投射在驾驶舱舷窗和驾驶舱舷窗支架上的部分视景虚拟模型画面以形成预测视景虚拟模型画面。

所述系统还包括：

告警校验模块，用于在所述确定AR设备6在T_n-1时间点时，在驾驶舱中的相对位姿之后,获取AR设备6的指北模块在T_n-1时间点采集的指北针信息；和，

用于基于T_n-1时间点采集的指北针信息,判断所述AR设备6在T_n-1时间点时的相对位姿是否与指北针信息相对应；

若不对应,则发出告警信号以提示AR设备6在T_n-1时间点时的相对位姿有误。

所述定位模块2，还用于获取预估初始位姿下AR设备6采集的预估图像；和，

用于获取AR设备6采集的实际的初始图像；和，

用于基于所述预估图像和图像匹配定位算法，获取所述初始图像相对于所述预估图像的位姿信息；和，

用于基于AR设备6在驾驶舱中的预估初始位姿和所述初始图像相对于所述预估图像的位姿信息，确定AR设备6在驾驶舱中实际的初始位姿。

为了更好地实现上述技术方案，本发明的实施例还提供了一种机载终端，所述机载终端中设有包括以上所述的机载计算机系统。

本发明实施例提供的基于AR设备的信息同步方法及系统，综合SVS系统和头戴式AR设备的各自优势，同时参考了HGS中关于飞行指引的相关功能，将主飞行数据、导航数据、飞行指引数据、起飞降落辅助决策数据通过符合设计和画面布局形成指引画面与三维地形模拟、障碍物模拟、跑道模拟生成的仿真画面重合叠加，结合AR眼镜使得飞行员得以以任意观察角度获取全方位的机外场景信息与飞行指引信息；在低能见度情况下，能大幅度增强飞行员情景意识和态势感知能力，同时实现了“所见即所得”，即解决了画面显示延时的问题，提高了用户体验。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。