一种用于船舶导航的增强现实方法与流程

本发明属于船舶导航领域，具体涉及一种用于船舶导航的增强现实方法。

背景技术：

1、一般型船舶由于船舶驾驶舱瞭望角度小造成视角狭窄，可能带来航行安全问题。业内一般使用雷达和海图来拓展视角，但存在二维视角无法与视野直观匹配的问题，且在目标较多的情况下，雷达目标和ais目标与视野观察对象的匹配可能存在误认的情况。

2、增强现实(augmented reality，简称ar)是一种实时地计算摄影机影像的位置及角度，并能够将虚拟的物体、视频、文字等信息叠加到真实的场景中的技术，从而将真实世界信息和虚拟世界信息“无缝”集成，在显示屏幕上将虚拟世界和现实世界进行叠加、融合、互动，让用户能够在场景中获取到更多的信息。增强现实技术已广泛应用在教学示范、医疗研究、虚拟购物、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域。

3、在增强现实系统中，为了能给用户较好的体验，产生虚实叠加融合的视觉效果时需要保证虚实图景在三维内的对齐。目前，通常使用相机作为主要的传感器，应用基于特征点匹配的三维对齐方式，这种对齐方式仅适用于内容清晰明朗、标志物定位方便的场景。而对于航行中的船舶，尤其是在大海中航行的船只来说，更多时候是无法找到合适标志物以三维对齐的，必须另寻他法。

技术实现思路

1、本发明的目的在于克服上述现有技术中存在的不足，充分利用船舶系统中已有的位置传感器信息、船舶姿态传感器信息、船舶自动识别系统数据信息及电子海图数据，并结合船舶运动模型作为增强现实系统三维对齐的数据来源，在尽可能做到高品质虚实对齐的同时，把延时降低到最小，呈现出更为准确的增强现实画面，给船舶驾驶人员直观、全面的航行态势展示，并能解决普通网络摄像头畸变造成的三维对齐质量不高及船身大幅度晃动下的实时对齐问题。同时，在屏幕上单击视频画面，能实时给出此屏幕坐标点对应的经纬度信息、与本船之间的距离、与本船艏向之间的方位差。

2、为实现上述发明目的，本发明提供一种用于船舶导航的增强现实方法，包括如下步骤：(1)基于本船静态信息参数构建船舶航行运动模型；(2)将本船当前位置信息、船舶姿态信息及船舶自动识别系统数据三种动态信息参数传输至计算机；(3)通过网络摄像头组实时拍摄本船所需视场角度内的视频图像，并将视频图像传输至计算机；(4)通过计算机的视频处理模块对接收到的视频流进行图像校准、裁剪、拼接处理；(5)根据目标船只的虚实坐标转换的映射关系将所述网络摄像头组的视野内其他船只的三维虚拟模型叠加在视频图像中，同时将海图物标绘制叠加于视频图像中，将实时获取的船身动作输入所述船舶航行运动模型，保持画面中物标与叠加物标三维坐标的动态对齐。

3、进一步地，步骤(5)中所述海图物标至少包括浅水区、礁石、沉船。

4、进一步地，步骤(1)中所述静态信息包括本船长、宽、高和网络摄像头组中各摄像头当前所处位置及姿态。

5、进一步地，步骤(3)中所述网络摄像头组中所需网络摄像头的数量与单个摄像头的水平视场角度、安装环境遮挡角度相关，所述网络摄像头组提供的水平视场角度为各摄像头水平视场角度的叠加之和。

6、进一步地，步骤(1)中船舶航行运动模型的构建包括两个步骤：(11)读取当前的船舶静态信息参数，该静态信息参数包括船舶的长、宽、高、静态吃水深度和摄像头组的固定位置，其中摄像头组中各摄像头的固定位置需要分别输入，形成摄像头参数列表；(12)在osg中，通过设置视点，将虚拟相机设置到船高度为0的gps位置，其朝向与船首向保持一致且与海平面平行，获取最初始的位置姿态矩阵m1。

7、进一步地，所述步骤(4)包括：(41)根据张正友相机标定法，获取摄像头组所有摄像头的内参矩阵和畸变参数，将上述参数应用于对摄像头视频流的畸变校准；(42)根据每个摄像头当前视野范围，将校准之后的视频流裁剪拼接，并输出显示在屏幕中。

8、进一步地，所述步骤(5)包括：根据步骤(1)所述船舶静态信息参数和步骤(2)所述动态信息参数，根据船舶航行运动模型对船舶在航行中的瞬时运动方向、运动速度运算，进而计算得到本船当前的位置与姿态；然后使用船体的统一公共参考点(ccrp)作为基准点，生成对当前摄像头组位置和姿态的预估；通过漫游器漫游到摄像头组位置，从而获得虚拟摄像头视角下的虚拟场景视频图像。将虚拟场景视频叠加显示于摄像头视频流之上。

9、进一步地，所述网络摄像头组中的摄像头适于360°转动，实时地将摄像头方位的操作参数同步到船舶航行运动模型中，更新摄像头姿态信息；根据摄像头的位置和姿态调整叠加物标的位置，达到动态对齐的效果。

10、与现有技术相比，本发明的有益效果为：

11、1、可充分利用船舶系统中已有的位置传感器信息、船舶姿态传感器信息、船舶自动识别系统数据信息及电子海图数据，并结合船舶运动模型作为增强现实系统三维对齐的数据来源，在尽可能做到高品质虚实对齐的同时，把延时降低到最小，呈现出更为准确的增强现实画面，给船舶驾驶人员直观、全面的航行态势展示。

12、2、在屏幕上单击视频画面，能实时给出此屏幕坐标点对应的经纬度信息、与本船之间的距离、与本船艏向之间的方位差。

13、3、可广泛使用成本较低的普通网络摄像头作为视频流输入设备，能解决普通网络摄像头畸变造成的三维对齐质量不高及船身大幅度晃动下的实时对齐问题，无需昂贵的专业摄像头。

14、4、支持iec标准协议语句，对大部分船舶可在较小改动的情况下提供较好体验。

技术特征：

1.一种用于船舶导航的增强现实方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的用于船舶导航的增强现实方法，其特征在于，步骤(5)中所述海图物标至少包括浅水区、礁石、沉船。

3.根据权利要求1所述的用于船舶导航的增强现实方法，其特征在于，步骤(1)中所述静态信息包括本船长、宽、高和网络摄像头组中各摄像头当前所处位置及姿态。

4.根据权利要求1所述的用于船舶导航的增强现实方法，其特征在于，步骤(3)中所述网络摄像头组中所需网络摄像头的数量与单个摄像头的水平视场角度、安装环境遮挡角度相关，所述网络摄像头组提供的水平视场角度为各摄像头水平视场角度的叠加之和。

5.根据权利要求1所述的用于船舶导航的增强现实方法，其特征在于，步骤(1)中船舶航行运动模型的构建包括两个步骤：

6.根据权利要求1所述的用于船舶导航的增强现实方法，其特征在于，所述步骤(4)包括：

7.根据权利要求1所述的用于船舶导航的增强现实方法，其特征在于，所述步骤(5)包括：根据步骤(1)所述船舶静态信息参数和步骤(2)所述动态信息参数，根据船舶航行运动模型对船舶在航行中的瞬时运动方向、运动速度运算，进而计算得到本船当前的位置与姿态；然后使用船体的统一公共参考点(ccrp)作为基准点，生成对当前摄像头组位置和姿态的预估；通过漫游器漫游到摄像头组位置，从而获得虚拟摄像头视角下的虚拟场景视频图像。将虚拟场景视频叠加显示于摄像头视频流之上。

8.根据权利要求7所述的用于船舶导航的增强现实方法，其特征在于，所述网络摄像头组中的摄像头适于360°转动，实时地将摄像头方位的操作参数同步到船舶航行运动模型中，更新摄像头姿态信息；根据摄像头的位置和姿态调整叠加物标的位置，达到动态对齐的效果。

技术总结
本发明公开了一种用于船舶导航的增强现实方法，包括如下步骤：(1)基于本船静态信息参数构建船舶航行运动模型；(2)将本船动态信息参数传输至计算机；(3)通过网络摄像头组实时拍摄本船所需视场角度内的视频图像；(4)通过计算机的视频处理模块对接收到的视频流进行图像校准、裁剪、拼接处理；(5)保持画面中物标与叠加物标三维坐标的动态对齐。本发明可充分利用船舶系统中已有的数据，并结合船舶运动模型作为增强现实系统三维对齐的数据来源，可高品质虚实对齐，延时小，呈现出更为准确的增强现实画面。

技术研发人员：张政,王晋鑫,封少东,姚帅,薛敏,王鸿显,郭富海,任胜彬,李永辉,张晓蕾
受保护的技术使用者：中船航海科技有限责任公司
技术研发日：
技术公布日：2024/1/12