基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法与流程

本发明涉及船舶故障诊断领域，尤其涉及一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统。

背景技术：

混合现实眼镜是采用混合现实技术，借助计算机图形绘制和三维显示技术在人眼中显示出真实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。因此混合现实系统具有虚实结合、实时交互、三维可视化的新特点。

目前在海上发生设备故障多采取通过电话联络的方式获取故障信息并指导船员进行维修，然而船员并非专业维修人员，这种指导方式存在信息描述不准确的弊端，会误导岸端对设备故障的判断以及船员进行不准确的维修操作指导。目前还没有一个切实有效的解决方案。因此如何利用混合现实眼镜把实时的场景和维修辅助信息结合，实现一种专家和船员在同一场景下信息同步显示的混合现实系统是我们追求的目的。

技术实现要素：

根据现有技术存在的问题，本发明公开了一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，包括:立体拍摄模块,所述立体拍摄模块安装在船端操作人员头部位置获取故障设备到到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；

融合压缩模块，接收所述立体拍摄模块传送的三维场景数据信息并将接收到的信息进行融合压缩处理，将其转换成用于传送的数据格式；

通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；

该系统还包括岸端的接收所述通讯模块传送的数据信息的混合现实显示模块，所述混合现实显示模块将接收到的立体场景信息进行实时显示，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出故障船舶的三维立体场景，实现船岸三维立体场景的同步，并在此三维立体场景中进行故障船舶的故障判断；

接收所述混合现实显示模块传送的数据信息的辅助信息添加模块，所述辅助信息添加模块在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把船舶故障设备的维修装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；

故障船舶的图形渲染模块接收所述辅助信息添加模块传送的数据信息、把专家维修操作信息和模型库配件信息进行三维图形渲染处理，根据混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，渲染成维修辅助增强信息；

接收所述图形渲染模块传送的数据信息把船载终端渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜模块，叠加显示在故障设备上，指导船员进行故障维修操作。

所述混合现实显示模块包括人机交互装置，所述人机交互装置至少包括三维鼠标、数据手套、位置跟踪器和与船舶零部件设备配套设置的配件模型库；

工作状态下：在混合现实显示模块的人机交互装置中调用配件模型库中的配件模型，模型库中的配件模型采用三维建模工具创建三维模型，通过数据手套移动配件模型进行装配展示，使用三维鼠标进行故障点标注，数据手套和位置跟踪器配合实时检测工作时的手形和手部各关节的弯曲角度,把手的位置和运动状态信息输入到混合现实显示模块、对配件模型进行抓取、旋转、移动操作。

所述立体拍摄模块获取故障船舶到其自身的三维场景深度信息时依据人眼立体视觉特征、双摄像头间距设为人眼间距、双摄像头视角根据拍摄设备深度信息进行实时调整。

所述融合压缩模块对接收到的信息进行处理时采用融合压缩算法：对图像进行特征提取识别处理，比较前后两帧图像、记录两帧信息有变化的部分，没变化的信息不进行传输，只传输变化部分，与上一帧没变化的信息合成新一帧图像。

一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助方法,包括以下步骤:

a、采集故障设备到到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；

b、对步骤a中的立体拍摄信息进行融合压缩处理，变成海事通讯卫星传送的数据格式并将压缩处理的信息传送至岸上；

c、把传回岸上的立体场景通过混合现实显示模块显示出来，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出船上的三维立体场景，实现船岸三维立体场景同步；在岸上显示的三维立体场景中进行设备故障判断，并使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把装配方法展示出来并将处理后的维修信息传送至故障设备端；

d、将维修辅助操作信息和模型库配件信息进行三维处理，变成混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，形成维修辅助增强信息；

e、船载终端把渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜，叠加显示在故障设备上，进行故障维修操作的辅助指导。

由于采用了上述技术方案，本发明提供的一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，解决船舶离岸条件下远程故障诊断及维修保养问题。岸端和船端所见相同，在同一个场景下同步操作。故障设备实景和维修辅助信息在船和岸之间双向同步显示互动，实现岸上专家信息增强条件下的船舶故障诊断及维修保养。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统的结构示意图；

图2为本发明系统的工作流程图；

图3为本发明系统的实施例的示意图；

图4为本发明系统的混合现实信息生成示意图

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统，包括立体拍摄模块、融合压缩模块、通讯模块、混合现实显示模块、辅助信息添加模块、图形渲染模块和混合现实眼镜模块。

立体拍摄模块：对故障船舶进行三维拍摄，将其安装在船端操作人员头部位置获取船舶故障设备到其自身的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；

融合压缩模块，在融合压缩模块对立体拍摄信息进行融合压缩处理，变成海事通讯卫星可以传送的数据格式。

通讯模块，所述通讯模块采用海事通讯卫星将融合压缩模块传送的数据信息传回到岸端；

混合现实显示模块，把传回岸端的立体场景通过混合现实显示模块显示出来，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出船上的三维立体场景，实现船岸三维立体场景同步，并三维立体场景进行故障船舶的故障判断。

辅助信息添加模块，在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把故障船舶的维修的装配方法展示出来；所述辅助信息添加模块将装配方法信息通过通信模块传送至故障船舶上；

三维图形渲染处理，船载终端的三维图形渲染模块把维修操作信息，模型库配件信息进行三维渲染处理，变成混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，形成维修辅助增强信息。具体实现方法：首先在图形渲染模块中进行视点设置和视场角的设定(水平视场角45度,垂直视场角28度)，视点和视场角的参数使用船载终端立体拍摄模块进行立体拍摄时使用的立体拍摄参数，比如：水平视场角45度,垂直视场角28度。然后把维修辅助操作信息，模型库配件信息读取进来，记录所在的位置参数，形成维修辅助增强信息。

接收所述图形渲染模块传送的数据信息把船载终端渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜模块，叠加显示在故障设备上，指导船员进行故障维修操作。具体方式是：在船载终端读取维修辅助增强信息，使用拍摄时测量到的三维场景深度信息设置混合现实眼镜的视见体深度，对配件模型进行移动操作(平移坐标(x,y,z))，对配件模型进行旋转操作(旋转角度)。对维修辅助信息进行三维透视投影变换处理，处理后的信息通过混合现实眼镜模块显示出来，和透过混合现实眼镜看到的现实信息进行混合叠加。

进一步的，混合现实显示模块包括人机交互装置，所述人机交互装置至少包括三维鼠标、数据手套、位置跟踪器和与船舶零部件设备配套设置的配件模型库，工作状态下：在混合现实显示模块的人机交互装置中调用配件模型库中的配件模型，模型库中的配件模型采用三维建模工具创建三维模型，通过数据手套移动配件模型进行装配展示，使用三维鼠标进行故障点标注，数据手套和位置跟踪器配合实时检测工作时的手形和手部各关节的弯曲角度,把手的位置和运动状态信息输入到混合现实显示模块、对配件模型进行抓取、旋转、移动操作。

进一步的，所述立体拍摄模块获取故障船舶到其自身的三维场景深度信息时依据人眼立体视觉特征、双摄像头间距设为人眼间距、双摄像头视角根据拍摄设备深度信息进行实时调整。

进一步的，所述融合压缩模块对接收到的信息进行处理时采用融合压缩算法：对图像进行特征提取识别处理，比较前后两帧图像、记录两帧信息有变化的部分，没变化的信息不进行传输，只传输变化部分，与上一帧没变化的信息合成新一帧图像。

图形渲染模块把专家维修操作信息，模型库配件信息进行三维处理，变成混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，形成维修辅助增强信息。

本发明中的被维修设备包括船舶驾驶室内的仪器设备(Radar、Loran、GPS、AIS、LRIT、陀螺罗经、测深仪、计程仪、磁罗经、船舶黑匣子、气象仪、电子海图、自动舵、车钟、操舵设备等)，机舱设备(主机、辅机、滑油设备、冷却设备、排烟设备、空气设备、通风设备、电力控制设备)，甲板设备(锚、缆绳、桅上设备、灯设备).

一种基于混合现实眼镜的船舶远程故障诊断及维修保养辅助方法,包括以下步骤:

a、采集故障设备到到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；

b、对步骤a中的立体拍摄信息进行融合压缩处理，变成海事通讯卫星传送的数据格式并将压缩处理的信息传送至岸上；

c、把传回岸上的立体场景通过混合现实显示模块显示出来，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出船上的三维立体场景，实现船岸三维立体场景同步；在岸上显示的三维立体场景中进行设备故障判断，并使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把装配方法展示出来并将处理后的维修信息传送至故障设备端；

d、将维修辅助操作信息和模型库配件信息进行三维处理，变成混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，形成维修辅助增强信息；

e、船载终端把渲染后的维修辅助增强信息传送给船员佩戴的混合现实眼镜，叠加显示在故障设备上，进行故障维修操作的辅助指导。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。