本发明涉及一种基于增强现实的远程监测及控制系统，属于智能制造和计算机测量与控制领域。
背景技术：
当前远程监测与控制已经广泛应用生产，然而在监测方面，当前的监测系统把监测视频和监测数据分别显示，监视人员需要自己将视频内容和监测数据联系在一起，界面现实不够直观。另外，在控制方面，控制人员只能够通过颜色图像估计远程环境的三维信息，规划机械手的路径，以此方式控制远程机械手完成操作，这样会造成机器人控制不够准确。
公开号为cn106863303a的发明专利《cn106863303a》，其具体技术方案为：通过安装在机械手各关节处的编码器采集各关节的角位移，并将采集数据送计算机处理，计算机依据各关节角位移数据规划出机械手路径，并控制机械手沿此路径完成焊缝的焊接。该技术方案为设备现场路径规划方式，无法满足当前企业远程路径规划的需求。
技术实现要素：
为了解决上述技术问题，本发明提供一种基于增强现实的远程监测及控制系统，实现远程巡检应用的视频监测和数据监测的融合显示以及在服务器端生成机器人远端操作的本地路径规划和模拟。
本发明的技术方案如下：
一种基于增强现实的远程监测及控制系统，包括交互仿真控制模式，该模式通过服务器和位于远端设备及环境中的移动机器人，以虚实结合的方式完成机械手远端操作的本地路径规划和模拟，具体地：
所述移动机器人包括机器人本体，以及设于机器人本体上的机械手和rgbd相机；
所述服务器包括一远端环境重建模块、机械手操作仿真模块以及增强现实显示模块；所述远端环境重建模块接收所述rgbd相机拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型；所述机械手操作仿真模块建立机械手仿真模型，然后结合场景三维点云模型，操作机械手仿真模型，规划路径，最后利用所述路径驱动所述机械手仿真模型运动；所述增强现实显示模块将动态的机械手仿真模型叠加在rgbd相机拍摄的彩色图像中，实现虚实结合的模拟显示。
更优地，所述交互仿真控制模式下还完成碰撞检测，具体地：所述机械手操作仿真模块在场景三维点云模型中利用所述路径驱动机械手仿真模型运动，检查机械手仿真模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，若不存在干涉，则将所述路径发送给移动机器人，移动机器人根据路径控制机械手的运动，完成操作任务。
更优地，所述移动机器人上还包括图像采集控制器、机器人本体控制器以及机械手控制器；所述图像采集器控制相机云台运动，并采集所述rgbd相机上的彩色图像和深度图像，所述rgbd相机固定于相机云台上；所述机器人本体控制器控制机器人本体运动，并反馈机器人本体的方位和姿态；所述机械手控制器控制机械手的运动；
所述服务器上还设有云台遥操作模块、机器人本体遥操作模块以及机械手遥操作模块；所述云台遥操作模块向图像采集控制器发送指令，控制相机云台按照指令运动，从而改变rgbd相机的拍摄角度；所述机器人本体遥操作模块向机器人本体控制器发送指令，控制机器人本体按照指令运动；所述机械手遥操作模块向机械手控制器发送指令，控制机械手按照指令运动；
所述远端环境重建模块在合成场景三维点云模型时，首先通过机器人本体遥操作模块和机械手遥操作模块分别向与之对应的机器人本体控制器和机械手控制器发送控制指令，使机器人本体和机械手保持固定不动，然后通过云台遥操作模块向图像采集控制器发送指令，控制相机云台按照指令多角度转动，且在各角度拍摄深度图像，从而获得不同角度的深度图像，并合成场景三维点云模型。
更优地，所述机械手操作仿真模块建立的机械手仿真模型，包括机械手三维虚拟模型和逆运动学模型，在交互仿真环境中规划机械手的末端点轨迹和姿态，获得末端点轨迹和姿态序列，以末端点轨迹和姿态序列作为所述逆运动学模型的输入，求取机械手各关节的角度序列，然后按顺序读取机械手各关节的角度序列，驱动机械手三维虚拟模型各关节运动。
更优地，所述增强现实显示模块根据机器人本体当前的位置、姿态以及相机云台方位信息将动态的机械手三维虚拟模型叠加在rgbd相机拍摄的彩色图像中，然后显示出来，实现虚实的视觉融合。
更优地，所述机器人本体当前的位置、姿态通过机器人本体遥操作模块发送控制指令给机器人本体控制器，获取该信息；所述相机云台方位信息通过云台遥操作模块向图像采集控制器发送指令，获取相机云台的方位信息；
更优地，所述远程监测及控制系统还包括监测模式，其通过位于远端设备及环境中的远程数据采集系统以及所述服务器和移动机器人，并以虚实结合的方式完成监测数据和监测图像的融合显示，具体地：
所述远程数据采集系统采集各监测对象的监测数据，然后发送至服务器；各监测对象处均设置一标签；
所述移动机器人接收来自服务器的控制指令，控制机器人本体和相机云台运动，使机器人本体运动至监测对象处，并控制相机云台的转动，使rgbd相机拍摄到包含标签信息的监测图像，并发送至服务器；
所述服务器还包括设备识别模块和存储及故障诊断模块；
所述设备识别模块分析所述rgbd相机拍摄的监测图像，分割识别该监测图像上的标签信息，并发送包含标签信息的查询请求；
所述存储及故障诊断模块接收并保存所述远程数据采集系统发送的监测数据，并诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块接收来自设备识别模块的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块；
所述增强现实显示模块将监测数据叠加在rgbd相机拍摄的监测图像上对应标签的附近区域显示，实现监测数据与监测数据的叠加显示，显示界面更加直观。
更优地，所述远程数据采集系统包括工控机和传感器，各所述传感器均接入所述工控机，各监测对象处均设有所述传感器，各传感器均对应设置一所述标签；
更优地，所述存储及故障诊断模块依据标签、监测对象以及监测数据之间的对应关系接收并保存所述远程数据采集系统发送的监测数据，并依据预设的报警阈值，将监测数据与对应的报警阈值进行比对，诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块接收来自设备识别模块的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块。
更优地，所述监测图像包括图片和视频。
本发明具有如下有益效果：
1、本发明一种基于增强现实的远程监测及控制系统，通过位于远端设备及环境中的移动机器人获取环境的深度图像，然后在服务器端计算合成远端设备及环境的三维点云模型，进而在服务器端通过虚拟的仿真机械手模型实现移动机器人远端操作的本地路径规划和模拟，是一种虚实结合的远程控制系统，提高了移动机器人的控制准确度；
2、本发明一种基于增强现实的远程监测及控制系统，通过远程数据采集系统采集监测数据，然后通过移动机器人，获取监测对象的监测图像，并在服务器端识别标签信息，获取监测对象的当前状态信息，然后将监测信息叠加在监测图像上，实现了远程巡检应用的数据监测和现场视频监测或数据监测和图像监测的融合显示。
附图说明
图1为本发明的系统框图；
图2为本发明交互仿真控制模式的流程图；
图3为本发明监测模式的流程图。
图中附图标记表示为：
1、机器人本体；2、机械手；3、rgbd相机；4、相机云台；5、机器人本体控制器；6、机械手控制器；7、图像采集控制器；10、机器人本体遥操作模块；20、机械手遥操作模块；30、云台遥操作模块；40、远端环境重建模块；50、机械手操作仿真模块；60、增强现实显示模块；70、设备识别模块；80、存储及故障诊断模块；100、工控机；200、传感器；300、标签。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一：
请参阅图1和图2，一种基于增强现实的远程监测及控制系统，包括交互仿真控制模式，该模式通过服务器和位于远端设备及环境中的移动机器人，以虚实结合的方式完成机械手2远端操作的本地路径规划和模拟，具体地：
所述移动机器人包括机器人本体1，以及设于机器人本体1上的机械手2和rgbd相机3；
所述服务器包括一远端环境重建模块40、机械手操作仿真模块50以及增强现实显示模块60；所述远端环境重建模块40接收所述rgbd相机3拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型，所述机械手操作仿真模块50建立机械手仿真模型，然后结合场景三维点云模型，操作机械手仿真模型，规划路径，最后利用所述路径驱动所述机械手仿真模型运动；所述增强现实显示模块60将动态的机械手仿真模型叠加在rgbd相机3拍摄的彩色图像中，实现虚实结合的模拟显示。所述机械手2包括多自由度机械手，例如六自由度机械手，三自由度机械手或者二自由度机械手，自由度越多，机械手的灵活性越大。
所述交互仿真控制模式下还完成碰撞检测，具体地：所述机械手操作仿真模块50在所述场景三维点云模型中利用所述路径驱动所述机械手仿真模型运动，检查机械手仿真模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，从而控制移动机器人上机械手2的运动，完成机械手2的操作任务；所述优化后路径还可以通过所述增强现实显示模块60进行模拟显示。
所述移动机器人上还包括图像采集控制器7、机器人本体控制器5以及机械手控制器6；所述图像采集器控制相机云台4运动，并采集所述rgbd相机3上的彩色图像和深度图像，所述rgbd相机3固定于相机云台4上；所述机器人本体控制器5控制机器人本体1运动，并反馈机器人本体1的方位和姿态；所述机械手控制器6控制机械手2的运动；
所述服务器上还设有云台遥操作模块30、机器人本体遥操作模块10以及机械手遥操作模块20；所述云台遥操作模块30向图像采集控制器7发送指令，控制相机云台4按照指令运动，从而改变rgbd相机3的拍摄角度；所述机器人本体遥操作模块10向机器人本体控制器5发送指令，控制机器人本体1按照指令运动；所述机械手遥操作模块20向机械手控制器6发送指令，控制机械手2按照指令运动；
所述远端环境重建模块40在合成场景三维点云模型时，首先通过机器人本体遥操作模块10和机械手遥操作模块20分别向与之对应的机器人本体控制器5和机械手控制器6发送控制指令，使机器人本体1和机械手2保持固定不动，然后通过云台遥操作模块30向图像采集控制器7发送指令，控制相机云台4按照指令多角度转动，且在各角度拍摄深度图像，从而获得不同角度的深度图像，并合成场景三维点云模型。
所述机械手操作仿真模块50建立的机械手仿真模型，包括机械手三维虚拟模型和逆运动学模型，在交互仿真环境中（即结合场景三维点云模型）规划机械手2的末端点轨迹和姿态，获得末端点轨迹和姿态序列，以末端点轨迹和姿态序列作为所述逆运动学模型的输入，求取机械手2各关节的角度序列，按顺序读取机械手2各关节的角度序列，驱动机械手三维虚拟模型各关节运动。
所述增强现实显示模块60根据机器人本体1当前的位置、姿态以及相机云台4方位信息将动态的机械手三维虚拟模型叠加在rgbd相机3拍摄的彩色图像中，然后显示出来，实现虚实的视觉融合。所述机器人本体1当前的位置、姿态通过机器人本体遥操作模块10发送控制指令给机器人本体控制器5，获取该信息。所述相机云台4方位信息通过云台遥操作模块30向图像采集控制器7发送指令，获取相机云台4的方位信息。所述增强现实显示模块60根据机器人本体1当前的位置姿态以及相机云台4方位信息，获取相机云台4在世界坐标系中（世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置）的方位，从而实现增强现实注册，进而根据机械手三维虚拟模型的坐标信息将机械手三维虚拟模型叠加在rgbd相机3拍摄的彩色图像中。
具体地，在所述交互仿真控制模式下还完成碰撞检测，所述机械手操作仿真模块50在所述场景三维点云模型中利用所述路径驱动机械手三维虚拟模型运动，检查机械手三维虚拟模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，由移动机器人的机械手控制器6接收并控制移动机器人上机械手2的运动，完成移动机器人的操作任务。
所述交互仿真控制模式的运行过程如下：
步骤1、机械手操作仿真模块50建立机械手2的机械手仿真模型，包括机械手三维虚拟模型和逆运动学模型；
步骤2、保持机器人本体1和机械手2固定不动，远端环境重建模块40接收rgbd相机3拍摄的深度图像，并将不同角度拍摄的深度图像合成为场景三维点云模型；
步骤3、在交互仿真环境中交互规划的机械手三维虚拟模型的末端点轨迹和姿态，获得末端点轨迹和姿态序列；
步骤4、以末端点轨迹和姿态序列作为机械手2的逆运动学模型的输入，求取机械手2各关节的角度序列；
步骤5、按顺序读取机械手2各关节的角度序列，驱动机械手三维虚拟模型各关节运动；运动过程中检查机械手三维虚拟模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测，若存在碰撞，则优化路径，然后将优化的路径发送至移动机器人的机械手控制器6，从而控制机械手2完成操作任务；
同时，还可以根据机器人本体1的当前的位置、姿态和相机云台4方位信息将动态的机械手三维虚拟模型叠加在彩色图像中，并通过增强现实显示模块60，实现虚实的模拟显示。
本发明一种基于增强现实的远程监测及控制系统能够在服务器端计算合成远端设备及环境的三维点云模型，进而在服务器端通过虚拟的仿真机械手模型实现移动机器人远端操作的本地路径规划和模拟，是一种虚实结合远程控制系统，提高了移动机器人的控制准确度。
实施例二、
请参阅图1和图3，本实施例与实施例一的区别在于，实施例二可以在执行交互仿真控制模式的同时执行监测模式，所述交互仿真制模式不再赘述。
所述监测模式通过位于远端设备及环境中的远程数据采集系统以及所述服务器和移动机器人，并以虚实结合的方式完成监测数据和监测图像的融合显示，所述监测图像可以是图片和/或视频。具体地：
所述远程数据采集系统包括工控机100和传感器200，各所述传感器200均接入所述工控机100，各监测对象处均设有所述传感器200，各传感器200均对应设置一标签300；所述标签300包括二维码、条形码等非对称形式的标签300；
所述移动机器人接收来自服务器的控制指令，控制机器人本体1和rgbd相机3，使机器人本体1运动至监测对象处，使rgbd相机3拍摄到包含标签信息的监测图像（所述监测图像是一种彩色图像），并发送至服务器；另一种实施方式是，rgbd相机3通过相机云台4固定，则通过服务器的控制指令控制相机云台4的转动，使rgbd相机3拍摄到包含标签信息的监测图像。所述移动机器人还可以接收来自服务器的控制指令，控制机械手2的运动；具体地，服务器的机器人本体遥操作模块10和云台遥操作模块30分别向移动机器人的机器人本体控制器5和图像采集控制器7发送控制指令，由机器人本体控制器5控制机器人本体1运动至监测对象处，由图像采集控制器7控制相机云台4转动，使rgbd相机3拍摄到包含标签信息的监测图像，实现远程操控移动机器人获取监测对象的包含标签信息和当前监测对象运行状态的监测图像；所述服务器的机械手遥操作模块20还可以向移动机器人的机械手控制器6发送控制指令，由机械手控制器6控制机械手2的运动，实现远程操控机械手2；
所述服务器还包括设备识别模块70和存储及故障诊断模块80；
所述设备识别模块70分析所述rgbd相机3拍摄的监测图像，分割识别该监测图像上的标签信息，并发送包含标签信息的查询请求；
所述存储及故障诊断模块80依据标签300、监测对象以及监测数据之间的对应关系接收并保存所述远程数据采集系统发送的监测数据，并依据预设的报警阈值，将监测数据与对应的报警阈值进行比对，诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块80接收来自设备识别模块70的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块60；
所述增强现实显示模块60将监测数据叠加在rgbd相机3拍摄的监测图像上对应标签300的附近区域显示，实现监测数据与监测图像（即监测对象的彩色图像）的叠加显示，显示界面更加直观。
所述交互仿真监测模式的运行过程如下：
步骤10、操作者在服务器端操作计算机输入设备，通过机械手遥操作模块20、机器人本体遥操作模块10、云台遥操作模块30分别向机器人控制器、机器人本体控制器5、图像采集控制器7发送控制指令，控制位于远端设备及环境中的机械手2、机器人本体1以及相机云台4运动；
步骤20、设备设别模块接收rgbd相机3拍摄的监测图像，分割识别出监测图像上的标签信息；
步骤30、依据识别到的标签信息，从存储及故障诊断模块80中查询该标签300对应的监测对象的当前信息；
步骤40、将查询到的信息发送给增强现实显示模块60，叠加在rgbd相机3拍摄的监测图像上对应标签300的附近区域显示，实现监测信息与监测图像的叠加显示。
本发明一种基于增强现实的远程监测及控制系统能够在服务器本地控制远端的移动机器人，获取监测对象的监测图像，并在服务器端识别标签信息，获取监测对象的当前状态，然后将监测信息叠加在监测图像上，实现了远程巡检应用的数据监测和现场视频监测或数据监测和图像监测的融合显示。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。