本发明一种基于ar眼镜云机器人全息评审系统及基于该系统的评审方法，属于机器人云平台技术领域。
背景技术
目前基于ar眼镜的异地交流模式基本上是ar眼镜和移动端或者pc端的远程视音频通讯，交流方式比较单一。申请公布号为cn108170273a、申请公布日为2018年6月15日的中国发明专利申请公开了一种基于hololens眼镜的专家远程指导系统及实现方法，包括hololens智能眼镜、无线路由器、服务器、终端设备，hololens智能眼镜将采集的音视频通过服务器转发至终端设备，专家在终端设备上输入指导内容，终端设备记录下指导内容，并将指导内容通过服务器转发至hololens智能眼镜，并在视野中显示，通过喇叭播放出专家的指导语音；后台终端自动生成维修记录视频文件，并上传到服务器中。
上述专利申请的技术方案可以实现与专家端的远程视音频通讯以及空间锚点的标注，其仅能实现视音频通话和空间锚点的标注，并不能够显示三维空间信息，无法达到现场交流演示的效果。
技术实现要素：
本发明的目的是：提供一种能够实现现场交流演示的基于ar眼镜的异地交流系统，用于对机器人进行全息评审。本发明的另一个目的是提供一种基于上述系统的方法。
为了达到上述目的，本发明的一个技术方案是提供了一种基于ar眼镜云机器人全息评审系统，其特征在于，包括本地设备及机器人云平台系统，其中，为每个位于异地的用户配备一套本地设备，所有位于异地的本地设备之间通过机器人云平台系统实现数据交互，其中：
本地设备包括：
动作捕捉模块，用于捕捉对应用户的动作信息，将捕捉到的动作信息发送给同一用户的ar眼镜；
本地数据处理单元，从机器人云平台系统获取机器人设备三维模型、机器人设备的工作状况信息、位于异地的用户的动作信息、位于异地的用户的语音信息、位于异地的用户的修改信息后，发送给当前用户的ar眼镜；当前用户可以通过本地数据处理单元对获取的机器人设备三维模型进行修改，并将修改信息发送给当前用户的ar眼镜；
具有语音捕捉及播放功能的ar眼镜，用于：1)显示接收自本地数据处理单元的机器人设备三维模型、机器人设备的工作状况信息、位于异地的用户的动作信息、位于异地的用户的修改信息，同时，播放位于异地的用户的语音信息；2)用于捕捉当前用户的语音信息；3)将捕捉到的语音信息、来自动作捕捉模块的动作信息、来自本地数据处理单元的修改信息上传至机器人云平台系统。
优选地，所述机器人云平台系统包括：
机器人工作状况采集器，用于采集机器人设备所处环境的工况信息数据；
云端机械工作状况信息处理单元，用于将机器人工作状况采集器采集的工况信息数据转换为所述工作状况信息后，发送给所述本地数据处理单元；
云端数据处理模块，用于从当前用户的所述本地数据处理单元获取动作信息、语音信息及修改信息后发送至云端数据转发模块；
云端数据转发模块，用于将当前用户的动作信息、语音信息及修改信息发送至对方用户的所述本地数据处理单元。
优选地，所述机器人云平台系统还包括云端机器人设计方案评审模块，所述ar眼镜将评审信息上传至云端机器人设计方案评审模块。
优选地，所述动作捕捉模块采用6至16个optitrick动作捕捉相机来捕捉当前用户的全身动作信息，随后通过udp协议传至unity3d游戏引擎，unity3d游戏引擎把所处理的动作信息转化成对方用户的所述ar眼镜中模型人的骨骼节点上，形成所述动作信息发送给所述机器人云平台系统，对方用户的ar眼镜通过本地数据处理单元接收发送自所述机器人云平台系统的所述动作信息后，在ar眼镜中形成和当前用户实时动作相匹配的三维人物动作模型。
优选地，所述当前用户穿上带有mark点的衣服后，所述optitrick动作捕捉相机采集到当前用户的全身动作信息。
本发明的另一个技术方案是提供了一种两位用户利用上述的全息评审系统进行机器人全息评审的方法，其特征在于，包括以下步骤：
步骤1、用户一通过机器人云平台系统的云端机械工作状况信息处理单元获取由机器人工作状况采集器采集的机器人设备的工作状况信息，该工作状况信息下发至用户一的本地数据处理单元，由本地数据处理单元将工作状况信息进行二次处理后发送给用户一的ar眼镜，用户一可利用ar眼镜查看工作状况信息，为了与用户二进行交流，也可以利用ar眼镜将工作状况信息上传至机器人云平台系统的云端数据处理模块；
步骤2、云端数据处理模块通过机器人云平台系统的云端数据转发模块将工作状况信息发送给用户二的本地数据处理单元，本地数据处理单元将工作状况信息进行二次处理后发送给用户二的ar眼镜，用户二利用ar眼镜查看工作状况信息；
步骤3、用户一或者用户二对机器人设备三维模型提出修改建议，用户一与用户二针对该修改建议进行实时的动作及语音交流从而完成机器人设计方案的全息评审工作，其中：
提出修改建议时，当前用户从机器人云平台系统获取存储于云端数据处理模块内的机器人设备三维模型，针对该机器人设备三维模型，当前用户利用本地数据处理单元对获取的机器人设备三维模型进行修改，并将修改信息发送给当前用户的ar眼镜进行显示，当前用户确认完毕后，通过ar眼镜将修改信息上传至机器人云平台系统，由机器人云平台系统将修改信息转发至对方用户的ar眼镜进行显示；
进行实时的动作及语音交流时：当前用户的动作捕捉模块捕捉当前用户的动作信息，同时，当前用户的ar眼镜捕捉当前用户的语音信息，由当前用户的ar眼镜将当前用户的动作信息及当前用户的语音信息上传至机器人云平台系统的云端数据处理模块，机器人云平台系统的云端数据转发模块将当前用户的动作信息及语音信息转发至对方用户的本地数据处理单元，本地数据处理单元对信息进行二次处理后发送给对方用户的ar眼镜，ar眼镜播放当前用户的语音信息及动作信息，从而实现用户一与用户二之间的实时动作及语音交流。
优选地，由用户一或者用户二将评审信息通过ar眼镜上传至所述机器人云平台系统的云端机器人设计方案评审模块。
本发明可以将远程工程师的动作、对三维模型的修改和语音发送至另一位与之交流的工程师实现全息通话，可以让己方工程师了解到对方工程师的视线、动作、对全息模型的操作和语音，极大程度上还原了对机器人设备的现场评审过程，提高了效率，缩短了异地评审的周期。
附图说明
图1为实施例公开的一种基于ar眼镜云机器人全息评审系统的系统框图；
图2为实施例中公开的方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本实施例中，两个位于异地的工程师——工程师一及工程师二利用本发明进行交互。因此，本发明提供的一种基于ar眼镜云机器人全息评审系统包括为工程师一及工程师二配备的本地设备以及机器人云平台系统。工程师一及工程师二利用本地设备通过机器人云平台系统实现实时交流。
本地设备包括ar眼镜、本地数据处理单元及动作捕捉模块。对于一套设备而言，本地数据处理单元及动作捕捉模块的数据输出接口与ar眼镜的数据输入接口相连。
动作捕捉模块采用最低6个最高16个optitrick动作捕捉相机来捕捉工程师的全身动作信息，工程师穿上带有mark点的衣服后，相机就能采集到工程师的动作信息，通过udp协议传至unity3d游戏引擎，unity3d游戏引擎把所处理的数据包括把工程师的动作信息转化成对方工程师的ar眼镜中模型人的骨骼节点上，形成和对方工程师实时动作相匹配的三维人物动作模型。动作捕捉模块把所获取到的工程师动作数据传输给ar眼镜。
两台ar眼镜都可以从机器人云平台系统获取机器人设备三维模型、对方工程师的动作信息和机器人的工作状况信息，并在视野中显示。在本实施例中，假设一台ar眼镜通过喇叭采集到佩戴工程师的语音信息和对机器人设备三维模型的标注和修改信息后，通过机器人云平台系统转发给另一台ar眼镜，由另一台ar眼镜播放对方工程师的语音和显示对方工程师对机器人设备三维全息模型的修改。
需要进行远程机器人设计方案评审时，首先两位工程会师同时戴上ar眼镜，并连接上无线路由器wifi，利用ar眼镜对工程师所处坐标位置x,y,z以及工程师头部的转角进行数据的实时采集。利用ar眼镜对工程师的语音进行采集，两台ar眼镜之间的数据通讯采用tcp/ip协议，通过封装好的socket接口收发数据，数据与通讯接口经过优化处理，占用带宽低，延时低，容错性好。其中一个工程师通过ui界面向机器人云平台抓取已有机器人型号的具体工作状况参数并保存至所戴的ar眼镜中，另外一位工程师通过ui界面向机器人云平台抓取需要讨论的新一代机器人设计模型3d模型，并保存至所戴的ar眼镜中，两台ar眼镜通过所述的机器人云平台系统中的数据处理模块进行数据的传输。
机器人云平台系统包括机器人工作状况采集器，机器人工作状况采集器的数据输出接口与云端机械工作状况信息处理单元相连，云端机械工作状况信息处理单元的数据输出接口分别与各所述本地数据处理单元的数据输入接口建立数据通信；所述机器人云平台系统还包括云端数据处理模块及云端机器人设计方案评审模块，云端数据处理模块的数据输入接口分别与各所述ar眼镜的数据输出接口建立数据通信，云端数据处理模块的数据输出接口与云端数据转发模块的数据输入接口连接，云端数据转发模块的数据输出接口分别与各本地数据处理单元的输出输入接口建立数据通信。ar眼镜的数据输出接口与云端机器人设计方案评审模块的数据输入接口建立数据通信。
机械工作状况信息采集单元采集工程机械所处环境的工况信息数据，该工况信息数据包括但不限于：机械臂各个关节扭矩和力参数，机油压力和温度等。机械工作状况信息采集单元可以通过各种传感器(如压力传感器和温度传感器等)实现，此模块的作用是可以提供给工程师机械设备，例如已有机器人的一些当前实时参数，这种参数对于机器人的设计和迭代更新是有参考价值的。
一台ar眼镜的数据通过云端数据处理模块、云端数据转发模块和本地数据处理单元传输给另一台ar眼镜中。
云端机器人设计方案评审模块用于接收发送自ar眼镜的评审信息。
基于图1所示的系统，在本实施例中，工程师一与工程师二之间通过以下步骤完成机器人全息评审：
步骤1、工程师一通过机器人云平台系统的云端机械工作状况信息处理单元获取由机器人工作状况采集器采集的机器人设备的工作状况信息，该工作状况信息下发至工程师一的本地数据处理单元，由本地数据处理单元将工作状况信息进行二次处理后发送给工程师一的ar眼镜，工程师一可利用ar眼镜查看工作状况信息。为了与工程师二进行交流，工程师一也可以利用ar眼镜将工作状况信息上传至机器人云平台系统的云端数据处理模块；
步骤2、机器人云平台系统的云端数据处理模块通过云端数据转发模块将工作状况信息转发至工程师二的本地数据处理单元，本地数据处理单元对工作状况信息进行二次处理后在ar眼镜中进行查看；
步骤3、在本实施例中，假设工程师一在查看了工作状况信息决定对机器人设备三维模型进行修改，此时，工程师一从机器人云平台系统获取存储于云端数据处理模块内的机器人设备三维模型，针对该机器人设备三维模型，工程师一利用本地数据处理单元对获取的机器人设备三维模型进行修改，生成修改信息，工程师一可以利用ar眼镜查看并确认该修改信息。修改信息确认后，工程师一需要与工程师二共同对该修改信息进行评审，此时，工程师一将修改信息通过ar眼镜上传至机器人云平台系统的远端数据处理模块，远端数据处理模块通过数据转发模块将修改信息发送给工程师二的本地数据处理单元，本地数据处理单元对修改信息进行二次处理后，工程师二便可在ar眼镜中进行查看，进入步骤4；
步骤4、工程师一与工程师二针对该修改建议进行实时的动作及语音交流从而完成机器人设计方案的全息评审工作。以下以工程师二实时查看工程师一的动作及语音信息为例进行说明，包括以下步骤：
工程师一的动作捕捉模块捕捉工程师一的动作信息，同时，工程师一的ar眼镜捕捉工程师一的语音信息，由工程师一的ar眼镜将工程师一的动作信息及当前用户的语音信息上传至机器人云平台系统的云端数据处理模块。机器人云平台系统的云端数据转发模块将工程师一的动作信息及语音信息转发至工程师二的本地数据处理单元，本地数据处理单元对信息进行二次处理后发送给工程师二的ar眼镜，ar眼镜播放工程师一的语音信息及动作信息，从而实现工程师二实时查看工程师一的动作及语音信息。
工程师一实时查看工程师二的动作及语音信息同上。
通过工程师一与工程师二针对该修改建议进行实时的动作及语音交流从而完成机器人设计方案的全息评审工作，产生评审信息，工程师一或者工程师二可以利用ar眼镜将评审信息上传至机器人云平台系统的云端机器人设计方案评审模块。