本发明涉及一种机器人主从异构遥操作控制系统，具体涉及一种应用于对核废料进行抓取、切割、剪切等操作和核电站维修的7自由度遥操作控制系统。
背景技术：
核工业领域的安全问题在核废料处理和核电站维修与退役领域一直是人类关心的问题。随着人工智能技术引领的机器人技术不断发展，核工业领域正越来越多的使用机器人代替人类去实现与核处理相关的一线工作，机器人在核工业领域的应用也从最初的单一工作逐渐扩展到更加复杂的领域，机器人的自由度也从最初的一维、三维、到六维、七维甚至更高的维度，遥操作技术指在人的操作下完成人难以接近或对人体有害的环境中比较复杂操作的远距离操作技术。主从式机械手模式是核工业领域的传统应用，随着工业应用中七自由度机器人的广泛使用，开发与之相关的多自由度机器人遥操作方法就显得尤为紧迫；临场感技术是将操作者的信息传给机器人作为控制信号的同时也获得机器人运动场景下的反馈信息，主要包括视觉、力觉、触觉等。具有临场感的遥操作技术将人脑的高级智慧处理能力与远程机器人作业紧密结合，充分利用人类智能的优势与机器人协同作业，目前核工业领域非接触作业中视觉临场技术大多采用单一全局摄像头，缺乏深度信息，往往让操作人员难以判断机器人的实际位置，如公开号为cn104915957a，公开时间为2015年9月16日，名称为“一种提高工业机器人三维视觉识别精度的匹配矫正方法”的中国发明专利文献，公开了一种提高工业机器人三维视觉识别精度的匹配矫正方法，包括如下步骤：(a)建立视觉引导的机器人系统；(b)零件位置的检测及调整；(c)零件的检测及更换；(d)图像的获取和转化；(e)摄像头畸变处理；(f)摄像机标定；(g)对图像灰度化处理；(h)图像预处理；(i)边缘特征提取；(j)边缘特征匹配及矫正。本发明对图像进行特征点匹配，根据其特征点的拓扑关系，获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准确度，提高了三维建模的精度。
即，目前国内核工业领域接触作业中力觉临场技术因为相对视觉临场技术的非必不可少性还没有得到广泛应用。
技术实现要素：
本发明的目的在于提供一种具有临场感的七自由度机器人主从异构遥操作控制系统，实现应用于核退役、核废料处理、核电站维修等核工业领域多自由度耐辐照机器人的遥操作控制。
本发明的目的是通过以下技术方案实现的：
一种具有临场感的机器人主从异构遥操作控制系统，其特征在于：包括全局环境监控摄像头、末端监控摄像头、带有显示屏的中央控制器和前端带有主手的机械臂；主手具有力反馈装置，主手与中央控制器通过以太网数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，并将采集的视频数据在中央控制器屏幕上显示，机械臂通过tcp/ip协议与中央控制器数据相连。
所述末端监控摄像头设置在机械臂腕关节处，全局环境监控摄像头和末端监控摄像头组成具有目标物品景深信息提取功能的摄像头。
一种具有临场感的机器人主从异构遥操作控制方法，其特征在于，包括以下步骤：
分别定义摄像头、主手和机械臂的三维基坐标系；
中央控制器通过通讯获得主手在主手三维基坐标系或机械臂在机械臂三维基坐标系中的位姿，以及主手的力反馈数据；
由全局环境监控摄像头和末端监控摄像头采集得到主手或机械臂在摄像头三维基坐标系下的位姿数据；
通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿；或通过旋转变换矩阵经摄像头三维基坐标系的转换将机械臂在机械臂三维基坐标系中的位姿变换到主手的三维基坐标系中，并结合主手的实时位姿计算的到主手在主手三维基坐标系下根据机械臂的运动位姿等比例地应当到达的实时位姿；
将计算得到的主手或机械臂应当到达的实时位姿数据作为控制信号控制主手或机械臂动作到位。
所述通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿的具体方法为：
首先通过旋转变换矩阵式
式中，
然后将中央控制器获得的主手在主手坐标系下的实时位姿数据pm与经过旋转变换矩阵式变换后的变换矩阵trm相乘，得到机械臂在机械臂三维基坐标系下根据主手运动位姿等比例地应当到达的实时位姿数据pr，表达式为pr＝pmtrm。
所述全局环境监控摄像头和末端监控摄像头采集得到主手和机械臂在摄像头三维基坐标系下的位姿数据是通过控制全局环境监控摄像头和末端监控摄像头同时朝向机械臂末端的操作机构，标定两个摄像头的相对位置形成计算模型获取目标物品景深信息提取功能。
所述力反馈数据为在主手运动过程中感应到的阻力值，设定动作时间阈值，在机器人运动过程中，中央控制器循环采集机械臂的实时位姿数据与主手实时位姿数据比较，若机械臂的实时位姿数据与主手实时位姿数据有差异且在时间阈值内未消除则控制主手向机械臂传递一个与主手当前运动方向相反的力反馈给操作者。
所述摄像头、主手和机械臂的三维基坐标系为初始状态下在实时位置建立起的基础三维基坐标系，可以采取开发模块中本身的坐标系。
本发明的有益效果如下：
一、本发明提供的一种具有临场感的机器人主从异构遥操作控制系统，可通过视屏的实时显示对机器人进行操作，中央控制器对全局环境监控摄像头和末端监控摄像头检测到的主手活机械臂的位姿数据转换计算实现检测系统数据与主手、机械臂实际位置数据的换算保证控制精度，也将机器人动作状态视屏化展现在操作者眼前，实现第一视角操作的环境，同时主手上还设置有力反馈装置，实时向操作者反馈力数据，增强操作感，使操作者身临其境，更好操作，也使得一些操作者不能直接接触的特殊使用环境中对机器人的操作更为便利；增加了主手按钮控制机械臂腕部关节处的伸缩，扩展了多自由度主手在核工业领域的运动方式，推进了工业机器人在核工业领域的应用。
二、本发明提供的一种具有临场感的机器人主从异构遥操作控制系统，末端监控摄像头设置在机械臂腕关节处，可以实时与机械臂随动并检测到主手的全景，全局环境监控摄像头和末端监控摄像头处于不同的位置，类似于双眼定位的作用，便于实现景深数据的采集，精确定位机械手和主手的位姿数据，操作者也可以通过视频信息判断机器人在视频中深度方向上的运动状态。
三、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，分别定义摄像头、主手和机械臂的三维基坐标系，对应主手或机械臂在摄像头下的位姿数据和实际操作空间中的位姿数据，摄像头下的位姿数据即为操作者人眼观察到的状态，通过主从异构运动学解算方法换算摄像头、主手和机械臂的三维坐标，通过差值确定控制信号，并且可以将实际位姿数据与视屏显示的位姿数据(即摄像头坐标系下的位姿数据)进行转换，因此可通过视频的观察即可操作机械臂和主手在实际工作空间中到达指定位置，实现了视觉控制的过程，使操作者通过屏幕的第一视角即完成了对实际空间中的机器人进行控制，临场感更强。
四、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，通过旋转变换矩阵式将主手在主手三维基坐标系下的运动轨迹变换到机械臂三维基坐标系中，变换过程中先将主手的位姿转换到摄像头三维基坐标系中，即操作者通过可视化屏幕下达操作指令，然后再转换至机械臂的三维基坐标系中，最后结合实时数据得到实际空间中机械臂和机械手的位姿数据，对实时位姿数据进行逆运动学位姿解算即可实施动作，操作者可以通过视频信息判断机械臂运动在实际工作空间的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性。
五、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，主手末端位姿遥操作机械臂末端位姿的主从异构运动学解算方法成功的对机械臂完成了与主手精确的等比例位姿移动，该控制方法进一步完善了异构遥操作的控制策略，使遥操作机器人能适应更丰富的控制需求，适应了核工业领域的作业需求。
六、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，提供了视觉临场感功能，除了传统的通过一个环境监控摄像头以外增加了安装在机械臂腕部的末端监控摄像头，增加了深度信息，操作者可以通过视频信息判断机械臂运动在视频深度方向上的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性。
七、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，提供了力反馈，在机械臂发生碰撞等电机堵转的情况下通过速度等比例反馈主手一个力，提高了遥操作控制的安全性，也让操作人员在不同的工作空间中通过遥操作感同身受机械臂在作业现场的手里情况。
八、本发明提供的一种具有临场感的机器人主从异构遥操作控制方法，提供了重力保持功能，使操作人员在遥操作过程中暂停运动控制时能够保持在当前位姿，避免了一个整段的遥操作运动的终止，能让操作人员腾出手持6-dof主手的精力，把注意力放到更高效地将7-dof机械臂移动到目标位置。增强了遥操作控制的用户体验，推动了核工业领域遥操作机器人的发展。
附图说明
图1是本发明一种优选方案的系统结构示意图；
图中：
1、全局环境监控摄像头；2、末端监控摄像头。
具体实施方式
以下通过几个具体实施例来进一步说明为实现本发明目的的技术方案，需要说明的是，本发明所要求保护的技术方案包括但不限于以下实施例。
实施例1
如图1，一种具有临场感的机器人主从异构遥操作控制系统，包括全局环境监控摄像头1、末端监控摄像头2、带有显示屏的中央控制器和前端带有主手的机械臂；主手具有力反馈装置，主手与中央控制器通过以太网数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，并将采集的视频数据在中央控制器屏幕上显示，机械臂通过tcp/ip协议与中央控制器数据相连。
这是本发明一种最基本的实施方案。通过视屏显示对机器人进行操作，中央控制器对全局环境监控摄像头和末端监控摄像头检测到的主手和机械臂位置信息转换计算实现检测系统数据与主手、机械臂实际位置数据的换算保证控制精度，也将机器人动作状态视屏化展现在操作者眼前，实现第一视角操作的环境，同时主手上还设置有力反馈装置，实时向操作者反馈力数据，增强操作感，使操作者身临其境，更好操作，也使得一些操作者不能直接接触的特殊使用环境中对机器人的操作更为便利；增加了主手按钮控制机械臂腕部关节处的伸缩，扩展了7-dof自由度主手在核工业领域的运动方式，推进了工业机器人在核工业领域的应用。
实施例2
如图1，一种具有临场感的机器人主从异构遥操作控制系统，包括全局环境监控摄像头1、末端监控摄像头2、带有显示屏的中央控制器和前端带有主手的机械臂；主手具有力反馈装置，主手与中央控制器通过以太网数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，并将采集的视频数据在中央控制器屏幕上显示，机械臂通过tcp/ip协议与中央控制器数据相连；所述末端监控摄像头2设置在机械臂腕关节处，全局环境监控摄像头1和末端监控摄像头2组成具有目标物品景深信息提取功能的摄像头。
这是本发明一种具有临场感的机器人主从异构遥操作控制系统一种优选的实施方案。通过视屏显示对机器人进行操作，中央控制器对全局环境监控摄像头和末端监控摄像头检测到的主手和机械臂位置信息转换计算实现检测系统数据与主手、机械臂实际位置数据的换算保证控制精度，也将机器人动作状态视屏化展现在操作者眼前，实现第一视角操作的环境，同时主手上还设置有力反馈装置，实时向操作者反馈力数据，增强操作感，使操作者身临其境，更好操作，也使得一些操作者不能直接接触的特殊使用环境中对机器人的操作更为便利；增加了主手按钮控制机械臂腕部关节处的伸缩，扩展了7-dof自由度主手在核工业领域的运动方式，推进了工业机器人在核工业领域的应用；末端监控摄像头设置在机械臂腕关节处，可以实时与机械臂随动并检测到主手的全景，全局环境监控摄像头和末端监控摄像头处于不同的位置，类似于双眼定位的作用，便于实现景深数据的采集，精确定位机械手和主手的位姿数据，操作者也可以通过视频信息判断机器人在视频中深度方向上的运动状态。
实施例3
如图1，一种具有临场感的机器人主从异构遥操作控制方法，包括以下步骤：
分别定义摄像头、主手和机械臂的三维基坐标系；
中央控制器通过通讯获得主手在主手三维基坐标系或机械臂在机械臂三维基坐标系中的位姿，以及主手的力反馈数据；
由全局环境监控摄像头1和末端监控摄像头2采集得到主手或机械臂在摄像头三维基坐标系下的位姿数据；
通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿；或通过旋转变换矩阵经摄像头三维基坐标系的转换将机械臂在机械臂三维基坐标系中的位姿变换到主手的三维基坐标系中，并结合主手的实时位姿计算的到主手在主手三维基坐标系下根据机械臂的运动位姿等比例地应当到达的实时位姿；
将计算得到的主手或机械臂应当到达的实时位姿数据作为控制信号控制主手或机械臂动作到位。
这是本发明一种具有临场感的机器人主从异构遥操作控制方法的最基本实施方案。分别定义摄像头、主手和机械臂的三维基坐标系，对应主手或机械臂在摄像头下的位姿数据和实际操作空间中的位姿数据，摄像头下的位姿数据即为操作者人眼观察到的状态，通过主从异构运动学解算方法换算摄像头、主手和机械臂的三维坐标，通过差值确定控制信号，并且可以将实际位姿数据与视屏显示的位姿数据(即摄像头坐标系下的位姿数据)进行转换，因此可通过视频的观察即可操作机械臂和主手在实际工作空间中到达指定位置，实现了视觉控制的过程，使操作者通过屏幕的第一视角即完成了对实际空间中的机器人进行控制，临场感更强。
实施例4
如图1，如图1，一种具有临场感的机器人主从异构遥操作控制方法，包括以下步骤：
分别定义摄像头、主手和机械臂的三维基坐标系；
中央控制器通过通讯获得主手在主手三维基坐标系或机械臂在机械臂三维基坐标系中的位姿，以及主手的力反馈数据；
由全局环境监控摄像头1和末端监控摄像头2采集得到主手或机械臂在摄像头三维基坐标系下的位姿数据；
通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿；或通过旋转变换矩阵经摄像头三维基坐标系的转换将机械臂在机械臂三维基坐标系中的位姿变换到主手的三维基坐标系中，并结合主手的实时位姿计算的到主手在主手三维基坐标系下根据机械臂的运动位姿等比例地应当到达的实时位姿；
将计算得到的主手或机械臂应当到达的实时位姿数据作为控制信号控制主手或机械臂动作到位；
所述通过旋转变换矩阵经摄像头三维基坐标系的转换将主手在主手三维基坐标系中的位姿变换到机械臂的三维基坐标系中，并结合机械臂的实时位姿计算的到机械臂在机械臂三维基坐标系下根据主手的运动位姿等比例地应当到达的实时位姿的具体方法为：
首先通过旋转变换矩阵式
式中，
然后将中央控制器获得的主手在主手坐标系下的实时位姿数据pm与经过旋转变换矩阵式变换后的变换矩阵trm相乘，得到机械臂在机械臂三维基坐标系下根据主手运动位姿等比例地应当到达的实时位姿数据pr，表达式为pr＝pmtrm；
所述全局环境监控摄像头和末端监控摄像头采集得到主手和机械臂在摄像头三维基坐标系下的位姿数据是通过控制全局环境监控摄像头和末端监控摄像头同时朝向机械臂末端的操作机构，标定两个摄像头的相对位置形成计算模型获取目标物品景深信息提取功能；
所述力反馈数据为在主手运动过程中感应到的阻力值，设定动作时间阈值，在机器人运动过程中，中央控制器循环采集机械臂的实时位姿数据与主手实时位姿数据比较，若机械臂的实时位姿数据与主手实时位姿数据有差异且在时间阈值内未消除则控制主手向机械臂传递一个与主手当前运动方向相反的力反馈给操作者；
这是本发明一种具有临场感的机器人主从异构遥操作控制方法的优选实施方案。分别定义摄像头、主手和机械臂的三维基坐标系，对应主手、机械臂在摄像头下的位姿数据和实际操作空间中的位姿数据，摄像头下的位姿数据即为操作者人眼观察到的状态，通过主从异构运动学解算方法换算摄像头、主手和机械臂的三维坐标，通过差值确定控制信号，并且可以将实际位姿数据与视屏显示的位姿数据(即摄像头坐标系下的位姿数据)进行转换，因此可通过视频的观察即可操作机械臂和主手在实际工作空间中到达指定位置，实现了视觉控制的过程，使操作者通过屏幕的第一视角即完成了对实际空间中的机器人进行控制，临场感更强；通过旋转变换矩阵式将机械臂在机械臂坐标系下的运动轨迹变换到主手坐标系中，变换过程中先将机械臂从摄像头坐标系转换到机械臂坐标系下，即操作者通过可视化屏幕下达操作指令，然后经过坐标系的转换后转换为实际空间中机械臂和机械手的位姿数据，操作者可以通过视频信息判断机械臂运动在实际工作空间的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性；6-dof主手末端位姿遥操作7-dof机械臂末端位姿的主从异构运动学解算方法成功的对机械臂完成了与主手精确的等比例位姿移动，该控制方法进一步完善了异构遥操作的控制策略，使遥操作机器人能适应更丰富的控制需求，适应了核工业领域的作业需求；提供了视觉临场感功能，除了传统的通过一个环境监控摄像头以外增加了安装在7-dof机械臂腕部的末端监控摄像头，增加了深度信息，操作者可以通过视频信息判断7-dof机械臂运动在视频深度方向上的运动，更有身临其境的感觉，也增加了操作员遥操作控制的准确性；提供了力反馈，在7-dof机械臂发生碰撞等电机堵转的情况下通过速度等比例反馈6-dof主手一个力，提高了遥操作控制的安全性，也让操作人员在不同的工作空间中通过遥操作感同身受机械臂在作业现场的手里情况；提供了重力保持功能，使操作人员在遥操作过程中暂停运动控制时能够保持在当前位姿，避免了一个整段的遥操作运动的终止，能让操作人员腾出手持6-dof主手的精力，把注意力放到更高效地将7-dof机械臂移动到目标位置。增强了遥操作控制的用户体验，推动了核工业领域遥操作机器人的发展。
实施例5
如图1，一种具有临场感的机器手主从异构遥操作控制系统，它包括6-dof的主手、全局环境监控摄像头、末端监控摄像头、中央控制器,、7-dof机械臂。
中央控制器是整个控制系统的核心，主手与中央控制器通过以太网进行数据通信，全局环境监控摄像头和末端监控摄像头通过以太网实现数据交互，采集后的视频数据在中央控制器屏幕上显示，7-dof机械臂通过tcp/ip协议与中央控制器进行运动控制指令的发送和机械臂末端运动信息的接收，机械臂运动控制的位姿解算全部在中央控制器内完成。操作人员对照中央控制器屏幕上两个摄像头的视频信息操作主手，中央控制器实时解算主手位姿控制信息并发送给机械臂，实现机械臂等比例地远程移动。
主手与中央控制器的通讯周期为0.1秒，位置精度在0.01毫米。
在中央控制器内，获得的主手位姿在主手坐标系下通过坐标系变换到操作者看到的摄像头坐标系，继而从摄像头坐标系变换到机械臂坐标系，通过tcp/ip协议从中央控制器传给机械臂，机械臂做逆运动学计算传给机械臂各个关节电机，实现机械臂等比例运动。
主手坐标系、摄像头坐标系、机械臂坐标系之间的变换关系由按下主手按钮开启主从遥操作控制模式的那一刻主手和机械臂的位姿通过旋转变换矩阵式(1)得到，之后每次主手传给中央控制器的位姿都用式(1)相乘得到机械臂在机械臂坐标系下的位姿作为控制信号传给机器人，直到主从遥操作控制模式结束。式(1)中，trm和tmm分别表示三维运动在机械臂机器人坐标系和主手坐标系下的变换矩阵，tcr表示全局监控相机坐标系到机械臂机器人坐标系的旋转变换矩阵，tmp表示主手坐标系到操作人员坐标系的齐次旋转变换矩阵。
基于视觉的临场感技术是通过机械臂腕关节的摄像头和全局监控摄像头同时看向机械臂末端的操作机构，标定两个摄像头的相对位置，做好计算模型，在同一物体的不同视频信息中提取深度信息。
基于力觉的临场感技术是通过主手的力反馈功能，在机器人发生碰撞时感知到速度的停滞，反馈给主手以相反方向的力，让操作者感觉到不能在原方向上继续移动主手。中央控制器循环采集机械臂机器人通过tcp/ip协议传回的运动信息，我们设定一个很小的速度阈值，当主手发出的运动指令在机械臂机器人端始终得不到相应实现时，我们在主手上设定与主手运动速度成正比的反方向力。
重力保持功能是在机器人较长时间内保持相同姿势不需要移动时主手能够同样地在操作人员不施加力作用时主手能自己克服自身设备的重力保持不动；其实现通过离线递归估计空间指定点的重力补偿值和实时在线插值进行重力补偿来完成；第一部分离线质量估计的具体实现：选择主手工作空间中尽可能大的长方体(包括正方体)，将其内部均分为8个相等的长方体(包括正方体)，得到27个顶点。设定这27个顶点的质量初值，在每个顶点处使用比例微分控制使其移动到此顶点处保持一定时间(实际使用中我们用的保持15个通信周期)，记录下此时的质量估计值，作为这个顶点在实时在线重力补偿中的质量，质量估算按式(2)进行。第二部分实时在线插值重力补偿的实现：确定采集到的主手位置落在之前划分长方体(包括正方体)中的哪一个中，按照式(3)完成三线性插值，完成实时在线重力补偿。
式(2)中，x表示主手末端在主手坐标系下的坐标，xi表示正在估计质量的顶点，mj表示当前递归循环中估计的质量，g表示实验地点当地的重力加速度值。
m(x)＝ecam0+ecbm1+edam2+edbm3+fcam4+fcbm5+fdam6+fdbm7(3)
式(3)中，m0～m7分别表示此时主手末端落入的小长方体(含正方体)的8个顶点在主手坐标系中的坐标值，m0＝(xk,yk,zk)为三个坐标值最小的顶点。lx,ly,lz分别表示小长方体的长、宽、高，则a～e的表达式如式(4)所示。