本发明涉及智能机器人，特别涉及一种基于在线重建-渲染-匹配的多机器人多模式臂-手-眼关系智能标定方法。
背景技术：
1、目前，随着机器人操作的任务复杂度、动作精细度、对象灵活度不断提升，机器人系统的感知、操控能力亟需进一步提升。由于多机器人系统可实现多视角的近距离融合观测以及对目标的协同作业，采用多机器人系统开展协同操作具有重要的意义。然而，多机器人运动链条复杂，存在多臂、多手、多眼间的多类型位姿关系，容易出现因标定误差过大而降低系统感知精度的情况。而现有的标定方法存在深度感知精度不足、标定模式单一、标定误差评价不直观、需借助精密标定物等缺点。因此，研究一种可适应多机器人多模式的臂-手-眼智能标定方法对多机器人系统感知精度提升具有重要的意义。
技术实现思路
1、本发明实施例提供了一种基于在线重建-渲染-匹配的多机器人多模式臂-手-眼关系智能标定方法，能够精准标定机器人。
2、本发明实施例提供一种基于在线重建-渲染-匹配的多机器人多模式臂-手-眼关系智能标定方法，包括：
3、控制待确认标定关系的多机器人在用于标定的构型序列下移动；其中，机器人包括臂、手和眼，所述眼包括安装在机器人末端相机和安装于外部用于观测臂的相机，待标定关系包括手-眼标定关系、臂-眼标定关系和臂-臂标定关系，所述手-眼标定关系为安装在一个机器人末端的相机相对于机器人末端法兰盘中心坐标系的关系，所述臂-眼标定关系为安装于外部的相机相对于另一个机器人基座的关系，所述臂-臂标定关系为不同机器人基座之间的关系；
4、根据各机器人在线关节角度、运动学标定和机器人各连杆三维模型建立各个机器人的在线三维模型；
5、根据初始手-眼标定关系、初始臂-眼标定关系和初始臂-臂标定关系结合所述在线三维模型生成各自的二维图像，将各自的二维图像和各自对应的实际图像对比，根据对比得到的差异进行优化，得到精确手-眼标定关系、精确臂-眼标定关系和精确臂-臂标定关系。
6、可选地，在所述控制待确认标定关系的多机器人在用于标定的构型序列下移动之前，包括：
7、根据机器人及相机的配置方式选择手-眼标定关系、臂-臂标定关系、臂-眼标定关系的标定方式。
8、可选地，所述初始手-眼标定关系、所述初始臂-眼标定关系和所述初始臂-臂标定关系通过如下方式获得：
9、将所述在线三维模型和机器人的所述眼在线测试的三维点云进行匹配，得到初始手-眼标定关系、初始臂-眼标定关系和初始臂-臂标定关系。
10、可选地，所述根据初始手-眼标定关系、初始臂-眼标定关系和初始臂-臂标定关系结合所述在线三维模型生成各自的二维图像，所述将各自的二维图像和各自对应的实际图像对比，根据对比差异优化后，得到精确手-眼标定关系、精确臂-眼标定关系和精确臂-臂标定关系，包括：
11、分别将所述初始手-眼标定关系和所述初始臂-眼标定关系结合所述在线三维模型，基于所述眼的相机的参数进行渲染，分别生成手-眼标定二维图像和臂-眼标定二维图像；
12、将所述手-眼标定二维图像和所述臂-眼标定二维图像分别和相机获取的实际图片进行对比，定量评价所述手-眼标定二维图像和所述臂-眼标定二维图像分别与其各自对应的实际图片的差异，根据差异对所述初始手-眼标定关系和所述初始臂-眼标定关系进行优化，得到精确手-眼标定关系和精确臂-眼标定关系；
13、基于所述精确手-眼标定关系结合所述在线三维模型和所述初始臂-臂标定关系，基于所述眼的相机的参数进行渲染，生成臂-臂二维图像；
14、将所述臂-臂二维图像和相机获取的实际图片进行对比，定量评价所述臂-臂二维图像与其对应的实际图片的差异，根据差异对所述初始臂-臂标定关系进行优化，得到精确臂-臂标定关系。
15、可选地，所述相机为rgbd相机。
16、可选地，所述序列构型通过如下方式生成：
17、根据当前机器人各关节角度以及各连杆、相机及连接件、环境障碍模型，结合相机视场范围及运动避障特性，生成机器人序列构型。
18、可选地，所述根据各机器人在线关节角度、运动学标定和机器人各连杆三维模型建立各个机器人的在线三维模型，包括：
19、根据机器人运动学参数及在线关节角度，基于正运动学计算各连杆位姿坐标，结合各连杆mesh模型，生成机器人在线三维模型，以基于相机内参进行裁剪。
20、可选地，所述将所述在线三维模型和机器人的所述眼在线测试的三维点云进行匹配，得到初始手-眼标定关系、初始臂-眼标定关系和初始臂-臂标定关系，包括：
21、采用位姿估计方法，基于所述在线三维模型，结合在线获取图像及三维点云进行匹配，获取三维点云内机器人三维模型的位姿估计值，即机器人本体相对于相机的初始手-眼标定关系、初始臂-眼标定关系和初始臂-臂标定关系。
22、可选地，将各自的二维图像和各自对应的实际图像对比，根据对比得到的差异进行优化，包括：
23、针对每个二维图像和其对应的实际图像，均执行：
24、对相机获取的实际图片进行基于语义提示的分割；
25、替换分割后背景与渲染的二维图像背景同色；
26、采用图像结构衡量指标进行图像差异评价；
27、采用粒子群优化方法，在初值附近区域进行采样优化。
28、本发明与现有技术相比至少具有如下有益效果：
29、在本实施例中，按照用于标定的构型看序列移动多个机器人，使其移动到便于标定的构型。然后根据各个机器人的相关参数，建立在线三维模型。将根据在线三维模型和初始标定关系得到的二维图像和相机实际拍摄的实际图像进行对比，根据对比的结果进行优化，得到相机和机器人手、臂的精确标定关系。
1.一种基于在线重建-渲染-匹配的多机器人多模式臂-手-眼关系智能标定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述控制待确认标定关系的多机器人在用于标定的构型序列下移动之前，包括：
3.根据权利要求1所述的方法，其特征在于，所述初始手-眼标定关系、所述初始臂-眼标定关系和所述初始臂-臂标定关系通过如下方式获得：
4.根据权利要求1所述的方法，其特征在于，所述根据初始手-眼标定关系、初始臂-眼标定关系和初始臂-臂标定关系结合所述在线三维模型生成各自的二维图像，所述将各自的二维图像和各自对应的实际图像对比，根据对比差异优化后，得到精确手-眼标定关系、精确臂-眼标定关系和精确臂-臂标定关系，包括：
5.根据权利要求1所述的方法，其特征在于，所述相机为rgbd相机。
6.根据权利要求1所述的方法，其特征在于，所述序列构型通过如下方式生成：
7.根据权利要求1所述的方法，其特征在于，所述根据各机器人在线关节角度、运动学标定和机器人各连杆三维模型建立各个机器人的在线三维模型，包括：
8.根据权利要求3所述的方法，其特征在于，所述将所述在线三维模型和机器人的所述眼在线测试的三维点云进行匹配，得到初始手-眼标定关系、初始臂-眼标定关系和初始臂-臂标定关系，包括：
9.根据权利要求1所述的方法，其特征在于，将各自的二维图像和各自对应的实际图像对比，根据对比得到的差异进行优化，包括：