一种空间在轨维修机器人目标自主测量方法与流程

1.本发明属于空间机器人领域，涉及一种空间在轨维修机器人目标自主测量方法。


背景技术：

2.空间机器人是人类对太空进行探索、完成太空任务的重要操作工具，在空间作业中发挥着重要作用。随着科学技术的发展，航天技术不断迭代更新，空间站作业任务逐步变得更为繁杂，执行的任务要求逐步提升，面对危险复杂的太空环境，空间机器人可以帮助人类完成许多高难度、高精度、高危险的操作，从而帮助宇航员完成空间操作任务，提升工作效率，增加任务的成功率与安全性。
3.在空间站、卫星需要进行维修的情况下，使用空间机器人智能检测目标维修工具，获取目标工具的高精度位姿信息，控制空间机器人抓取维修工具，并使用工具进行维修操作，达到自主维修、节省人力、提高效率与安全性的目的，在实际应用中有一定意义。
4.以上使用空间机器人进行高精度自主维修的操作需求可以基于固定已知的空间关系来实现。但在实际应用中，空间环境复杂，无法保证目标的模型与位姿已知，在进行复杂的维修操作时，需要高精度的智能操作。而针对模型、信息未知的非合作目标，空间机器人需要对目标首先进行检测，并获取高精度的位姿信息，以保证维修操作步骤的准确。
5.因此，如何将空间机器人领域和感知、自主操作技术更好的结合起来成了本领域技术人员亟待解决的技术问题。


技术实现要素：

6.本发明解决的技术问题是：克服现有技术的不足，提出一种空间在轨维修机器人目标自主测量方法，可以更精准、精确的进行维修操作，执行精准的维修任务，更好地节省时间和人力成本。
7.本发明解决技术的方案是：
8.一种空间在轨维修机器人目标自主测量方法，包括：
9.步骤一、构建空间在轨维修机器人的整体架构，包括控制部分、感知部分和通信部分；控制部分为通过步进电机控制含夹爪的七自由度机械臂；感知部分为在机器人头部安装头部相机，在机械臂末端安装手部相机；通信部分为实现控制部分与感知部分的网络连通；
10.步骤二、进行手眼标定，确定相机坐标系、机械臂坐标系与大地坐标系的关系；
11.步骤三、建立障碍地图并检测维修工具：由空间在轨维修机器人的头部相机感知前方信息，建立障碍地图，方便控制部分操作机械臂进行运动；并进行智能检测，检测视野内的目标类别维修工具，并得到目标的位姿
12.步骤四、机械臂末端移动到目标超近距离：控制部分根据头部相机观察得到的目标位置信息，机械臂末端躲避障碍，移动到目标的超近距离内，使机械臂末端相机能够进行高精度位姿估计；
13.步骤五、高精度位姿估计：使用机械臂末端的手部相机在超近距离对目标进行智能检测与位姿估计，得到目标的高精度位姿；
14.步骤六、执行抓取：将高精度位姿信息通过lcm传递给控制部分，使机械臂调整末端位姿，使用夹爪抓取目标。
15.在上述的一种空间在轨维修机器人目标自主测量方法，所述步骤一中，头部相机和手部相机均为rgb-d相机；rgb-d相机实现在获得目标rgb图像的同时获取目标距离相机的距离信息，一次性感知到rgb信息与深度信息，避免了分开使用rgb相机与深度相机带来的标定问题。
16.在上述的一种空间在轨维修机器人目标自主测量方法，所述步骤一中，通信部分的通信方式采用轻量级别通信和编组lcm。
17.在上述的一种空间在轨维修机器人目标自主测量方法，所述步骤二中，手眼标定为将所有信息统一至机械臂坐标系，具体方法为：
18.s21、固定rgb-d相机，固定位置后进行手眼标定，且不再变动相机的位置；
19.s22、根据相机的视野范围与机械臂的臂长，选择大小合适的标定板，使在进行标定时，信息更加准确有效；
20.s23、使用眼在手上eye in hand的方法标定机械臂末端的手部相机，即求解相机与机器人末端之间的关系；使用眼在手外eye to hand的方法标定机械臂头部相机，即求解相机与机器人底座之间的关系；机械臂多次移动，并保证标定板一直在相机视野范围内；
21.s24、使用tsai法，求解手眼标定问题中的求解问题，得到目标矩阵，目标矩阵即为相机坐标系与机械臂坐标系的关系；定义机械臂坐标系后，根据机械臂坐标系，人为定义大地坐标系。
22.在上述的一种空间在轨维修机器人目标自主测量方法，所述步骤三中，建立障碍地图并检测维修工具的具体方法为：
23.s31、通过空间在轨维修机器人的头部相机采集的深度信息转化为三维地图，并作为障碍地图，用于机械臂在运动时规划路径的依据，避免机械臂碰撞；障碍地图为栅格地图；
24.s32、进行目标的智能检测，包括对目标建立数据集、进行数据增强以及训练、测试；进一步，使用头部相机进行目标识别以及实例分割，得到目标对应的点云；目标识别和实例分割使用mask-rcnn网络实现；在目标识别与实例分割步骤中，得到目标在rgb图中的外轮廓；进一步，通过rgb信息与深度图的对齐，得到目标的深度信息，即目标的点云；
25.s33、求解目标在机械臂基座下的位置坐标：通过目标识别与实例分割得到目标的外包矩形框，进一步可以得到目标的中心点的像素坐标；结合相机的内参，求解目标中心点在相机系下的坐标；通过手眼标定得到的结果，最终求解目标在机械臂基座下的位置坐标；
26.s34、求解目标在机械臂基座下的姿态信息：通过点云配准模型模板点云与目标点云的配准，从而得到目标的位姿；配准后得到目标点云根据模板点云的旋转平移关系，进一步通过手眼标定结果的矩阵转换，得到目标在机械臂基座下的姿态。
27.在上述的一种空间在轨维修机器人目标自主测量方法，所述s34中，模板点云的精度等于或高于相机在距离目标超近距离时的采集精度；制作完模板点云后，将模板点云固定在某一位姿已知位置，从而得到两个点云之间的位姿关系；优选将模板点云固定在相机
坐标系的原点位置，方便进行坐标系的转化与计算；
28.所述点云配准模型为基于icp的改进模型。
29.在上述的一种空间在轨维修机器人目标自主测量方法，所述步骤四中，机械臂末端移动到目标超近距离的具体方法为：
30.s41、机械臂运动目标位置设置为步骤s3中目标中心点坐标上方一定距离的坐标位置，机械臂运动目标姿态与步骤s3中目标姿态相同；
31.机械臂运动目标位置与真实抓取目标的距离设置主要根据机械臂的夹爪长度相关，其目的在于设置一个超近距离，使得在机械臂不碰到目标物体的情况下，能够让手部rgb-d相机在最近的工作范围内对抓取目标进行高精度位姿估计；
32.s42、根据步骤s41设置的目标位姿，结合步骤s31采集得到的障碍地图，进行路径规划，并根据机械臂的动力学对路径进行平滑，得到光滑轨迹；
33.s43，将计算的运动轨迹通过lcm通信发送给控制模块，控制机械臂跟踪规划轨迹，将机械臂末端移动到目标超近距离。
34.在上述的一种空间在轨维修机器人目标自主测量方法，所述步骤五与步骤三和步骤四相同，通过点云配准模型模板点云与目标点云的配准，得到目标的高精度位姿。
35.在上述的一种空间在轨维修机器人目标自主测量方法，步骤五与步骤三和步骤四的不同点为：步骤三进行点云配准时，相机距离目标较远，两团点云的数量有一定差异，其配准结果精度不高，仅需要满足为步骤四提供目标位置的作用；
36.在步骤五中，手部相机距离目标更近，采集到的点云精度更高，配准结果精度更高，可以得到目标的高精度位姿。
37.在上述的一种空间在轨维修机器人目标自主测量方法，所述步骤六中，执行抓取的具体过程为：
38.s61、高精度位姿信息包含7个数据，分别为以机械臂基座为坐标系下，目标中心点的位置信息(x,y,z)与四元数；
39.s62、通过lcm通信，将高精度位姿信息从视觉与规划部分的计算机发出，由控制部分计算机接收；
40.s63、根据接收的位姿信息，控制机械臂进行移动，并使用夹爪进行抓取。
41.本发明与现有技术相比的有益效果是：
42.(1)本发明在危险的空间环境下，使用空间在轨维修机器人代替宇航员执行危险的维修操作，大大保障宇航员的安全性；
43.(2)本发明对于高精度维修任务，相比于人力维修，使用空间在轨维修机器人可以更精准、精确的进行维修操作；
44.(3)本发明对于空间狭小、不便宇航员操作的维修环境，使用空间在轨维修机器人可以更好地抓取体积较小的维修工具，执行精准的维修任务；
45.(4)本发明对于大量、基础的维修操作，使用空间在轨维修机器人可以更好地节省时间和人力成本。
附图说明
46.图1为本发明空间在轨维修机器人目标自主测量流程图。
具体实施方式
47.下面结合实施例对本发明作进一步阐述。
48.本发明提供了一种空间在轨维修机器人可以自主执行维修任务的方法，可以更精准、精确的进行维修操作，执行精准的维修任务，更好地节省时间和人力成本。
49.空间在轨维修机器人目标自主测量方法，如图1所示，具体包括如下步骤：
50.步骤一、构建空间在轨维修机器人的整体架构，包括控制部分、感知部分和通信部分；控制部分为通过步进电机控制含夹爪的七自由度机械臂；感知部分为在机器人头部安装头部相机，在机械臂末端安装手部相机；通信部分为实现控制部分与感知部分的网络连通。
51.头部相机和手部相机均为rgb-d相机；rgb-d相机实现在获得目标rgb图像的同时获取目标距离相机的距离信息，一次性感知到rgb信息与深度信息，避免了分开使用rgb相机与深度相机带来的标定问题。
52.通信部分的通信方式采用轻量级别通信和编组lcm。
53.步骤二、进行手眼标定，确定相机坐标系、机械臂坐标系与大地坐标系的关系。
54.手眼标定为将所有信息统一至机械臂坐标系，具体方法为：
55.s21、固定rgb-d相机，固定位置后进行手眼标定，且不再变动相机的位置；
56.s22、根据相机的视野范围与机械臂的臂长，选择大小合适的标定板，使在进行标定时，信息更加准确有效；
57.s23、使用眼在手上eye in hand的方法标定机械臂末端的手部相机，即求解相机与机器人末端之间的关系；使用眼在手外eye to hand的方法标定机械臂头部相机，即求解相机与机器人底座之间的关系；机械臂多次移动，并保证标定板一直在相机视野范围内；
58.s24、使用tsai法，求解手眼标定问题中的求解问题，得到目标矩阵，目标矩阵即为相机坐标系与机械臂坐标系的关系；定义机械臂坐标系后，根据机械臂坐标系，人为定义大地坐标系。
59.步骤三、建立障碍地图并检测维修工具：由空间在轨维修机器人的头部相机感知前方信息，建立障碍地图，方便控制部分操作机械臂进行运动；并进行智能检测，检测视野内的目标类别维修工具，并得到目标的位姿。
60.建立障碍地图并检测维修工具的具体方法为：
61.s31、通过空间在轨维修机器人的头部相机采集的深度信息转化为三维地图，并作为障碍地图，用于机械臂在运动时规划路径的依据，避免机械臂碰撞；障碍地图为栅格地图；
62.s32、进行目标的智能检测，包括对目标建立数据集、进行数据增强以及训练、测试；进一步，使用头部相机进行目标识别以及实例分割，得到目标对应的点云；目标识别和实例分割使用mask-rcnn网络实现；在目标识别与实例分割步骤中，得到目标在rgb图中的外轮廓；进一步，通过rgb信息与深度图的对齐，得到目标的深度信息，即目标的点云；
63.s33、求解目标在机械臂基座下的位置坐标：通过目标识别与实例分割得到目标的外包矩形框，进一步可以得到目标的中心点的像素坐标；结合相机的内参，求解目标中心点在相机系下的坐标；通过手眼标定得到的结果，最终求解目标在机械臂基座下的位置坐标；
64.s34、求解目标在机械臂基座下的姿态信息：通过点云配准模型模板点云与目标点
云的配准，从而得到目标的位姿；配准后得到目标点云根据模板点云的旋转平移关系，进一步通过手眼标定结果的矩阵转换，得到目标在机械臂基座下的姿态。
65.所述s34中，模板点云的精度等于或高于相机在距离目标超近距离时的采集精度；制作完模板点云后，将模板点云固定在某一位姿已知位置，从而得到两个点云之间的位姿关系；优选将模板点云固定在相机坐标系的原点位置，方便进行坐标系的转化与计算；
66.所述点云配准模型为基于icp的改进模型。
67.步骤四、机械臂末端移动到目标超近距离：控制部分根据头部相机观察得到的目标位置信息，机械臂末端躲避障碍，移动到目标的超近距离内，使机械臂末端相机能够进行高精度位姿估计。
68.机械臂末端移动到目标超近距离的具体方法为：
69.s41、机械臂运动目标位置设置为步骤s3中目标中心点坐标上方一定距离的坐标位置，机械臂运动目标姿态与步骤s3中目标姿态相同；
70.机械臂运动目标位置与真实抓取目标的距离设置主要根据机械臂的夹爪长度相关，其目的在于设置一个超近距离，使得在机械臂不碰到目标物体的情况下，能够让手部rgb-d相机在最近的工作范围内对抓取目标进行高精度位姿估计；
71.s42、根据步骤s41设置的目标位姿，结合步骤s31采集得到的障碍地图，进行路径规划，并根据机械臂的动力学对路径进行平滑，得到光滑轨迹；
72.s43，将计算的运动轨迹通过lcm通信发送给控制模块，控制机械臂跟踪规划轨迹，将机械臂末端移动到目标超近距离。
73.步骤五、高精度位姿估计：使用机械臂末端的手部相机在超近距离对目标进行智能检测与位姿估计，得到目标的高精度位姿。
74.所述步骤五与步骤三和步骤四相同，通过点云配准模型模板点云与目标点云的配准，得到目标的高精度位姿。
75.步骤五与步骤三和步骤四的不同点为：步骤三进行点云配准时，相机距离目标较远，两团点云的数量有一定差异，其配准结果精度不高，仅需要满足为步骤四提供目标位置的作用。
76.在步骤五中，手部相机距离目标更近，采集到的点云精度更高，配准结果精度更高，可以得到目标的高精度位姿。
77.步骤六、执行抓取：将高精度位姿信息通过lcm传递给控制部分，使机械臂调整末端位姿，使用夹爪抓取目标。
78.执行抓取的具体过程为：
79.s61、高精度位姿信息包含7个数据，分别为以机械臂基座为坐标系下，目标中心点的位置信息(x,y,z)与四元数；
80.s62、通过lcm通信，将高精度位姿信息从视觉与规划部分的计算机发出，由控制部分计算机接收；
81.s63、根据接收的位姿信息，控制机械臂进行移动，并使用夹爪进行抓取。
82.实施例
83.提供的基于无人机视觉的目标识别与评估方法包括按顺序进行的下列步骤：
84.s1、构建空间在轨维修机器人的整体架构；
85.在步骤s1中，空间在轨维修机器人的整体架构主要包括感知部分、控制部分与通信部分；
86.s11，其中感知部分包括安装在头部的固定相机与安装在机械臂末端(连接夹爪的腕关节)的手部相机，所述相机优选为rgb-d相机，rgb-d相机能够在获得目标rgb图像的同时获取目标距离相机的距离信息，从而能够一次性感知到rgb信息与深度信息，且避免了分开使用rgb相机与深度相机带来的标定问题；
87.s12，控制部分主要控制一个含夹爪的七自由度机械臂，通过微小操作系统连接机械臂的步进电机进行控制；
88.s13，通信部分硬件上包括一台路由器与分别连接感知部分与控制部分的网线；
89.优选地，其中通信方式使用轻量级别通信和编组(lightweight communications and marshalling，lcm)，lcm可以适用于高带宽和低延迟的实时系统，依赖少，使用高效的广播机制，适合在空间环境中进行准确、快速的通信。
90.s2、进行手眼标定：为了让手眼相机的感知功能准确有效，需要进行手眼标定，确定相机坐标系、机械臂坐标系与大地坐标系之间的关系；
91.优选地，在整体测量方法中，将所有信息统一至机械臂基座坐标系，更加直观且便于机械臂进行操作；
92.s21，固定rgb-d相机，固定位置后进行手眼标定，且不能再变动相机的位置；
93.s22，根据相机的视野范围与机械臂的臂长，选择大小合适的标定板，使在进行标定时，信息更加准确有效；
94.s23，使用“眼在手上(eye in hand)”的方法标定机械臂末端的手部相机，即求解相机与机器人末端之间的关系；使用“眼在手外(eye to hand)”的方法标定机械臂头部相机，即求解相机与机器人底座之间的关系；机械臂多次移动，并保证标定板一直在相机视野范围内；
95.s24，使用手眼标定求解方法，求解手眼标定问题中的求解问题，得到目标矩阵；
96.优选地，使用tsai法，此方法在手眼标定的求解算法中使用更为广泛，鲁棒性更高。
97.s3、建立障碍地图并检测维修工具：由空间在轨维修机器人的头部相机感知前方信息，建立障碍地图，方便控制部分操作机械臂进行运动；并进行智能检测，检测视野内的目标类别维修工具，并得到目标的位姿；
98.s31，由空间在轨维修机器人的头部相机采集的深度信息转化为三维地图，并作为障碍地图，用于机械臂在运动时规划路径的依据，避免机械臂碰撞；
99.优选地，将障碍地图建立为栅格地图；
100.s32，进行目标的智能检测，包括对目标建立数据集、进行数据增强以及训练、测试；进一步，使用头部相机进行目标识别以及实例分割，得到目标对应的点云；
101.优选地，目标识别以及实例分割使用mask-rcnn网络实现；
102.在目标识别与实例分割步骤中，可以得到目标在rgb图中的外轮廓；进一步，通过rgb信息与深度图的对齐，可以得到目标的深度信息，即目标的点云；
103.s33，求解目标在机械臂基座下的位置坐标：通过目标识别与实例分割可以得到目标的外包矩形框，进一步可以得到目标的中心点的像素坐标；结合相机的内参，可以求解目
标中心点在相机系下的坐标；通过手眼标定得到的结果，可以最终求解目标在机械臂基座下的位置坐标；
104.s34，求解目标在机械臂基座下的姿态信息：通过点云配准模型模板点云与目标点云的配准，从而得到目标的位姿；配准后可以得到目标点云根据模板点云的旋转平移关系，进一步通过手眼标定结果的矩阵转换，可以得到目标在机械臂基座下的姿态；
105.优选地，制作模板点云时，其精度应当等同于或高于相机在距离目标超近距离时的采集精度，便于后续使用手部相机时进行的高精度位姿估计；制作完模板点云后，将模板点云固定在某一位姿已知位置，从而得到两个点云之间的位姿关系。特别地，优选将模板点云固定在相机坐标系的原点位置，方便进行坐标系的转化与计算。
106.其中，如果目标有三维模型，可以直接转化为均匀点云模型作为模板点云；如果为无模型的非合作目标，可以使用rgb-d相机在超近距离采集得到的深度信息作为其模板点云；
107.优选地，所述点云配准模型为基于icp的改进模型，例如teaser++模型，该模型为开源模型，来源于论文teaser:fast and certifiable point cloud registration。
108.s4、机械臂末端移动到目标超近距离：控制部分根据头部相机观察得到的目标位置信息，机械臂末端躲避障碍，移动到目标的超近距离内，使机械臂末端相机能够进行高精度位姿估计；
109.s41，机械臂运动目标位置设置为步骤s3中目标中心点坐标上方一定距离的坐标位置，机械臂运动目标姿态与步骤s3中目标姿态相同；
110.其中，机械臂运动目标位置与真实抓取目标的距离设置主要根据机械臂的夹爪长度相关，其目的在于设置一个超近距离，使得在机械臂不碰到目标物体的情况下，能够让手部rgb-d相机在最近的工作范围内对抓取目标进行高精度位姿估计；
111.s42，根据步骤s41设置的目标位姿，结合步骤s31采集得到的障碍地图，进行路径规划，并根据机械臂的动力学对路径进行平滑，得到光滑轨迹；
112.s43，将计算的运动轨迹通过lcm通信发送给控制模块，控制机械臂跟踪规划轨迹，将机械臂末端移动到目标超近距离。
113.s5、高精度位姿估计：使用机械臂末端的手部相机在超近距离对目标进行智能检测与位姿估计，得到目标的高精度位姿；
114.在步骤s5中，与步骤s33和步骤s34相同，通过点云配准模型模板点云与目标点云的配准，从而得到目标的高精度位姿，具体步骤不再赘述；
115.不同的是，s3中进行点云配准时，相机距离目标较远，两团点云的数量有一定差异，其配准结果精度不高，仅需要满足为步骤s4提供目标位置的作用；在步骤s5中，手部相机距离目标更近，采集到的点云精度更高，配准结果精度更高，可以得到目标的高精度位姿。
116.s6、执行抓取：将高精度位姿信息通过lcm传递给控制部分，使机械臂调整末端位姿，使用夹爪抓取目标；
117.s61，高精度位姿信息包含7个数据，分别为以机械臂基座为坐标系下，目标中心点的位置信息(x,y,z)与四元数；
118.s62，通过lcm通信，将高精度位姿信息从视觉与规划部分的计算机发出，由控制部
分计算机接受；
119.s63，根据接收的位姿信息，控制机械臂进行移动，并使用夹爪进行抓取。
120.本发明实现了在危险的空间环境下，使用空间在轨维修机器人代替宇航员执行危险的维修操作，大大保障宇航员的安全性；对于高精度维修任务，相比于人力维修，使用空间在轨维修机器人可以更精准、精确的进行维修操作；对于空间狭小、不便宇航员操作的维修环境，使用空间在轨维修机器人可以更好地抓取体积较小的维修工具，执行精准的维修任务；对于大量、基础的维修操作，使用空间在轨维修机器人可以更好地节省时间和人力成本。
121.本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。