一种应用于空间站机械臂的视觉系统的制作方法

1.本发明涉及一种应用于空间站机械臂的视觉系统，能够满足空间站机械臂在轨任务中的监视与测量需求。


背景技术：

2.大型空间机械臂是空间站建设过程中必不可少的工具。视觉系统作为空间机械臂的必备组成，担负着监视与测量两项主要任务，机械臂除开环控制外的所有工作模式都不能离开视觉系统的引导和辅助而独立实现。空间机械臂在轨运行过程中，不但要能够进行大范围运动，还需要完成一系列精度高、稳定性强的精准操作。因此，为满足大型空间机械臂的应用需求，需要视觉系统在大跨度观测范围距离(由几百毫米到几十米)内均能够对四周的空间环境、空间目标清晰成像，同时对尺寸变化大的各类空间目标均能够完成检测、识别和高精度三维测量。
3.目前国外在轨运行或已经飞行验证的大型空间机械臂大都也配置了视觉系统，但这些系统大都存在以下一种或多种问题：
4.(1)机械臂所需开展的任务较为单一，对视觉系统的功能需求比较简单，无法适应当前复杂的空间站任务；
5.(2)视觉系统内相机大都采用单目配置，一旦单目相机产品失效，将失去当前视觉和监视功能；
6.(3)机械臂肘部附近臂杆上布置两台监视相机，分别对两个末端所在的区域进行视觉监视，在轨资源消耗较大；
7.(4)视觉系统的信息处理资源较为集中，造成数据传输带宽受限的情况下控制系统效率仍有提升空间。


技术实现要素：

8.本发明要解决的技术问题是：克服现有技术的不足，满足了空间站机械臂在轨任务中的监视与测量需求。
9.本发明目的通过以下技术方案予以实现：
10.一种应用于空间站机械臂的视觉系统，包括至少两台腕部相机、至少一台肘部云台相机、至少一台对接相机、数据通信装置、数据处理装置；
11.至少一台肘部云台相机安装在机械臂的肘部，用于监视；
12.在机械臂的每个腕部至少安装一台腕部相机，用于获取目标的位姿信息，并进一步用于引导机械臂末端靠近目标；
13.在空间站舱体对接部上安装至少一台对接相机，用于获取目标的位姿信息，并进一步用于引导机械臂完成舱体对接；
14.所有的腕部相机、肘部云台相机均与数据通信装置进行数据通信；
15.数据通信装置以及所有的对接相机均与数据处理装置进行数据通信，并通过数据
处理装置与外部通信。
16.优选的，所述肘部云台相机通过云台带动相机随动以始终保持对目标的监视。
17.优选的，所述腕部相机还用于引导机械臂末端对目标适配器的捕获、抓取、锁定。
18.优选的，所述肘部云台相机采用单目相机；所述腕部相机、对接相机均采用双目相机。
19.优选的，所述腕部相机、对接相机均兼具单目测量和双目测量模式，且均能够自主切换。
20.优选的，所述单目测量模式用于测量目标的三维位姿，所述双目测量模式用于同步采集双目相机的图像，通过图像特征匹配来计算得到目标位姿。
21.优选的，所述腕部相机、对接相机均用于独立进行目标实时位姿计算。
22.优选的，所述腕部相机、对接相机、肘部云台相机均设有光源，用于主动照明。
23.优选的，所述数据通信装置采用以太网交换机。
24.优选的，所述视觉系统还包括视觉标记，用于所述腕部相机和或对接相机获取目标的位姿信息。
25.本发明相比于现有技术具有如下有益效果：
26.(1)本发明针对空间站机械臂任务繁多，对视觉监视和测量需求复杂的问题，提出了一种应用于空间站机械臂的视觉系统，能够兼容舱上爬行、舱段转位与对接、舱外货物搬运、空间站舱外状态检查、悬停飞行器捕获等多种任务需求，并同时兼具位置测量和速度测量能力。
27.(2)本发明针对单目相机的可靠性问题，提出腕部相机、对接相机均具备双目视觉测量和单目视觉测量多模式自主切换功能，当左目、右目均为单目视觉测量模式时具备自主优选功能；且两种测量模式下，均具备测量有效性自主判断功能，当视觉标记上一个点缺失或不可视时，仍具备目标检测识别和三维位姿测量功能。
28.(3)本发明针对机械臂两个末端操作均需视觉监视的问题，通过在机械臂肘部关节处配置单台双轴云台，既利用较少数量的相机实现了大范围的监测，有效增强了视觉系统的监视能力。
29.(4)本发明针对机械臂视觉相机图像传输数据量大的问题，采用以太网作为图像数据传输的通信信道，实现了多路视觉图像的同步高速传输；同时在相机配置图像处理电路和位姿解算电路，将位姿计算功能在相机端实现，不占用机械臂控制器的计算资源，提高了控制系统的效率；相机输出的测量结果带有测量状态标识信息和校验信息，提高了控制系统使用测量结果的可靠性。
附图说明
30.图1为视觉系统组成框图。
31.图2为目标适配器视觉标记图案及尺寸。
32.图3为对接相机视觉标记图案及尺寸。
33.图4为视觉系统信息流图。
具体实施方式
34.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步详细描述。
35.实施例1：
36.本发明所述视觉系统，在中远距离处，能够完成对机械臂工作区域的监控；在近距离处，能够输出目标的高精度三维位姿，引导机械臂末端执行器进一步调整自身位姿以逐步减少末端执行器坐标系与目标适配器坐标系之间的相对位姿，进入目标适配器的捕获区并完成对目标适配器的捕获、抓取、锁定等操作；对接相机能够输出舱段上视觉标记的高精度三维位姿，引导机械臂完成舱段的转位控制。
37.如图1和4所示，视觉系统包括腕部相机a、腕部相机b、肘部云台相机、对接相机、以太网交换机、腕部相机视觉标记、对接相机视觉标记。
38.腕部相机a安装于末端a在上、腕部相机b安装在末端b上，观测末端b的操作目标区域，能够保证空间站机械臂实现舱上爬行任务。腕部相机a、腕部相机b均采用双目相机。
39.肘部云台相机安装在机械臂的肘部，通过双轴云台带动其上固定的肘部相机随动，以实现单目肘部相机的大范围监视。
40.对接相机安装于舱段上，用于引导机械臂完成舱段二次对接。对接相机采用双目相机。
41.以太网交换机安装在机械臂肘部，实现机械臂以太网网络和空间站舱内以太网网络的互联。以太网交换机接收相机输出的图像数据，对数据流量进行实时检测和控制，将图像数据存储转发至舱内以太网交换机。
42.所述腕部相机、肘部相机、对接相机基于图像不同区域的像素灰度值的统计结果可以自主控制光源的开启关闭以及亮度，根据帧频约束自主计算曝光时间，腕部相机、对接相机还可以根据视觉标记的检测结果利用视觉标记所在图像区域的信息进行局部曝光控制。腕部相机、肘部相机、对接相机均配置了遮光罩、镜头内部采用了消杂光的光路设计并喷涂消杂光漆。
43.所述腕部相机、对接相机兼具单目测量和双目测量模式。单目视觉测量模式采用单台单目相机完成目标的三维位姿测量。双目视觉测量模式下对双目相机进行图像的同步采集，通过图像特征匹配来计算得到目标位姿。双目测量模式不但可以有效地提高测量精度，并增加非合作目标的位姿测量功能，而且可以兼具单目测量备份的功能，即使在两台相机中的一台失效的情况下，依然可以提供位姿数据，完成机械臂的控制。
44.所述腕部相机、对接相机均配置有图像处理电路和位姿计算电路，能够在相机端独立实现实时位姿计算功能，并将位姿计算结果通过通信总线发送给机械臂控制器。图像处理电路和位姿计算电路融合单帧图像中视觉标记点的检测数量、单帧图像的处理耗时、连续多帧图像的位姿计算结果等信息自主判断位姿测量结果的有效性。当判断当左目相机或右目相机中一路无法正常工作时自主由双目视觉测量模式切换为单目视觉测量方式，当判断左目相机、右目相机均正常时，融合当前测量模式、左目相机和右目相机之间通信状态、恢复正常工作的耗时等信息自主由单目视觉测量模式切换为双目视觉测量方式。图像处理电路和位姿计算电路的引导程序存储在单粒子免疫的芯片中，主程序在存储器中存储3份，启动时由引导程序读取主程序并进行三取二表决，发现由单粒子效应引起的数据不一
致时进行回写，程序运行过程中，对关键数据进行三模冗余处理，从而提高了抗辐照能力。图像处理电路和位姿计算电路还配置了看门狗电路，当发生单粒子事件时可以自主复位并恢复。
45.所述视觉标记包含两类：腕部相机视觉标记和对接相机视觉标记，分别安装于目标适配器上和空间站舱段上，用于腕部相机、对接相机在近距离的目标检测、识别和位姿计算。
46.所述的腕部相机a、腕部相机b、肘部云台相机、或者对接相机上均安装有光源，光源对目标进行主动照明。
47.所述的腕部相机a、腕部相机b，肘部云台相机、对接相机、以太网交换机、视觉标记均具备模块化接口，能够实现在轨更换。
48.视觉标记图案采用以实心圆形和圆环形图案为主。视觉标记只采用黑白两色作为图案的基色(不采用除黑色和白色以外的其他颜色)。
49.目标适配器视觉标记如图2所示，共设计了8个实心圆/圆环图案，4个圆环图案全部分布在目标适配器视觉标记平板表面，其余4个实心圆图案中3个分布在目标适配器视觉标记平板表面，1个分布在目标适配器视觉标记圆柱形突起的顶端平面上。
50.对接相机视觉标记如图3所示，共设计了8个实心圆/圆环图案，6个圆环图案全部分布在目标适配器的平板表面，其余2个实心圆图案中1个分布在目标平板表面，1个分布在圆柱形突起的顶端平面上。
51.单目视觉测量方式下目标三维位姿计算公式为
[0052][0053]
其中si为非零比例因子，(ui,vi)为视觉标记点中心pi对应的图像像素坐标，(xi,yi,zi)为视觉标记点中心pi在目标坐标系下的三维坐标，a为相机内参矩阵，r为3
×
3正交单位旋转矩阵，t为三维平移向量，r、t即表示目标的三维位姿。通过解方程组就可以求得目标的三维位姿。
[0054]
双目视觉测量方式下，首先根据相机模型和图像特征的匹配结果，求解出标记在双目相机坐标系下坐标，然后通过与目标视觉标记进行对应，即建立与标记在目标坐标系下坐标的一一对应关系，进而计算得到目标位姿。
[0055]
以左目相机坐标系作为参考坐标系，左目、右目相机的内参矩阵分别为a
l
和ar，两台相机之间的相对位姿关系为rc和tc(rc为3
×
3正交单位旋转矩阵，tc为三维平移向量)，则双目视觉测量方式下目标三维位姿计算公式为
[0056]
[0057][0058]
其中s
li
、s
ri
均为非零比例因子，(x
ci
,y
ci
,z
ci
)为视觉标记点中心pi在左目相机坐标系下的三维坐标，(u
li
,v
li
)和(u
ri
,v
ri
)分别为视觉标记点中心pi在左目相机和右目相机对应的图像像素坐标。
[0059]
左目相机坐标系ocxcyczc与目标坐标系oox
oyozo
之间的转换关系可以表示为
[0060][0061]
其中(x
ci
,y
ci
,z
ci
)为视觉标记点中心pi在左目相机坐标系下的三维坐标，(x
oi
,y
oi
,z
oi
)为视觉标记点中心pi在目标坐标系下的三维坐标，r为3
×
3正交单位旋转矩阵，t为三维平移向量，r、t即表示目标的三维位姿。通过联立解方程组就可以求得目标的三维位姿。
[0062]
腕部相机、肘部相机、以太网交换机通过1553b总线与机械臂控制器，对接相机通过1553b总线与空间站信息系统实时通信，实现遥控指令和遥测数据(含目标三维位姿计算结果)的双向数据传输。相机输出的目标三维位姿计算结果带有测量模式、位姿测量有效性、所依据标记点数量等测量状态标识信息以及采用和校验方式计算的校验信息。相机、以太网交换机分别通过1553b总线接收遥控指令，完成相机成像控制、光源照明控制以及以太网交换机数据转发控制；通过1553b总线上传实时计算得到的目标三维位姿数据以及相机、以太网交换机等设备的相关遥测数据，为机械臂在轨运行提供必要信息；腕部相机、对接相机的rt地址可设。
[0063]
视觉系统通过百兆以太网总线经以太网交换机与空间站信息系统实时通信，实现编码图像数据的实时高速传输。由空间站内仪表完成图像的解码和显示，为航天员和地面操作人员提供机械臂工作区域内的视觉信息；以太网端口支持全双工数据通信；图像数据采用rtp协议传输。图像通信协议采用rtp协议传输。
[0064]
本发明针对低轨光照区、地影区交变，相机与目标之间相对运动位置，目标背景区域光学特性多样引起的复杂光照适应性问题，提出腕部相机、肘部相机、对接相机均集成光源，均具备光源自主控制功能，多模式自动曝光和遥控指令控制的手动曝光能力以及杂散光抑制能力，有效提高了相机的成像质量，进而增强了视觉系统的监视能力和测量能力。
[0065]
针对10～15年在轨使用需求，相机、数据通信装置采用接口模块化设计以及人机工效设计，具备航天员出舱实施在轨更换能力；相机、数据通信装置具备参数在轨注入更改功能，具备软件在轨注入修改和设计功能；相机、数据通信装置联合支持彩色压缩图像、原始灰度图像等多格式图像获取，进而支持相机实施在轨标定以及地面利用相机图像进行位姿测量。
[0066]
针对严酷的太阳紫外辐射、电离总剂量、单粒子效应等辐照环境适应性问题，相机
镜头膜层、视觉标记漆层的材料和工艺满足空间环境使用要求；相机配置的图像处理电路和位姿解算电路具备单粒子事件引发故障的自主检测和自主恢复能力，可以保证位姿计算的可靠性。
[0067]
实施例2：
[0068]
一种应用于大型空间站机械臂的视觉系统，能够满足空间站机械臂在轨任务中的监视与测量需求。
[0069]
空间站机械臂在轨执行任务时，经历从远距离定位目标到中距离逼近目标直至近距离精确操作目标等不同阶段，在各个阶段均需要使用通过视觉系统。视觉系统由腕部相机、肘部云台相机、对接相机、以太网交换机、视觉标记等组成。
[0070]
机械臂在轨运行过程中，肘部相机远离舱体，能以俯视方式俯瞰机械臂下方区域，视野不易被遮挡，可以具有较好的在轨监视效果。机械臂使用肘部相机执行机械臂启动前安全检查、机械臂运行中工作状态监视、舱段转位和二次对接过程监视。在机械臂运动过程中，通过机械臂控制器控制肘部相机云台运动带动其上固定的肘部相机随动以始终保持对目标的监视。
[0071]
当目标适配器有效观测区域进入腕部相机视场后，机械臂使用腕部相机获取目标适配器视觉标记高精度三维位姿信息，引导机械臂末端执行器进一步逼近目标适配器并完成对目标适配器的捕获、抓取、锁定等精度高、稳定性强的精准操作。
[0072]
当对接机构有效观测区域进入对接相机视场后，机械臂使用对接相机获取对接相机视觉标记高精度三维位姿信息，引导机械臂完成舱段二次对接。
[0073]
本发明提出一种应用于空间站机械臂的视觉系统，包括视觉系统由腕部相机、肘部云台相机、对接相机、以太网交换机、视觉标记。
[0074]
腕部相机、对接相机均具备双目视觉测量和单目视觉测量自主切换功能；且两种测量模式下，当视觉标记上一个点缺失或不可视时，仍具备目标检测识别和三维位姿测量功能。
[0075]
腕部相机、对接相机均集成图像处理电路和位姿计算电路，能够在相机端独立实现实时位姿计算功能，不占用机械臂控制器的计算资源，并将位姿计算结果通过通信总线发送给机械臂控制器。
[0076]
肘部云台相机安装在肘关节上，通过双轴云台带动其上固定的肘部相机随动，可实现单目肘部相机的大范围监视。
[0077]
配置以太网交换机，同时接收多路相机输出的图像数据并通过一路以太网总线转发至空间站舱内，降低了穿舱电缆数量。
[0078]
视觉系统中相机位姿计算软件、以太网交换机操作系统软件和应用软件均具备在轨注入修改和升级功能，成像控制参数、图像数据压缩编码参数、位姿测量参数支持在轨注入更改。
[0079]
视觉系统各设备均采用接口模块化设计，能够实现在轨维修和更换。
[0080]
选用百兆以太网总线实现图像数据实时高速传输。
[0081]
本发明的相机具备未压缩图像和压缩图像两种图像数据输出模式，未压缩图像支持相机在轨标定，压缩图像降低码流在满足带宽约束的条件下支持多路图像同时传输。
[0082]
本发明具备冗余备份功能，腕部相机在单目视觉测量方式下采用双机热备份方
式，肘部相机云台电机采用双绕组备份方式，以太网交换机采用双机冷备份方式。
[0083]
视觉系统中采用圆、圆环两种元素组成了多种视觉标记图案，实现了不同相机的测量任务。视觉标记黑、白色采用喷漆工艺实现，漆料和工艺满足在轨长期使用。
[0084]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
[0085]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。