本发明涉及机器人视觉测量技术领域，尤其涉及一种基于立体视觉的星 箭对接环局部环段识别与测量方法，适用于对空间故障卫星、大型碎片等空 间非合作目标的抓捕操作。
背景技术：
空间机器人对非合作目标的抓捕操作，需要识别非合作目标的特定部 位，这些特定部位适合空间机器人携带的机械臂来进行抓捕，例如星箭对接 环等。要实现对空间机器人对卫星星箭对接环抓捕，首先需要获得星箭对接 环的相对运动状态，例如相对位置、相对姿态等信息，这需要采用视觉测量 方式来提取卫星特定部位的纹理特征，通过对特征识别来实现对特定部位的 状态测量。目前，特定部位相对测量方式主要采用单目视觉的测量方式，该 方式直接获取目标的三维位置信息，需要结合其他辅助手段，在实际应用中 会受到限制。
技术实现要素：
本发明所解决的问题是：克服现有技术不足，提供了一种基于立体视觉 的星箭对接环局部环段识别与测量方法，该方法通过图像识别非合作目标表 面螺孔，并测量星箭对接环局部环段与空间机械臂之间的相互位置和姿态关 系，来引导空间机械臂实现对非合作目标操作部件的抓捕。
本发明的技术解决方案是：一种基于立体视觉的星箭对接环局部环段识 别与测量方法，该方法包括如下步骤：
(1)、采用双目立体视觉相机对星箭对接环进行测量，获取左、右两 个相机拍摄的星箭对接环的图像，所述左、右两个相机呈一定内凑角对称安 装；
(2)、将左、右两个相机拍摄的星箭对接环的图像中的星箭对接环区 域与背景环境分割开来，获取仅包含星箭对接环区域的图像；
(3)、在步骤(2)获得的左、右两个相机拍摄的仅包含星箭对接环区 域的图像中提取星箭对接环轮廓；
(4)、针对对接环上的螺孔特征，进行特征识别，从对接环中将螺孔 分割识别出来；
(5)、将双目相机图像进行等效平行投影，采用极线对准的方法，提 取投影后对接环局部环段轮廓上的特征点和螺孔点在的左右相机图像中对 接环局部环段同名点和螺孔同名点，采用双目三维重建方法得到对接环局部 环段轮廓上的特征点和螺孔点在双目相机坐标系下的三维坐标；
(6)、建立对接环局部环段坐标系，采用双矢量定姿方法，确定对接 环局部环段与相机之间的相对位置和姿态关系。
所述步骤(2)采用灰度阈值方法分割星箭对接环区域与背景环境，灰 度阈值方法的具体步骤是将所有灰度值小于或大于某一阈值的象素均归属 于目标,而灰度值大于等于或小于等于该阈值的象素组成背景。
所述步骤(2)提取星箭对接环轮廓的具体方法为：
(3.1)、对左、右两个相机拍摄的仅包含星箭对接环区域的图像进行 图像平滑滤波，滤除图像中的噪声；
(3.2)、采用双阈值Canny边缘提取方法获得的星箭对接环边缘点；
(3.3)、对星箭对接环边缘进行拟合，得到星箭对接环轮廓。
所述双目立体视觉相机为最大分辨率达到1024×1024的双目黑白相 机。
内凑角的取值范围为[10°，15°]。
本发明与现有技术相比的优点在于：
(1)、本发明通过对星箭对接环局部环段的螺钉定位，精确识别星箭对 接环局部环段，使机械臂能够完成对星箭对接环局部部位的抓捕；
(2)、本发明采用“canny算子+同名点匹配”目标识别方法，能够对 目标局部区域细小特征进行精确识别；
(3)、本发明设计了基于螺孔同名点匹配的方法实现对星箭对接环局部 环段的螺钉定位，定位精准快速。
附图说明
图1为本发明基于立体视觉的星箭对接环局部环段识别与测量方法流程 图；
图2为本发明实施例星箭对接环边缘提取图像；
图3为本发明实施例星箭对接环内螺孔提取图像；
图4为本发明实施例星箭对接环局部环段内螺孔孔位识别和坐标系建 立图像。
具体实施方式
下面结合附图对本发明作进一步详细说明：
发明提供的基于立体视觉的星箭对接环局部环段识别与测量方法主要 包括以下步骤：图像畸变去除、背景阈值分割、canny边缘提取、螺孔特征 识别、双目三维重建与位姿解算。
如图1所示，该方法的具体步骤如下：
(1)、采用双目立体视觉相机对星箭对接环进行测量，获取左、右两 个相机拍摄的星箭对接环的图像，所述左、右两个相机呈一定内凑角对称安 装，所述内凑角的取值范围为[10°，15°]。
为了获取推力器的完整图像，选取了最大分辨率1024×1024的双目黑 白相机，采用相机标定方法标定出双目相机的内参数和外参数，并对相机进 行了失真修复，消除相机畸变和光心偏移对成像造成的影响。
本实施例中，双目相机系统由两个Delsa工业相机组成，相机像素大小 为2048×2048，像元尺寸为5.5um，镜头选择KOWA工业镜头，焦距为 15mm，双目相机内凑角15°。
(2)、将左、右两个相机拍摄的星箭对接环的图像中的星箭对接环区 域与背景环境分割开来，获取仅包含星箭对接环区域的图像，缩小目标特征 提取和识别范围，降低识别难度；
采用灰度阈值方法分割星箭对接环区域与背景环境具体步骤是将所有 灰度值小于或大于某一阈值的象素均归属于目标,而灰度值大于等于或小 于等于该阈值的象素组成背景。
设输入图像信号为f(m,n),输出信号为g(m,n),则二者之间存在下列关 系:
其中I1和I2为两任意值,但是I1≠I2(通常取I1＝0及I2＝1),而S为所取的 光强门限值(即阈值)。通过选取适当的S值,将图像分割成I1值像素代表的 目标物和I2值像素代表的背景。
(3)、在步骤(2)获得的左、右两个相机拍摄的仅包含星箭对接环区 域的图像中提取星箭对接环轮廓；
具体方法为：
(3.1)、对左、右两个相机拍摄的仅包含星箭对接环区域的图像进行 图像平滑滤波，滤除图像中的噪声；
在通过阈值分割将星箭对接环区域分割出来后，由于相机拍摄目标图像 带有噪声，导致目标图像灰度分布较为跳跃不连续，不利于后续的边缘提取 和特征识别算法的实现，因此需要对目标图像进行平滑处理，通常采用高斯 滤波器进行图像平滑，消除图像采集过程中的噪点影响，采用canny算子来 提取目标边缘。高斯滤波器是一类根据高斯函数的形状来选择权值的线性平 滑滤波器.高斯平滑滤波器对去除服从正态分布的噪声是很有效的.一维零 均值高斯函数为：
其中，高斯分布参数σ决定了高斯滤波器的宽度.对图像处理来说，常 用二维零均值离散高斯函数作平滑滤波器.这种函数表达式为：
设px(i,j)和py(i,j)分别为x和y方向上的一阶偏导数，此时，像素的梯 度幅值和方向分别为：
θ(i,j)＝arctan(Px(i,j)/Py(i,j))
(3.2)、采用双阈值Canny边缘提取方法获得的星箭对接环边缘点；
本步骤对梯度幅值应用非极大值抑制，其过程为找出图像梯度中的局部 极大值点，把其他非局部极大值点置零以得到细化的边缘。
对经过非极大值抑制处理后的图像进行双阈值化处理，消除虚假边缘并 连接断续边缘。即通过给定的高阈值系数和图像的直方图来计算高阈值(第 一阈值)，然后，通过给定的低阈值系数来计算低阈值(第二阈值)。再用 高阈值(第一阈值)与经过非极大值抑制后的图像进行比较，非极大值抑制 后的图像中，选取高于高阈值(第一阈值)的点，记为准边缘点，对所有的 准边缘点，在8邻域(某个像素点周围的8个像素点)内迭代寻找大于低阈 值(第二阈值)的点，并标记为边缘点。
(3)、根据星箭对接环边缘成椭圆构型的特点，对星箭对接环边缘进 行拟合，得到星箭对接环轮廓。如图2所示，从图中可以看出，白色线标注 了星箭对接环的轮廓，星箭对接环轮廓提取可以用于计算星箭对接环中心点 的三维坐标和星箭对接环表面的法向姿态，为机械臂抓捕提供测量信息。
星箭对接环外形为圆形，由于双目相机呈一定内凑角对称安装，单个相 机不是正对星箭对接环拍照，相机镜头平面与星箭对接环平面之间有一定角 度，因此，圆形对接环在相机图像中呈现为椭圆形状。采用Canny边缘提 取方法获得的星箭对接环边缘具有锯齿状的不规则分布，因此，要对星箭对 接环边缘进行椭圆拟合，减少实际获取的星箭对接环轮廓与理论成像轮廓之 间的误差。设平面内任意位置的椭圆可用如下方程表示：
Ax2+Bxy+Cy2+Dx+Ey+1＝0
采用最小二乘方法来估计椭圆系数A、B、C、D和E，首先定义如下矩 阵：
其中，uei和vei分别为椭圆上点ei(i＝1,2,…,n)的坐标，可得：
Vλ＝U
则由最小二乘法可得：
λ＝(VTV)-1VTU
同时，椭圆方程还可以用如下方程表示：
其中，(x0,y0)为椭圆中心坐标，a为椭圆长半轴，b为椭圆短半轴，则 椭圆参数(x0,y0,a,b)可以由椭圆系数(A,B,C，D,E)表示如下：
在机械臂从远到近的接近星箭对接环的过程中，相机可捕获的星箭对接 环区域在逐渐减少，单单通过提取星箭对接环边缘已无法准确地获取抓捕目 标的位置和姿态，其原因如下：
1)、相机拍摄星箭对接环区域的减少，导致可提取的星箭对接环边缘 长度减少，也就是说，用于拟合星箭对接环中心的边缘点数目在减少，直接 导致通过星箭对接环边缘来拟合椭圆中心将变得不准确，无法对目标进行准 确定位。
2)、为了能够进行超近距离的测量，手眼相机安装的内凑角很大，这 样导致在很近的距离时，手眼相机无法通过相机平行校准来提取特征点，从 而无法获取足够的同名点集来求取目标姿态。
基于以上两个原因，采用提取星箭对接环螺孔的方法来确定抓捕星箭对 接环与手眼相机之间的位置和姿态关系，这样做通过对螺孔位置的识别，可 以保证机械臂在接近过程中，始终对准固定的位置进行跟踪，防止机械臂抓 取星箭对接环的其他部位，而超出了机械臂的可达范围。
(4)、针对星箭对接环上的螺孔特征，进行特征识别，从星箭对接环 中将螺孔分割识别出来；
本发明通过星箭对接环边缘的提取，缩小螺孔位提取的范围，采用轮廓 提取的方法提取星箭对接环边缘内的螺孔轮廓，再通过图像跟踪的方法对提 取的螺孔位进行识别，识别效果如图3所示；
(5)、将双目相机图像进行等效平行投影，采用极线对准的方法，提 取投影后对接环局部环段轮廓上的特征点和螺孔点在的左右相机图像中对 接环局部环段同名点和螺孔同名点，采用双目三维重建方法得到对接环局部 环段轮廓上的特征点和螺孔点在双目相机坐标系下的三维坐标；
提取投影后对接环局部环段轮廓上的特征点和螺孔点在的左右相机图 像中对接环局部环段同名点和螺孔同名点的具体方法是：对带有内凑角的双 目相机图像等效映射为平行双目相机图像，分别识别出的螺孔在等效平行双 目图像中边缘特征点，再采用极线对准方法匹配双目图像中的螺孔特征点， 形成对应同名点。具体为：
(5.1)、将将左、右相机拍摄的仅包含星箭对接环局部环段的图像通 过投影变换为等效平行双目相机图像；
(5.2)、将等效左、右相机图像中星箭对接环局部环段内螺孔边缘上 的特征点进行极线对准，得到等效左相机图像内螺孔边缘与每一条极线相交 的两个点和等效右相机图像内螺孔边缘与每一条极线相交的两个点；
(5.3)、根据等效左、右相机图像内螺孔边缘与极线相交的两个点在 同一极线方向上的位置关系，确定螺孔边缘特征点在左相机和右相机图像内 对应的同名像点：即同一条极线上等效左相机上左边的特征点与等效右相机 上左边的特征点互为同名像点；等效左相机上右边的特征点与等效右相机上 右边的特征点互为同名像点。
设P1＝(x1,y1)和P3＝(x3,y3)为等效左相机图像内螺孔边缘上的两个点， P2＝(x2,y2)和P4＝(x4,y4)为等效右相机图像内螺孔边缘上的两个点，并有 y1＝y2＝y3＝y4。
因为x1<x3,x2<x4，于是可以判断得出：点P1和P2构成同名像点对， 点P3和P4构成同名像点对。
设P(X,Y,Z)为一个螺孔圆形边缘特征点的在双目相机坐标系下的空间 三维坐标，P1＝(x1,y1,f)和P2＝(x2,y2,f)为该特征点在左相机和右相机对应 的单目相机坐标系下的像点坐标，左右相机单目相机坐标系原点为相机光 心，Z轴为光轴，X轴和Y轴与等效左、右相机图像的像平面坐标系X、Y 轴平行。
则有：
于是：
d＝x1-x2
其中，d为双目相机视差，B为双目相机光心之间的距离，从上式可以 解算特征点P的三维坐标(X,Y,Z)。
(6)、建立星箭对接环局部环段坐标系，采用双矢量定姿方法，确定 星箭对接环局部环段与相机之间的相对位置和姿态关系，用于引导空间机械 臂实现对非合作目标操作部件的抓捕。
通过星箭对接环螺孔位置的提取，可以建立星箭对接环局部环段的本体 坐标系，如图4所示，从图中可以看出，A、B表示选定跟踪的2个螺孔， 通过这两个螺孔可以建立起星箭对接环局部环段坐标系：两个螺孔的中点作 为坐标系原点O、螺孔边缘平面的法线为Z轴，两个螺孔中心点连线为Y 轴，X轴与Y轴、Z轴构成右手坐标系。
本发明通过双矢量定姿的方法求取星箭对接环局部环段和双目相机之 间的相对姿态关系。双矢量定姿的方法的基本原理为：在对接环局部环段本 体坐标系下三个点O点、A点和B点对应坐标分别为(O'x,O'y,O'z)、(A'x,A'y,A'z) 和(B'x,B'y,Bz')，则有
其中，和为双目相机坐标系下向量，和为对接环局部环 段本体坐标系下的向量，设为双目相机坐标系到对接环本体坐标系的姿态 转换矩阵，则有
通过上式即可获得双目相机坐标系到对接环本体坐标系的姿态转换矩 阵
星箭对接环局部环段与相机之间的相对位置即为对接环局部环段本体 坐标系原点在双目坐标系下的坐标。
本发明可广泛应用在适用于空间机器人对失效卫星的自主操作任务，例 如失效卫星在轨加注与维修、废弃卫星器件的更换。
说明书中未进行详细描述部分属于本领域技术人员公知常识。