基于融合仿射变换的纹理图像目标定位方法与流程

1.本发明属于目标定位技术领域，特别是一种基于融合仿射变换的纹理图像目标定位方法。


背景技术：

2.为了采用智能移动操作机器人对变电站kyn28型高压开关柜进行自动倒闸作业，机器人需要搭载六轴机械臂及末端执行器作为执行机构，同时在机械臂末端安装双目相机作为感知机构。双目相机利用双目测距原理，获取场景的纹理图像和以双目相机中心点为原点的三维点云，并且将纹理图像和三维点云进行配准，从而使得纹理图像中的每个像素点都对应一个三维坐标值。为了引导机械臂末端执行器对开关柜上的旋钮或者按钮进行操作，需要在纹理图像上精确定位到操作目标的位置，进而根据纹理图像和三维点云的配准关系获取到待操作目标点的三维位姿。
3.在执行倒闸操作任务时，操作机器人基于激光slam导航至操作点位。由于导航定位存在一定的偏差，机器人每次到达的位置也存在差异，因此用双目相机拍摄的纹理图像也会存在仿射变换，直接基于模板匹配进行操作目标的定位，容易造成操作目标定位存在偏差，进而影响到机械臂操作的准确性。


技术实现要素：

4.本发明的目的在于提供一种基于融合仿射变换的纹理图像目标定位方法，定位精度高。
5.实现本发明目的的技术解决方案为：
6.一种基于融合仿射变换的纹理图像目标定位方法，包括如下步骤：
7.(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域；
8.(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量；
9.(30)纹理图像仿射变换：利用单应性矩阵h，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准；
10.(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。
11.本发明与现有技术相比，其显著优点为：
12.定位精度高：本发明采用单应性矩阵对纹理图像做仿射变换，由于双目相机能够同时获取到柜体的纹理图像和三维点云，根据柜体表面三维点云数据可以拟合出柜体平面，从而获取到柜体表面法向量，与建立操作点时柜体平面法向量作对比，可以计算出单应性矩阵，从而可以显著提高纹理图像目标定位的精度。
13.下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
14.图1是本发明基于融合仿射变换的纹理图像目标定位方法的主流程图。
15.图2是关于向量旋转的原理图。
具体实施方式
16.如图1所示，本发明基于融合仿射变换的纹理图像目标定位方法，包括如下步骤：
17.(10)柜体表面区域定位：在双目相机采集的柜体表面纹理图像上，利用模板匹配定位柜体表面区域。
18.在对操作目标进行建站采集时，预先框选柜体表面矩形框区域作为模板。
19.在操作时，在双目相机采集的经过配准的柜体表面纹理图像上利用模板匹配定位柜体表面区域。
20.在模板匹配中，基于相关法定位目标区域，即将模板t(m，n)叠放在被搜索图s(w，h)上平移，模板覆盖被搜索图的区域称为子图s
uv
，u，v为子图左下角在被搜索图s上的坐标，搜索范围是：1≤u≤w
‑
n，1≤v≤h
‑
m；w、h分别是被搜索图像的宽和高；
21.用下式衡量模板t和子图s
uv
的相似性：
[0022][0023]
将其归一化，得到模板匹配的相关系数：
[0024][0025]
当模板和子图一样时，相关系数r(u，v)＝1，在被搜索图s中完成全部搜索后，找出r的最大值r
max
(u
m
，v
m
)，其对应的子图su
m
v
m
即为匹配目标。
[0026]
(20)柜体表面平面法向量计算：根据柜体表面区域内的三维点云，拟合出柜体平面，从而得到柜体表面平面法向量。
[0027]
纹理图像经过配准后，每个像素点都对应一个三维点云中的目标点，即可以确定每个像素点对应的目标的三维坐标值。在(10)柜体表面区域定位步骤中已经获取到柜体表面区域，因此利用该区域内的三维点云可以拟合出柜体平面ax+by+z+d＝0，系数(a，b，1)即为法向量。利
[0028]
用区域内的三维点云拟合出柜体平面，并找到法向量，此为现有技术，不再赘述。
[0029]
由于双目相机能够同时获取到柜体的纹理图像和三维点云，根据柜体表面三维点云数据可以拟合出柜体平面，从而获取到柜体表面法向量，与建立操作点时柜体平面法向量作对比，可以计算出单应性矩阵。
[0030]
本发明通过采用单应性矩阵对纹理图像做仿射变换，显著提高了纹理图像目标定位的精度。
[0031]
(30)纹理图像仿射变换：利用单应性矩阵h，对操作时纹理图像做仿射变换，实现与建站时纹理图像的配准。
[0032]
所谓的纹理图像就是相机拍的彩色图像，在一开始建站的时候会控制机器人拍一张图像，做操作任务的时候，机器人又会去拍一张图像，这两张图像因为机器人到达的位置有变化，也会不一样，直接根据建站的图像在操作的图像上找目标容易偏，所以要做配准，让操作的图像和建站的图像一样，这样就可以精确定位到操作目标的位置。
[0033]
如图2所示，三维空间中的向量绕着单位向量旋转θ角后，形成这里代表建站时柜体平面法向量，为操作时柜体平面法向量。
[0034]
令方向上的单位向量为长度为a，则有令方向上的单位向量为长度为b，则有而已经是单位向量，因此有如下点乘和叉乘关系：
[0035][0036][0037]
由上述两式可得：
[0038][0039][0040]
因此由四元数定义可知四元数归一化后可得四元数为
[0041]
对于四元数q
w
+iq
x
+jq
y
+kq
z
，其旋转矩阵m为：
[0042][0043]
双目相机的参数k可以通过张正友棋盘格标定获取，因此单应性矩阵h为
[0044]
h＝k
·
m
·
k
‑1[0045]
利用单应性矩阵h，可以对操作时纹理图像做仿射变换，实现和建站图像的配准，配准完了以后，在配准后的图像上做模板匹配定位。
[0046]
式中，q
w
、q
x
、q
y
、q
z
分别为四元数的实数系数，i、j、k分别为虚数单位。
[0047]
四元数由实数加上三个虚数单位i、j、k组成，而且它们有如下的关系：
[0048]
i^2＝j^2＝k^2＝
‑
1，i^0＝j^0＝k^0＝1，每个四元数都是1、i、j和k的线性组合，即是四元数一般可表示为a+bi+cj+dk，其中a、b、c、d是实数(即上述矩阵中的q
w
、q
x
、q
y
、q
z
)。
[0049]
对于i、j、k本身的几何意义可以理解为一种旋转，其中i旋转代表z轴与y轴相交平面中z轴正向向y轴正向的旋转，j旋转代表x轴与z轴相交平面中x轴正向向z轴正向的旋转，k旋转代表y轴与x轴相交平面中y轴正向向x轴正向的旋转。
[0050]
(40)目标定位：在经过仿射变换的纹理图像上利用相关法模板匹配定位到目标区域，根据纹理图像与三维点云的配准关系，获取待操作目标的三维坐标。
[0051]
通过实验表面，本发明采用单应性矩阵对纹理图像做仿射变换，双目相机能够同时获取到柜体的纹理图像和三维点云，根据柜体表面三维点云数据拟合出柜体平面，从而获取到柜体表面法向量，与建立操作点时柜体平面法向量作对比，计算出单应性矩阵，显著
提高了纹理图像目标定位的精度。