基于棋盘格标定技术的机器人目标识别与定位方法与流程

本发明涉及机器人目标识别与定位方法，具体涉及基于棋盘格标定技术的机器人目标识别与定位方法，属于目标识别定位技术领域。

背景技术：

足球机器人的研究在近几年得到了迅速发展，使得这个多学科交叉的课题受到越来越多的关注。nao机器人高尔夫球赛作为robocupspl比赛的前瞻项目，提供了较为简化但又十分重要的研究平台。在nao机器人高尔夫项目中，高尔夫球场的实时环境复杂多变，现场的光照强度、噪音以及场外观众的着装等都会对nao机器人的正常工作造成重大影响。机器人如何能在复杂多变的环境下能准确的识别目标并对其进行精准定位显得非常重要。

技术实现要素：

本发明所要解决的技术问题是：提供基于棋盘格标定技术的机器人目标识别与定位方法，极大的提高了机器人的目标识别与定位精度。

本发明为解决上述技术问题采用以下技术方案：

基于棋盘格标定技术的机器人目标识别与定位方法，包括如下步骤：

步骤1，在机器人头部设置上下两个相机摄像头，两个相机摄像头位于同一条直线上，利用任意一个相机摄像头采集目标物体现场图像；

步骤2，在目标物体所在现场，采用现场获取rgb值的方式获取目标物体颜色特征的阈值，并通过离线训练确定目标物体颜色特征的阈值范围；

步骤3，采用基于阈值的分割算法对目标物体现场图像进行分割，提取有效目标特征区域图像；

步骤4，采用中值滤波算法对有效目标特征区域图像进行初步处理；

步骤5，将经步骤4初步处理后的图像分割成若干个大小相同的像素块，对每个像素块中的像素点从左至右、从上至下进行扫描，判断该像素点的rgb值是否在步骤2得到的阈值范围内，若在，则认为该像素点的颜色为目标物体颜色特征，获得目标物体的全部像素点信息；

步骤6，利用高斯滤波方法对经步骤5得到的图像进行平滑，得到平滑后的图像；

步骤7，将在rgb颜色空间下的平滑后的图像转换为hsv颜色空间下的图像；

步骤8，利用canny边缘检测算法对hsv颜色空间下的图像进行边缘检测，得到识别的有效目标图像；

步骤9，以有效目标图像的左上角为坐标原点，在该图像的左上角相交的两条边分别作为u轴和v轴，建立有效目标图像的像素坐标系；

步骤10，将有效目标图像的像素坐标系转换至世界坐标系，根据像素坐标系与世界坐标系之间的转换关系计算相机的内参数和外参数，最终获得目标物体的位置信息。

作为本发明的一种优选方案，步骤8所述canny边缘检测算法中，像素点的梯度幅值与角度计算公式为：

θ(x,y)＝tan^-1(gy(x,y)/gx(x,y))，

其中，g(x,y)为像素点(x,y)的梯度幅值，θ(x,y)为像素点(x,y)的角度，gx(x,y)为像素点(x,y)在x方向上的梯度，gy(x,y)为像素点(x,y)在y方向上的梯度。

作为本发明的一种优选方案，步骤10所述将有效目标图像的像素坐标系转换至世界坐标系具体过程如下：

1)将有效目标图像的像素坐标系转换至图像坐标系；

2)将图像坐标系转换至相机坐标系；

3)将相机坐标系转换至世界坐标系。

作为本发明的一种优选方案，所述像素坐标系转换至图像坐标系的转换公式为：

其中，x、y分别为图像坐标系上坐标点在x轴、y轴的值，u、v分别为像素坐标系上坐标点在u轴、v轴的值，u0、v0分别为像素坐标系原点在u轴、v轴的值。

作为本发明的一种优选方案，所述图像坐标系转换至相机坐标系的转换公式为：

其中，x、y分别为图像坐标系上坐标点在x轴、y轴的值，f为相机坐标系原点与图像坐标系原点之间的距离，xc、yc、zc分别为相机坐标系上坐标点在xc轴、yc轴、zc轴的值。

作为本发明的一种优选方案，所述相机坐标系转换至世界坐标系的转换公式为：

其中，xc、yc、zc分别为相机坐标系上坐标点在xc轴、yc轴、zc轴的值，r为旋转矩阵，t为平移矩阵，xw、yw、zw为世界坐标系上坐标点在xw轴、yw轴、zw轴的值。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明目标识别与定位方法，机器人在复杂多变的环境下能准确的识别目标并对其进行精准定位，不受现场的光照强度、噪音以及场外观众的着装等因素的影响，极大地提高了机器人的目标识别和定位精确度。

附图说明

图1是本发明nao机器人摄像头示意图，其中，(a)为侧视图，(b)为后视图。

图2是本发明nao机器人所摄图片。

图3是rgb颜色空间模型图。

图4是hsv颜色空间模型图。

图5是hsv颜色空间下的图像。

图6是canny边缘检测算法得到的有效目标。

图7是目标识别得到的有效目标图像。

图8是4个坐标系成像的几何关系图。

图9是图像坐标系与相机坐标系之间的映射。

图10的(a)、(b)分别是不同角度拍摄的标定图片。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明主要介绍在高尔夫比赛中使用的一种目标识别与精准定位方法，详细介绍了该方法中的目标识别模块和目标定位模块，该方法极大的提高了机器人的目标识别精准度。本发明提出的定位方法主要有目标识别模块与目标定位模块协作完成。目标识别模块提取出有效目标，结合目标定位模块最终精准定位出有效目标的确切位置。

nao机器人在高尔夫比赛时，主要是利用其视觉系统来识别目标物体同时感知球场环境。机器人头部上下垂直排列着两个摄像头，可提供分辨率为640*480的yuv422图像，并且每秒30帧的帧速可以确保图像的实时性，如图1的(a)和(b)所示。该定位方法中，目标识别模块通过对机器人所采集的图像进行分析与处理，提取出有效目标，再结合目标定位模块，应用棋盘格标定技术，精准定位出有效目标在球场上的位置。

1、目标识别

机器人对自身所采集的图片进行适当的分析与处理，获得有效目标的过程是目标识别模块所需完成的任务。其详细工作流程如下：

1.1图像的预处理

nao机器人的摄像头有一定的局限性，在比赛过程中，所采集的图像信息存在一定的噪声与畸变。这些不确定因素极大的影响了有效目标识别的准确性，为得到更高质量的图像信息，需要对这些噪声和畸变进行去噪与修正处理，图像预处理主要用于抑制无用信息，增强有用信息并提高图像质量。下面介绍本发明所使用的预处理技术：

1)颜色阈值的确定

在不同的光照强度和不同的成像距离条件下，物体的颜色会存在一定的偏差，获得相对稳定的颜色阈值，是获取有效目标的关键。为了节省机器人赛前调试时间，本发明采用现场获取rgb值的方式来获取目标物体的颜色阈值，再通过离线训练确定目标物体颜色特征相对稳定阈值。简化确定阈值的运算处理，提高处理速度，大大提升比赛性能。

2)图像分割

机器人搜集到图像信息后利用图像分割技术提取有效目标特征区。在nao机器人视觉系统中，特征区域即球场中有效目标，本发明采用基于阈值的分割算法将有效目标提取出来，并在此基础上实现后续的详细识别工作。

3)图像噪声处理

经图像分割后的图像信息会出现大量椒盐噪声，椒盐噪声给图像的精确处理带来很多困难，直接影响特征提取和图像识别。本发明采用中值滤波算法对图像分割后产生的椒盐噪点进行初步处理。

1.2nao有效目标的识别

在赛前调试时间中，nao机器人已获取球场有效目标的颜色阈值，以高尔夫黄色旗杆为例，确定机器人获取的图片信息中满足预处理中所获得的阈值范围内的黄色像素点。nao识别旗杆的主要思路是：在球场上发现黄色目标区域，且经过一系列的图像分析处理，若凸显出的区域为长方形，且此长方形和原图的旗杆比例相同，则认为识别出了目标旗杆。针对nao机器人摄像头所获取的640×480的原始图像信息(如图2所示)，进行如下的图像分析处理，以识别有效目标。

1)读取图片像素点信息

用宽度为20像素网格将图像分为32×24的方形像素块。在rgb颜色空间中，将背景像素点语法值设置为(0,0,0)，黄色像素点语法值域设置为(15,120,120)至(30,255,255)。将获取的图片信息进行重构，组成标准二维计数数组count[32][24]，一个32*24的二维数组就代表一个像素块，数组元素就代表像素点。图像预处理之后，对每一行每一个像素点进行扫描，当满足实际比赛场地获得的黄色阈值时，就认为该像素点是一个黄色像素点，当图像扫描完毕后，即获取了有效目标的全部像素点信息，由nao机器人判定该区域为黄色旗杆。

2)高斯滤波平滑图像

高斯滤波是一种线性平滑滤波，广泛用于图像处理中的减噪过程。简单来说，高斯滤波就是对整幅图像进行加权平均的过程，对抑制服从正态分布的噪声非常有效。具体操作是用一个卷积扫描图像的每一个像素，用卷积确定的领域内像素的加权平均灰度值去替代卷积中心像素点的值。

3)颜色空间转换

rgb颜色空间与hsv颜色空间都是当今图像处理广泛采用的颜色系统。rgb是由红色、绿色和蓝色三基色的字母缩写，通过三基色不同程度的迭加，来产生各种各样的不同颜色，能够涵盖人类视力所能感知的所有颜色，rgb颜色空间模型图如图3所示，该模型为图像中每个像素点的rgb分配一个0-255的灰度值，因此，rgb图像的全彩色共有16581375种颜色。rgb颜色空间的像素颜色值可以表示为(red,green,blue)，其中白色是(255,255,255)，黑色是(0,0,0)，黄色为(111,111,111)。

hsv(hue,saturation,value)颜色空间是根据颜色的直观特性创建的一种颜色空间，模型图如图4所示。h参数表示色彩信息，即所处的光谱颜色的位置，该参数用一角度量来表示，红、绿、蓝分别相隔120度，互补色分别相差180度。纯度s为一比例值，范围从0到1，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率，s＝0时只有灰度。v表示色彩的明亮程度，范围从0到1。圆锥顶点对应于v＝0，h与s取值无意义，此点代表黑色，圆锥面中心处，s＝0，v＝1，h取值无意义，代表白色。

实际比赛中，光照强度是不可避免的干扰因子，而rgb颜色空间受光照强度的影响比较大，对物体的识别度不够，甚至有可能造成机器人“失明”。大量实验结果表明，对于同一颜色的物体，在不同光照强度或者不同光源的照射下，其rgb颜色值分布的非常离散，这使得rgb的颜色阈值难以确定，很容易将噪声包含进去，或者丢失所识别的物体，最终会导致在应用赛过程中，因场地的光照不均所带来的目标丢失现象。而hsv颜色空间并不会随着光照强度的变化而发生变化，一定程度上减弱了光照条件对机器人视觉的影响，增强了机器人的视觉系统的自适应能力。本发明采用hsv颜色空间进行颜色识别与处理，图5为转换为hsv颜色空间后的图像。

4)canny边缘检测

canny边缘检测算法是1986年由johnf.canny开发出来的一种基于图像梯度计算的边缘检测算法，是图像边缘检测方法经典算法之一。经典的canny边缘检测算法通常都是从高斯平滑开始，到基于双阈值实现边缘连接结束。高斯平滑主要为了降低图像噪声，有利于更准确地计算图像的梯度与边缘幅值。本发明采用2*2的sobel算子，其数学表达式如下：

gx(x,y)≈[s(x,y+1)-s(x+1,y+1)-s(x+1,y)]/2(1)

gy(x,y)≈[s(x,y)-s(x+1,y)-s(x+1,y+1)]/2(2)

其中gx(x,y)是x方向上的梯度，gy(x,y)是y方向上的梯度。根据x与y方向的梯度可以计算图像在该像素点的梯度幅值与角度：

θ(x,y)＝tan^-1(gy(x,y)/gx(x,y))(4)

其中g(x,y)为梯度幅值，即该点灰度的大小，θ(x,y)为该点的角度。根据反三角函数角度值的范围为为了便于计算，在角度值上面加上从而使角度值范围在0°～180°之间。

在获取了图像每个像素的边缘幅值与角度之后，进行非最大信号压制。主要目的是实现边缘细化，通过该步处理，边缘像素进一步减少。非最大信号压制后，依然会有少量的非边缘像素被包含到结果中，所以要通过取阈值进行取舍。canny提出基于双阈值(fuzzythreshold)方法很好的实现了边缘选取，在实际应用中，双阈值还有边缘连接的作用。双阈值选择与边缘连接方法通过假设两个阈值其中一个为高阈值th，另外一个为低阈值tl，则有：

a.对于任意边缘像素低于tl的则丢弃；

b.对于任意边缘像素高于th的则保留；

c.对于任意边缘像素值在tl与th之间的，如果能通过边缘连接到一个像素大于th而且边缘所有像素大于最小阈值tl的则保留，否则丢弃。

结果显示如图6。最终识别的有效目标图像见图7。

2、目标定位

nao机器人在准确识别出目标物体后，采用网格标定的方法精准定位目标物体，大大提升了机器人准确度。自tsai和zhang的经典论文相继问世后，相机标定被认为是一项成熟的技术，利用摄像机所拍摄的图像来还原空间中的物体。基于此，nao机器人通过使用头部摄像机拍摄的相应棋盘格的情况精确定位出目标物体的位置数据。棋盘格标定法的算法描述为：

1)打印一张模板贴于地面；2)从不同角度拍摄模板照片若干张；3)检测出图像中的特征点；4)求出相机的内参数和外参数。

通过这样的过程，获得高精度的4个内参和6个外参，利用这些信息，最终实现三维信息恢复，达到精准定位的目的。

2.1相机成像的几何模型

相机拍摄图像实际上是一个光学成像的过程。此过程可以分为3个步骤，隶属于4个坐标系，这3个步骤将拍摄的图片像素点坐标和实际的空间位置坐标联系起来。四个坐标系分别为：

1)像素坐标系：坐标原点位于所摄图像的左上角，u轴和v轴分别平行于图像平面的两条垂直边。坐标值用(u,v)表示，为离散的整数值。

2)图像坐标系：坐标原点位于所摄图像的中间，x轴和y轴分别平行于像素坐标系的u轴和v轴，坐标值用(x,y)表示。

3)相机坐标系(光心坐标系)：坐标原点为相机的光心，xc轴、yc轴分别平行于图像坐标系的x轴和y轴，相机的光轴为zc轴，坐标值用(xc,yc,zc)表示。

4)世界坐标系：机器人根据自然环境而选择的坐标系，坐标值用(xw,yw,zw)表示。

3个步骤为：

1)分别将像素坐标系中的信息转换至图像坐标系；

2)将图像坐标系转换至相机坐标系；

3)将相机坐标系转换至世界坐标系。

相机的标定首先要选择成像的几何模型，从而确定内外参数，最终获得目标位置的坐标信息。为了描述本专利所采用的成像几何模型，需要借助上述4个坐标系。成像的几何关系见图8。

4个坐标系转换关系为：

1)像素坐标系(u,v)转换至图像坐标系(x,y)

选取图像平面的中心点为o1，o1在像素坐标系中的坐标值为(u0,v0)，根据坐标系转换可知o1点在图像坐标系中的坐标值为其中dx,dy分别表示每个像素在x轴和y轴上的物理尺寸。于是得到像素平面与图像平面的齐次坐标转换关系为：

2)图像坐标系(x,y)转换至相机坐标系(xc,yc,zc)

根据相机的性质知，相机坐标系原点o与图像坐标系原点o1的连线oo1即为相机的焦距f，相机的内参数矩阵点pc(xc,yc,zc)投影到图像坐标系中为p点，由相似三角形原理得：

图像坐标系与相机坐标系之间的映射关系如图9所示，故转换关系为：

3)相机坐标系(xc,yc,zc)转换至世界坐标系(xw,yw,zw)

二者之间的转换这要涉及到两种变换：平移和旋转。具体的转换关系如下，其中r＝[r1,r2,r3]为3×3的旋转矩阵，t表示3维列向量的平移矩阵。

联合(1)(2)(3)得像素坐标系与世界坐标系之间的转换关系，有：

又标定物是平面的，把世界坐标系构造在zw＝0的平面上即可得到：

该变化在计算机视觉中定义为单映性变化，即一个平面到另一个平面的映射，矩阵h＝[h1h2h3]＝a[r1r2t]称为单映性矩阵。

2.2内外参数的标定算法

(xw,yw)为标定物的坐标，可由设计者人为控制，是已知量，(u,v)是像素坐标，可以直接通过摄像机获得。对于一组对应的(xw,yw)→(u,v)，由等式[h1h2h3]＝a[r1r2t]，结合旋转矩阵的性质，可以获得两个约束条件。故检测4个特征点，可获得8个方程。

内参矩阵a含有u0，v0四个未知量，外参矩阵中的旋转矩阵r含有三个未知量，平移矩阵t含有xw,yw,zw三个未知量。通过改变摄像机与标定物之间的相对位置获得两张照片，而内参矩阵固定不变，外参矩阵随着位置信息的改变而发生变化，故会产生16个未知量。同样，两张照片可获得8个特征点，16个方程。6*2+4＝8*2，由此解得所有未知量，完成内外参数的标定，最终获得目标物体的位置信息。

图10的(a)和(b)分别为本发明应用摄像机标定技术完成精准定位所拍摄的不同角度的图片。全局标定参数求解结果见表1和表2。

表1全局标定的内部参数

表2(a)全局标定的外部参数

表2(b)全局标定的外部参数

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。