基于单目视觉的地面T形运动目标检测与定位方法与流程

本发明涉及的是一种在旋翼无人机上检测与定位地面目标的方法，涉及目标检测技术领域。

背景技术

旋翼无人飞行器是一种外形新颖，性能优越的垂直起降无人飞行器，具有结构简单、操作灵活、带载能力强等特点，在侦察巡逻、自然灾害的监视与支援等军事、民用领域具有广泛的应用价值。

对于无人机来说，地面目标的检测与定位是实现无人机与环境交互的基础，可以提升飞行控制的自动化和智能化水平。在无人机执行任务阶段，对目标的检测和定位可以提高无人机自主执行任务的能力。

对于目标检测问题，已经有一些的技术。目标检测的方法主要有两类，一是基于运动信息的检测方式，如背景差分法，但这一类方法的应用场景为静态背景。而飞行器的摄像头是不断运动的，因此背景也在实时发生变化，而目标也在运动。因此，应用该方法检测目标存在较大的难度。第二种方法是利用目标本身固有的特征，从背景中提取出目标。例如利用颜色特征，边缘特征对目标进行分割。颜色，边缘、纹理都是客观世界固有的特征，都可以很好的描述出目标与背景之间的差别。彩色图像含有丰富的颜色信息，且易于应用，具有良好的实时性，但光照、阴影、摄像机本身的特性等多种因素的变化，都会对颜色特征的分割造成影响。边缘是对图像中多像素的综合处理而得出的高层次特征，可以很好地描述物体本身的轮廓信息，且基于边缘的目标检测算法有良好的准确性和鲁棒性，但计算量较大。

技术实现要素：

本发明提出了一种基于单目视觉的地面t形运动目标检测与定位方法，以实现在旋翼无人机上能够准确的获取地面上t型板的位置和方向，提高t形运动目标检测与定位的准确率。本发明所述t型板如图2所示。

本发明为解决上述技术问题采取的技术方案是：

基于单目视觉的地面t形运动目标检测与定位方法，包括以下步骤：

步骤一、采集一定数量的正样本和负样本，对采集的样本提取hog特征，并赋予标签,将特征与标签送入svm(支持向量机)中进行训练，保存训练得到的分类器；

步骤二、输入无人机上摄像头采集的图片，与无人机固连的摄像头正下视以获得摄像头距地高度，根据已知的目标距地高度求得相机距目标的距离；

根据已知的目标实际空间中的大小lx*ly和摄像机的高度h，以及定焦距相机的fx,fy，求出目标在图像中的大小，目标在图像x轴，y轴上的像素数为：

之后用预定大小的窗口截取图片的区域；

fx表示定焦距相机的x轴上的焦距，单位是像素；fy表示定焦距相机的y轴上的焦距，单位是像素；

步骤三、对步骤二中截取图片的区域提取hog特征，将特征输入步骤一生成的分类器中，分类器输出该区域是否为目标；

步骤四、对于是目标的区域，进行颜色空间变换，根据颜色信息，进行基于阈值的图像分割，生成二值图，将t型板与背景分离；

步骤五、根据二值图中的分割结果，进行矩形拟合，将t型板用矩形确定出来,根据拟合矩形的长短边信息，获取目标的准确位置和可能的方向，并根据矩形区域四个角的颜色信息，判断出t型板的准确方向；

步骤六、根据步骤三确定的目标在图像中的位置，求解目标相对于飞行器的位置；将摄像头固连于飞行器，所以摄像头的姿态信息和高度信息可根据飞行器的姿态和高度获得，根据相机成型模型和旋转变换关系，可求得目标与飞行器的相对位置关系。

进一步地，步骤一包括以下步骤：

步骤一a、采集一定数量的正样本和负样本，对采集的样本提取hog特征，并赋予标签；

采集不同角度不同光照情况下的目标图片，使用截图工具截取包含完整目标的正方形区域，其中，目标在图中所占百分比大于60％，将这些图片赋予标签值1，是为正样本；采集不包含目标的图片，将这些图片赋予标签值-1，是为负样本；正样本与负样本的比例为1:3；将所有图片的调整到同样大小；

步骤一b、对图片提取hog特征，过程如下：采用gamma校正法对输入图像进行颜色空间的标准化；之后计算图像中每个像素水平方向和垂直方向的梯度值dx与dy,并计算梯度的方向θ：

dx(x,y)＝i(x+1,y)-i(x-1,y)

dy(x,y)＝i(x,y+1)-i(c,y-1)

式中，i(x,y)为图像中坐标为(x,y)的像素点的灰度值；

将图片分为n*n个单元格，每个区域包含m*m个像素；生成单元格的梯度特征直方图，将梯度方向分为k个区间，将这些区间作为直方图的横轴，每个区间的值为该属于该区间的像素梯度值之和，统计单元格内每个区间的值，为直方图的纵轴，则每个单元格包含k个特征值；将j*j个单元格的特征串联到一起，j<n，生成一个块b，对块内的特征向量进行归一化，生成j*j*k个特征向量；按照预设步长移动扫描图片的块特征，步长为一个或多个单元格，统计所有块的特征，即为最终的hog特征；

步骤一c、训练分类器：将步骤一a产生的图片标签与步骤一b生成的图片特征向量输入到svm分类器中进行训练，生成用于分类的分类器。

进一步地，在步骤二中：

将目标在图像中的边长大小设定w＝min(nx,ny)，估计目标在图像中的边长大小为w/2到2*w之间；

截取图片区域的流程如下：首先，将检测窗口的大小设定目标边长的w/2，按照一定的步长在输入图像上移动检测窗口，一般情况下，步长可设定为检测窗口边长的1/2或1/4，将每一次窗口截取到的区域保存下来，直到检测窗口对输入图像全图都进行过截取；然后，将检测窗口放大到一定的倍数，倍数可设定为1.1倍，继续按照一定的步长移动，直到遍历完全图；不断放大检测窗口，截取图片区域，直到检测窗口边长大于估计的目标最大边长，即为w*2，停止截取图片，将所有截取的区域保存下来。

进一步地，步骤四包括以下步骤：

根据步骤三获取的目标区域，截取原图片中对应的区域，对截取的图片进行颜色空间变换；根据以下公式将图片有rgb颜色空间转换为hsv颜色空间：

v＝max(r,g,b)

if(h<0)h＝h+360.

其中，r,g,b为像素在r,g,b通道上的数值，h,s,v为像素在h,s,v通道上的数值。

对于红色和绿色目标，采用不同的颜色通道：

红色的t型板采用h通道进行分割，对于绿色目标，采用v通道进行分割；对于截取图片中的像素点，其像素值符合设定区间(il,ih)的即为的目标点，其他点为背景点；将目标点的像素值设定为255，将背景点的像素值设定为0，即可获得分割后的二值图：

进一步地，在步骤五中，

根据生成的只包含t形板的二值图，利用矩形拟合获得t型板的最小外接矩形；t型板的长宽比为5：3，通过外接矩形长边和短边的信息就可以确定机器人的运动方向与短边ac所在的直线一致；t型板上侧的两个圆圆a和圆b和t形板是没有交集的，而下面的两个圆圆c和圆d与t形板完全重合；统计在二值图中t形板四个圆中的黑点与白点的个数来确定方向的朝向问题：

number(a)+number(b)>number(c)+number(d)，

number(x)表示二值图中圆x中包含的白点个数，由此确定运动方向有c指向a。

进一步地，获得目标点位置信息的过程为：

已知目标点在像素坐标系中的坐标为(u,v)；目标点与相机坐的高度差h，h>0，可由超声波测距求得；相机坐标系、机体坐标系、世界坐标系各个坐标系之间的转换关系可由旋转矩阵表示；

根据摄像机成像模型，按下式求得目标点在相机坐标系下的坐标：

其中，s为一个尺度比例，m为内参数矩阵，[xcaycazca]^t为目标点在相机坐标系下的坐标；

图像坐标系与机体坐标系，机体坐标系与赛场坐标系之间的转换关系可由以下公式求得：

其中，为图像坐标系与机体坐标系的旋转矩阵,r为机体坐标系与赛场坐标系之间的旋转矩阵；则由以上转换关系，可求得：

赛场动坐标系z轴竖直向下，由此可知，z＝h；根据之前所求的转换关系，可以得到以下公式：

m,r已知，由此，可求出s的值，进而求得x,y，即为目标点位置信息。

本发明具有以下有益效果：

本发明是一种利用单目摄像头检测并定位红色或绿色t型板的方法，用于在旋翼无人机上检测并定位地面移动目标。本发明首先采集一定数量的目标正样本与负样本图片，根据图片生成分类器；然后，输入摄像头采集的图片，用一定大小的检测窗口获取图片不同的区域，对获取的区域提取hog特征，将特征输入训练好的分类器，以判断该区域是否为目标；对于是目标的区域，进行颜色空间变换，根据阈值进行图像分割，生成而二值图，之后对二值图进行形状分析，以得出t型板的方向；最后，根据相机的姿态和高度信息，进行坐标变换，得出目标与飞行器的相对位置与方向。本发明适用于无人机获取地面移动目标的相对位置与运动方向。本发明具有较高的准确率，具体表现为：

1、对于地面上t型板的检测能达到90％以上的准确率

2、本发明对t型板方向的估计误差小于10°，位置误差小于3cm

3、利用处理器为inteli7-6500u，主频2.6ghz的计算机运行，本发明方法每秒处理速度约为5帧，符合实时性要求。

4、结合飞行器的高度信息，对检测算法算法进行优化，提高了检测的效率。

附图说明

图1为实施方式的流程图；

图2为待检测的t型板；

图3为t型板方向提取示意图；

图4为采集的绿色正样本图片；

图5为采集的红色正样本图片；

图6为解算位置的变换流程。

具体实施方式

本实施方式所述的一种基于单目视觉的地面t形运动目标检测与定位方法的步骤如下：

步骤一、采集一定数量的正样本和负样本，对采集的样本提取hog特征，并赋予标签,将特征与标签送入svm(支持向量机)中进行训练，保存训练得到的分类器；

步骤二、输入无人机上摄像头采集的图片，摄像头正下视，且与无人机固连，所以我们可以获得摄像头距地高度，同时，假设目标距地高度已知，因此，可以求得相机距目标的距离。且无人机姿态变化范围较小，因此，可近似认为相机为正下视。目标实际空间中的大小lx*ly，已知，与摄像机的高度h已知，而我们采用的是定焦距相机，所以fx,fy，已知，由此可求出目标在图像中的大小，目标在图像x轴，y轴上的像素数为：

之后用特定大小的窗口截取图片的区域；

步骤三、对步骤四截取的区域提取hog特征，将特征输入步骤一生成的分类器中，分类器输出该区域是否为目标；

步骤四、对于是目标的区域，进行颜色空间变换，根据颜色信息，进行基于阈值的图像分割，生成二值图，将t型板与背景分离；

步骤五、根据二值图中的分割结果，进行矩形拟合，将t型板用矩形确定出来,根据拟合矩形的长短边信息，获取目标的准确位置和可能的方向，并根据矩形区域四个角的颜色信息，判断出t型板的准确方向；

步骤六、根据步骤三确定的目标在图像中的坐标，求解目标相对于飞行器的位置。将摄像头固连于飞行器，所以摄像头的姿态信息和高度信息可根据飞行器的姿态和高度获得，根据相机成型模型和旋转变换关系，可求得目标与飞行器的相对位置关系。

对各步骤做进一步说明：

步骤一a、采集一定数量的正样本和负样本，对采集的样本提取hog特征，并赋予标签。首先，采集不同角度不同光照情况下的目标图片，使用截图工具，截取包含完整目标的正方形区域，其中，目标在图中所占百分比大于60％，如图4,图5所示将这些图片赋予标签值1，是为正样本；采集不包含目标的图片，将这些图片赋予标签值-1，是为负样本。正样本与负样本的比例约为1:3。将所有图片的调整到同样大小这一步可按照，之后将图像进行按照如下公式灰度化处理。

步骤一b、对图片提取hog特征。可按以下步骤，采用gamma校正法对输入图像进行颜色空间的标准化；之后计算图像中每个像素水平方向和垂直方向的梯度值dx与dy,并计算梯度的方向θ：

dx(x,y)＝i(x+1,y)-i(x-1,y)

dy(x,y)＝i(x,y+1)-i(x,y-1)

式中，i(x,y)为图像中坐标为(x,y)的像素点的灰度值。

将图片分为n*n个单元格，每个区域包含m*m个像素；生成单元格的梯度特征直方图，将梯度方向分为k个区间，将这些区间作为直方图的横轴，每个区间的值为该属于该区间的像素梯度值之和，统计单元格内每个区间的值，为直方图的纵轴，则每个单元格包含k个特征值；将j*j个单元格的特征串联到一起，j<n，生成一个块b，对块内的特征向量进行归一化，生成j*j*k个特征向量；按照一定的步长移动扫描图片的块特征，步长为若干单元格，统计所有块的特征，即为最终的hog特征。

步骤一c、训练分类器。将步骤一a产生的图片标签与步骤一b生成的图片特征向量输入到svm分类器中进行训练，生成用于分类的分类器。

步骤二、输入无人机上摄像头采集的图片，摄像头正下视，且与无人机固连，所以我们可以获得摄像头距地高度，同时，假设目标距地高度已知，因此，可以求得相机距目标的距离。且无人机姿态变化范围较小，因此，可近似认为相机为正下视。目标实际空间中的大小lx*ly，已知，与摄像机的高度h已知，而我们采用的是定焦距相机，所以fx,fy，已知，由此可求出目标在图像中的大小，目标在图像x轴，y轴上的像素数为：

将目标在图像中的边长大小设定w＝min(nx,ny)。因此，我们估计目标在图像中的边长大小为w/2到2*w之间。

截取图片区域的流程如下。首先，将检测窗口的大小设定目标边长的w/2，按照一定的步长在输入图像上移动检测窗口，一般情况下，步长可设定为检测窗口边长的1/2或1/4，将每一次窗口截取到的区域保存下来，直到检测窗口对输入图像全图都进行过截取；然后，将检测窗口放大到一定的倍数，倍数可以设定为1.1倍，继续按照一定的步长移动，直到遍历完全图；不断放大检测窗口，截取图片区域，直到检测窗口边长大于估计的目标最大边长，即为w*2，停止截取图片，将所有截取的区域保存下来。

步骤三、根据步骤一b的hog特征提取方法，对步骤二生成的区域进行hog特征提取，生成该区域的特征向量，将特征向量输入到步骤一c生成的分类器中，分类器输出目标的类别标签，如果标签为1，则该区域为目标区域，若输出标签为-1，则该区域为背景。

步骤四、根据步骤三获取的目标区域，截取原图片中对应的区域，对截取的图片进行颜色空间变换。我们将图片有rgb颜色空间转换为hsv颜色空间，可根据以下公式：

v＝max(r,g,b)

if(h<0)h＝h+360.

对于红色和绿色目标，采用不同的颜色通道。红色的t型板采用h通道进行分割，对于绿色目标，采用v通道进行分割。对于截取图片中的像素点，其像素值符合设定区间(il,ih)的即为的目标点，其他点为背景点。将目标点的像素值设定为255，将背景点的像素值设定为0，即可获得分割后的二值图。

步骤五、根据步骤四中生成的只包含t形板的二值图，我们利用矩形拟合获得t型板的最小外接矩形。t型板的长宽比为5：3，因此通过外接矩形长边和短边的信息就可以确定机器人的运动方向与短边ac所在的直线一致，如图3所示。上侧的两个圆圆a和圆b和t形板是没有交集的，而下面的两个圆圆c和圆d与t形板完全重合。我们就可以统计在二值图中t形板四个圆中的黑点与白点的个数，就可以确定方向的朝向问题。

number(a)+number(b)>number(c)+number(d)

(number(x)表示二值图中圆x中包含的白点个数)由此确定运动方向有c指向a。

步骤六、已知目标点在像素坐标系中的坐标为(u,v)；目标点与相机坐的高度差h(h>0)，可由超声波测距求得；相机坐标系，机体坐标系，世界坐标系等各个坐标系之间的转换关系可由旋转矩阵表示，其转换过程如图6所示。

根据摄像机成像模型，可按式求得目标点在相机坐标系下的坐标。

其中，s为一个尺度比例，m为内参数矩阵，[xcaycazca]^t为目标点在相机坐标系下的坐标。

图像坐标系与机体坐标系，机体坐标系与赛场坐标系之间的转换关系可由以下公式求得：

其中，为图像坐标系与机体坐标系的旋转矩阵,r为机体坐标系与赛场坐标系之间的旋转矩阵。则由以上转换关系，可求得：

赛场动坐标系z轴竖直向下，由此可知，z＝h。根据之前所求的转换关系，可以得到以下公式：

m,r已知，由此，可求出s的值，进而求得x,y，即为目标点位置信息。