一种无人机降落目标的追踪方法、装置和无人机与流程

本发明涉及无人机技术领域，特别涉及一种无人机降落目标的追踪方法、装置和无人机。

背景技术：

无人机跟踪地面运动目标具有重要理论研究意义和应用价值，是无人机系统自主控制领域的一个重要研究方向。在实现无人机自主识别跟踪目标的应用中，一般是根据无人机摄像头采集的图像，通过计算目标在图像中的区域内的特征，完成对该帧图像中的目标的标记，当对多帧图像进行正确标记时，即可实现目标的追踪，例如，在无人机降落过程中，需要对降落目标进行精确的标记，以便对降落目标进行准确的追踪，最终实现无人机的准确降落。但是，无人机在处于飞行运动过程中的，对追踪目标的追踪过程中，目标相对于无人机摄像头的位置是变化的，在进行目标标记追踪过程中，不可避免的会导致目标标记不准确，以致于追踪失败，降低用户的使用体验。

技术实现要素：

鉴于上述问题，提出了本发明的一种无人机降落目标的追踪方法、装置和无人机，以便解决或至少部分地解决上述问题。

根据本发明的一个方面，提供了一种无人机降落目标的追踪方法，所述方法包括：

步骤s110，根据无人机摄像头采集的包括降落目标的第一帧图像的yuv图像数据，确定所述降落目标在所述第一帧图像中的降落区域和位置坐标；

步骤s120，提取所述降落区域的第一特征；

步骤s130，将所述降落区域的位置坐标进行多个预设比例的缩放，获取多个缩放后的位置坐标，将所述多个缩放后的位置坐标确定的多个区域作为所述无人机摄像头之后采集的第二帧图像中的多个匹配区域；

步骤s140，分别提取多个所述匹配区域的第二特征，根据与所述第一特征匹配度最大的所述第二特征对应的匹配区域确定所述降落目标在所述第二帧图像中的降落区域和位置坐标；

循环执行步骤s120至步骤s140，实现所述降落目标的追踪。

根据本发明的另一个方面，提供了一种无人机降落目标的追踪装置，其特征在于，所述装置包括：

降落区域确定单元，用于根据无人机摄像头采集的包括降落目标的第一帧图像的yuv图像数据，确定所述降落目标在所述第一帧图像中的降落区域和位置坐标；

特征提取单元，用于提取所述降落区域的第一特征；

匹配区域确定单元，用于将所述降落区域的位置坐标进行多个预设比例的缩放，获取多个缩放后的位置坐标，将所述多个缩放后的位置坐标确定的多个区域作为所述无人机摄像头之后采集的第二帧图像中的多个匹配区域；

所述特征提取单元，还用于分别提取多个所述匹配区域的第二特征；

追踪单元，用于根据与所述第一特征匹配度最大的所述第二特征对应的匹配区域确定所述降落目标在所述第二帧图像中的降落区域和位置坐标；

所述特征提取单元、所述匹配区域确定单元和所述追踪单元循环执行相应的操作，实现降落目标的追踪。

根据本发明的另一个方面，提供了一种无人机，所述无人机包括存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时能够实现前述的方法步骤。

综上所述，本发明的技术方案的有益效果是：在无人机追踪降落目标的过程中，根据确定的降落目标第一帧图像中的降落区域的位置坐标后，将降落区域的位置坐标进行多个预设比例的缩放，获取多个缩放后的位置坐标，将所述多个缩放后的位置坐标确定的多个区域作为之后的第二帧图像中的多个匹配区域，然后分别提取多个匹配区域的第二特征，根据与第一特征匹配度最大的第二特征对应的匹配区域确定降落目标在第二帧图像中的降落区域和位置坐标，以此类推，实现多帧图像中的降落区域的标记，进而实现无人机降落目标的追踪，以便无人机完成准确降落。可见，通过该技术方案，根据多个匹配区域中选择匹配度最大确定降落目标在第二帧图像中的降落区域和位置坐标，保证无人机追踪目标的的标记的准确性，提高跟踪的效率和准确率。

附图说明

图1为本发明一个实施例提供的一种无人机降落目标的追踪方法的流程示意图；

图2为本发明一个实施例提供的一种降落目标的样式示意图；

图3为本发明一个实施例提供的一种无人机降落目标的追踪装置的功能结构示意图；

图4为本发明一个实施例提供的一种无人机的功能结构示意图。

具体实施方式

本发明的设计思路是：为确保无人机在降落过程中对降落目标的追踪的准确性，本发明提供的技术方案是将降落目标的识别与跟踪算法相结合的方式，大大提高了追踪的准确率和追踪的效率。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明一个实施例提供的一种无人机降落目标的追踪方法的流程示意图.如图1所示，该方法包括：

步骤s110，根据无人机摄像头采集的包括降落目标的第一帧图像的yuv图像数据，确定降落目标在第一帧图像中的降落区域和位置坐标。

yuv图像数据中，"y"表示明亮度(luminance或luma)，也就是灰阶值；。而"u"和"v"表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。通过无人机摄像头采集的第一帧图像的yuv图像数据，就可以确定降落目标在第一帧图像中的降落区域和位置坐标。本实施例中的图像数据的格式通常为420p格式或420sp格式。

本实施例中的降落目标是预先设定的降落平台，以标示无人机的降落位置，该降落平台设定了相应的特征，以便无人进在追踪过程中的识别。本实施例中确定降落目标在第一帧图像中的降落区域和位置坐标，也就是在第一帧图像中对降落目标的识别过程。

步骤s120，提取降落区域的第一特征。

步骤s130，将降落区域的位置坐标进行多个预设比例的缩放，获取多个缩放后的位置坐标，将多个缩放后的位置坐标确定的多个区域作为无人机摄像头之后采集的第二帧图像中的多个匹配区域。

本实施例中，对位置坐标进行缩放，是因为无人机是处于运动过程中的，降落目标在第二帧图像中的位置相比较在第一帧图像中的位置会有些许的变化，所以在第二帧图像的降落区域确定时，需要对位置坐标进行缩放。这里的预设比例是预先设定的，可选地，该预设比例的设定可以根据无人机在实际应用中的速度进行设定，这样就可以使得确定的匹配区域可以覆盖无人机在不同的速度下的降落目标的变化程度，有利于提高降落目标的追踪的准确率。

在一个例子中，第一帧图像中的降落区域r0＝{x0,y0,w0,h0}，(x0,y0)表示目标左上角坐标，(w0,h0)为矩形区域的宽度和高度。将该降落区域的宽高按初始区域的相应倍数进行缩放(wscalej等于hscalej)，得到的待匹配区域rij'＝{xi',yi',wj',hj'}，i为第i个待匹配区域的左上角坐标预设比例，j为第j个高度预设比例，其中，

xi'＝x0*(1+xscalei)为待匹配区域的左上角x坐标。

yi'＝y0*(1+yscalei)为待匹配区域的左上角y坐标。

wj'＝w0*wscalej为待匹配区域的宽。

hj'＝h0*hscalej为待匹配区域的高。

步骤s140，分别提取多个匹配区域的第二特征，根据与第一特征匹配度最大的第二特征对应的匹配区域确定降落目标在第二帧图像中的降落区域和位置坐标。

循环执行步骤s120至步骤s140，实现降落目标的追踪。

本实施例是应用在无人机降落过程中，当无人机接收到降落指令后，会通过无人机摄像头采集的图像对降落目标进行识别，当识别出降落目标在图像中的降落区域和位置坐标后，基于该降落区域和位置坐标，在无人机摄像头之后采集的图像中对该降落目标进行追踪，以便无人机可以准确降落。

通过该技术方案，将降落目标的识别与跟踪算法相结合的方式，保证无人机追踪目标的标记的准确性，提高跟踪的效率和准确率。

在本发明的一个实施例中，图1所示的方法进一步包括：

当第二特征与第一特征的匹配度小于预设匹配阈值时，确定无人机的降落目标追踪失败，再次根据步骤s110至步骤s140，重新进行降落目标的追踪。

在本实施例中，当第二特征与第一特征的匹配度小于预设匹配阈值时，说明匹配区域的特征与第一帧图像中的降落区域的特征不相符，即第二帧图像中没有出现降落目标，无人机追踪降落目标失败，需要重新追踪，那么，无人机摄像头会重新采集图像，在新采集的图像中，执行图1所示的步骤s110至步骤s140，以便重新进行降落目标的追踪。

在本发明的一个实施例中，图1所示的步骤s110中的根据无人机摄像头采集的包括降落目标的第一帧图像的yuv图像数据，确定降落目标在第一帧图像中的降落区域和位置坐标包括：

(1)根据第一帧图像的yuv图像数据，将第一帧图像转换成灰度图像和第一二值图像，其中，第一二值图像中的白色像素点对应第一帧图像中的指定色像素点，第一二值图像中的黑色像素点对应第一帧图像中的非指定色像素点。

(2)根据降落目标的指定色彩区域组成的几何特征，将第一二值图像中的白色像素点进行聚类处理，获取第一二值图像中的一个或多个聚类区域和聚类区域的位置坐标。

(3)根据一个或多个聚类区域的位置坐标，确定灰度图像中的一个或多个聚类区域。

(4)将灰度图像中的一个或多个聚类区域转化为第二二值图像，第二二值图像中的白色像素点对应聚类区域中灰度值小于预设灰度阈值的像素点，第二二值图像中的黑色像素点对应聚类区域中灰度值大于或等于预设灰度阈值的像素点。

(5)判断第二二值图像的几何特征是否符合降落目标的几何特征，若判断为是，则该第二二值图像对应的聚类区域为第一帧图像中的降落区域，该聚类区域的位置坐标作为第一帧图像中的降落区域的位置坐标。

在一个例子中，图2为本发明一个实施例提供的一种降落目标的样式示意图。如图2所示，降落目标是大小为2000mm*2000mm的平板，该平板上涂的为哑光油墨，该平台四个角(区域210、区域220、区域230和区域240)为400mm*400mm的红色区域；中心位置为内径为1100mm，外径1200mm的圆，该圆内部为互相垂直的两条直径，宽度为100mm。那么，根据无人机摄像头采集的包括降落目标的第一帧图像的yuv图像数据，确定降落目标在第一帧图像中的降落区域和位置坐标包括：

(1)将yuv图像数据直接转换为二值图像。

当识别到某像素点的色彩为红色时，该像素点的灰度值设为255；当识别到某像素点的色彩为非红色时，该像素点的灰度值设为设置为0，从而获取到一幅黑白二值图像。判断像素点是否为红色的具体方式是：

一个像素点对应一组y分量，u分量，v分量，ypixel,upixel，vpixel分别为该像素点对应y分量u分量和v分量的像素值，cthres为ypixel对应的最大阈值。

其中，colorthres,basethres分别为y分量值对应的最大阈值和最小阈值，color_thres_max，color_thres_min分别为颜色阈值的最大值和最小值，base_thres_max，base_thres_min分别为基本阈值的最大值和最小值。

baseval＝basethres+ypixel/4

uvthr＝min(colorthres,baseval)

即，uvthr取阈值最小值。

即，令uflag，vflag分别为u，v分量的值与128的大小对比值。

abs_u＝|upixel-128|

abs_v＝|vpixel-128|

即，令abs_uabs_v分别为u，v分量的值与128的差值的绝对值。

当red_flag为1时，该像素点的颜色为红色，否则该像素点的颜色不为红色。

(2)对上述得到的黑白二值图像中的白色像素点进行聚类处理，获取降落区域。因为图2中所示的降落目标的样式中包括4块共色区域，即在二值图像中应该是包括4块白色区域。所以，在进行聚类处理时，需要将黑白二值图像中的白色区域以4块为基础进行聚类处理。

具体步骤为：

判断聚类区域的特征，由于降落目标的四个红色区域为正方形，故通过二值化处理后的白色像素点区域也为正方形区域(畸变很小)，每一个区域对应一个聚类矩形区域信息classinfo_rect[i]。

areainfo.left＝min(classinfo_rect[i].left,width)

areainfo.right＝max(classinfo_rect[i].right,0)

areainfo.top＝min(classinfo_rect[i].top,height)

areainfo.bottom＝max(classinfo_rect[i].bottom,0)

(3)根据一个或多个聚类区域的位置坐标，确定灰度图像中的一个或多个聚类区域。

也就是，利用获取聚类矩形区域信息，确定灰度图像中的位置信息。

(4)对该灰度图像对应的聚类区域进行二值化处理。

当像素点的灰度值小于预设灰度阈值gray_thres时，将该像素点的灰度值设置为255，当像素点的灰度值大于预设灰度阈值gray_thres时，将该像素点的灰度值设置为0。

(5)对二值化后的图像做hough检测。

判断得到的二值化处理后的灰度图像的四个白色区域中间中是否存在图2所示的降落目标中的相互垂直的直线，且保证直线的长度大于或等于一预设长度阈值；和/或，是否存在圆形。

在本步骤周，不管降落区域在相机中的位置的变化，十字直线长度相对聚类区域的最小值，集预设长度阈值为：

其中：area_width为聚类区域的宽度，line_max为十字线长度最小值

所以，通过hough检测，如果在二值化处理后的灰度图像中能识别到圆和/或直线，且直线的长度大于该区域宽度的倍，且直线是相互垂直的，则该区域为降落区域。

在本发明的一个实施例中，在步骤s130中的将降落区域的位置坐标进行多个预设比例的缩放之前，图1所示的方法进一步包括：

根据第一帧图像中的降落区域的位置坐标，确定第二帧图像中的搜索区域，以保证多个缩放后的位置坐标确定的多个区域不能超出搜索区域。

因为降落区域在跟踪过程中，尺寸不会产生剧烈变化。所以，在第二帧图像中的搜索区域以第一帧图像中的降落区域的位置往外延伸一定尺度，即第二帧图像中的搜索区域是在当前搜索区域内可以在第一帧图像中的降落区域的位置的上、下、左、右四个方向上向内、外伸缩长宽的某个尺度。

例如，在第一帧图像中的降落区域对应的位置坐标是r0＝{x0,y0,w0,h0}，(x0,y0)表示降落区域的左上角坐标，(w0,h0)为降落区域的宽度和高度。那么，在第二帧图像中的降落目标搜索范围为area0＝{x0-w0/2,y0-h0/2,w0*2,h0*2}。目标搜索区域确定后，再进行位置坐标的缩放。

这样，保证多个缩放后的位置坐标确定的多个区域不能超出搜索区域，一方面，可以保证特征提取时的效率，也可以保证特征提取的准确度，防止非降落区域的特征的干扰。

在本发明的一个实施例中，图1所示的步骤s120的提取降落区域的第一特征包括：

利用haar-like特征提取方法，提取降落区域的灰度值；利用稀疏矩阵对降落区域的灰度值进行降维处理，计算降落区域的灰度值的期望值和标准差；利用降落区域的灰度值的期望值和标准差更新贝叶斯分类器。

那么，步骤s140中的分别提取多个匹配区域的第二特征，根据与第一特征匹配度最大的第二特征对应的匹配区域确定降落目标在第二帧图像中的降落区域和位置坐标包括：

利用haar-like特征提取方法，分别提取多个匹配区域的灰度值；利用上述更新后的贝叶斯分类器，对匹配区域的灰度值进行分类识别，确定各匹配区域的灰度值与降落区域的灰度值的匹配度；将匹配度最大的对应的匹配区域作为降落目标在第二帧图像中的降落区域，确定对应的匹配区域的位置坐标作为降落目标在第二帧图像中的位置坐标。

并且，为了进行第三帧图像(第二帧图像之后采集的图像)也可以采用特征匹配的方式确定降落区域，在第二帧图像中的降落区域确定后，利用第二帧图像中降落区域的灰度值的期望值和标准差再次更新贝叶斯分类器。

具体地，上述利用haar-like特征提取方法，分别提取多个匹配区域的灰度值包括：

(1)根据各匹配区域对应的预设比例，确定各匹配区域中的第一haar特征区域和第二haar特征区域。

根据第i个左上角坐标预设比例和第j个高度预设比例缩放后的匹配区域为：rij'＝{xi',yi',wj',hj'}，haar-like特征提取方法中，确定的第一初始矩形区域为farea0＝(xf,yf,wf,hf)，则该匹配区域中的第一haar特征区域是farea0'＝(x'f,y'f,w'f,h'f)，其中，

x'f＝xi'+(xf-x0)*wscalej，为第一haar特征区域的左上角x坐标；

y'f＝yi'+(yf-y0)*hscalej，为第一haar特征区域的左上角y坐标；

w'f＝wf*wscalej，为第一haar特征区域的宽；

h'f＝hf*hscalej，为第一haar特征区域的高。

同理，可按此方式获取该区域内的第二haar特征区域的坐标与宽高信息farea0″＝(x″f,y″f,w″f,h″f)。

(2)利用haar-like特征提取方法，分别提取各匹配区域中的第一haar特征区域的第一灰度值gray(farea0')和第二haar特征区域的第二灰度值gray(farea0″)。

(3)对各匹配区域的第一灰度值和第二灰度值进行求均值和归一化处理，获取各匹配区域的灰度值。

均值公式为：gray特征＝(gray(farea0')+gray(farea0″))/(w'f*h'f+w″f*h″f)。

现有技术中由于搜索到的目标具有尺度不变性，提取haar-like特征值的特征区域相对目标区域为尺度不变区域，而在本实施里中，特征提取区域是由当前确定到的匹配区域与上一帧降落区域的尺度关系决定的，可以进一步提高降落区域确定的准确性，提高追踪的准确率。

图3为本发明一个实施例提供的一种无人机降落目标的追踪装置的功能结构示意图。如图3所示，该无人机降落目标的追踪装置300包括：

降落区域确定单元310，用于根据无人机摄像头采集的包括降落目标的第一帧图像的yuv图像数据，确定降落目标在第一帧图像中的降落区域和位置坐标；

特征提取单元320，用于提取降落区域的第一特征；

匹配区域确定单元330，用于将降落区域的位置坐标进行多个预设比例的缩放，获取多个缩放后的位置坐标，将多个缩放后的位置坐标确定的多个区域作为无人机摄像头之后采集的第二帧图像中的多个匹配区域；

特征提取单元320，还用于分别提取多个匹配区域的第二特征；

追踪单元340，用于根据与第一特征匹配度最大的第二特征对应的匹配区域确定降落目标在第二帧图像中的降落区域和位置坐标；

特征提取单元320、匹配区域确定单元330和追踪单元340循环执行相应的操作，实现降落目标的追踪。

在本发明的一个实施李忠，图3所示的装置进一步包括：

重置单元，用于在第二特征与第一特征的匹配度小于预设匹配阈值时，确定无人机的降落目标追踪失败，指示降落区域确定单元、特征提取单元、匹配区域确定单元和追踪单元再次执行相应的操作。

在本发明的一个实施例中，降落区域确定单元310，具体用于根据第一帧图像的yuv图像数据，将第一帧图像转换成灰度图像和第一二值图像，其中，第一二值图像中的白色像素点对应第一帧图像中的指定色像素点，第一二值图像中的黑色像素点对应第一帧图像中的非指定色像素点；根据降落目标的指定色区域组成的几何特征，将第一二值图像中的白色像素点进行聚类处理，获取第一二值图像中的一个或多个聚类区域和聚类区域的位置坐标；根据一个或多个聚类区域的位置坐标，确定灰度图像中的一个或多个聚类区域；将灰度图像中的一个或多个聚类区域转化为第二二值图像，第二二值图像中的白色像素点对应聚类区域中灰度值小于预设灰度阈值的像素点，第二二值图像中的黑色像素点对应聚类区域中灰度值大于或等于预设灰度阈值的像素点；判断第二二值图像的几何特征是否符合降落目标的几何特征，若判断为是，则该第二二值图像对应的聚类区域为第一帧图像中的降落区域，该聚类区域的位置坐标作为第一帧图像中的降落区域的位置坐标。

在本发明的一个实施例中，图3所示的装置进一步包括：

搜索区域确定单元，用于在匹配区域确定单元将降落区域的位置坐标进行多个预设比例的缩放之前，根据第一帧图像中的降落区域的位置坐标，确定第二帧图像中的搜索区域，以保证多个缩放后的位置坐标确定的多个区域不能超出搜索区域。

在本发明的一个实施例中，特征提取单元320，用于利用haar-like特征提取方法，提取降落区域的灰度值；利用稀疏矩阵对降落区域的灰度值进行降维处理，计算降落区域的灰度值的期望值和标准差；利用降落区域的灰度值的期望值和标准差更新贝叶斯分类器；利用haar-like特征提取方法，分别提取多个匹配区域的灰度值；利用贝叶斯分类器，对匹配区域的灰度值进行分类识别，确定各匹配区域的灰度值与降落区域的灰度值的匹配度；

追踪单元340，用于将匹配度最大的对应的匹配区域作为降落目标在第二帧图像中的降落区域，确定对应的匹配区域的位置坐标作为降落目标在第二帧图像中的位置坐标。

具体地，利特征提取单元320，用于根据各匹配区域对应的预设比例，确定各匹配区域中的第一haar特征区域和第二haar特征区域；利用haar-like特征提取方法，分别提取各匹配区域中的第一haar特征区域的第一灰度值和第二haar特征区域的第二灰度值；对各匹配区域的第一灰度值和第二灰度值进行求均值和归一化处理，获取各匹配区域的灰度值。

图4为本发明一个实施例提供的一种无人机的功能结构示意图。如图4所示，无人机400包括存储器410和处理器420，存储器410和处理器420之间通过内部总线430通讯连接，存储器410存储有能够被处理器420执行的无人机降落目标的追踪的计算机程序411，该无人机降落目标的追踪的计算机程序411被处理器420执行时能够实现图1中所示的各实施例的方法步骤。

在不同的实施例中，存储器410可以是内存或者非易失性存储器。其中非易失性存储器可以是：存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。内存可以是：ram(radomaccessmemory，随机存取存储器)、易失存储器、非易失性存储器、闪存。进一步，非易失性存储器和内存作为机器可读存储介质，其上可存储由处理器420执行的无人机降落目标的追踪的计算机程序411。

需要说明的是，图3和图4所示的装置的各实施例与图1所示的方法的各实施例对应相同，上文已有详细说明，在此不再赘述。

综上所述，本发明的技术方案的有益效果是：在无人机追踪降落目标的过程中，根据确定的降落目标第一帧图像中的降落区域的位置坐标后，将降落区域的位置坐标进行多个预设比例的缩放，获取多个缩放后的位置坐标，将所述多个缩放后的位置坐标确定的多个区域作为之后的第二帧图像中的多个匹配区域，然后分别提取多个匹配区域的第二特征，根据与第一特征匹配度最大的第二特征对应的匹配区域确定降落目标在第二帧图像中的降落区域和位置坐标，以此类推，实现多帧图像中的降落区域的标记，进而实现无人机降落目标的追踪，以便无人机完成准确降落。可见，通过该技术方案，根据多个匹配区域中选择匹配度最大确定降落目标在第二帧图像中的降落区域和位置坐标，保证无人机追踪目标的标记的准确性，提高跟踪的效率和准确率。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。