一种运动目标的标记方法、装置和无人机与流程

本发明涉及跟踪技术领域，特别涉及一种运动目标的标记方法、装置和无人机。

背景技术：

无人机(unmannedaerialvehicle，uav)跟踪地面运动目标具有重要理论研究意义和应用价值，是无人机系统自主控制领域的一个重要研究方向。在无人机自主跟踪地面运动目标之前，需要对待跟踪目标的区域进行标记，以便进行待跟踪目标的特征提取，进而根据提取到的待跟踪目标的特征进行跟踪。因此，对待跟踪目标的标记的准确性，直接影响到对待跟踪目标的跟踪的准确度。但是，在现有技术中，对待跟踪目标的区域进行标记时，由于运动目标的标记区域的不准确性，会导致待跟踪目标的标记区域中混有大量背景信息，容易增加待跟踪目标的干扰信息。

技术实现要素：

鉴于上述问题，提出了本发明的一种运动目标的标记方法、装置和无人机，以便解决或至少部分地解决上述问题。

根据本发明的一个方面，提供了一种运动目标的标记方法，所述方法包括：

获取摄像头采集的第一图像；

响应于终端设备发送的待标记目标的识别指令，从所述第一图像中识别出一个或多个运动目标区域；所述识别指令中包括所述待标记目标的触点坐标；

获取每个所述运动目标区域的外接图形，根据所述每个所述运动目标区域的外接图形和所述待标记目标的触点坐标，确定与所述待标记目标对应的运动目标区域；

将确定出的与所述待标记目标对应的运动目标区域的外接图形标记在所述第一图像中。

优选地，所述方法还包括：

响应于所述终端设备发送的取消当前标记指令，去除所述第一图像中的标记；

和/或，

响应于所述终端设备发送的重新标记指令，去除所述第一图像中的标记，并重新执行获取摄像头采集的第一图像至将确定出的与所述待标记目标对应的运动目标区域的外接图形标记在所述第一图像中的步骤；所述重新标记指令中包括需要重新标记的待标记目标的触点坐标。

根据本发明的另一个方面，提供了一种运动目标的标记装置，所述装置包括：

图像获取单元，用于获取摄像头采集的第一图像；

识别单元，用于响应于终端设备发送的待标记目标的识别指令，从所述第一图像中识别出一个或多个运动目标区域；所述识别指令中包括所述待标记目标的触点坐标；

确定单元，用于获取每个所述运动目标区域的外接图形，根据所述每个所述运动目标区域的外接图形和所述待标记目标的触点坐标，确定与所述待标记目标对应的运动目标区域；

标记单元，用于将确定出的与所述待标记目标对应的运动目标区域的外接图形标记在所述第一图像中。

根据本发明的又一个方面，提供了一种无人机，所述无人机包括摄像头、无线连接单元和如前所述的运动目标的标记装置；

所述摄像头，用于采集第一图像，并将所述第一图像；

所述无线连接单元，用于接收终端设备发送的标记指令，将所述标记指令发送给所述运动目标的标记装置；所述标记指令包括所述待标记目标的触点坐标；

所述运动目标的标记装置，用于响应于终端设备发送的待标记目标的识别指令，从所述第一图像中识别出一个或多个运动目标区域；获取每个所述运动目标区域的外接图形，根据所述每个所述运动目标区域的外接图形和所述待标记目标的触点坐标，确定与所述待标记目标对应的运动目标区域；将确定出的与所述待标记目标对应的运动目标区域的外接图形标记在所述第一图像中。

综上所述，本发明的技术方案的有益效果是：

一方面，采用本发明的技术方案可以实现对待标记目标的区域的自动标记，即由系统自动完成标记，无需用户手动框选待标记目标，且用户只需要点击待标记目标，即只需获得用户的触点坐标即可，操作简单、方便；另一方面，将运动目标区域的外接图形作为标记，不仅可以保证待标记目标完全处于标记区域内，可以更加准确的对待标记目标进行标记，且还可以减少标记区域中的背景信息，避免了标记区域中背景信息的干扰，提高了标记的准确率。

为了实现待标记目标的跟踪，需要对标记区域进行特征提取，然后在跟踪的过程中，通过摄像头采集的各个图像中的图像特征与提取出来的特征进行匹配的方式，确定待跟踪的运动目标。在本方案中，在进行待标记目标的特征提取时，只是提取该外接图形内的特征，因为该外接图形中的背景信息较少，减少了背景信息的干扰，保证提取的特征的准确性，进而提高跟踪的准确性，而且在随后对该待标记目标的跟踪中，会保证待标记目标时刻处于该外接图形中。

附图说明

图1为本发明一个实施例提供的一种运动目标的标记方法的流程示意图；

图2(a)为本发明一个实施例提供的一种第一图像的示意图；

图2(b)为本发明一个实施例提供的一种二值图像的示意图；

图2(c)为本发明一个实施例提供的一种闭运算处理后的二值图像的示意图；

图2(d)为本发明一个实施例提供的一种膨胀处理后的二值图像的示意图；

图2(e)为本发明一个实施例提供的一种连通处理后的二值图像的示意图；

图2(f)为本发明一个实施例提供的一种第一图像中的多个运动目标区域的示意图；

图2(g)为本发明一个实施例提供的一种待标记运动目标区域的标记结果示意图；

图3为本发明一个实施例提供的一种运动目标的标记装置的功能结构示意图；

图4为本发明另一个实施例提供的一种运动目标的标记装置的功能结构示意图；

图5为本发明一个实施例提供的一种无人机的功能结构示意图。

具体实施方式

在一个对运动目标的标记的例子中，是通过对待标记目标进行手动框选的方式进行，即通过在终端设备的显示界面中进行拖动框选，直接划定待标记目标的区域，对该区域进行标定。但是拖动框选出的标记区域，或者不行完全契合待标记目标，标记太大，标记区域中会混有大量的背景信息，例如，的待标记目标只有80％，20％为背景信息；或者，标记区域不能将待标记目标完全容纳，例如，只容纳了待标记目标的70％，标记不准确造成待标记目标的特征提取不准确，上述缺点都会影响标记的准确性。

本发明通过获取用户点击待标记目标的触点信息，以及识别出的第一图像中的一个或多个运动目标，自动获取与待标记目标对应的运动目标区域，将确定出的与待标记目标对应的运动目标区域的外接矩形包围的区域标记在第一图像中，实现对待标记目标的区域准确标记。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明一个实施例提供的一种运动目标的标记方法的流程示意图。如图1所示，该方法包括：

步骤s110，获取摄像头采集的第一图像。

在本实施例中，这里的第一图像可以是摄像头实时采集的图像，也就是说，在用户选择待标记目标后，需要对用户选择待标记目标的那一时刻对应的图像进行处理，即这里的第一图像可以是摄像头采集的当前帧图像，当前帧图像就是用户选择跟踪目标时所对应的那一时刻的图像

步骤s120，响应于终端设备发送的待标记目标的识别指令，从第一图像中识别出一个或多个运动目标区域；识别指令中包括待标记目标的触点坐标。

终端设备通过无线连接到无人机，无人机将摄像头采集的图像通过无线通讯发送给终端设备，终端设备可实时显示无人机摄像头采集的视频场景中的信息。当用户想要对无人机发送的第一图像中的某一个运行目标进行标记时，会在终端设备中输入对该待标记目标的识别指令，例如，先触发跟踪按钮后，为了进行准确跟踪，根据终端设备的提示，需要选择待跟踪目标，集待标记目标，具体是在终端上设备的屏幕中通过触屏或者光标点击屏幕中的待标记目标等硬件操作。终端设备接收到该识别指令后，会将该硬件操作处理成相应的识别指令，其中包括从硬件操作中识别出用户对待标记目标的触点坐标。本实施例中的触点坐标就是用户点击屏幕时，手指与屏幕接触点或者光标点击时的位置基于第一图像的坐标。

当接收到终端设备发送的待标记目标的识别指令后，会从第一图像中识别出一个或多个运动目标区域，识别出的运动目标区域中的一个就是与待标记目标对应的运动目标区域。

步骤s130，获取每个运动目标区域的外接图形，根据每个运动目标区域的外接图形和待标记目标的触点坐标，确定与待标记目标对应的运动目标区域。

为了确定与待标记目标对应的运动目标区域，需要获得每个运动目标区域的外接图形，例如，外接矩形、外接圆形等，在这里不做具体限定。因为待标记目标的触点坐标是已知的，通过计算每个运动目标区域的外接图形和触点坐标的距离，就可以确定与待标记目标对应的运动目标区域。

步骤s140，将确定出的与待标记目标对应的运动目标区域的外接图形标记在第一图像中。

为了对待标记目标的区域进行标记，是将确定出的与待标记目标对应的运动目标区域的外接图形包围的区域标记在第一图像中。例如，外接图形是外接矩形，那么就将该外接矩形作为待标记目标的标记框渲染在第一图像中。

外接图形是基于给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标确定边界的图形。本实施例中的外接图形是根据运动目标区域的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定边界的图形。因此，该外接图形可以保证包含整个运动目标区域，和运动目标完全契合的，且背景信息最少。

综上，一方面，采用本发明的技术方案可以实现对待标记目标的区域的自动标记，即由系统自动完成标记，无需用户手动框选待标记目标，且用户只需要点击待标记目标，即只需获得用户的触点坐标即可，操作简单、方便；另一方面，将与待标记目标对应的运动目标区域的外接图形作为标记，不仅可以保证待标记目标完全处于标记区域内，可以更加准确的对待标记目标进行标记，且还可以减少标记区域中的背景信息，避免了标记区域中背景信息的干扰，提高了标记的准确率。

对待标记目标的标记的目的在于对该待标记目标的跟踪。在随后的待标记目标的跟踪中，为了实现待标记目标的跟踪，需要对标记区域进行特征提取，然后在跟踪的过程中，通过摄像头采集的各个图像中的图像特征与提取出来的特征进行匹配的方式，确定待跟踪的运动目标。在本方案中，在进行待标记目标的特征提取时，只是提取该外接图形内的特征，因为该外接图形中的背景信息较少，减少了背景信息的干扰，保证提取的特征的准确性，进而提高跟踪的准确性，而且在随后对该待标记目标的跟踪中，会保证待标记目标时刻处于该外接图形中。

在本发明的一个实施例中，当从第一图像中只识别到一个运动目标区域时，即场景中只有一个运动目标时，将该运动目标默认为是待标记目标的区域，用户根据终端设备显示界面中的提示，先触发跟踪按钮，并选择待标记目标后，终端设备就会向无人机发送识别指令，然后无人机响应于该识别指令，从第一图像中识别出该运动目标区域后，直接将运动目标区域的外接矩形包围的区域标记在第一图像中，无需再执行根据每个运动目标区域的外接图形和待标记目标的触点坐标，确定与待标记目标对应的运动目标区域的步骤，节省系统资源。

在本发明的另一个实施例中，当从第一图像中只识别到一个运动目标区域时，即场景中只有一个运动目标时，将该运动目标默认为是待标记目标的区域，用户根据终端设备显示界面中的提示，先触发跟踪按钮，并选择待标记目标后，终端设备就会向无人机发送识别指令，然后无人机响应于该识别指令，从第一图像中识别出该运动目标区域后，为了精确确定该运动目标区域是否是与待标记目标对应，获取运动目标区域的外接矩形，判断该运动目标区域的外接矩形的中心坐标和待标记目标的触点坐标的距离是否小于预设阈值，判断为是时，确定与待标记目标对应的运动目标区域；将该运动目标区域的外接矩形包围的区域标记在第一图像中。若判断为否，则无法进行标记，标记失败，无人机向终端设备发送标记失败的信息，以便终端设备提示用户。

图1的步骤s120中的从第一图像中识别出一个或多个运动目标区域可以采用现有技术中的图像方法，将第一图像中的运动目标区域识别出来。在本发明中给出了一个优选地识别方式，见如下说明。

在本发明的一个实施例中，步骤s120中的从第一图像中识别出一个或多个运动目标区域包括：

步骤s121，获取摄像头采集的与第一图像相邻的多个第二图像。

本实施例中，与第一图像相邻的多个第二图像，是摄像头在第一图像之前采集的多个第二图像。例如，多个第二图像是3个，获取的第一图像是摄像头采集的第n帧图像，则多个第二图像就是摄像头采集的第n-1帧图像、第n-2帧图像、第n-3帧图像。这里的多个是根据需求设定，在这里不做具体的限定。

步骤s122，根据多个第二图像，获取背景图像。

在本实施例中，背景图像是实现运动目标标记的基础图像，根据多个第二图像获取背景图像，是为了确保背景图像的准确性，具体地，本实施例是采用背景差分的方法来获取背景图像。

步骤s123，将背景图像和第一图像对比，获取前景图像。

本实施例中，运动目标的出现和移动都会引起图像中相应区域的变化，而第一图像是以背景图像为基础，第一图像中不同于背景图像的部分就是运动目标的区域，所以，这里的前景图像是通过背景图像和第一图像对比进行获取的，前景图像可以认为是第一图像中不同于背景图像的那部分，具体地，是采用差分的方法来获取前景图像，即将第一图像和背景图像进行差分。

步骤s124，将前景图像进行二值化处理，获取前景图像的二值图像。

步骤s125，将二值图像依次进行闭运算处理、膨胀处理、连通处理，确定第一图像中的一个或多个运动目标区域。

具体地，将前景图像进行二值化threshold()处理；但是二值化处理后并不能完整的把各个运动目标区域识别成一个完整的，而是一个本来很完整的运动目标被分块识别成多个目标。为此，需要对二值图像进行后处理，先进行二值图像的闭运算处理，即morphologyex()；在二值图像的闭运算后进行膨胀运算dilate()；然后再进行膨胀块处理，最后进行连通域处理。这样就可以获得完整的运动目标区域。

在本发明的一个实施例中，还对膨胀块处理后的图像进行了去噪处理，例如，高斯低通滤波。

在一个具体的例子中，用户指定的待标记目标是第一图像中的背包男生，通过终端设备的显示界面点击待背包男生。图2(a)为本发明一个实施例提供的一种第一图像的示意图；图2(b)为本发明一个实施例提供的一种二值图像的示意图；图2(c)为本发明一个实施例提供的一种闭运算处理后的二值图像的示意图；图2(d)为本发明一个实施例提供的一种膨胀处理后的二值图像的示意图；图2(e)为本发明一个实施例提供的一种连通处理后的二值图像的示意图；图2(f)为本发明一个实施例提供的一种第一图像中的多个运动目标区域的示意图；图2(g)为本发明一个实施例提供的一种待标记运动目标区域的标记结果示意图。

如图2(a)所示，该第一图像中有四个运动目标。获取前景图像后，对前景图像进行二值化处理，得到如图2(b)所示的二值图像。对二值图像进行闭运算处理后，获得如图2(c)所示的闭运算处理后的二值图像；闭运算处理后的二值图像再进行膨胀处理，获得如图2(d)所示的膨胀处理后的二值图像；膨胀处理后的二值图像再进行连通域处理，获得如图2(e)所示的连通处理后的二值图像。

这样，就会获得第一图像中的四个运动目标区域分别编号6、13、14、15，为了确定与待标记目标(运动目标区域6)对应的运动目标区域，需要获得每个运动目标区域的外接图形，如图2(f)所示，在这里的外接图形是外接矩形。根据每个运动目标区域的外接矩形和待标记目标(用户点击背包男生时)的触点坐标，确定与待标记目标对应的运动目标区域将确定出的与待标记目标对应的运动目标区域的外接图形标记在第一图像中，如图2(g)所示，即实现对待标记目标(背包男生)的区域的标记。

在本发明的一个实施例中，上述的外接图形是外接矩形。图1所示的步骤s130中的根据每个运动目标区域的外接图形和待标记目标的触点坐标，确定与待标记目标对应的运动目标区域包括：

步骤s131，获取每个运动目标区域的外接矩形，确定每个运动目标区域的外接矩形的中心坐标。

步骤s132，计算每个外接矩形的中心坐标与待标记目标的触点坐标的距离。

步骤s133，将与距离的最小值对应的运动目标区域确定为与待标记目标对应的运动目标区域。

本实施例中，通过计算触点坐标和每个运动目标区域的中心坐标的距离，距离触点坐标最近的运动目标区域，即为与待标记目标对应的运动目标区域，可以准确确定与待标记目标对应的运动目标区域。

进一步地，上述的步骤s131的确定每个运动目标区域的外接矩形的中心坐标包括：

获取每个外接矩形的左上顶点的坐标和右下顶点的坐标；根据左上顶点的坐标和右下顶点的坐标，计算每个外接矩形的宽度和高度；根据左上顶点的坐标、宽度和高度，计算每个外接矩形的中心坐标。

以第一图像中的其中一个运动目标区域为例进行说明。获取的其外接矩形的左上顶点的坐标为b1(x1，y1)，右下顶点的坐标b2(x2，y2)。外接矩形的宽度＝y2-y1，宽度w＝x2-x1。确定的运动目标区域可以表示为r＝{x1，y1，w，h}，那么，该运动目标区域的外接矩形的中心坐标即为o(x1+w/2，y1-h/2)。

假设待标记目标的触点坐标为a(x，y)。那么，该运动目标区域的外接矩形的中心坐标与待标记目标的触点坐标的距离为：

每个运动目标区域均进行上述距离的计算，获得距离值最小，即距离触点坐标最近的对应的运动目标区域，即为与待标记目标对应的运动目标区域。

例如，图2所示的实施例中，运动目标区域6、运动目标区域13、运动目标区域14、运动目标区域15的中心坐标与触点坐标的距离分别为dist1、dist2、dist3、dist4，确定大小关系为：dist1<dist3<dist2<dist4，那么就确定运动目标区域6为与待标记目标(背包男子)对应的运动目标区域。

但是，在实际应用中不排除用户选错待标记目标；或者，需要更改待标记目标；又或者，标记的结果是错误的，例如，触点坐标位于两个运动目标区域的中间时，即两个运动目标区域距离触点坐标相等，会随机选择集中一个标记，标记正确的几率只有50％，很容易出现标记错误。针对上述种种情况，就需要对待标记目标进行重新选择或者重新标记。

在本发明的一个实施例中，图1所示的方法还包括：

响应于终端设备发送的取消当前标记指令，去除第一图像中的标记；和/或，响应于终端设备发送的重新标记指令，去除第一图像中的标记，并重新执行图1所示的步骤s110至步骤s140。

因为需要重新标记，所以上述的重新标记指令中包括需要重新标记的待标记目标的触点坐标。该需要重新标记的待标记目标的触点坐标是用户进行待标记目标的重新选择时，终端设备识别出的用户点击屏幕操作对应的触点坐标。

可见，通过本实施例，用户可以更换待标记目标，或者在标记错误时，再次进行正确的标记，增强用户体验。

图3为本发明一个实施例提供的一种运动目标的标记装置的功能结构示意图。如图3所示，该运动目标的标记装置300包括：

图像获取单元310，用于获取摄像头采集的第一图像。

识别单元320，用于响应于终端设备发送的待标记目标的识别指令，从第一图像中识别出一个或多个运动目标区域；识别指令中包括待标记目标的触点坐标。

确定单元330，用于获取每个运动目标区域的外接图形，根据每个运动目标区域的外接图形和待标记目标的触点坐标，确定与待标记目标对应的运动目标区域。

标记单元340，用于将确定出的与待标记目标对应的运动目标区域的外接图形标记在第一图像中。

在本发明的一个实施例中，识别单元320，具体用于获取摄像头采集的与第一图像相邻的多个第二图像；根据多个第二图像，获取背景图像；将背景图像和第一图像对比，获取前景图像；将前景图像进行二值化处理，获取前景图像的二值图像；将二值图像依次进行闭运算处理、膨胀处理、连通处理，确定第一图像中的一个或多个运动目标区域。

在本发明的一个实施例中，外接图形是外接矩形。

确定单元330具体用于，获取每个运动目标区域的外接矩形，确定每个运动目标区域的外接矩形的中心坐标；计算每个外接矩形的中心坐标与待标记目标的触点坐标的距离；将与距离的最小值对应的运动目标区域确定为与待标记目标对应的运动目标区域。

具体地，确定单元330，还用于获取每个外接矩形的左上顶点的坐标和右下顶点的坐标，根据左上顶点的坐标和右下顶点的坐标，计算每个外接矩形的宽度和高度，根据左上顶点的坐标、宽度和高度，计算每个外接矩形的中心坐标。

在本发明的一个实施例中，图3所示的运动目标的标记装置300进一步包括：

去除单元，用于响应于终端设备发送的取消当前标记指令，去除第一图像中的标记；和/或，通知单元，用于响应于终端设备发送的重新标记指令，去除第一图像中的标记，并通知图像获取单元、识别单元、确定单元、标记单元执行相应的功能；重新标记指令中包括需要重新标记的待标记目标的触点坐标。

图4为本发明又一个实施例提供的一种运动目标的标记装置的结构示意图。如图4所示，运动目标的标记装置400包括存储器410和处理器420，存储器410和处理器420之间通过内部总线430通讯连接，存储器410存储有能够被处理器420执行的运动目标的标记的计算机程序411，该运动目标的标记的计算机程序411被处理器420执行时能够实现图1中所示的方法步骤。

在不同的实施例中，存储器410可以是内存或者非易失性存储器。其中非易失性存储器可以是：存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。内存可以是：ram(radomaccessmemory，随机存取存储器)、易失存储器、非易失性存储器、闪存。进一步，非易失性存储器和内存确定为机器可读存储介质，其上可存储由处理器420执行的运动目标的标记的计算机程序411。

图5为本发明一个实施例提供的一种无人机的功能结构示意图。如图5所示，该无人机500包括摄像头510、无线连接单元520和如图3或图4所示的运动目标的标记装置530。

摄像头510，用于采集第一图像，并将第一图像发送给运动目标的标记装置530。

无线连接单元520，用于接收终端设备发送的标记指令，将标记指令发送给运动目标的标记装置530；标记指令包括待标记目标的触点坐标。

运动目标的标记装置530，用于响应于终端设备发送的待标记目标的识别指令，从第一图像中识别出一个或多个运动目标区域；获取每个运动目标区域的外接图形，根据每个运动目标区域的外接图形和待标记目标的触点坐标，确定与待标记目标对应的运动目标区域；将确定出的与待标记目标对应的运动目标区域的外接图形标记在第一图像中。

需要说明的是，图3还和图4所示的装置和图5所示的无人机的各实施例与图1所示的方法的各实施例对应相同，上文已有详细说明，在此不再赘述。

综上，本发明的技术方案的有益效果是：

一方面，采用本发明的技术方案可以实现对待标记目标的区域的自动标记，即由系统自动完成标记，无需用户手动框选待标记目标，且用户只需要点击待标记目标，即只需获得用户的触点坐标即可，操作简单、方便；另一方面，将运动目标区域的外接图形作为标记，不仅可以保证待标记目标完全处于标记区域内，可以更加准确的对待标记目标进行标记，且还可以减少标记区域中的背景信息，避免了标记区域中背景信息的干扰，提高了标记的准确率。

为了实现待标记目标的跟踪，需要对标记区域进行特征提取，然后在跟踪的过程中，通过摄像头采集的各个图像中的图像特征与提取出来的特征进行匹配的方式，确定待跟踪的运动目标。在本方案中，在进行待标记目标的特征提取时，只是提取该外接图形内的特征，因为该外接图形中的背景信息较少，减少了背景信息的干扰，提高跟踪的准确性，而且在随后对该待标记目标的跟踪中，会保证待标记目标时刻处于该外接图形中。

以上，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。