一种无人机巡航目标识别方法、装置及云服务器与流程

本发明涉及无人机巡航技术领域，具体而言，涉及一种无人机巡航目标识别方法、装置及云服务器。

背景技术：

无人驾驶飞机简称“无人机”（“uav”），是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器，目前在航拍、农业、植保、电力巡检、救灾、影视拍摄等等领域的应用，大大的拓展了无人机本身的用途，由于其造价低、操作上手速度迅速等优势，迅速成为各行业热衷的新型工具。

目前，随着无人机技术的发展，其操控系统中的巡航中继设备无人机之间采用中长距离通信方式进行通讯，实现无人机巡航、图像采集、空中作业等功能。

然而相关技术中，无人机巡航目标识别处理方法模型的耦合度高，处理的特征细化程度不足，导致无人机巡航目标识别的准确性较低。

技术实现要素：

为了至少克服现有技术中的上述不足，本发明的目的在于提供一种无人机巡航目标识别方法、装置及云服务器。

第一方面，本发明提供一种无人机巡航目标识别方法，所述方法包括：

获取无人机发送的待识别的视频序列，提取所述视频序列的图像特征，获得图像特征集合；

基于所述图像特征集合进行目标区域检定，得到所述视频序列中各目标的目标区域；

基于所述图像特征集合进行目标类型判定，确定所述视频序列中各图像对应的目标类型；基于所述目标区域，确定所述视频序列中各图像标所包括的目标；判定所述视频序列中每个目标的目标类型；

根据所述视频序列中所述目标的目标类型和目标区域得到无人机巡航目标识别结果。

第二方面，本发明提供一种无人机巡航目标识别装置，所述装置包括：

视频序列特征提取模块，用于获取无人机发送的待识别的视频序列，提取所述视频序列的图像特征，获得图像特征集合；

目标区域检定模块，用于基于所述图像特征集合进行目标区域检定，得到所述视频序列中各目标的目标区域；

目标类型判定模块，用于基于所述图像特征集合进行目标类型判定，确定所述视频序列中各图像对应的目标类型；基于所述目标区域，确定所述视频序列中各图像标所包括的目标；判定所述视频序列中每个目标的目标类型；

识别结果获得模块，用于根据所述视频序列中所述目标的目标类型和目标区域得到无人机巡航目标识别结果。

第三方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的无人机巡航目标识别方法。

第四方面，本发明实施例还提供一种云服务器，所述云服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个移动终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的无人机巡航目标识别方法。

基于上述任意一个方面，本申请的无人机巡航目标识别方法、装置及云服务器中，通过待训练的无人机巡航目标识别模型所包括的目标区域检定分支基于训练视频序列对应的训练图像特征集合进行目标区域检定，通过待训练的无人机巡航目标识别模型所包括的目标类型判定分支基于训练图像特征集合进行目标类型判定，基于每个图像所包括的每个目标所对应的目标类型对每个目标的目标类型进行判定，根据通过目标区域检定分支获得的目标区域和通过目标类型判定分支获得的目标类型得到无人机巡航目标识别结果。在无人机巡航目标识别模型处理过程中，由待训练的无人机巡航目标识别模型所包括的目标区域检定分支对训练视频序列进行目标区域检定，由目标类型判定分支分别对训练视频序列进行目标类型判定，从而将无人机巡航目标识别任务拆分，降低了模型的耦合度，且由目标区域检定分支和目标类型判定分支可以获得细化程度高的细粒度特征，提高了通过训练完成的无人机巡航目标识别模型进行无人机巡航目标识别处理的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明实施例提供的无人机巡航目标识别系统的应用场景示意图；

图2为本发明实施例提供的无人机巡航目标识别方法的流程示意图；

图3为本发明实施例提供的无人机巡航目标识别装置的功能模块示意图；

图4为本发明实施例提供的用于实现上述的无人机巡航目标识别方法的云服务器的结构示意框图。

具体实施方式

下面结合说明书附图对本发明进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。

图1是本发明一种实施例提供的无人机巡航目标识别系统10的交互示意图。无人机巡航目标识别系统10可以包括云服务器100以及与所述云服务器100通信连接的移动终端200。图1所示的无人机巡航目标识别系统10仅为一种可行的示例，在其它可行的实施例中，该无人机巡航目标识别系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

本实施例中，移动终端200可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理、游戏设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。

本实施例中，无人机巡航目标识别系统10中的云服务器100和移动终端200可以通过配合执行以下方法实施例所描述的无人机巡航目标识别方法，具体云服务器100和移动终端200的执行步骤部分可以参照以下方法实施例的详细描述。

为了解决前述背景技术中的技术问题，图2为本发明实施例提供的无人机巡航目标识别方法的流程示意图，本实施例提供的无人机巡航目标识别方法可以由图1中所示的云服务器100执行，下面对该无人机巡航目标识别方法进行详细介绍。

步骤s110，获取无人机发送的待识别的视频序列，提取所述视频序列的图像特征，获得图像特征集合；

步骤s120，基于所述图像特征集合进行目标区域检定，得到所述视频序列中各目标的目标区域；

步骤s130，基于所述图像特征集合进行目标类型判定，确定所述视频序列中各图像对应的目标类型；基于所述目标区域，确定所述视频序列中各图像标所包括的目标；判定所述视频序列中每个目标的目标类型；

步骤s140，根据所述视频序列中所述目标的目标类型和目标区域得到无人机巡航目标识别结果。

在一个可能的实施例中，步骤s120包括：

步骤s121，通过无人机巡航目标识别模型所包括的目标区域检定分支对所述图像特征集合中的各图像特征进行特征映射，获得图像映射特征集合；

步骤s122，通过所述目标区域检定分支对所述图像映射特征集合进行特征提取，得到目标区域特征；

在一个可能的实施例中，所述图像特征包括梯度向量，所述图像特征集合包括梯度向量组。

在一个可能的实施例中，步骤s121包括：

步骤s1211，通过无人机巡航目标识别模型所包括的目标区域检定分支对所述梯度向量组中的各梯度向量进行线性变换，获得线性向量组；

步骤s1212，所述通过所述目标区域检定分支对所述图像映射特征集合进行特征提取，得到目标区域特征，包括：

步骤s1213，通过所述目标区域检定分支对线性向量组进行随机分析，得到目标区域跃迁矩阵；所述跃迁矩阵中的各元素表征目标区域跃迁概率。

在一个可能的实施例中，步骤s130包括：

步骤s131，通过无人机巡航目标识别模型所包括的目标类型判定分支对所述图像特征集合中各图像特征进行特征映射，得到所述视频序列中各图像对应的目标类型特征；

步骤s132，通过所述目标类型判定分支对各所述目标类型特征进行概率映射，获得所述视频序列中各图像对应的目标类型概率；

步骤s133，基于所述目标类型概率确定所述视频序列中各图像对应的目标类型。

图3为本发明实施例提供的无人机巡航目标识别装置300的功能模块示意图，本实施例可以根据上述云服务器100执行的方法实施例对该无人机巡航目标识别装置300进行功能模块的划分，也即该无人机巡航目标识别装置300所对应的以下各个功能模块可以用于执行上述云服务器100执行的各个方法实施例。其中，该无人机巡航目标识别装置300可以包括视频序列特征提取模块310、目标区域检定模块320、目标类型判定模块330以及识别结果获得模块340，下面分别对该无人机巡航目标识别装置300的各个功能模块的功能进行详细阐述。

视频序列特征提取模块310可以用于获取无人机发送的待识别的视频序列，提取所述视频序列的图像特征，获得图像特征集合。

目标区域检定模块320可以用于基于所述图像特征集合进行目标区域检定，得到所述视频序列中各目标的目标区域。

目标类型判定模块330可以用于基于所述图像特征集合进行目标类型判定，确定所述视频序列中各图像对应的目标类型；基于所述目标区域，确定所述视频序列中各图像标所包括的目标；判定所述视频序列中每个目标的目标类型。

识别结果获得模块340可以用于根据所述视频序列中所述目标的目标类型和目标区域得到无人机巡航目标识别结果。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理目标上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，视频序列特征提取模块310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上视频序列特征提取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，asic)，或，一个或多个微处理器(digitalsignalprocessor，dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。

图4示出了本发明实施例提供的用于实现上述的控制设备的云服务器100的硬件结构示意图，如图4所示，云服务器100可包括处理器110、机器可读存储介质120、总线130以及收发器140。

在具体实现过程中，至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令（例如图3中所示的无人机巡航目标识别装置300包括的），使得处理器110可以执行如上方法实施例的无人机巡航目标识别方法，其中，处理器110、机器可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的移动终端200进行数据收发。

处理器110的具体实现过程可参见上述云服务器100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所发明的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

机器可读存储介质120可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。

总线130可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponentinterconnect，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

此外，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上无人机巡航目标识别方法。

上述的可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。