机载目标识别模型构建平台、机载目标识别方法及设备与流程

本发明涉及图像目标识别技术领域，尤其涉及一种机载目标识别模型构建平台、机载目标识别方法及设备。

背景技术

目前，在机载资源受限平台如无人机的下视目标识别中，基本上是利用模板匹配方法通过人工进行辅助判别。模板匹配方法主要是利用目标的特性构建特性模板，比如：以汽车的四个轮子为特征构建汽车特性模板，以树木的树叶和枝干为特征构建树木特性模板等等，通过将构建的特性模板与目标进行匹配，以确定目标。此传统方法的判别准确率严重依赖于特征选择与特性建模的准确性，受到人工经验限制。

因此，针对以上不足，需要提供一种能够提高识别准确率的机载目标识别模型构建平台、机载目标识别方法及设备。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术中的缺陷，提供一种能够提高识别准确率的机载目标识别模型构建平台、机载目标识别方法及设备。

为了解决上述技术问题，本发明提供了一种机载目标识别模型构建平台，包括：存储服务器、训练服务器及识别服务器，其中，

所述存储服务器，用于获取实测数据和特性数据，并将所述实测数据和所述特性数据存储至对应的分类训练数据集；

所述训练服务器，用于将所述分类训练数据集中的每一个样本输入到预先部署的深度学习网络，进行特征训练，当接收到所述生成指令时，为特征训练的结果生成机载目标识别模型；当接收到所述反向传播指令时，将特征训练的结果反向输入到所述深度学习网络，进行特征训练；

所述识别服务器，用于对特征训练的结果进行识别测试，并针对识别测试结果，统计识别率，当所述识别率不小于预设的识别基准值时，发送模型生成指令给所述训练服务器，否则，发送反向传播指令给所述训练服务器。

可选地，

所述深度学习网络，包括：多尺度目标检测网络；

所述训练服务器，进一步用于部署不同尺寸的卷积模型，针对每一个所述分类训练数据集，利用不同尺寸的所述卷积模型对每一个样本进行特征提取，将提取到的所述训练数据集中所有样本的特征输入到所述多尺度目标检测网络，进行特征训练，以确定所述训练数据集对应的初级目标识别模型，当接收到所述生成指令时，确定所述初级目标识别模型为机载目标识别模型；当接收到所述反向传播指令时，将所述初级目标识别模型及偏差通过反向传播的方式输入到所述多尺度目标检测网络，进行特征训练；

所述识别服务器，进一步用于当所述识别率小于预设的识别基准值时，计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差，并发送所述偏差及反向传播指令给所述训练服务器。

可选地，

所述识别率，包括：识别查全率和识别查准率；

所述识别服务器，用于利用下述识别查全率计算公式和识别查准率计算公式，分别统计识别查全率和识别查准率，当所述计识别查全率不小于80％，且所述识别查准率不小于85％时，发送模型生成指令给所述训练服务器，否则，发送反向传播指令给所述训练服务器；

识别查全率计算公式：

r＝tp/(tp+fn)

识别查准率计算公式：

p＝tp/(tp+fp)

其中，r表征识别查全率；p表征识别查准率；tp表征针对识别测试结果来说，预测识别测试结果为正，实际识别测试结果为正的个数；tn表征针对识别测试结果来说，预测识别测试结果为负，实际识别测试结果为负的个数；fp表征针对识别测试结果来说，预测识别测试结果为正，实际识别测试结果为负的个数；fn表征针对识别测试结果来说，预测识别测试结果为负，实际识别测试结果为正的个数。

可选地，

所述训练服务器，用于根据下述偏差计算公式，计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差；

偏差计算公式：

y＝fp+fn

其中，y表征偏差；fp表征针对识别测试结果来说，预测识别测试结果为正的个数，实际识别测试结果为负；fn表征针对识别测试结果来说，预测识别测试结果为负，实际识别测试结果为正的个数。

本发明还提供了一种机载目标识别方法，其特征在于：利用上述任一所述的外部机载目标识别模型构建平台构建机载目标识别模型，将所述机载目标识别模型加载到至少三个嵌入式gpu；还包括：

通过一个嵌入式arm型cpu获取外部发送的视频信息，并对所述视频信息进行预处理；

按照预先在所述嵌入式arm型cpu上设置的storm调度策略，将预处理后的视频信息和任务分配给所述至少三个嵌入式gpu；

按照所述任务，每一个所述嵌入式gpu通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别；

通过所述arm型cpu对目标识别的结果进行汇总和存储。

可选地，

在所述将预处理后的视频信息分配给所述至少三个嵌入式gpu之后，在所述每一个所述嵌入式gpu通过调用所述机载目标识别模型对所述视频信息进行目标识别之前，进一步包括：

将识别候选框的比例调整到目标大小；

通过所述识别候选框选定所述视频信息中的目标；

所述调用所述机载目标识别模型的一部分对所述视频信息进行目标识别，包括：

调用所述机载目标识别模型对选定的所述目标进行目标识别。

可选地，

所述storm调度策略，包括：

通过所述嵌入式arm型cpu作为nimbus分配任务给所述至少三个嵌入式gpu并监控状态，还作为spout将获取到的视频信息流喷发到所述至少三个嵌入式gpu；

每一个所述嵌入式gpu作为supervisor根据需要启动或关闭工作进程，并完成所述nimbus分配的任务，还作为bolt利用所述机载目标识别模型对从所述spout中获取的视频信息流进行处理。

本发明还提供了一种机载识别设备，包括：交换机一个嵌入式arm型cpu和至少三个嵌入式gpu，其中，

所述交换机，用于构建所述嵌入式arm型cpu与每一个所述嵌入式gpu之间的连接，并为所述嵌入式arm型cpu和所述每一个所述嵌入式gpu之间进行信息传输；

所述嵌入式arm型cpu，用于预先设置的storm调度策略，获取外部发送的视频信息，并对所述视频信息进行预处理；按照所述storm调度策略，将预处理后的视频信息和任务分配给所述至少三个嵌入式gpu，对目标识别的结果进行汇总和存储；

每一个所述嵌入式gpu，用于加载外部机载目标识别模型构建平台构建的机载目标识别模型，当接收到所述预处理后的视频信息和所述任务时，按照所述任务，通过调用所述机载目标识别模型对所述预处理后的视频信息进行目标识别。

可选地，

每一个所述嵌入式gpu，进一步用于将识别候选框的比例调整到目标大小，通过所述识别候选框选定所述视频信息中的目标，并调用所述机载目标识别模型对选定的所述目标进行目标识别。

可选地，

所述storm调度策略，包括：

通过所述嵌入式arm型cpu作为nimbus分配任务给所述至少三个嵌入式gpu并监控状态，还作为spout将获取到的视频信息流喷发到所述至少三个嵌入式gpu；

每一个所述嵌入式gpu作为supervisor根据需要启动或关闭工作进程，并完成所述nimbus分配的任务，还作为bolt利用所述机载目标识别模型对从所述spout中获取的视频信息流进行处理。

实施本发明的，具有以下有益效果：

1、本发明通过存储服务器获取实测数据和特性数据，并将所述实测数据和所述特性数据存储至对应的分类训练数据集，通过训练服务器将所述分类训练数据集中的每一个样本输入到预先部署的深度学习网络，进行特征训练，当接收到所述生成指令时，为特征训练的结果生成机载目标识别模型；当接收到所述反向传播指令时，将特征训练的结果反向输入到所述深度学习网络，进行特征训练；通过识别服务器对特征训练的结果进行识别测试，并针对识别测试结果，统计识别率，当所述识别率不小于预设的识别基准值时，发送模型生成指令给所述训练服务器，否则，发送反向传播指令给所述训练服务器。由于深度学习网络进行特征训练的过程实际是自动挖掘目标深层的特征属性，使特征属性更加完整和准确，另外，通过测试识别服务器对特征训练的结果进行测试，以进一步保证特征训练获得的机载目标识别模型更加准确，因此，基于机载目标识别模型进行目标识别能够有效提高识别的准确率。

2、深度学习网络选用多尺度目标检测网络；训练服务器通过部署不同尺寸的卷积模型，针对每一个分类训练数据集，利用不同尺寸的卷积模型对每一个样本进行特征提取，该过程可以尽可能的保证将不同尺寸的目标的特征提取出来，解决小物体漏检的问题；将提取到的训练数据集中所有样本的特征输入到多尺度目标检测网络，进行特征训练，以确定训练数据集对应的初级目标识别模型，当接收到生成指令时，确定初级目标识别模型为机载目标识别模型；当接收到反向传播指令时，将初级目标识别模型及偏差通过反向传播的方式输入到所述多尺度目标检测网络，进行特征训练；识别服务器，进一步用于当所述识别率小于预设的识别基准值时，计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差，并发送所述偏差及反向传播指令给所述训练服务器，通过上述过程使得特征训练获得的机载目标识别模型能够对不同尺寸的目标进行识别，使基于机载目标识别模型进行目标识别能够进一步提高识别的准确率。

3、通过机载目标识别模型构建平台构建机载目标识别模型，将所述机载目标识别模型加载到至少三个嵌入式gpu；通过一个嵌入式arm型cpu获取外部发送的视频信息，并对所述视频信息进行预处理；按照预先在所述嵌入式arm型cpu上设置的storm调度策略，将预处理后的视频信息和任务分配给所述至少三个嵌入式gpu；按照所述任务，每一个所述嵌入式gpu通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别；通过所述arm型cpu对目标识别的结果进行汇总和存储，整个机载目标识别的过程，由于基于机载目标识别模型进行，其本身能够自主的识别目标，而无须人工参与，因此，本发明提供的机载目标识别方法实现了自主化、智能化。

4、本发明提供的机载目标识别设备通过交换机、一个嵌入式arm型cpu和至少三个嵌入式gpu来完成目标识别，该嵌入式分布式架构结构简单，使得机载目标识别设备具备低功耗、小型化的优点。同时，其通过storm调度策略，使各个嵌入式gpu能够相互协调和同步的进行目标识别，使得机上自主识别具有快速高效的优点，达到了实时目标识别的目的。

5、本发明提供的机载目标识别模型构建平台通过深度学习的高效计算，获得机载目标识别模型；而嵌入式分布式架构的机载识别设备基于机载目标识别模型进行目标识别，保证目标识别准确性的同时，又能够快速高效完成机上自主识别。

附图说明

图1是本发明一个实施例提供的一种机载目标识别模型构建平台的结构示意图；

图2是本发明实施例提供的多尺寸卷积模型提取图像特征的过程；

图3是本发明一个实施例提供的一种机载目标识别方法的流程图；

图4是本发明一个实施例提供的一种机载目标识别设备的结构示意图。

图中：101：存储服务器；102：训练服务器；103：识别服务器；401：交换机；402：嵌入式arm型cpu；403：嵌入式gpu。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一个实施例，如图1所示，本发明实施例提供的一种机载目标识别模型构建平台，其特征在于：包括：存储服务器101、训练服务器102及识别服务器103，其中，

所述存储服务器101，用于获取实测数据和特性数据，并将所述实测数据和所述特性数据存储至对应的分类训练数据集；

所述训练服务器102，用于将所述分类训练数据集中的每一个样本输入到预先部署的深度学习网络，进行特征训练，当接收到所述生成指令时，为特征训练的结果生成机载目标识别模型；当接收到所述反向传播指令时，将特征训练的结果反向输入到所述深度学习网络，进行特征训练；

所述识别服务器103，用于对特征训练的结果进行识别测试，并针对识别测试结果，统计识别率，当所述识别率不小于预设的识别基准值时，发送模型生成指令给所述训练服务器102，否则，发送反向传播指令给所述训练服务器102。

需要说明的是，为了提高存储服务器、训练服务器及识别服务器的运行速率，存储服务器、训练服务器及识别服务器均以集群形式存在，即存储服务器为存储集群，训练服务器为训练处理服务集群、识别服务器为识别处理器集群。

使用时，存储服务器、训练服务器及识别服务器通过硬件层、数据层、算法层以及应用层之间有机结合，相互支撑来完成机载目标识别模型的构建。其中，存储服务器的硬件层为数据层提供hadoop分布式(hdf模式)的存储管理服务，训练服务器的硬件层为算法层训练深层网络提供高性能计算资源支撑，识别服务器的硬件层为应用层的识别测试和识别率统计功能提供服务。数据层具有实测数据和红外/电磁特性数据，为算法层提供海量训练样本。算法层通过深度学习网络自动学习挖掘图像数据中的关键目标特性特征，弥补传统模板匹配方法提取特征不准确、效率低下的缺陷，输出的网络模型为应用层识别提供支撑。应用层可以对网络模型的识别准确率进行统计，同时新得到的测试图像及视频也可作为数据层的有效补充。

在本发明另一实施例中，所述深度学习网络，包括：多尺度目标检测网络；

所述训练服务器，进一步用于部署不同尺寸的卷积模型，针对每一个所述分类训练数据集，利用不同尺寸的所述卷积模型对每一个样本进行特征提取，将提取到的所述训练数据集中所有样本的特征输入到所述多尺度目标检测网络，进行特征训练，以确定所述训练数据集对应的初级目标识别模型，当接收到所述生成指令时，确定所述初级目标识别模型为机载目标识别模型；当接收到所述反向传播指令时，将所述初级目标识别模型及偏差通过反向传播的方式输入到所述多尺度目标检测网络，进行特征训练；

所述识别服务器，进一步用于当所述识别率小于预设的识别基准值时，计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差，并发送所述偏差及反向传播指令给所述训练服务器。

需要说明的是，对于训练服务器来说，其采用不同尺寸的卷积模型及多尺度目标检测网络进行特征训练主要包括前向传播和反向传播两个阶段。前向传播主要是前向的特征提取及分类。反向传播就是误差的反向反馈和网络模型参数更新。

其中，前向传播过程主要是，对所有层上的神经元进行初始化操作。不同尺寸的卷积模型实现图像特征的提取和映射，即不同尺寸的卷积模型进行多个卷积过程，如图2所示。多尺度目标检测网络进行的多层的提取过程能够从图像中提取到有用的信息。特征提取完成后将提取到的特征前向反馈到多尺度目标检测网络的全连接层。全连接层包含多个隐含层。通过隐含层对数据信息的处理，将结果反馈到输出层即识别服务器。识别服务器将测试结果与预期结果进行对比，如果相符合，则输出分类的结果。

反向传播过程主要是，如果测试结果与预期结果不符合则需要将多尺度网络模型参数和偏差反向传播至训练服务器中的多尺度网络模型网络，即从输出层即识别服务器依次向后传递到多尺度网络模型网络中的全连接层和卷积模型，直到每一层都得到自己的梯度。然后进行网络模型参数更新的操作，开始新一轮的训练过程，直至得到最优的神经网络。该不同尺寸的卷积模型及多尺度网络模型网络能够对不同尺寸的物体提取特征，解决小物体漏检的问题，从而达到高精度目标检测。不同尺寸的卷积模型主要利用现有的卷积滤波器，设计不同卷积滤波器的尺寸，使提取的特征更加细致，从而减小图像中密集小物体漏检的概率。

在本发明又一实施例中，所述识别率，包括：识别查全率和识别查准率；

所述识别服务器103，用于利用下述识别查全率计算公式和识别查准率计算公式，分别统计识别查全率和识别查准率，当所述计识别查全率不小于80％，且所述识别查准率不小于85％时，发送模型生成指令给所述训练服务器，否则，发送反向传播指令给所述训练服务器；

识别查全率计算公式：

r＝tp/(tp+fn)

识别查准率计算公式：

p＝tp/(tp+fp)

其中，r表征识别查全率；p表征识别查准率；tp表征针对识别测试结果来说，预测识别测试结果为正，实际识别测试结果为正的个数；tn表征针对识别测试结果来说，预测识别测试结果为负，实际识别测试结果为负的个数；fp表征针对识别测试结果来说，预测识别测试结果为正，实际识别测试结果为负的个数；fn表征针对识别测试结果来说，预测识别测试结果为负，实际识别测试结果为正的个数。

在本发明又一实施例中，所述训练服务器103，用于根据下述偏差计算公式，计算初级目标识别模型的识别测试结果与预设的期望结果之间的偏差；

偏差计算公式：

y＝fp+fn

其中，y表征偏差；fp表征针对识别测试结果来说，预测识别测试结果为正的个数，实际识别测试结果为负；fn表征针对识别测试结果来说，预测识别测试结果为负，实际识别测试结果为正的个数。

如图3所示，本发明实施例提供一种机载目标识别方法，包括：

步骤301：利用外部机载目标识别模型构建平台构建机载目标识别模型，将所述机载目标识别模型加载到至少三个嵌入式gpu；

步骤302：通过一个嵌入式arm型cpu获取外部发送的视频信息，并对所述视频信息进行预处理；

步骤303：按照预先在所述嵌入式arm型cpu上设置的storm调度策略，将预处理后的视频信息和任务分配给所述至少三个嵌入式gpu；

步骤304：按照所述任务，每一个所述嵌入式gpu通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别；

步骤305：通过所述arm型cpu对目标识别的结果进行汇总和存储。

在本发明一个实施例中，在所述将预处理后的视频信息分配给所述至少三个嵌入式gpu之后，在所述每一个所述嵌入式gpu通过调用所述机载目标识别模型对所述视频信息进行目标识别之前，进一步包括：

将识别候选框的比例调整到目标大小；

通过所述识别候选框选定所述视频信息中的目标；

所述调用所述机载目标识别模型的一部分对所述视频信息进行目标识别，包括：

调用所述机载目标识别模型对选定的所述目标进行目标识别。

在本发明一个实施例中，所述storm调度策略，包括：

通过所述嵌入式arm型cpu作为nimbus分配任务给所述至少三个嵌入式gpu并监控状态，还作为spout将获取到的视频信息流喷发到所述至少三个嵌入式gpu；

每一个所述嵌入式gpu作为supervisor根据需要启动或关闭工作进程，并完成所述nimbus分配的任务，还作为bolt利用所述机载目标识别模型对从所述spout中获取的视频信息流进行处理。

如图4所示，本发明实施例提供一种机载识别设备，包括：交换机401、一个嵌入式arm型cpu402和至少三个嵌入式gpu403，其中，

所述交换机401，用于构建所述嵌入式arm型cpu402与每一个所述嵌入式gpu403之间的连接，并为所述嵌入式arm型cpu402和所述每一个所述嵌入式gpu403之间进行信息传输；

所述嵌入式arm型cpu402，用于预先设置的storm调度策略，获取外部发送的视频信息，并对所述视频信息进行预处理；按照所述storm调度策略，将预处理后的视频信息和任务分配给所述至少三个嵌入式gpu403，对目标识别的结果进行汇总和存储；

每一个所述嵌入式gpu403，用于加载外部机载目标识别模型构建平台构建的机载目标识别模型，当接收到所述预处理后的视频信息和所述任务时，按照所述任务，通过调用所述机载目标识别模型对所述预处理后的视频信息进行目标识别。

在本发明另一实施例中，每一个所述嵌入式gpu403，进一步用于将识别候选框的比例调整到目标大小，通过所述识别候选框选定所述视频信息中的目标，并调用所述机载目标识别模型对选定的所述目标进行目标识别。

在本发明又一实施例中，所述storm调度策略，包括：

通过所述嵌入式arm型cpu作为nimbus分配任务给所述至少三个嵌入式gpu并监控状态，还作为spout将获取到的视频信息流喷发到所述至少三个嵌入式gpu；

每一个所述嵌入式gpu作为supervisor根据需要启动或关闭工作进程，并完成所述nimbus分配的任务，还作为bolt利用所述机载目标识别模型对从所述spout中获取的视频信息流进行处理。

为了能够清楚地说明机载目标识别方法，下面以安装有上述机载识别设备(该机载识别设备包含一个嵌入式arm型cpu和三个嵌入式gpu)的无人机拍摄街景为例，进行说明，其具体步骤包括：

步骤501：利用外部机载目标识别模型构建平台构建机载目标识别模型，将所述机载目标识别模型加载到无人机上的机载目标识别设备中；

该步骤加载到无人机上的机载目标识别设备中，其本质为加载到机载目标识别设备中的三个嵌入式gpu，以方便后续对目标识别模型的调用；

步骤502：无人机通过摄像头拍摄街景视频；

步骤503：通过机载目标识别设备中一个嵌入式arm型cpu获取摄像头拍摄的视频，并对所述视频信息进行预处理；

该对视频信息进行预处理包括将视频信息分解为一帧一帧的图像，后续目标识别过程是对每一帧图像中的目标进行识别。

步骤504：按照预先在所述嵌入式arm型cpu上设置的storm调度策略，将预处理后的视频信息和任务分配给三个嵌入式gpu；

该步骤所涉及的storm调度策略，包括：

通过所述嵌入式arm型cpu作为nimbus分配任务给所述至少三个嵌入式gpu并监控状态，还作为spout将获取到的视频信息流喷发到所述至少三个嵌入式gpu；

每一个所述嵌入式gpu作为supervisor根据需要启动或关闭工作进程，并完成所述nimbus分配的任务，还作为bolt利用所述机载目标识别模型对从所述spout中获取的视频信息流进行处理。

该步骤提及的任务即是调用机载目标识别模型对图像中的目标进行识别。其分配任务的原则一般为优先分配给空闲的gpu。

步骤505：将识别候选框的比例调整到目标大小；

即不同的目标对应的候选框比例有差异，比如街景拍摄的汽车、行人、楼房等，由于其在图像中的比例有所不同，按照目标大小调整识别候选框的比例能够对目标识别更加准确。

步骤506：通过所述识别候选框选定所述视频信息中的目标；

步骤507：按照所述任务，每一个所述嵌入式gpu通过调用所述机载目标识别模型的一部分对所述视频信息进行目标识别；

步骤508：通过所述arm型cpu对目标识别的结果进行汇总和存储。

该步骤的汇总，主要是按照最初视频的时间顺序，将每一帧图像识别出来的目标按照视频流的时间顺序进行排序。

综上所述，基于机载目标识别模型进行目标识别能够有效提高识别的准确率。另外，由于基于机载目标识别模型进行，其本身能够自主的识别目标，而无须人工参与，因此，本发明提供的机载目标识别方法实现了自主化、智能化。机载目标识别设备通过交换机、一个嵌入式arm型cpu和至少三个嵌入式gpu来完成目标识别，该嵌入式分布式架构结构简单，使得机载目标识别设备具备低功耗、小型化的优点。同时，其通过storm调度策略，使各个嵌入式gpu能够相互协调和同步的进行目标识别，使得机上自主识别具有快速高效的优点，达到了实时目标识别的目的。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。