基于微型飞行器的目标检测方法与流程

本发明涉及无人机
技术领域：
，具体而言涉及一种基于微型飞行器的目标检测方法。
背景技术：
：无人机系统是航空航天制作业中技术密集型产业，其设计生产过程中集合有多种高新技术系统。军事上，无人机已成为各国武器装备中大的亮点。由于无人机具有运行成本低、无人员伤亡风险、使用方便等特点，其可以广泛应用于反恐防暴、抢险救灾、航测航摄、国土资源管理、环境保护、城市规划与管理、影视、电力部门巡线、海事巡逻、高速公路巡查、林业部门防火、农(林)业部门病虫害监测与防治等领域。无人机在民用领域的使用也逐渐得以推广，越来越多的行业、部门和单位正在用无人机取代传统的劳动工作方式。从无人机发展来看，专业化和大众化两者并不矛盾，当然无人机厂商也正在努力推行新产品及新系统的开发，尽可能的降低对飞手操作技术的要求。消费级无人机最近的一个趋势是越来越小、越来越轻便。其一个主要的趋势就是我们说的“口袋无人机”。在此方面，知名无人机企业大疆已经推出了微型无人机spark。然而现有的无人机技术仍然存在其局限性：现有的无人机技术，其飞行控制系统较为复杂，需要操作者人为观测或及时根据无人机传感数据调整飞行姿态。这对无人机姿态识别传感设备以及飞手的操作要求均有较高要求。无人机姿态识别的误差在一定程度上限制了无人机对无人机的操控，从而影响无人机大规模的应用。并且，现有无人机上搭载的视觉识别系统，其目标检测算法复杂，需要大量运算资源作为支撑，因此，其目标识别的实时性和准确率均有待提高。技术实现要素：本发明针对现有技术的不足，提供一种。本发明具体采用如下技术方案。为实现上述目的，本发明还提供一种基于微型飞行器的目标检测方法，其步骤包括：第一步，获取设置在四轴飞行平台上的摄像头所采集的视频数据；第二步，对摄像头所采集的视频数据中的帧画面进行3x3卷积，然后对3x3卷积所输出的卷积结果进行深度可分离卷积，其中，深度可分离卷积包括有三层，第一层深度可分离卷积的卷积步长s和过滤器数量c均小于后两层深度可分离卷积，后两层深度可分离卷积均设置为包括三个分支结构，后两层深度可分离卷积的每个分支结构分别具有相同卷积步长s和相同过滤器数量c；第三步，将深度可分离卷积所获得的数据输入连接过滤器，随后将连接过滤器后所输出的数据分别顺序进行参数不同的第四层和第五层深度可分离卷积后输出至全局平均池化层；第四步，对上述第二步和第三步中3x3卷积所输出的卷积结果、连接过滤器后所输出的数据、第五层深度可分离卷积后输出至全局平均池化层的数据分别各进行一层3x3的额外卷积层计算；第五步，分别将三层3x3的额外卷积层的计算结果与全局平均池化层所获得的池化数据加入非极大值抑制层进行检测，输出检测结果，根据检测结果标识摄像头所采集的视频数据中的目标。可选的，上述任一的基于微型飞行器的目标检测方法，其中，对所述第二步中3x3卷积所输出的卷积结果进行计算的第一层3x3的额外卷积层的大小大于对所述第三步中连接过滤器后所输出的数据进行计算的第二层3x3的额外卷积层的大小，对所述第三步中连接过滤器后所输出的数据进行计算的第二层3x3的额外卷积层的大小大于对所述第三步中第五层深度可分离卷积后输出至全局平均池化层的数据进行计算的第三层3x3的额外卷积层的大小。可选的，上述任一的基于微型飞行器的目标检测方法，其中，所述第二步中，两层具有三个分支结构的深度可分离卷积所对应的卷积步长和过滤器数量均大于对摄像头所采集的视频数据中的帧画面进行3x3卷积的卷积步长和过滤器数量。可选的，上述任一的基于微型飞行器的目标检测方法，其中，第五步中，分别将三层3x3的额外卷积层的计算结果与全局平均池化层所获得的池化数据加入非极大值抑制层进行检测的步骤具体包括：分别将三层逐层递减的额外卷积层的计算结果合并代替mbdscnn的全连接层加入非极大值抑制层(nms)进行检测，输出检测结果；其中，所述mbdscnn为非极大值抑制层(nms)所对应的singleshotmultiboxdetector运算的前置网络。同时，提出一种基于微型飞行器的目标检测系统，其所设置的微型飞行器包括：四轴飞行平台，其包括平台主体，所述平台主体的四角分别对称设置有向外延伸的四个连接轴，四个连接轴的远端分别设置有四个空心杯电机，四个空心杯电机的电机轴向上伸出并分别连接有一组螺旋桨，所述空心杯电机驱动各组螺旋桨旋转带动所述微型飞行器起飞、降落、飞行或调整空中姿态；所述的目标检测系统，其包括：摄像头，其设置在所述平台主体上，用于采集视频数据；视觉识别单元，其连接所述摄像头，包括raspberrypi4微型控制单元以及加装在所述raspberrypi4微型控制单元上的coralusb加速棒，用于接收所述摄像头采集的视频数据，并对所述视频数据中的帧画面进行物体检测；其中，所述raspberrypi4微型控制单元内设置有目标检测模型，所述目标检测模型包括有多分支深度可分离卷积神经网络和singleshotmultiboxdetector运算模块；其中的多分支深度可分离卷积神经网络用于首先对摄像头所采集的视频数据中的帧画面进行3x3卷积，然后对3x3卷积所输出的卷积结果进行深度可分离卷积，再将深度可分离卷积所获得的数据输入连接过滤器，随后将连接过滤器后所输出的数据分别顺序进行参数不同的两次深度可分离卷积后输出至全局平均池化层；其中的所述singleshotmultiboxdetector运算模块用于对3x3卷积所输出的卷积结果、对连接过滤器后所输出的数据、对两次深度可分离卷积后输出至全局平均池化层的数据分别进行3x3卷积，然后分别将三个3x3卷积结果与全局平均池化层所获得的池化数据加入非极大值抑制层进行检测，输出检测结果，根据检测结果标识摄像头所采集的视频数据中的目标。可选的，上述任一的基于微型飞行器的目标检测系统，其中，所述singleshotmultiboxdetector运算模块具体连接mbdscnn作为前置网络。可选的，上述任一的基于微型飞行器的目标检测系统，其中，所述singleshotmultiboxdetector运算模块分别对应于前置网络mbdscnn中3x3卷积所输出的卷积结果、对应于连接过滤器后所输出的数据、对应于两次深度可分离卷积后输出至全局平均池化层的数据设置有三层3x3的额外卷积层，其中，三层3x3的额外卷积层的大小逐层递减。可选的，上述任一的基于微型飞行器的目标检测系统，其中，所述前置网络mbdscnn包括1个卷积核3×3的普通卷积，9个深度可分离卷积，1个全局平均池化层和一个全连接层；其中，所述9个深度可分离卷积包括有三个分支结构，每个分支结构分别包括有具有相同卷积步长s和相同过滤器数量c的两层。可选的，上述任一的基于微型飞行器的目标检测系统，其中，所述目标检测模型将三层逐层递减的额外卷积层的输出合并代替mbdscnn的全连接层，然后将三层逐层递减的额外卷积层的输出加入非极大值抑制层(nms)进行检测，输出检测结果。有益效果本发明通过设置在四轴飞行平台上的摄像头采集视频数据，然后通过raspberrypi4微型控制单元以及加装在其上的coralusb加速棒承载包括有多分支深度可分离卷积神经网络和singleshotmultiboxdetector运算模块的目标检测系统对所述视频数据中的帧画面进行物体检测。本发明通过使用深度可分离卷积降低模型的大小，利用多分支结构提高模型的泛化性。其在raspberrypi4上加装coralusb加速棒的情况下，能够通过构建的mbdscnn-ssd目标检测模型对物体进行快速检测。本发明的检测速度可以达到35fps，并且能够实现对多种物体的实时检测。进一步，本发明具体可通过sma天线可以实现微型飞行器的远程遥控和通信。飞行器可采用空心杯电机为其提供飞行动力。飞行器可通过stm32f103单片机实现基本的控制功能，其配合raspberrypi4能够实现对摄像头图像的目标检测。为了提高目标检测的速度，本发明还可在raspberrypi4加装coralusb加速棒，提高深度学习模型在raspberrypi4上的推理速度。为了能够在移动端设备上快速精准的实现对视频流的目标检测，具体使用多分支深度可分离卷积神经网络和singleshotmultiboxdetector(mbdscnn-ssd)建立目标检测模型，以此提高识别检测的效率和准确度。尤其，本发明的目标检测模型具体可通过在mbdscnn网络后接入singleshotmultiboxdetector(ssd)目标提取检测网络形成。ssd目标检测模型能够将多个不同分辨率的特征图上的预测结果结合，解决物体大小对检测精度的影响。相对于经典目标检测模型fasterr-cnn等，ssd在提高了速度的同时保证了高精度的检测结果。而本发明中的ssd目标检测模型还进一步在前置网络mbdscnn结构上加入了额外的卷积层，通过设置额外的卷积层的大小逐层递减，使得模型可以在多尺度条件下进行预测。本发明所建立起的目标检测模型能够将每个额外卷积层的输出合并代替mbdscnn的全连接层，全连接层后加入非极大值抑制层(nms)输出检测结果。因此，本发明相较于现有技术能够准确识别各种尺度下的目标，并准确输出检测结果。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。附图说明附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：图1是本发明的微型飞行器的整体结构示意图；图2是本发明的基于微型飞行器的目标检测方法的流程图；图3是本发明的所采用的mbdscnn结构的示意图；图4是本发明的微型飞行器进行姿态解算的流程图；图5是标准卷积与深度可分离卷积的运算量的示意图；图中，1为平台主体；2为连接轴；3为螺旋桨。具体实施方式为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。本
技术领域：
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。在一种实现方式下，本发明所提供的目标检测系统设置在图1所示的微型飞行器上。所述的微型飞行器包括：四轴飞行平台，其包括平台主体1，所述平台主体1的四角分别对称设置有向外延伸的四个连接轴2，四个连接轴2的远端分别设置有四个空心杯电机，四个空心杯电机的电机轴向上伸出并分别连接有一组螺旋桨3，所述空心杯电机驱动各组螺旋桨3旋转带动所述微型飞行器起飞、降落、飞行或调整空中姿态。四轴飞行平台的外壳采用creo整体设计，外壳采用流线型设计，可大大减少空气阻力。整体采用左右对称式设计，可以提高悬停时的稳定性。通过预留各种设备接口，通过计算机进行模拟装配与仿真验证了设计的可行性。由此，本发明能够在人员不易进入的场景，利用目标检测技术对特定目标进行检测，帮助人员远程侦察状况，例如在军事上可以侦察情报，在灾情不明的灾区也可以帮助救援人员迅速了解灾区情况。在功能上基于微型四轴的目标检测系统可以实现远程遥控，对摄像头采集到的视频流进行实时的目标检测，并将视频和检测结果回传到地面站。表1给出了应该相应性能指标。表1基于微型四轴的目标检测系统性能指标名称设计选择备注控制模式远程遥控控制无线遥控控制距离不大于500m最大承载200g自重200g能源选择锂电池7.4v飞行器尺寸10x93mm驱动电机空心杯电机45000rpm该微型飞行器还包括飞行控制系统、无线图传系统。其中的飞行控制系统以stm32f103作为主控芯片，使用mpu6050作为惯性导航模块，对采集到的陀螺仪、加速度计数据使用互补滤波得到稳定输出，通过四元数算法获取飞行器的实时姿态。使用串级pid保持飞行的稳定性。该微型飞行器的无线图传系统使用rtc6705实现在5.8ghz频段的模拟图传，通过按键切换发射功率，功率范围包括25mw，100mw，200mw，有效图传距离可以达到500m。在较为优选的实现方式下，上述微型飞行器具体可采用si2302mos管驱动720空心杯电机作为飞行器的动力来源；使用mpu6050芯片作为惯性测量单元(imu),mpu6050芯片集成了陀螺仪和加速度计，通过姿态解算算法能够精准的获得飞行器的三轴姿态角(roll,pitch,yaw)；通过nrf24l01无线模块实现远程控制，增强遥控的有效距离和效果，使用sma天线对无线信号进行放大。使用hc-05蓝牙模块传输姿态数据和摄像头物体检测结果。在一些实现方式下，飞行器可具体使用1s电池作为供电源，由于1s电池充满时电压为4.2v，飞行器在运行过程中会导致电池电压的大幅变化，因此采用升压-降压电路保证主控芯片、无线模块、蓝牙模块等的工作电压。先使用me2108a升压dc-dc芯片对输入电源进行升压，输出5v的电压，再将5v电压输入到mic5219稳压芯片，输出3.3v的电压。为配合nrf24l01无线模块实现远程控制，该微型飞行器的遥控器与微型飞行器相同，使用stm32f103作为主控芯片，使用1s电池供电，采用xc6209稳压芯片为主控芯片等提供稳定的3.3v工作电压，使用nrf24l01无线模块遥控微型飞行器。遥控器通过两个摇杆电位器控制飞行器，使用adc采集两个电位器的电压，获取遥控器的期望值。使用oled屏显示飞行器的实时姿态角数据和当前摇杆的期望值。遥控板主控芯片通过多路ad采集摇杆的操纵变量。并通过nrf24l01向微型四轴发送摇杆期望值。遥控器上的oled屏可以通过无线模块显示飞行器的欧拉角和摇杆期望值。为了实现以上所述功能。nrf24l01无线模块需要实现全双工通信的功能，但是nrf24l01本身是不具有全双工通信的功能，两个nrf模块，一块发送，一块接收，如果想要双向通信，就要切换两个模块的收发状态，但是由于模块的切换需要时间，而且两个模块的切换必须保持同时，所以驱动的编写十分困难。所以在这里我们使用了nrf24l01+的高级功能—ackwithpayload,使用应答包携带用户数据，可以实现免切换收发状态，即可实现双向通讯。另一方面为了保证微型飞行器的安全，飞控程序中每3ms检测4个摇杆通道是否有信号，如果超过6ms未检测到遥控信号，微型飞行器执行自动降落程序。此过程中，为保证微型飞行器运行平稳，还需要同时对飞行器姿态进行解算以便正确控制飞行器运行。在一种实现方式下，姿态解算可以将mpu6050上的加速度计、陀螺仪采集到的三轴加速度和角速度数据融合在一起，通过对上述数据进行处理，获得微型四轴的实时姿态角。微型四轴能够稳定飞行的前提就是必须能够获取正确的姿态角数据。对mpu6050来说，加速度计对四轴或小车的加速度比较敏感，取瞬时值计算倾角误差比较大；而陀螺仪积分得到的角度不受加速度的影响，但是随着时间的增加积分漂移和温度漂移带来的误差比较大。所以这两个传感器正好可以弥补相互的缺点。互补滤波就是在短时间内采用陀螺仪得到的角度作为最优，定时对加速度采样来的角度进行取平均值来校正陀螺仪的得到的角度。互补即短时间内用陀螺仪比较准确，以它为主；长时间用加速度计比较准确，这时候加大它的比重。加速度计要滤掉高频信号，陀螺仪要滤掉低频信号，互补滤波器就是根据传感器特性不同，通过不同的滤波器(高通或低通，互补的)，然后再相加得到整个频带的信号，例如，加速度计测倾角，其动态响应较慢，在高频时信号不可用，所以可通过低通抑制高频；陀螺响应快，积分后可测倾角，不过由于零漂等，在低频段信号不好。通过高通滤波可抑制低频噪声。将两者结合，就将陀螺仪和加速度计的优点融合起来，得到在高频和低频都较好的信号，互补滤波需要选择切换的频率点，即高通和低通的频率。互补滤波通过在短时间内采用陀螺仪得到的角度做为最优值，并定时对加速度采样来的加速度值进行取平均值来校正陀螺仪所得到的角度从而更为准确的解算获得微型飞行器姿态。其在短时间内用陀螺仪比较准确，以它为主；长时间用加速度计比较准确，这时候加大它的比重，实现互补。本发明应用中对加速度计进行滤掉高频信号的操作，对陀螺仪进行滤掉低频信号的操作，通过互补滤波器根据传感器特性不同，通过不同的滤波器(高通或低通)，相加得到整个频带的信号。本发明通过互补方式给不同传感器信号按照不同的权重加权求和，利用互补滤波法实现微型四轴的姿态解算。其具体计算方式如下：互补滤波公式：陀螺积分角度+＝角速度*dt；角度偏差＝加速度角度-陀螺积分角度；融合角度＝陀螺角度+衰减系数*角度偏差；角度偏差积分+＝角度偏差；角速度＝角速度+衰减系数*角度偏差积分；姿态解算程序流程图的具体步骤可参考图4所示。在此基础上，考虑到微型飞行器载重能力有限，上述微型飞行器所搭载的目标检测系统可设置在raspberrypi4上，连接设置在所述平台主体1上采集视频数据的摄像头，利用深度学习技术实现对视频流的目标检测。针对多数深度学习模型存在模型尺寸大，预测速度慢的问题，本发明可利用多分支深度可分离卷积神经网络和singleshotmultiboxdetector(mbdscnn-ssd)建立目标检测模型，使用深度可分离卷积以降低模型的大小，利用多分支结构以提高模型的泛化性。优选的，在raspberrypi4上加装coralusb加速棒的情况下，本发明所提供的mbdscnn-ssd对物体的检测速度可以达到35fps。其具体实现方式如下：本发明所提供的视觉识别单元，其可设置为包括raspberrypi4微型控制单元以及加装在所述raspberrypi4微型控制单元上的coralusb加速棒，用于接收所述摄像头采集的视频数据，并对所述视频数据中的帧画面进行物体检测；其中，所述raspberrypi4微型控制单元内设置有目标检测模型，所述目标检测模型包括有多分支深度可分离卷积神经网络和singleshotmultiboxdetector运算模块；其中的多分支深度可分离卷积神经网络用于首先对摄像头所采集的视频数据中的帧画面进行3x3卷积，然后对3x3卷积所输出的卷积结果进行深度可分离卷积，再将深度可分离卷积所获得的数据输入连接过滤器，随后将连接过滤器后所输出的数据分别顺序进行参数不同的两次深度可分离卷积后输出至全局平均池化层；其中的所述singleshotmultiboxdetector运算模块连接mbdscnn作为前置网络，用于对3x3卷积所输出的卷积结果、对连接过滤器后所输出的数据、对两次深度可分离卷积后输出至全局平均池化层的数据分别进行3x3卷积，然后分别将三个3x3卷积结果与全局平均池化层所获得的池化数据加入非极大值抑制层进行检测，输出检测结果，根据检测结果标识摄像头所采集的视频数据中的目标。在较为优选的实现方式下，所述singleshotmultiboxdetector运算模块分别对应于前置网络mbdscnn中3x3卷积所输出的卷积结果、对应于连接过滤器后所输出的数据、对应于两次深度可分离卷积后输出至全局平均池化层的数据设置有三层3x3的额外卷积层。各卷积层中，s表示卷积步长，c表示过滤器数量。三层3x3的额外卷积层的大小逐层递减。其他各卷积层的具体参数可参见图2所示设置为：3x3卷积所输出的卷积结果进行计算的第一层3x3的额外卷积层的大小大于对所述第三步中连接过滤器后所输出的数据进行计算的第二层3x3的额外卷积层的大小，对所述第三步中连接过滤器后所输出的数据进行计算的第二层3x3的额外卷积层的大小大于对所述第三步中第五层深度可分离卷积后输出至全局平均池化层的数据进行计算的第三层3x3的额外卷积层的大小；设置两层具有三个分支结构的深度可分离卷积所对应的卷积步长和过滤器数量均大于对摄像头所采集的视频数据中的帧画面进行3x3卷积的卷积步长和过滤器数量。其中的前置网络mbdscnn具体可设置为包括1个卷积核3×3的普通卷积，9个深度可分离卷积，1个全局平均池化层和一个全连接层；其中，所述9个深度可分离卷积包括有三个分支结构，每个分支结构分别包括有具有相同卷积步长s和相同过滤器数量c的两层。由此，本发明通过图2所示的方式，通过目标检测模型将三层逐层递减的额外卷积层的输出合并代替图3所示的mbdscnn的全连接层，然后将三层逐层递减的额外卷积层的输出加入非极大值抑制层(nms)进行检测，输出检测结果，实现了提高目标检测效率的技术效果。其原因在于：传统cnn模型通过卷积层提取图像中的特征，随着卷积层数量的增加，能够抽取到的高阶特征也越多，网络的能力也更加优越。但是层数的增加也使得模型效率降低，对运行硬件的要求也大幅提高。深度可分离卷积(depthwiseseparableconvolution)代替传统卷积操作时，由于深度可分离卷积包括两个层：(1)对每个输入通道使用一个卷积核称为深度卷积(depthwiseconvolution,dw)；(2)使用一个1×1的卷积合并dw的输出称为逐点卷积(pointwiseconvolution,pw)。在标准卷积层，假设输入特征图尺寸为ni*ni，通道数为m，卷积核大小为nf*nf，卷积核数量为k。则卷积层的计算量为：ni*ni*m*k*nf*nf(1)标准卷积操作包括两个步骤：通过卷积核过滤特征和合并特征产生新的高级特征。深度可分离卷积则将标准卷积的两个步骤分隔开执行，即dw和pw。而参考图5所示，深度可分离卷积计算量为：ni*ni*m*nf*nf+k*m*ni*ni(2)由此，对标准卷积和深度可分离卷积的计算量进行比较：k为通道数量通常大于1，nf为卷积核尺寸，常用尺寸包括3*3、5*5、7*7，因此(3)式的值小于1，深度可分离卷积比标准卷积的计算量少。由此，本发明在包括1个卷积核3×3的普通卷积，9个深度可分离卷积，1个全局平均池化层和一个全连接层的mbdscnn基础上，为了提高模型的表达能力，避免随着层数的加深出现“梯度消失”的情况，在mbds-cnn上进一步设置多分支结构，利用多分支结构提高模型的泛化性，提高了目标检测的准确性和效率。以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。当前第1页12