一种基于声音和图像融合的低空无人机探测装置

本实用新型属于低空安防技术领域，具体地说是涉及一种基于声音和图像融合的低空无人机探测装置。

背景技术：

近年来，无人机市场发展迅猛，在物流、娱乐、航拍、搜救等方面都有着广泛的应用，与此同时，无人机“黑飞”带来的问题也越来越多，对公共安全和个人隐私造成了严重的影响。因此，无人机的监控防范越来越受学术界和工业界的重视。

目前无人机的检测手段主要有雷达、音频、视频以及射频。

中国专利cn111121541a提出了一种具有无线电干扰功能的反无人机雷达系统，该系统利用雷达阵列探测无人机。但是由于低空无人机的雷达散射截面较小，雷达探测精度不高，而且对于低空空域，尤其是在城市环境中，因受极强地面杂波以及地面反射波干扰，绝大部分雷达基本无法准确探测到低空无人机；中国专利cn111190140a提出了一种基于射频探测的黑飞无人机探测系统，该系统能够通过检测射频信号监控部分无人机，但是射频主要用于检测无人机的图传信号和遥控信号，当无人机设定为gps导航时无法检测，且射频在低空城市环境中受干扰严重。

中国专利cn107884749a提出了一种低空无人机被动声探测定位装置，该装置可以通过音频识别、定位无人机，但是该实用新型中使用的麦克风未配备聚声罩，探测的距离较短，其麦克风阵列没有近场、远场之间的切换配合，此外其噪声过滤也未按照目标的距离来进行选择性滤波；中国专利cn109708659a提出了一种分布式智能光电低空防护系统，该系统可以利用视频监控手段识别、跟踪无人机，但是该方法仅使用视频设备无法精确定位无人机的位置，且易受复杂环境干扰，易被遮挡，此外该方法对目标无人机的识别只使用了图像进行识别，未提及使用多元素融合识别方法来提高识别的准确率。

技术实现要素：

为了克服现有技术存在的不足，本实用新型提供了一种基于声音和图像融合的低空无人机探测装置，通过多传感器联动跟踪、多元素融合识别目标，能够高效、准确的识别和跟踪入侵的低空无人机。

本实用新型采用的技术方案为：

一种基于声音和图像融合的低空无人机探测装置，所述装置包括支架、近场麦克风阵列、远场麦克风阵列、全景摄像机、变焦红外摄像机、变焦双目摄像机和控制器，所述近场麦克风阵列等间距的安装在支架的顶部、底部、左部、右部，用于监控近场低空区域；远场麦克风阵列平行于近场麦克风阵列安装在支架上并设置在支架的外端部，用于监控远场低空区域；全景摄像机、变焦红外摄像机、变焦双目摄像机均安装在支架的中心部位，用于监控、识别无人机；所述近场麦克风阵列、远场麦克风阵列、全景摄像机、变焦红外摄像机、变焦双目摄像机分别与控制器通信连接。

作为优选，所述近场麦克风阵列包括若干个近场麦克风，所述远场麦克风阵列包括若干个远场麦克风、若干个音频探测云台和若干个聚声罩，所述远场麦克风的拾音头分别安装在相应聚声罩内，所述远场麦克风分别固定在相应的音频探测云台上，由音频探测云台控制运动。

作为优选，变焦红外摄像机与变焦双目摄像机并排固定在一起并安装在红外双目云台上。

作为优选，所述近场麦克风阵列包括四个近场麦克风，所述远场麦克风阵列包括四个远场麦克风、四个音频探测云台和四个聚声罩。

作为优选，所述聚声罩是以抛物线围绕原点旋转成的抛物面。

作为优选，所述远场麦克风的拾音头分别安装在相应聚声罩的焦点处，所述远场麦克风分别固定在音频探测云台上。

作为优选，所述控制器包括五路云台控制、八路音频流、三路视频流、一块主要用以控制的cpu、一块主要用以识别的gpu和一个存储器，所述云台控制通过相应的云台控制传感器与音频探测云台、红外双目云台相连，音频流通过相应的音频流传感器与音频探测云台相连，视频流通过相应的视频流传感器与全景摄像机、变焦红外摄像机、变焦双目摄像机相连；所述cpu与gpu相互连通，所述cpu、gpu分别与存储器相互连通。所述云台控制用以输出高速云台的控制信号及接收高速云台的姿态信息；音频流用以接收麦克风阵列的音频信息；视频流用以接收全景摄像机、变焦红外摄像机及变焦双目摄像机的图像信息。

作为优选，所述近场麦克风阵列、远场麦克风阵列、全景摄像机、变焦红外摄像机、变焦双目摄像机分别与控制器之间通过下述任意一种或两种以上方式进行通信连接：以太接口、光接口、4g/5g、wifi。

本实用新型的技术效果在于：

(1)本实用新型通过声音、热成像、视频图像进行融合识别，识别准确率更高，整体工作效率也得到提升；

(2)本实用新型提可以较大程度的解放远场麦克风阵列中每个麦克风的探测面积，故而能够有效的提升麦克风阵列的探测距离，提高整个系统的有效监控范围。

附图说明

图1是本实用新型的结构示意图；

图2是本实用新型低空无人机探测的方法过程图；

图3是本实用新型多传感器联动跟踪入侵目标的方法过程图；

图4是本实用新型多参数融合识别低空无人机的方法过程图；

图5是本实用新型原理框图。

具体实施方式

下面结合具体实施例对本实用新型作进一步说明，但本实用新型所要保护的范围并不限于此。

参照图1，一种基于声音和图像融合的低空无人机探测装置，所述装置包括支架1、近场麦克风阵列、远场麦克风阵列、全景摄像机4、变焦红外摄像机5、变焦双目摄像机6和控制器8，所述近场麦克风阵列等间距的安装在支架1的顶部、底部、左部、右部，用于监控近场低空区域；远场麦克风阵列平行于近场麦克风阵列安装在支架1上并设置在支架1的外端部，用于监控远场低空区域；全景摄像机4、变焦红外摄像机5、变焦双目摄像机6均安装在支架1的中心部位，用于监控、识别无人机；所述近场麦克风阵列、远场麦克风阵列、全景摄像机4、变焦红外摄像机5、变焦双目摄像机6分别与控制器8通信连接。

所述近场麦克风阵列包括近场麦克风2a、近场麦克风2b、近场麦克风2c、近场麦克风2d，所述远场麦克风阵列包括远场麦克风3a、远场麦克风3b、远场麦克风3c、远场麦克风3d、音频探测云台3e、音频探测云台3f、音频探测云台3g、音频探测云台3h和聚声罩3i、聚声罩3j、聚声罩3k、聚声罩3l，所述聚声罩是以抛物线围绕原点旋转成的抛物面，所述远场麦克风3a、远场麦克风3b、远场麦克风3c、远场麦克风3d的拾音头分别安装在相应聚声罩3i、聚声罩3j、聚声罩3k、聚声罩3l的焦点处，所述远场麦克风3a、远场麦克风3b、远场麦克风3c、远场麦克风3d分别固定在音频探测云台3e、音频探测云台3f、音频探测云台3g、音频探测云台3h上，由音频探测云台控制运动；变焦红外摄像机5与变焦双目摄像机6并排固定在一起并安装在红外双目云台7上。

参照图5，所述控制器包括五路云台控制、八路音频流、三路视频流、一块主要用以控制的cpu、一块主要用以识别的gpu和一个存储器；所述云台控制通过相应的云台控制传感器与音频探测云台、红外双目云台相连，音频流通过相应的音频流传感器与音频探测云台相连，视频流通过相应的视频流传感器与全景摄像机4、变焦红外摄像机5、变焦双目摄像机6相连；所述cpu与gpu相互连通，所述cpu、gpu分别与存储器相互连通，存储器可以供cpu、gpu做运算的临时存储。上述传感器可以采用电子罗盘、陀螺仪传感器等；所述云台控制用以输出高速云台的控制信号及接收高速云台的姿态信息；音频流用以接收麦克风阵列的音频信息；视频流用以接收全景摄像机4、变焦红外摄像机5及变焦双目摄像机6的图像信息；可以通过以太接口、光接口、4g/5g、wifi等有线和无线通信方式实现通信连接。所述全景摄像机、变焦红外摄像机、变焦双目摄像机、近场麦克风阵列、远场麦克风阵列还分别与外部的一个储存装置相连接，外部的储存装置可用于事件记录存储视频音频文件，可供查看。

参照图2～4，上述装置用于低空无人机探测的方法，主要包括入侵检测、目标联动跟踪、多参数融合目标识别，入侵检测用于实时侦测监控区域内是否有不明入侵者；目标联动跟踪用于实时精确跟踪入侵目标；多参数融合目标识别用于对入侵目标进行识别判断；具体实现过程如下：

步骤一：全景摄像机4实时监控目标区域的视频信息，通过光流法进行入侵检测；光流指的是视频图像上像素点之间灰度值的变化，由可位移值除以时间差求得，监控区域中，背景图像基本处于静止状态，而入侵目标处于运动状态，因此可由入侵目标和背景之间的光流信息差异来实现入侵检测。

步骤二：全景摄像机4检测到入侵目标后，全景摄像机4、变焦双目摄像机6及远场麦克风阵列联动跟踪入侵目标：

(a1)以全景图像中点为原点建立坐标系，单位长度为一个像素值，确定入侵目标的中心点像素坐标ppixel(x1，y1)传送给控制器8；

(a2)控制器8根据控制函数(1-1)控制变焦双目摄相机6由近及远搜索入侵目标，若变焦双目摄相机6搜索不到入侵目标，则向全景摄像机4再请求一次最新的入侵目标像素坐标重新搜索，搜索到对应目标后，调整变焦双目摄像机6得焦距f2使双目拍摄的目标像素点数不低k(满足识别算法要求的最低像素数)，然后根据双目算法得出其深度h；

cptz-7(θ1，θ2)＝fptz-binocularcamera(x1，y1，f1，f2)(1-1)

式中θ1：红外双目云台7的水平旋转角，θ2：红外双目云台7的垂直旋转角，(x1,y1)：入侵目标的像素坐标，f1：全景摄像机4的焦距，f2：变焦双目摄像机6的焦距；

随后通过函数(1-2)得出入侵目标在变焦双目摄像机6坐标系下的坐标pbinocularcamera(xs，ys，zs)；

pbinocularcamera(xs，ys，zs)＝ftra(h，θ1，θ2)(1-2)

(a3)远场麦克风阵列的控制器通过各个麦克风与变焦双目摄像机6的相对位置，分别将入侵目标在变焦双目摄像机6坐标系中的坐标pbinocularcamera(xs，ys，zs)转换成各自坐标系中的坐标pmic-i(xi，yi，zi)；

再通过云台控制函数(1-3)分别控制各个远场麦克风覆盖向目标区域，覆盖目标后获取目标音频信息；

cptz(α，β)＝fptz(x，y，z)(1-3)

式中α：音频探测云台的水平旋转角，β：音频探测云台的垂直旋转角，(x，y，z)：入侵目标的坐标；

然后通过式(1-4)得出入侵目标在以支架1中点为原点的坐标系下的空间坐标pbeacket(x，y，z)；

pbeacket(x，y，z)＝tdoa(t1，t2，t3，t4)(1-4)

tdoa算法具体如下：

以安装支架的中心为原点建立空间坐标系，由麦克风安装位置可知其坐标pi(xi，yi，zi)，设目标的坐标为q(x，y，z)，则：

ri²-r1²＝2x(x1-xi)+2y(y1-yi)+2z(z1-zi)+xi²+yi²+zi²-x1²-y1²-z1²(1-6)

令x1，i＝x1-xi，y1，i＝y1-yi，z1，i＝z1-zi，ki＝xi²+yi²+zi²，得出：

分别将i＝2、3、4代入(1-7)得到：

又r2²-r1²＝(r2-r1)²+2r1(r2-r1)(1-9)

r2，1＝(r2-r1)＝c(t2-t1)(1-10)

将(1-9)、(1-10)代入(1-8)中可得：

由(1-5)可得

联解(1-11)、(1-12)，再代入各个麦克风接收到音频信号的时刻值即可得到目标坐标q(x，y，z)；

(a4)将空间坐标及对应的时刻值preinput(x，y，z，t)输入到训练好的轨迹预测模型中，得出入侵目标的下一时刻的预测坐标ppre(x^p，y^p，z^p)；

(a5)将预测坐标ppre(x^p，y^p，z^p)先分别转换成远场麦克风阵列各个麦克风坐标系下的坐标及变焦双目摄像机6的坐标系下的坐标

然后分别通过云台控制函数(1-3)控制远场麦克风阵列、变焦红外摄像机5、变焦双目摄像机6实时准确跟踪入侵目标。

步骤三：变焦红外摄像机5、变焦双目摄像机6、远场麦克风阵列能够稳定跟踪入侵目标后，分别采集目标的热成像、图像信息、声音信息，然后进行多参数融合的入侵目标识别；具体实现过程如下：

(b1)远场麦克风阵列或近场麦克风阵列获取入侵目标的音频信号v、全景摄像机4获取目标视频图像pp、变焦红外摄像机5获取目标的热成像图pt、变焦双目摄像机6获取目标的视频图像pb；

(b2)对(b1)中的音频信号v先进行预处理得到vpre；所述预处理包括滤波、预加重、加窗、分帧，所述滤波是根据得到的目标的空间坐标求出目标与麦克风阵列的距离范围，然后根据此距离范围进行选择性滤波；

veig＝mfcc(vpre)(2-1)

再通过式(2-1)提取其频域特征veig；对(b1)中的热成像图pt进行预处理得到pt-pre；

pt-eig＝pca(pt-pre)(2-2)

随后通过式(2-2)提取热成像图特征pt-eig；对(b1)中的视频图像pp先进行预处理得到pp-pre；

pp-eig＝hog(pp-pre)(2-3)

然后通过式(2-3)提取图像特征pp-eig；

(b3)将步骤(b2)所获得的相关特征veig、pt-eig、pp-eig作为第一svm分类器的输入数据，通过第一svm分类器的分类识别模型识别目标是否为无人机，第一svm分类器的输出为无人机或非无人机，第一svm分类器的分类识别模型如下：

y1＝svmuob(veig，pt-eig，pp-eig)(2-4)

(b4)当步骤(b3)识别出入侵目标为无人机时，对(b1)中的视频图像pb先进行预处理得到pb-pre；

pb-eig＝hog(pb-pre)(2-5)

然后通过式(2-5)提取图像特征pb-eig；

(b5)将步骤(b2)中获得的声音特征veig及步骤(b4)获得的图像特征pb-eig作为第二svm分类器的输入数据，通过第二svm分类器的分类识别模型识别无人机类型，具体输出包括旋翼机、滑翔机、飞艇、热气球，第二svm分类器的分类识别模型如下：

y2＝svmkou(veig，pb-eig)(2-6)

第一svm分类器、第二svm分类器的分类识别模型通过如下步骤获得：

(c1)通过获取的生物、旋翼机、滑翔机、飞艇、热气球的音频、热成像、视频图像，经过预处理、特征提取、归一化处理后建立训练数据集和测试数据集；

(c2)使用优化后的惩罚因子c和高斯核函数的宽度参数σ²以及所述训练数据集，采用交叉验证法开始训练svm分类器，训练后得到含有最优超平面的识别模型，并将训练后的svm分类器的识别模型保存下来；

(c3)使用步骤(c2)中保存下来的svm分类器的识别模型及所述测试数据集，测试所述svm分类器的识别模型的分类识别效果，输出测试的分类结果；

(c4)如果测试的分类结果达到要求，则作为所述分类识别模型；如果未达到要求，则重复步骤(c2)、(c3)。

步骤四：识别出入侵目标为无人机时，变焦红外摄像机5、变焦双目摄像机6、远场麦克风阵列继续跟踪入侵的无人机；

步骤五：当无人机进入近场麦克风阵列范围内时，近场麦克风阵列开始工作，远场麦克风阵列待机。

本实用新型通过全景摄像机进行入侵检测，然后通过多传感器联动跟踪方法实时跟踪入侵目标，最后通过双层svm分类器进行多元素融合的入侵目标识别。本实用新型具有较高的准确率，此外，双层svm的设计极大的提升了系统整体工作效率。同时，多传感器的联动跟踪配合，较大程度的解放远场麦克风阵列中每个麦克风的探测面积，故而能够有效的提升麦克风阵列的探测距离，提高整个系统的有效监控范围。

本实用新型适用于一些重要区域的低空无人机监控，用以确保该低空区域的安全。应当指出的是，上述具体实施方式用来解释说明本实用新型，而不是对本实用新型进行限制，在本实用新型的精神和权利要求的保护范围内，对本实用新型作出的任何修改和改变，都落入本实用新型的保护范围。