用于抵制无人驾驶飞行器的系统和方法与流程

文档序号:24485546发布日期:2021-03-30 21:09阅读:87来源:国知局
用于抵制无人驾驶飞行器的系统和方法与流程

本发明涉及对抗无人驾驶飞行器(unmannedaerialvehicles,uav)领域,并且更具体地,涉及用于抵制uav的系统和方法。



背景技术:

无人驾驶载具是装备有自动控制系统的运输工具,该系统允许无人驾驶载具在没有主动且持续的人工干预的情况下移动。这种无人驾驶载具可以包括但不限于无人地面运输器(例如,汽车)、自走式机器人(例如,月球车)和无人驾驶飞行器(例如,四旋翼飞机)。复杂的无人(机器人)系统和设备的快速发展需要用于防备它们的新解决方案。

更具体地说,uav(也称为无人机)正变得更加便利于供个人购买,从而导致大量增加了广大公众对它们的使用。这种uav代表民用uav。在操作不当的情况下,看似安全的商用和民用(私人)使用uav可能会带来许多危险。这样的使用可能会给生命和财产带来风险。此外,uav可能被用来侵犯商业、教育、运动、娱乐和政府存在的神圣性。uav(例如无人机)同样可以用于侵犯隐私或进行恐怖活动和犯罪活动。例如,uav可能会飞入居民区、携带炸药或例如通过在监狱地面上方飞行来向囚犯运送违禁品。因此,真正需要一种用于探测、跟踪、识别/分类和阻止uav、特别是民用uav的集成系统和方法。民用uav的示例包括但不限于诸如dji、freefly、parrot和xiaomi的这些公司的无人机。

前述问题的解决方案之一是利用使用射频探测(雷达)的系统。然而,这种解决方案在探测和识别小型飞行对象方面具有不可克服的困难。由于uav的尺寸小(小型无人驾驶飞行器,suav)及其在不同高度和速度下飞行的能力,雷达系统通常无法确保对飞行对象的探测及其随后识别的必要水平。

解决上述问题的另一传统解决方案涉及传感器,例如光识别、探测和测距(lightidentification,detectionandranging,lidar)设备。与雷达相比,lidar设备的优势在于它们提供了更精确的位置确定并且具有更小的光斑尺寸,从而能够形成目标的更精确图像。lidar是设计用于使用光反射来探测、识别和确定对象范围的设备。

应当注意,民用uav通常是私人财产。民用uav的所有者可能不知道侵犯隐私权或禁止跨越uav飞行在其上方的物体的空域边界的禁令。因此,对抗无人驾驶飞行器的解决方案应当有效地应对uav,而不会对其造成实际损害。

在设计用于对抗uav的解决方案时要考虑的另一标准是,民用uav的使用通常发生在人口中心(城市、市区类型的定居点、村庄等)上方的空域中,这同样向抵制无人驾驶飞行器的可接受方法强加了许多限制。例如,抵制解决方案可能必须考虑到各个市政结构的邻近性以及使用采用市政基础设施的蜂窝网络的各种设备的使用。

因此,真正需要创建在空域的被监控区域内有效地抵制任何探测到的未知无人驾驶飞行器的运动的解决方案。



技术实现要素:

本发明的各方面解决了本领域中已知的上述问题和缺陷。各方面提供了用于探测、分类、识别和抵制无人驾驶飞行器、特别是民用uav,而不会对其造成损害的集成式解决方案。这种集成式解决方案可以用于政府、商业、私人和公共利益。本发明的各方面之一是针对物体周围的空域的特定区域提供保护,在该物体上或在该物体旁边已经安装本文中所描述的系统以防备uav,该空域包括在人口中心上方的空域。特别地,本发明涉及用于在未知uav穿过被监控的空域的情况下探测和抵制未知uav的解决方案。未知uav是指无权进入空域的被监控区域的uav。

所公开的系统至少执行:使用初级探测模块对运动的和/或飞行的对象进行探测,使用识别模块对探测到的对象进行捕获,使用控制和分类模块基于至少一个捕获图像对探测到的对象进行分类,在探测到的对象被确定为uav的情况下使用控制和分类模块对uav进行识别。所公开的系统还采取在无法识别uav的情况下使用威胁消除模块来抵制未知uav的步骤。探测到的uav的识别可以基于“敌还是友(friendorfoe)”程序进行。如果uav未被识别,那么该uav可以被归类为未知uav。

在本发明的一方面,所公开的解决方案可以与在物体处使用的操作安全系统集成在一起,在该物体周围的空域需要提供保护以防备uav。如本文中所使用的,术语“物体”广泛地指代任何种类的设施(诸如房屋和体育场)、以及附有条件地指定的空间(诸如机场)。

本发明的第一技术结果是通过探查空域、探测和识别uav、并采取措施从空域的被监控区域移除探测到的未知uav,而拓宽了用于对抗各种uav的技术手段的范围,包括在人口中心上方的空域中对抗各种uav。

本发明的第二技术结果是通过探测、分类和识别uav,(如果需要的话)随后从受保护物体的空域中移除未知uav,而保护受保护物体(该受保护物体包括位于人口中心的物体)的空域来防备未知的uav。

作为本发明的一变型实施方式,提出了一种用于探测和抵制未知的无人驾驶飞行器(uav)的方法,其中,该方法包括以下步骤:可以使用初级探测模块来执行在空域的被监控区域内对未知飞行对象的探测。初级探测模块可以用于确定探测到的未知飞行对象的空间坐标,所确定的空间坐标可以被发送至控制和分类模块。可以使用识别模块来捕获探测到的未知飞行对象的图像。控制和分类模块可以用于基于对从识别模块获得的至少一个图像的分析,对探测到的未知飞行对象进行分类。响应于使用控制和分类模块将未知飞行对象确定为uav,可以执行uav的识别。在确定uav为未知uav之后,可以使用威胁消除模块执行uav的控制信号的定向无线电抑制,直到未知uav离开空域的被监控区域时间为止。

在本发明的另一方面,对uav的防备可以在人口中心的空域中执行。

在本发明的另一方面,可以通过探测指示uav所有权的视觉标记、gps信标或rfid标签来进行未知uav的识别。在另一方面,可以在分析期间使用诸如神经网络的机器学习模型来对探测到的未知对象进行分类。

在另一方面,在空域中搜索飞行对象之前,确定初级探测模块的位置的空间坐标。

在又一方面,识别模块可以包括至少一个摄像机,该至少一个摄像机用于捕获探测到的飞行对象,该捕获是根据探测到的飞行对象的空间坐标来进行的。

在另一方面,可以使用lidar或gps接收器来进行对未知飞行对象的初级探测。

在又一方面,识别模块可以安装在回转模块上,从而能够使摄像机绕其轴线移动360度。

在另一方面,识别模块可以包括至少两个摄像机,其中,一个摄像机被配置成执行大体测量,第二摄像机使得能够多次放大探测到的飞行对象。

作为本发明的另一变型方面,可以执行对探测到的飞行对象的跟踪,在此期间第二摄像机逐渐接近探测到的对象,以便获得以所需的分辨率呈现探测到的飞行对象的至少一个图像,并且至少一个图像被发送至控制和分类模块。

附图说明

并入本说明书中并构成本说明书的一部分的附图示出了本发明的一个或多个示例性方面,以及连同详细的描述一起用来阐述这些示例性方面的原理和实现方式。

图1示出了用于探测和抵制uav的系统的高级结构,该结构具有实现各种不同方面的可能性。

图2示出了用于在人口中心上方的空域中探测和抵制uav的系统的固定方面的原型的示例。

图3示出了根据本发明的各方面的在空域的被监控区域内对未知对象进行初级探测的示例。

图4示出了使用具有变焦功能的摄像机捕获未知对象的示例。

图5示出了防备uav的保护系统的各个模块在工业对象物体处的位置的示例。

图6示出了在人口中心上方的空域中防备uav的保护方法的流程图。

图7呈现了根据本发明的各方面的通用计算机系统、个人计算机或服务器的示例。

具体实施方式

本发明的各方面通过提出一种用于探测和抵制无人驾驶载具的系统和方法,使得能够解决已知技术的缺陷。如本文中所使用的,术语“无人驾驶载具”广泛地指代诸如地面运输工具和空中运输工具的这种类型的载具。在特定的方面,地面运输工具可以指自行式汽车。在特定方面,空中运输工具可以指代无人驾驶飞行器。在本发明的特定方面,可以至少针对uav执行探测和抵制。本发明的优势之一是所公开的系统可以在人口中心(城市)中使用,而不会造成对人口中心的基础设施或对uav本身的损害。这种损害的示例可能包括与uav撞击各种物体(例如建筑物)以及安装在其上的天线相关的损害。这种损害的另一示例可以包括关于在对抗uav的系统所采取的步骤期间由于射频抑制而导致的各种设备的功能中断的损害。在一非限制性的示例中,这种抑制可以包括抑制uav与其操作者之间的通信信号。所公开的系统可以使得能够通过使用用于对抗uav的定向无线电天线来抵制uav而在城市区域内进行利用,而不禁用uav的机载控制系统,并且不限制uav的飞行机构(例如,螺旋桨和推进器)的操作,这允许uav不会撞到任何物体。

本发明的另一优势是采用lidar以至少执行对被监控的空域中的飞行对象的搜索和初级探测。因此,lidar通过对空域进行激光探查来确定特定区域内的点的集群。然后可以对确定的集群进行分析,以识别异物/未知飞行对象。

如上所述的是,所公开的系统可以被设计成提供对各种民用uav的防备。这种uav的示例可以是众多uav中的诸如dji(phantom、inspire、mavic、m600、s1000型号)、freefly(alta型号)、parrot和xiaomi等公司创建的四轴飞行器。

根据各方面,既可以以固定形式,也可以以移动形式来实现本发明,下面给出其实现的示例。

根据本发明的各方面,为了实现其目的,期望将用于探测和抵制无人驾驶载具(在特定情况下是uav)的系统直接安装或部署在需要对其周围的空域提供uav防备的物体上或该物体旁边。如本文中所使用的,术语“需要防备无人驾驶载具的物体”广泛地指代以下至少一项:一些特定结构(例如体育场、住宅)、整个基础设施(例如机场、海港、工业园区)、人口中心(例如乡村型城市)、用于举办公共活动的场所等。同样地,各种不同方面使得可以将所公开的系统安装在不可移动的物体(诸如建筑物的屋顶)上,或者安装在可移动的物体(诸如汽车)上,该汽车装备有安装所公开的系统的部位。此外,所公开的系统还能够与在物体上(例如,在机场、港口和体育场中)采用的现有安全系统集成在一起。在部署用于保护物体的空域而防备无人驾驶载具(在特定示例中是uav)的系统之后,该系统可以在无人驾驶载具(特别是uav)的搜索模式下启动。所公开的系统还具有根据系统所处位置的要求来调节功能的能力。这种要求的示例可以包括但不限于气候条件、空域的指定区域及其边界。

在各个不同方面,根据所安装的系统的特定配置,可以顺序地或同时地执行对被监控区域内的包括uav在内的多个飞行对象的探测和/或威胁消除。另外,所公开的系统能够执行特定无人驾驶载具的威胁消除。为了执行特定无人驾驶载具的威胁消除,所公开的系统可以获得至少关于特定空间区域需要防备的无人驾驶载具的种类和/或类型的信息。

此外,将理解的是,本发明不限于附图中所示的示例。更具体地,所公开的系统的功能不限于防备uav,并且该系统还可以以类似的方式用于防备其它种类的无人驾驶载具。

图1示意性地示出了用于探测和抵制uav的系统100。在一优选方面,用于探测和抵制uav的系统100(下文中称为防备uav的保护系统100)可以至少包括以下模块:初级探测模块110、识别模块120、控制和分类模块130、以及威胁消除模块140。此外,每个模块使用能够实现它们的彼此交互以及执行它们的功能的软件。

初级探测模块110可以被配置成探测空域中的任何运动和/或飞行对象,随后确定探测到的运动和/或飞行对象的空间坐标。初级探测模块110可以被配置成至少与控制和分类模块130交互。这些模块之间的交互可以包括在空域的探查期间所确定的数据以及针对探测到的对象所确定的坐标的传输。坐标可以至少包括探测到的未知飞行对象的方位取向、探测到的未知飞行对象的高度以及与探测到的未知飞行对象的距离。

应当注意,在实现防备uav的保护系统100中,搜索和探测飞行对象的能力可能受到用于制造初级探测模块110的设备的技术能力的限制,或受到空域的被监控区域的限定边界的限制。根据初级探测模块110的实现方式和配置,可以同时或顺序地(一次一个)地进行多个飞行对象的探测。

初级探测模块110可以被配置成包括gps(全球定位系统)设备和以下设备中的至少一者:

lidar设备,其发射能够探查空域中的目标的激光束;

摄像机,例如广角摄像机;

音频接收器,例如麦克风;

射频设备(雷达)。

前述设备可以包含允许它们获得必要信息并与防备uav的保护系统100的其它模块进行交互的软件。可以基于防备uav的保护系统100的各个方面来设计和配置这种软件。应当注意,这种软件的设计和配置在本发明的范围之外。在优选的方面,初级探测模块110可以包括全向lidar,其可以与gps接收器协同地使用激光探查来执行对uav的搜索。激光探查可以在沿水平轴的从0度到360度的扫描扇区和沿竖直轴的从0度到90度的扫描角度中进行。沿竖直轴的窗口可以达到至少45度。根据各个方面,由所公开的系统可以探测到uav的位置到uav的距离可以在例如从大约0.2km到大约5km的范围内变化。同时,根据初级探测模块110的技术能力,可以根据需要增加或减小探测距离。

在另一方面,初级探测模块110可以包括lidar、gps接收器和至少一个摄像机。在该特定方面,初级探测可以通过lidar和摄像机共同实现。应当注意,安装的摄像机的数量取决于需要保护的空域区域和必要的扫描扇区(从大约0度到大约360度)。因此,例如,安装成一圈的10(十)台摄像机可以满足全方位可视性的要求。彼此连接的摄像机可以至少与控制和分类模块130通信,这使得能够与lidar并行地搜索uav。

在另一方面,初级探测模块110可以另外包括至少一个音频接收器,该音频接收器还可以与控制和分类模块130一起执行对uav的搜索。

初级探测模块110的初步调整/校准和进一步控制可以通过采用控制和分类模块130来进行。校准的示例可以包括确定初级探测模块110相对于防备uav的保护系统100的其它模块的空间坐标,或确定初级探测模块110相对于其周围空域需要保护的物体的空间坐标。初级探测模块110的这种控制可以包括例如确定需要防备uav飞行的物体周围的空域的边界。

识别模块120可以被配置成:1)根据从控制和分类模块130获得的数据来捕获探测到的飞行对象,其中该数据可以包含关于探测到的对象的空间坐标的信息;2)跟踪捕获到的对象(观察其运动),以及3)将关于捕获到的对象的信息传输至控制和分类模块130。

在一方面,识别模块120可以包括安装在回转模块上的两个摄像机。第一摄像机(例如,广角摄像机)可以使得能够在广角视场中跟踪(视频观察)对象,第二摄像机可以具有更窄角视场。然而,第二摄像机可以具有使用变焦功能来获得目标对象的更高分辨率图像的能力。换句话说,第一摄像机可以是所谓的全景摄像机,而第二摄像机可以是变焦摄像机。在一方面,第一摄像机可以是具有广角镜头的摄像机,第二摄像机可以是包含具有高可变焦距的变焦镜头的摄像机,从而可以在从同一点拍摄时改变目标对象的图像的比例。

回转模块的控制可以由控制和分类模块130执行,控制和分类模块130可以向回转模块发送控制命令以便沿探测到的飞行对象的方向旋转识别模块120,例如,已安装的摄像机。第二摄像机可以允许通过光学放大和/或通过数字放大来改变(放大)飞行对象的图像的比例。

应当注意,识别模块120还可以被配置成使用至少一个摄像机来执行其功能。在某种程度上,不同的方面可以取决于摄像机的技术特征和需要防备uav的空域。在一方面,当初级探测模块110被配置成具有至少一个摄像机时,则识别模块120可以仅包含变焦摄像机。

在其它方面,识别模块120可以由以下设备中的至少一者组成或另外包括以下设备中的至少一者:照相摄像机和具有红外热成像和/或夜视功能的设备。此外,识别模块120还可包括有助于探测、监控和收集关于空域中的飞行对象的信息以用于后续分析的附加设备。

控制和分类模块130还可以被配置成处理从初级探测模块110和识别模块120获得的数据,控制回转模块以及模块110、120和140。控制和分类模块130还可以被配置成对探测到的飞行对象进行分类,其中分类可以至少包括对从识别模块120获得的数据的分析。在一方面,控制和分类模块130可以采用神经网络,例如,人工神经网络(artificialneuralnetwork,ann),以便对探测到的对象是否对应于特定uav类型做出决策。作为存在的用于分析的数据,识别模块120可以根据产生这种图像的设备来提供目标对象的各种图像。因此,例如,摄像机可以提供至少一个视频帧,而照相摄像机则可以提供照片。响应于确定探测到的对象为uav,控制和分类模块130可以向威胁消除模块140发送请求以抵制探测到的uav。

在本发明的上下文中,“神经网络”可以主要用于探测各种图像中的对象,并且可以用于对探测到的对象进行分类。例如,图像可以是至少从识别模块120获得的视频帧。由控制和分类模块130采用的用于分析视频帧的神经网络可以是先前训练的神经网络,并且还可以具有在其操作过程中动态(on-the-fly)学习的能力。可以使用准备好的带标注的视频帧的列表来训练神经网络,该列表代表不同的感兴趣的飞行对象的示例,其包括但不限于在不同的气候条件下操作的、具有不同的透视收缩(foreshortening)方向角并具有不同的背景照明的不同种类和类型的uav。在一特定方面,控制和分类模块130可以使用卷积神经网络(cnn),从而能够有效识别所分析图像中的对象。

在一方面,控制和分类模块130可以是服务器(诸如图形处理单元“gpu”服务器)。在一般情况下,服务器实现方式可以理解为计算机系统,例如以下结合图7所述的计算机系统。计算机系统可以理解为个人计算机,例如台式计算机、笔记本电脑和上网本,或者具有无线通信功能的电子设备,例如移动电话,智能手机和平板电脑。该计算机系统可以包括各种软件,例如但不限于:硬件、程序和/或系统软件。

威胁消除模块140可以被配置成对抗探测到的uav。如本文中所使用的,术语“对抗”通常是指将uav从被监控的空域护送出去。在一方面,威胁消除模块140可以使用至少一个天线,该至少一个天线可以被配置成使得能够对用于控制探测到的uav的控制信号进行定向无线电抑制。可以连续地执行无线电抑制,直到uav离开空域的被监控区域为止。威胁消除模块140所使用的天线可以至少在特定范围内(例如,从大约20度到大约25度)产生无线电抑制。所使用的(一个或多个)天线可以能够在特定频率范围内以给定距离干扰控制信号。因此,例如,uav的抑制距离可以至少为600米,抑制功率可以至少为100mw,天线发射的频率范围可以至少包括以下频率:900mhz、1.2ghz,2.4mhz、5.8ghz、l1和l2,同时可以使用白噪声源来实现抑制uav的通信信道的信号,而不会干扰uav的gps接收器。

在一方面,威胁消除模块140可以与识别模块120一起布置在回转模块的转台上,使得可以根据探测到的飞行对象的运动来改变模块的位置。

本发明的各个方面包括固定实现方式和移动实现方式。此外,在一方面,所公开的防备uav的保护系统100可以与在物体处使用的现有的安全系统集成在一起,在该物体周围的空域需要保护以防备uav。

当将防备uav的保护系统100与前述安全系统集成在一起时,可以使用控制和分类模块130对防备uav的保护系统100进行适配。在该适配期间,可以确定安全系统的所有可用设备,例如附加摄像机。此外,两个系统的所有设备都可以针对探测到的设备和防备uav的保护系统100的上述模块的联合操作进行协调。应当注意,当将防备uav的保护系统集成到安全系统中时,可以使用安全系统的控制服务器,通过至少安装包括神经网络的软件,来集成控制和分类模块130。

在图2中所示的一方面的描述中呈现了所提出的系统100的工作场景。

图2示出了防备uav的保护系统100的固定形式的原型的示例。因此,防备uav的保护系统100可以至少包括初级探测模块210、识别和威胁消除模块250以及数据处理模块290。继而,初级探测模块执行以上结合图1描述的初级探测模块110的功能,并且可以包括lidar220、gps接收器230和磁力计(图2中未示出)。识别和威胁消除模块250可以执行以上结合图1描述的识别模块120和威胁消除模块140的组合功能。识别和威胁消除模块250可以安装在回转模块240上。在该示例中,识别和威胁消除模块250可以被实现为两个摄像机:第一摄像机(全景摄像机)260和第二摄像机(具有变焦功能的摄像机)265。识别和威胁消除模块250还可以包括一组无线电天线270。该组无线电天线270可以包含用于无线电抑制的天线,其中每个天线以特定无线电频率工作。频率或频率范围可以根据uav操作的频率来确定。数据处理模块290可以被配置成执行控制和分类模块130(图1中所示)的任务和功能。在该示例中,数据处理模块290可以包括服务器,该服务器包含能够处理大量数据、特别是图形数据的计算机系统。在一方面,数据处理模块290可以被结合在单独的壳体中。这样的实现方式使得能够实现防备uav的保护系统100的足够的移动性和人体工程学有效性。初级探测模块210、识别和威胁消除模块250、以及数据处理模块290之间的通信可以至少通过有线通信(电缆连接)来提供。

首先,可以将防备uav的保护系统100的所有示出的模块直接安装在其周围空域需要防备uav的物体上,或者直接安装在该物体旁边。然后可以在uav搜索模式下启动防备uav的保护系统100。如果有必要,还可以根据地理位置来建立防备uav的保护系统100的设置。因此,例如,该设置可以涉及以下中的至少一项:

·如果模块(特别是初级探测模块210以及识别和威胁消除模块250)是分开的,则确定防备uav的保护系统100及其模块相对于彼此的空间坐标;

·确定将提供防备uav的飞行的保护的空域区域的边界;

·构建由数据处理模块290在其神经网络分类/计算中使用的数据处理,其中该构建还可以包括根据防备uav的保护系统100的操作条件来训练神经网络;·形成uav的寻找被保护物体的空域区域;

·形成空域的被监控区域内的需要防备uav的区域;

·使用初级探测模块210、特别是借助lidar220,生成对象在空域的被监控区域内的位置图。

因此,可以在空域的被监控区域内搜索飞行对象的模式下启动防备uav的保护系统100。

每当在空域的被监控区域内出现任何飞行对象时,初级探测模块210可以使用lidar220对其进行探测,并且可以确定探测到的飞行对象的坐标。初级探测模块210还可以被配置成将确定的坐标发送给数据处理模块290。

在一变型方面,飞行对象的探测过程可以包括以下步骤。lidar220可以对空域执行激光探查,在此期间将信息传输至数据处理模块290。由lidar220提供的信息可以包含关于在空域的被监控区域内的以点形式的各个对象的位置的数据。可以基于来自包括对象的表面在内的各个表面的激光束的反射来生成各个点的位置。数据处理模块290可以基于对从lidar220接收的信息的分析来确定飞行对象的存在。在其中已经生成了表示空域区域的地图的另一方面,可以使用生成的地图执行分析。接下来,lidar220与gps接收器230协作可以确定探测到的飞行对象的空间坐标,并且然后还可以跟踪探测到的飞行对象的运动。所获得的数据可以被实时发送给数据处理模块290。图3中呈现了使用lidar220对飞行对象进行探测和图像捕获的示例,其中在正方形中探测到飞行对象。

返回参考图2,接下来,数据处理模块290可以向回转模块发送命令,回转模块可以执行旋转,使得识别和威胁消除模块250对准探测到的未知飞行对象的方向。数据处理模块290还可以将飞行对象的坐标发送给识别和威胁消除模块250。

使用前述摄像机中的至少一者,识别和威胁消除模块250可以捕获探测到的未知飞行对象的图像,然后可以跟踪探测到的飞行对象的飞行运动。在跟踪探测到的飞行对象期间,识别和威胁消除模块250可以使用具有变焦功能的第二摄像机265对所述的目标对象执行缩放。这些步骤可以提供具有探测到的对象的至少一个数字视频帧,该至少一个数字视频帧可用于进一步识别探测到的对象。如上所述,第二摄像机265可以是包含具有高可变焦距的镜头的摄像机,从而使得可以在其从单个点拍摄对象期间改变对象的图像的比例。第一摄像机260可以是具有广角镜头的摄像机。第二摄像机265可以被配置成确定和跟踪飞行对象的运动方向,例如以便从视线上不丢失飞行对象。应当提及的是,当在识别和威胁消除模块250的实现方式中存在提到的两个摄像机260和265时,可以以多种方式来进行飞行对象的图像的捕获。首先,可以由两个摄像机同时进行图像捕获。其次,可以首先由第一(全景)摄像机260进行图像捕获,然后可以由第二摄像机265进行校正。第三,可以首先由第二摄像机265进行图像捕获,第二摄像机265可以继续跟踪探测到的对象(监控其运动)。稍后,如果有必要,识别和威胁消除模块250可以使用第一摄像机260用于指导。捕获飞行对象的图像的每种方法的有效性可以取决于与该飞行对象的距离和该飞行对象的运动速度。应当注意,术语“捕获对象的图像”在本文中指的是在处理关于对象的信息的过程中至少在探测阶段和跟踪阶段之间的中间阶段。

在一方面,第二摄像机265可以首先使用到对象的距离的中点,以便至少捕获视频帧中的飞行对象(例如,以点的形式)。在捕获第一图像之后,可以进行必要的比例更改以放大视频帧中的飞行对象。在图4中呈现了使用具有变焦功能的摄像机265捕获未知飞行对象的图像的示例。图4示出了在已经执行变焦操作之后捕获的飞行对象。应当注意的是,在识别和威胁消除模块250内使用两个不同的摄像机使得能够保证高度聚焦在未知飞行对象上,并允许在未知飞行对象运动期间跟踪该未知飞行对象。

在其它方面,第一摄像机260还可以生成具有捕获到的未知飞行对象的视频帧,并将生成的视频帧发送给数据处理模块290。

在捕获图像之后,识别和威胁消除模块250可以将具有捕获的对象的至少一个视频帧发送至数据处理模块290。应当注意,在该过程中,飞行对象的图像的比例可以调整以产生至少一个高质量的视频帧。数据处理模块290可以根据在识别探测到的飞行对象期间对视频帧的分析来确定是否需要改变比例(放大或缩小)。

在一方面,数据处理模块290可以使用神经网络对获得的数据进行分析。所采用的神经网络可以接收从识别和威胁消除模块250获得的至少一个视频帧作为输入,以便对探测到的未知飞行对象进行分类。输入数据可以至少包括从第一摄像机260和/或第二摄像机265中的至少一者接收到的视频帧,以及来自由识别和威胁消除模块250或初级探测模块210所采用的其它设备的信息。这种设备可以至少包括lidar、音频接收器和雷达。使用由神经网络执行的分析结果,数据处理模块290可以做出关于探测到的未知飞行对象是否符合至少一种类型的uav或特定型号的uav的决策。如果确定探测到的飞行对象是uav,则数据处理模块290可以将信号发送给识别和威胁消除模块250,以指示需要抵制探测到的uav。

如上所述,识别和威胁消除模块250还可以采用一组无线电天线270。响应于从数据处理模块290接收到信号,识别和威胁消除模块250可以将无线电天线270朝向探测到的uav取向,并且可以对该uav执行定向无线电抑制。特别地,识别和威胁消除模块250可以执行对探测到的uav的控制信号的抑制,直到uav离开被监控空域。识别和威胁消除模块250还可以从数据处理模块290接收所使用的射频类型或用于干扰的期望射频范围。数据处理模块290可以基于已识别的uav来确定射频类型和期望范围。当从空域的被监控区域内移除探测到的uav时,识别和威胁消除模块250可以有效地完成其任务。

在防备uav的保护系统100的一特定方面,在初级探测模块210同时探测到两个或更多个未知飞行对象时,可以使用数据处理模块290进行优先级划分,以便确定对未知飞行对象的分类的排序及(在必要时)随后对其的威胁消除。可以至少基于与探测到的多个飞行对象的距离的比较及多个飞行对象的接近速度的比较来执行优先级划分。

在防备uav的保护系统100的另一方面,在确定未知飞行对象为uav之后,所公开的系统可以可选地识别uav的溯源和/或其在空域的被监控区域内的能力。为此,可以使用“敌还是友(friendorfoe)”技术。因此,例如,防备uav的保护系统100可以执行用于识别uav的附加分析。附加分析可以基于识别uav的主体上的视觉标记的能力,红外发射器、rfid(射频识别)标签或gps信标的使用。因此,根据对前述标识符之一的探测,uav可以被识别为“朋友”或“敌人”。例如,如果uav具有gps信标,则防备uav的保护系统100可以从该uav获得坐标,并且可以基于该坐标识别uav。如果确定uav具有进入被监控区域的权限,则系统将不会执行任何抵制。否则,如果uav被识别为未知的,则可以如上所述进行抵制。

在其它方面,防备uav的保护系统100可以包括两个或更多个初级探测模块210以及识别和威胁消除模块250。在这种情况下,防备uav的保护系统100还能够实现探测到的两个或更多个uav的捕获以及同时威胁消除。

在另一方面,可以根据与受保护物体的距离将空域的被监控区域划分为多个扇区。基于所划分的扇区,防备uav的保护系统100可以确定哪个模块执行其功能。例如,初级探测模块210可以在所有扇区中执行对飞行对象的搜索,而识别和威胁消除模块250可以仅覆盖附近的扇区。可以基于识别和威胁消除模块250可以执行其功能所在的距离来确定附近的扇区。可以根据模块的技术能力以及根据在空域的被监控区域的一扇区或另一扇区中对防备uav的需求,来设置防备uav的保护系统100中的一模块或另一模块的扇区和配置。

图5示出了防备uav的保护系统的各个模块在工业物体处的位置的示例。在该示例中,模块210和250在工业物体处的被监控区域内间隔开。应当注意的是,各模块的分离及其数量取决于需要保护的工业物体本身以及取决于相应模块的技术能力。例如,图5中所示的工业园区位于很大的区域。因此,为了有效地保护工业园区,期望分配这些模块。具体地,例如,模块250的数量可以不限于一个,而是可以增加至四个。当布置模块250时,它们可以安装在工业物体的在四个方向上的不同角落。

图6示出了在人口中心上方的空域中防备uav的保护方法的流程图。在步骤310中,初级探测模块110对空域的被监控区域内的飞行对象进行初级探测。可以至少使用lidar220来执行初级探测,lidar220可以通过激光探查空域来执行搜索。在该步骤中,lidar220可仅能够探测飞行对象,而不能对其进行识别。因此,此时,所有探测到的飞行对象也是未知的飞行对象。响应于在空域的被监控区域内探测到至少一个飞行对象,可以开始步骤320。

在步骤320中,初级探测模块110可以确定探测到的每个飞行对象的空间坐标,并且可以将所确定的空间坐标发送给控制和分类模块130。探测到的飞行对象的该空间坐标可以至少包括探测到的未知飞行对象的方位取向、探测到的未知飞行对象的高度以及到探测到的未知飞行对象的距离。控制和分类模块130可以将接收到的坐标发送给识别模块120以捕获飞行对象的图像。

在步骤330中,识别模块120可以使用识别模块120的至少一个摄像机来捕获探测到的飞行对象的图像。在捕获图像之后,可以跟踪飞行对象并且可以由识别模块120生成具有捕获到的飞行对象的视频帧。识别模块120可以将(一个或多个)捕获到的图像发送至控制和分类模块130。在优选的方面,可以使用两个摄像机执行图像捕获,其中第一摄像机是具有广角镜头的摄像机260,第二摄像机是具有变焦功能的摄像机265。这两个摄像机能够捕获飞行对象的图像并传输视频帧。

在步骤340中,控制和分类模块130可以用于基于对利用至少一个摄像机获得的视频帧中的至少一个视频帧的分析,对探测到的对象进行分类。为了对探测到的对象进行分类,控制和分类模块130可以在视频帧的分析中使用神经网络。可以预先通过带注释的测试图像的列表来训练神经网络,该图像列表表示处于不同的投影缩减并具有各种背景的不同飞行对象。该神经网络可以用于分析获得的每个视频帧,并且可以生成决策作为输出。所生成的决策可以包含关于特定飞行对象(包括uav)的溯源的信息。此外,如果将飞行对象确定为uav,则该决策还可包含关于uav的类型和型号的信息。在特定方面,如果确定飞行对象是未知对象,则控制和分类模块130可以将所生成的决策输出至防备uav的保护系统的操作者并可以等待响应,或者控制和分类模块130可以执行附加分析,该附加分析可以基于对飞行对象属于特定类型对象的概率的分析。基于该附加分析,控制和分类模块130然后可以生成关于未知对象是否为uav的进一步决策。在另一方面,控制和分类模块130可以请求附加的视频帧,并且可以使用神经网络对附加的视频帧进行分析,直到控制和分类模块130可以对探测到的飞行对象进行分类。在这种情况下,如果确定探测到的飞行对象是uav,则可以执行步骤350。

在步骤350中,如果确定对象为uav,则可以由威胁消除模块140对uav的控制信号进行定向无线电抑制,直到uav离开空域的被监控区域为止。可以使用一系列无线电天线(诸如无线电天线270)来实现该抑制。在从空域的被监控区域移除探测到的uav之后,可以停止抑制。防备uav的保护系统100可以继续进一步搜索飞行对象。

在特定方面,如果控制和分类模块130将探测到的未知飞行对象确定为uav,则在可选步骤345中,可以由控制和分类模块130对uav进行识别。对uav的识别可以包括确定uav是否属于被授权在空域的被监控区域内飞行的uav。uav的识别机制可以使用例如“敌还是友”识别技术。根据各方面,控制和分类模块130可以使用uav的主体上的视觉标记、红外(ir)发射器、rfid标签或gps信标来识别uav的溯源。如果探测到的未知uav属于被授权在空域的被监控区域内飞行的uav,则防备uav的保护系统100可以停止捕获图像并且可以停止跟踪该uav,而是可以允许该uav继续其在空域中的运动。否则,如果该uav未被识别出,则可以执行步骤350。

图7是示出了根据示例性方面的计算机系统20的框图,在计算机系统20上可以实现用于探测和抵制uav的系统和方法的各方面。计算机系统20可以表示图1和图2的防备uav的保护系统100,并且可以是以多个计算设备的形式或者以单个计算设备的形式,例如,台式电脑、笔记本电脑、手提电脑、移动计算设备、智能手机、平板电脑、服务器、大型机、嵌入式设备和其它形式的计算设备。

如图所示,计算机系统20包括中央处理单元(centralprocessingunit,cpu)21、系统存储器22和连接各种系统部件的系统总线23,各种系统部件包括与中央处理单元21相关联的存储器。系统总线23可以包括总线存储器或总线存储器控制器、外围总线、以及能够与任何其它的总线架构交互的本地总线。总线的示例可以包括pci、isa、串行总线(pci-express)、超传输tm(hypertransporttm)、无限带宽tm(infinibandtm)、串行ata、i2c、和其它合适的互连。中央处理单元21(也称为处理器)可以包括单组或多组具有单核或多核的处理器。处理器21可以执行实现本发明的技术的一种或多种计算机可执行代码。系统存储器22可以为用于存储本文中所使用的数据和/或由处理器21可执行的计算机程序的任何存储器。系统存储器22可以包括易失性存储器(诸如随机存取存储器(randomaccessmemory,ram)25)和非易失性存储器(诸如只读存储器(read-onlymemory,rom)24、闪存等)或其任意组合。基本输入/输出系统(basicinput/outputsystem,bios)26可以存储用于在计算机系统20的元件之间传输信息的基本程序,例如在使用rom24加载操作系统时的那些基本程序。

计算机系统20可以包括一个或多个存储设备,诸如一个或多个可移除存储设备27、一个或多个不可移除存储设备28、或其组合。所述一个或多个可移除存储设备27和一个或多个不可移除存储设备28借助存储器接口32连接到系统总线23。在一个方面,存储设备和相应的计算机可读存储介质为用于存储计算机指令、数据结构、程序模块、和计算机系统20的其它数据的电源独立的模块。系统存储器22、可移除存储设备27和不可移除存储设备28可以使用各种各样的计算机可读存储介质。计算机可读存储介质的示例包括:机器存储器,诸如缓存、sram、dram、零电容ram、双晶体管ram、edram、edoram、ddrram、eeprom、nram、rram、sonos、pram;闪存或其它存储技术,诸如在固态驱动器(solidstatedrive,ssd)或闪存驱动器中;磁带盒、磁带、和磁盘存储器,诸如在硬盘驱动器或软盘中;光学存储器,诸如在光盘(cd-rom)或数字通用光盘(digitalversatiledisk,dvd)中;以及可用于存储期望数据且可被计算机系统20访问的任何其它介质。

计算机系统20的系统存储器22、可移除存储设备27和不可移除存储设备28可以用于存储操作系统35、附加应用程序37、其它程序模块38和程序数据39。计算机系统20可以包括用于传送来自输入设备40的数据的外围接口46,所述输入设备40诸如键盘、鼠标、光笔、游戏控制器、语音输入设备、触点输入设备、或其它外围设备,诸如借助一个或多个i/o端口的打印机或扫描仪,该一个或多个i/o端口诸如串行端口、并行端口、通用串行总线(universalserialbus,usb)、或其它外围接口。显示设备47(诸如一个或多个监控器、投影仪或集成显示器)也可以通过输出接口48(诸如视频适配器)连接到系统总线23。除了显示设备47之外,计算机系统20还可以装配有其它外围输出设备(未示出),诸如扬声器和其它视听设备。

计算机系统20可以使用与一个或多个远程计算机49的网络连接而在网络环境中工作。所述一个或多个远程计算机49可以为本地计算机工作站或服务器,其包括前面在描述计算机系统20的性质时所述的元件中的大多数元件或全部元件。其它设备也可以存在于计算机网络中,诸如但不限于路由器、网站、对等设备或其它网络节点。计算机系统20可以包括用于借助一个或多个网络而与远程计算机49通信的一个或多个网络接口51或网络适配器,该一个或多个网络诸如局域计算机网络(local-areacomputernetwork,lan)50、广域计算机网络(wide-areacomputernetwork,wan)、内联网、和因特网。网络接口51的示例可以包括以太网接口、帧中继接口、sonet(同步光纤网)接口、和无线接口。

本发明的各个方面可以为系统、方法和/或计算机程序产品。计算机程序产品可以包括一种或多种计算机可读存储介质,该计算机可读存储介质上具有用于使处理器执行本发明的各方面的计算机可读程序指令。

计算机可读存储介质可以为有形设备,该有形设备可以保持且存储指令或数据结构的形式的程序代码,该程序代码可以被计算设备(诸如计算系统20)的处理器访问。计算机可读存储介质可以为电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或其任何合适的组合。作为示例,这类计算机可读存储介质可以包括随机存取存储器(ram)、只读存储器(rom)、电可擦可编程只读存储器(eeprom)、便携式光盘只读存储器(cd-rom)、数字通用光盘(dvd)、闪存、硬盘、便携式电脑磁盘、记忆棒、软盘、或甚至机械编码设备,诸如在其上记录有指令的凹槽中的打孔卡或凸起结构。如在本文中所使用的,计算机可读存储介质不应被视为暂时性信号本身,暂时性信号诸如无线电波或其它自由传播的电磁波、通过波导或传输介质传播的电磁波、或通过电线传输的电信号。

可以将本文中所描述的计算机可读程序指令从计算机可读存储介质下载到相应的计算设备、或借助网络(例如,因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。该网络可以包括铜传输电缆、光学传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。在每个计算设备中的网络接口从网络接收计算机可读程序指令并转发该计算机可读程序指令,用以存储在相应的计算设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以为汇编指令、指令集架构(instruction-set-architecture,isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或以一种或多种编程语言(包括面向对象的编程语言和传统程序化编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令(作为独立的软件包)可以完全地在用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上且部分地在远程计算机上、或完全地在远程计算机或服务器上执行。在后一种情况中,远程计算机可以通过任何类型的网络(包括lan或wan)连接到用户的计算机,或可以进行与外部计算机的连接(例如通过因特网)。在一些实施方式中,电子电路(包括例如可编程逻辑电路、现场可编程门阵列(fpga)、或可编程逻辑阵列(programmablelogicarray,pla))可以通过利用计算机可读程序指令的状态信息而执行计算机可读程序指令,以使该电子电路个性化,从而执行本发明的各方面。

在各个方面中,本发明中所描述的系统和方法可以按照模块来处理。如本文中所使用的术语“模块”指的是例如现实世界的设备、部件、或使用硬件(例如通过专用集成电路(asic)或fpga)实现的部件的布置,或者指的是硬件和软件的组合,例如通过微处理器系统和实现模块功能的指令集(该指令集在被执行时将微处理器系统转换成专用设备)来实现这样的组合。一个模块还可以被实施为两个模块的组合,其中单独地通过硬件促进某些功能,并且通过硬件和软件的组合促进其它功能。在某些实现方式中,模块的至少一部分(以及在一些情况下,模块的全部)可以在计算机系统的处理器上运行。因此,每个模块可以以各种适合的配置来实现,而不应受限于本文中所例示的任何特定的实现方式。

为了清楚起见,本文中没有公开各个方面的所有例行特征。应当领会的是,在本发明的任何实际的实现方式的开发中,必须做出许多特定实现方式的决定,以便实现开发者的特定目标,并且这些特定目标将对于不同的实现方式和不同的开发者变化。应当理解的是,这种开发努力会是复杂的且费时的,但对于了解本发明的优点的本领域的普通技术人员来说仍然是工程的例行任务。

此外,应当理解的是,本文中所使用的措辞或术语出于描述而非限制的目的,从而本说明书的术语或措辞应当由本领域技术人员根据本文中所提出的教导和指导结合(一个或多个)相关领域技术人员的知识来解释。此外,不旨在将本说明书或权利要求中的任何术语归于不常见的或特定的含义,除非明确如此阐述。

本文中所公开的各个方面包括本文中以说明性方式所引用的已知模块的现在和未来已知的等同物。此外,尽管已经示出并描述了各个方面和应用,但是对于了解本发明的优点的本领域技术人员将明显的是,在不脱离本文中所公开的发明构思的前提下,相比于上文所提及的内容而言的更多修改是可行的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1