利用单目摄像头实现无人机动态避障方法、装置及无人机与流程

1.本发明涉及无人机技术领域，特别涉及电力巡检中利用单目摄像头实现无人机动态避障方法、装置及无人机。


背景技术：

2.随着国家电力方面的发展，我国的电力线路越来越长，这对传统的人工巡检有着很大的挑战。伴随着无人机的异军突起，凭借其体积小、易部署和经济效益高等优势，在电力巡检中广泛应用，其中能自主飞行的电力巡检无人机成为了当下发展的新潮流。无人机在低空区域飞行时，存在着多种不确定因素，如鸟类、其他无人机等运动目标威胁。减少无人机撞上动态障碍物而引发炸机事故的关键，就是通过采集飞行数据和视频，让无人机具备自主避开飞行航迹中的动态障碍物的能力。因此，实现自主避障成为了电力巡检无人机自主安全飞行的一个重要条件。
3.目前，传统无人机普遍使用具有障碍物检测功能的传感器用于避障，其类型主要有超声波、雷达、激光、红外线等。伴随着深度学习的迅速发展，计算机视觉已经部署在各种应用场景，其中利用目标检测技术可以大幅提高感知能力。
4.中国专利申请公开号为cn113110562a，发明名称为“一种基于多个广角摄像头的无人机避障装置及其避障方法”，通过位于机身不同位置的广角摄像头获得场景中静态障碍物与自身的位置信息并进行避障。中国专利申请公开号为cn113419555a，发明名称为“一种基于单目视觉的无人机低功耗自主避障方法及系统”，提出一个低功耗自主避障算法,先设计一个轻量化的卷积神经网络用于从单目图像中预测障碍物距离,并设计控制算法将距离转化为无人机控制指令用来控制无人机的避障飞行。上述两种公开的技术，均是通过单目视觉测量障碍物深度进行避障，但只是针对静态障碍物进行设计的，但由于环境的复杂多变性，静态的避障寻路已经不能满足时刻变化的复杂环境。
5.中国专利申请公开号为cn110209184a，发明名称为“一种基于双目视觉系统的无人机避障方法”，通过双目视觉系统获得图像信息后得到深度图信息，与预先设定的阈值距离作比较后发出不同指令，无人机在准确的时机完成避障。中国专利申请公开号为cn113485450a，发明名称为“一种基于计算机视觉的无人机避障系统”，利用双目摄像头和毫米波雷达实现对动态障碍物的探测并自动规避。这两种现有技术的方案是利用双目视差信息得到环境深度信息,从而生成环境三维地图实现避障效果。但双目避障技术有效探测视野狭窄,双摄像头需要搭配处理双目视频数据的芯片,导致成本较高。


技术实现要素：

6.本发明公开一种利用单目摄像头实现无人机动态避障方法、装置及无人机，可以解决现有技术中针对静态障碍物进行设计，不能满足时刻变化的复杂环境的问题，还可以解决双目避障技术有效探测视野狭窄，成本较高的问题。
7.本发明的目的是通过以下技术方案实现的：
8.第一方面，本发明提供一种利用单目摄像头实现无人机动态避障方法，包括以下步骤：
9.通过毫米波雷达模块检测到动态障碍物，并测量动态障碍物与无人机之间的距离；
10.由单目视觉模块采集视频，并通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
11.根据动态障碍物在像素坐标系下的坐标信息和相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
12.利用动态障碍物相对于无人机位置信息随时间的变化规律，得到动态障碍物相对于无人机的速度；
13.根据无人机自身的速度和动态障碍物相对于无人机的速度，得出动态障碍物自身的速度；
14.根据动态障碍物自身的速度和相对于无人机的位置信息，推算出动态障碍物的运动轨迹；
15.将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞；
16.根据是否发生碰撞的判断结果，选择是否调整飞行路径。
17.进一步的，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息的具体过程包括：
18.将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；
19.对视频数据中的图像进行高斯滤波，改善明暗对比；
20.运用canny边缘检测算法，获得图像中动态障碍物的边缘信息；
21.采用k-means聚类算法对边缘信息做聚类识别，进而得到动态障碍物在像素坐标系下的坐标信息。
22.进一步的，得到动态障碍物相对于无人机的位置信息的具体过程包括：
23.在成像坐标系o
w-xyz中，已知毫米波雷达的坐标为h(x0,y0,z0)，单目视觉模块的摄像头光心坐标为c(0，0，l0)，毫米波雷达与动态障碍物的距离为d，设动态障碍物点p的坐标为(x
p
，y
p
，z
p
)；在像素坐标系o-xy下，已知动态障碍物的像点p`的坐标为(u，v)，设一个像素点的尺寸为d0，则动态障碍物的像点p`在成像坐标系o
w-xyz中的坐标为(x`,y`,0)，其中ow是位于成像平面最中心的点，x`和y`的值为下式：
[0024][0025]
其中，m和n分别表示成像平面的高和宽；
[0026]
计算动态障碍物点p在成像坐标系o
w-xyz中的坐标(x
p
,y
p
,z
p
)，即动态障碍物点p相对于无人机的位置信息，计算公式如下：
[0027][0028]
进一步的，得到动态障碍物相对于无人机的速度包括：
[0029]
取t秒前动态障碍物相对于无人机的位置信息为坐标(x
t
,y
t
,z
t
)，当前时刻动态障碍物相对于无人机的位置信息为坐标(xd,yd,zd)；
[0030]
根据当前时刻和t时刻的动态障碍物相对于无人机位置信息，可得t秒内动态障碍物相对于无人机的平均移动速度的大小为：
[0031]
方向为
[0032]
取当前时刻动态障碍物相对于无人机的速度为当前时刻前t秒内动态障碍物相对于无人机的平均移动速度。
[0033]
进一步的，判断是否发生碰撞的过程如下：
[0034]
分别获取动态障碍物和无人机的运动轨迹；
[0035]
判断动态障碍物与无人机在同一时间点的相对距离是否小于限值n米，如果判断结果为是，则根据动态障碍物和无人机的运动速度和方位，预测其碰撞点；如果判断结果为否，则在x秒后再次判断是否发生碰撞。
[0036]
进一步的，如果判断结果为无人机和动态障碍物将会发生碰撞，则通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
[0037]
第二方面，本发明提供一种利用单目摄像头实现无人机动态避障装置，包括：
[0038]
毫米波雷达模块，用于无人机飞行前方是否有检测动态障碍物，并测量动态障碍物与无人机之间的距离；
[0039]
单目视觉模块，用于采集无人机飞行前方的视频；
[0040]
坐标信息获取模块，根据单目视觉模块采集的视频，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
[0041]
位置信息获取模块，根据动态障碍物在像素坐标系下的坐标信息和其相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
[0042]
无人机测速模块，测量无人机自身的速度；
[0043]
计算模块，利用动态障碍物相对于无人机位置信息随时间的变化规律，计算动态障碍物相对于无人机的速度；根据无人机自身的速度和动态障碍物相对于无人机的速度，计算动态障碍物自身的速度；
[0044]
运动轨迹获取模块，分别获取无人机的运动轨迹和动态障碍物的运动轨迹；
[0045]
判断模块，根据无人机的运动轨迹和动态障碍物的运动轨迹，判断二者是否会发生碰撞；
[0046]
局部路径调整模块，在判断模块判断无人机和动态障碍物将会发生碰撞时，通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
[0047]
进一步的，所述毫米波雷达模块包括4个毫米波雷达，水平布置在无人机的前后左右四个角点，用于发射毫米波，并接受无人机检测范围内的动态障碍物反射回来的动态障碍物毫米波，以此获取无人机360度方向上动态障碍物相对无人机的距离。
[0048]
进一步的，所述单目视觉模块包括4个广角摄像头，水平布置在无人机的前后左右四个角点，每个广角摄像头的视角为120度，以获得无人机360度方向上的图像。
[0049]
第三方面，本发明提供一种无人机，包括上述动态避障装置。
[0050]
本发明的利用单目摄像头实现无人机动态避障方法、装置及无人机，利用单目摄像头采集视频，同毫米波雷达结合，通过测得动态障碍物相对于无人机的移动速度和方位，再根据无人机自身的速度，求解动态障碍物轨迹预测，即可达到无人机在有鸟类、其他无人机等复杂环境中对动态障碍物自动规避，实现无人机飞行过程安全监控，降低硬件成本，提高无人机的飞行安全性。
附图说明
[0051]
图1为本发明的利用单目摄像头实现无人机动态避障方法的流程图；
[0052]
图2为本发明的动态障碍物相对于无人机位置信息计算坐标系的示意图；
[0053]
图3为本发明的利用单目摄像头实现无人机动态避障装置的框图。
具体实施方式
[0054]
下面结合附图对本公开实施例进行详细描述。
[0055]
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0056]
本发明的利用单目摄像头实现无人机动态避障方法，包括以下步骤：
[0057]
步骤s1、通过毫米波雷达模块检测到动态障碍物，并测量动态障碍物与无人机之间的距离。
[0058]
进一步的，在本技术的一种优选实施方式中，毫米波雷达模块包括4个毫米波雷达，水平布置在无人机的前后左右四个角点，用于发射毫米波，并接受无人机检测范围内的动态障碍物反射回来的动态障碍物毫米波，以此获取无人机360度方向上动态障碍物相对无人机的距离。
[0059]
步骤s2、由单目视觉模块采集视频，并通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息。
[0060]
进一步地，在本技术的一种优选实施方式中，单目视觉模块包括4个广角摄像头，水平布置在无人机的前后左右四个角点，每个广角摄像头的视角为120度，以获得无人机360度方向上的图像。
[0061]
进一步地，在本技术的一种优选实施方式中，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息包括：
[0062]
将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；
[0063]
对视频数据中的图像进行高斯滤波，改善明暗对比；
[0064]
运用canny边缘检测算法，获得图像中动态障碍物的边缘信息；
[0065]
采用k-means聚类算法对边缘信息做聚类识别，进而得到动态障碍物在像素坐标
系下的坐标信息。
[0066]
步骤s3、根据动态障碍物在像素坐标系下的坐标信息和相对于无人机的距离得到动态障碍物相对于无人机的位置信息。
[0067]
进一步地，在本技术的一种优选实施方式中，得到动态障碍物相对于无人机的位置信息包括：
[0068]
如图2所示，在成像坐标系o
w-xyz中，已知毫米波雷达的坐标为h(x0,y0,z0)，单目摄像头光心坐标为c(0，0，l0)，毫米波雷达与动态障碍物的距离为d，设动态障碍物点p的坐标为(x
p
，y
p
，z
p
)。在像素坐标系o-xy下，已知动态障碍物的像点p`的坐标为(u，v)，设一个像素点的尺寸为d0，则动态障碍物的像点p`在成像坐标系o
w-xyz中的坐标为(x`,y`,0)，其中ow是位于成像平面最中心的点，x`和y`的值为下式：
[0069][0070]
其中，m和n分别表示成像平面的高和宽。
[0071]
由δbcp～δowcp`以及空间上两点之间的距离公式得到下式(2)，即可求得动态障碍物点p在成像坐标系o
w-xyz中的坐标(x
p
,y
p
,z
p
)，即动态障碍物点p相对于无人机的位置信息。
[0072][0073]
步骤s4、利用动态障碍物相对于无人机位置信息随时间的变化规律，得到动态障碍物相对于无人机的速度。
[0074]
进一步地，在本技术的一种优选实施方式中，得到动态障碍物相对于无人机的速度包括：
[0075]
取t秒前动态障碍物相对于无人机的位置信息为坐标(x
t
,y
t
,z
t
)，当前时刻动态障碍物相对于无人机的位置信息为坐标(xd,yd,zd)。
[0076]
根据当前时刻和t时刻的动态障碍物相对于无人机位置信息，可得t秒内动态障碍物相对于无人机的平均移动速度的大小为：
[0077]
方向为
[0078]
取当前时刻动态障碍物相对于无人机的速度为当前时刻前t秒内动态障碍物相对于无人机的平均移动速度。
[0079]
步骤s5、根据无人机自身的速度和动态障碍物相对于无人机的速度，得出动态障碍物自身的速度。
[0080]
进一步的，在本技术的一种优选实施方式中，得出动态障碍物自身的速度包括：
[0081]
利用无人机测速模块获取无人机自身的速度。
[0082]
动态障碍物自身的速度为动态障碍物相对于无人机的速度和无人机自身速度的
矢量和。
[0083]
步骤s6、根据动态障碍物自身的速度和相对于无人机的位置信息，推算出动态障碍物的运动轨迹。
[0084]
动态障碍物的运动轨迹可以采用现有技术来实现，在此不赘述。
[0085]
步骤s7、将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞。
[0086]
进一步的，在本技术的一种优选实施方式中，判断是否发生碰撞的过程如下：
[0087]
获取动态障碍物和无人机的运动轨迹；
[0088]
判断动态障碍物与无人机在同一时间点的相对距离是否小于限值n米，如果判断结果为是，则根据动态障碍物和无人机的运动速度和方位，预测其碰撞点；如果判断结果为否，则在x秒后再次判断是否发生碰撞。
[0089]
步骤s8、根据是否发生碰撞的判断结果，选择是否调整飞行路径。
[0090]
进一步地，如果步骤s7的判断结果为是，通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
[0091]
一种利用单目摄像头实现无人机动态避障装置，包括：
[0092]
毫米波雷达模块，用于无人机飞行前方是否有检测动态障碍物，并测量动态障碍物与无人机之间的距离；
[0093]
单目视觉模块，用于采集无人机飞行前方的视频；
[0094]
坐标信息获取模块，根据单目视觉模块采集的视频，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
[0095]
位置信息获取模块，根据动态障碍物在像素坐标系下的坐标信息和其相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
[0096]
无人机测速模块，测量无人机自身的速度；
[0097]
计算模块，利用动态障碍物相对于无人机位置信息随时间的变化规律，计算动态障碍物相对于无人机的速度；根据无人机自身的速度和动态障碍物相对于无人机的速度，计算动态障碍物自身的速度；
[0098]
运动轨迹获取模块，分别获取无人机的运动轨迹和动态障碍物的运动轨迹；
[0099]
判断模块，根据无人机的运动轨迹和动态障碍物的运动轨迹，判断二者是否会发生碰撞；
[0100]
局部路径调整模块，在判断模块判断无人机和动态障碍物将会发生碰撞时，通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
[0101]
进一步的，毫米波雷达模块包括4个毫米波雷达，水平布置在无人机的前后左右四个角点，用于发射毫米波，并接受无人机检测范围内的动态障碍物反射回来的动态障碍物毫米波，以此获取无人机360度方向上动态障碍物相对无人机的距离。
[0102]
进一步的，单目视觉模块包括4个广角摄像头，水平布置在无人机的前后左右四个角点，每个广角摄像头的视角为120度，以获得无人机360度方向上的图像。
[0103]
另外，本技术还提供一种无人机，包括上述动态避障装置。
[0104]
以上仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进
等，均应包含在本发明的保护范围之内。