一种用于垂直起降飞行器的飞行控制系统

1.本发明涉及飞行控制领域，特别涉及一种用于垂直起降飞行器的飞行控制系统。


背景技术：

2.垂直起降飞行器，顾名思义，就是一种无需滑跑就可以原地起飞和降落的飞行器，在起落的时候，大量的节约了起降空间的使用，具有飞行灵活等特点。基于该特点，垂直起降飞行器在目前得到了广泛的应用。
3.目前，垂直起降飞行器在进行工作的时候，由于不会存在滑跑场地的问题，可以在任意的地点起飞和降落，而在起飞降落的时候，为了保证飞行器的顺利起飞和降落，操作员会对飞行器要起降的空间进行一定的了解之后，得到空间中的障碍物的大小以及障碍物的位置，在对飞行器进行操作，使得飞行器在起飞降落的时候不会与空间中障碍物发生相撞，从而使得保证飞行的安全。
4.为了解决上述的问题，目前通过在飞行器的底部和顶部设置摄像头，并将摄像头所拍摄的画面放映给操作员，从而方便操作员的操作，由操作员完成飞行器的起降控制工作。
5.但是由于空间中的情况是多种多样的，人工的操作具有一定的局限性，操作员只能根据视频所拍摄的内容进行障碍物的识别，而且不能得到障碍物的最大尺寸，因此，在进行操作的时候，只能根据自己的预估和以往的经验对飞行器的起降进行操作，尤其是对于突然闯入的障碍物，操作员很有可能由于来不及辨别而无法躲避，从而使得飞行器与障碍物发生相撞。


技术实现要素：

6.本发明的目的是克服上述现有技术中存在的问题，提供一种用于垂直起降飞行器的飞行控制系统，通过获取行进方向上的图像，获取前进方向上的障碍物并获取障碍物的最大尺寸，从而自动控制飞行器完成障碍物的躲避。
7.为此，本发明提供一种用于垂直起降飞行器的飞行控制系统，包括：
8.数据采集模块，根据飞行器的行进方向实时调取对应方向上的摄像头所拍摄的第一前方图像；
9.障碍物检测模块，用于提取出所述第一前方图像中的第一障碍物图像，并定位所述第一障碍物图像在所述第一前方图像中的位置和最大尺寸，并记录当前所述摄像头的焦距为第一焦距；
10.障碍物复检模块，当所述障碍物检测模块检测到障碍物的时候，控制飞行器保持当前位置，变换所述摄像头的焦距为第二焦距，拍摄得到第二前方图像，提取出所述第二前方图像中的第二障碍物图像，并定位所述第二障碍物图像在所述第二前方图像中的位置和最大尺寸；
11.障碍物识别模块，通过物品识别技术识别出所述第一前方图像中的障碍物的名
称，并根据所述障碍物的名称得到所述障碍物的一般尺寸；
12.距离测算模块，通过所述障碍物的一般尺寸、第一焦距、第二焦距、第一障碍物图像的最大尺寸以及第二障碍物图像的最大尺寸计算出飞行器与所述障碍物之间的距离；
13.飞行器控制模块，根据所述第一前方图像中的第一障碍物图像中的位置和所述摄像头的广角参数得到所述障碍物的方位，并根据所述飞行器与所述障碍物之间的距离和方位控制所述飞行器躲避障碍物。
14.进一步，所述距离测算模块中，所述障碍物的一般尺寸c、所述第一焦距f1、所述第二焦距f2、所述第一障碍物图像的最大尺寸c1以及所述第二障碍物图像的最大尺寸c2，通过
[0015][0016]
计算出飞行器与所述障碍物之间的距离s，其中为ρ系数，ρ为常数。
[0017]
更进一步，在计算所述距离s的时候，包括如下步骤：
[0018]
分别获取n组所述第一焦距f
1n
、第二焦距f
2n
、第一障碍物图像的最大尺寸c
1n
以及第二障碍物图像的最大尺寸c
2n
，其中n∈n，n和n均为正整数；
[0019]
分别计算每组的距离sn为
[0020][0021]
根据全部组的所述距离sn计算所述距离s为
[0022][0023]
输出所述距离s为飞行器与所述障碍物之间的距离。
[0024]
进一步，所述障碍物检测模块在定位所述第一障碍物图像在所述第一前方图像中的位置和最大尺寸的时候，包括如下步骤：
[0025]
将所述第一前方图像进行像素化处理，将每一个像素的颜色值根据像素的位置依次排列，得到像素数组w；
[0026]
将所述像素数组w表示为
[0027][0028]
其中，w
mn
为第m行第n列的像素的颜色值，m、n均为正整数；
[0029]
依次获取当前时间之前t个时间节点的像素数组w
t
，其中t∈t，t和t均为正整数；
[0030]
统计每一个所述像素数组w
t
中像素的颜色值在设定的范围的像素的个数x
t
，当x
t-k-x
t
》α的时候，认为所述颜色值在设定的范围的像素为背景像素，其中k和α均为正整数；
[0031]
设置所述第一前方图像中的背景像素的颜色值，使得所述背景像素的颜色值为与其他像素的颜色值成大于2的倍数关系，更新所述第一前方图像；
[0032]
根据更新后的所述第一前方图像中，具有颜色值的像素的位置坐标，得到所述第一障碍物图像的位置和最大尺寸。
[0033]
更进一步，所述障碍物检测模块在定位所述第一障碍物图像在所述第一前方图像中的位置时候，通过提取出所述第一障碍物图像所在像素点的坐标的中心坐标，输出中心
坐标为所述第一障碍物图像在所述第一前方图像中的位置。
[0034]
更进一步，所述飞行器控制模块根据所述第一前方图像中的第一障碍物图像中的位置和所述摄像头的广角参数得到所述障碍物的方位的时候，包括如下步骤：
[0035]
将所述中心坐标对称到所述数组w
‘
中，其中w
‘
表示为
[0036][0037]
根据中心位置(x,y)计算横向分量角度β和纵向分量角度γ，有
[0038][0039][0040]
其中，σ为广角参数为常数；
[0041]
输出所述方位为(β,γ)。
[0042]
更进一步，所述障碍物检测模块在定位所述第一障碍物图像在所述第一前方图像中的最大尺寸的时候，分别计算每两个所述第一障碍物图像的边缘像素点之间的距离，并输出最大的距离为所述最大尺寸。
[0043]
进一步，当飞行器的行进方向为下降的时候，根据所述第一前方图像中目标点的占空比得到其所在的高度，并在设定的高度通过旋转所述摄像头一周得到周围视频，并根据周围视频对目标点进行预测，根据预测的结果调整控制飞行器。
[0044]
更进一步，根据周围视频对目标点进行预测的时候，根据所述飞行器的行进速度预估落地的时间，得到该落地时间的图像，并根据该落地时间的图像调整控制飞行器。
[0045]
进一步，所述第一前方图像和所述第二前方图像分别裁剪为设定的尺寸。
[0046]
本发明提供的一种用于垂直起降飞行器的飞行控制系统，具有如下有益效果：
[0047]
本发明通过获取行进方向上的图像，获取前进方向上的障碍物并获取障碍物的最大尺寸，从而自动控制飞行器完成障碍物的躲避，由于本发明对于障碍物进行实时的检测和躲避，使得飞行器在进行起降的时候，降低操作员的操作难度，防止飞行器与障碍物发生相撞；
[0048]
本发明在进行降落的时候，通过判断视频画面的占空比判断其降落的程度，当即将到达地面的时候，通过摇摆摄像头一圈得到周围的视频数据，并根据得到的视频数据对飞行器即将落地的位置的障碍物进行预测，并根据预测的情况对飞行器进行调整；
[0049]
本发明将拍摄的视频帧的尺寸进行调整，从而使得每一个视频帧在进行处理的时候，不会由于大小的原因或者摄像头抖动的原因造成数据的误判。
附图说明
[0050]
图1为本发明的系统连接示意框图；
[0051]
图2为本发明在计算飞行器与所述障碍物之间的距离飞行器与所述障碍物之间的距离的方法流程示意框图；
[0052]
图3为本发明的障碍物检测模块在定位第一障碍物图像在第一前方图像中的位置
和最大尺寸的方法流程示意框图；
[0053]
图4为本发明的飞行器控制模块在得到所述障碍物的方位的的方法流程示意框图。
具体实施方式
[0054]
下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0055]
在本技术文件中，未经明确的部件型号以及结构，均为本领域技术人员所公知的现有技术，本领域技术人员均可根据实际情况的需要进行设定，在本技术文件的实施例中不做具体的限定。
[0056]
具体的，如图1-4所示，本发明实施例提供了一种用于垂直起降飞行器的飞行控制系统，包括：数据采集模块、障碍物检测模块、障碍物复检模块、障碍物识别模块、距离测算模块以及飞行器控制模块。下面是各个功能模块详细的介绍。
[0057]
数据采集模块，根据飞行器的行进方向实时调取对应方向上的摄像头所拍摄的第一前方图像；该模块是根据飞行器的前进方向，调取对应方向的摄像头所拍摄的图像作为第一前方图像，这个是用于和第二前方图像一并综合处理分析，得到障碍物的距离，并对障碍物进行躲避，其中第一前方图像和第二前方图像均是飞行器如果执行飞行所要到达的位置的图像。
[0058]
障碍物检测模块，用于提取出所述第一前方图像中的第一障碍物图像，并定位所述第一障碍物图像在所述第一前方图像中的位置和最大尺寸，并记录当前所述摄像头的焦距为第一焦距；该模块是将第一前方图像进行处理，提取出第一前方图像中的障碍物的第一障碍物图像，并同时提取出第一障碍物图像在所述第一前方图像中的位置和最大尺寸，这样就会障碍物有初步的认识，同时，将该摄像头中的焦距记录下来，并记录为第一焦距，以供后续的使用。
[0059]
障碍物复检模块，当所述障碍物检测模块检测到障碍物的时候，控制飞行器保持当前位置，变换所述摄像头的焦距为第二焦距，拍摄得到第二前方图像，提取出所述第二前方图像中的第二障碍物图像，并定位所述第二障碍物图像在所述第二前方图像中的位置和最大尺寸；该模块在进行拍摄的时候，控制飞行器暂停在当前位置，此时，调节摄像头的焦距到第二焦距，这样就可以得到第二前方图像，同时提取出第二前方图像中的第二障碍物图像，同时得到第二障碍物图像在所述第二前方图像中的位置和最大尺寸，以供后续进行使用。
[0060]
障碍物识别模块，通过物品识别技术识别出所述第一前方图像中的障碍物的名称，并根据所述障碍物的名称得到所述障碍物的一般尺寸；该模块是对障碍物进行识别，得到其对应的名称，这样就可以根据障碍物的名称，得到一般尺寸，这个一般尺寸和名称的对应通过数据库提供，数据库是研发人员根据实际的生产生活中的经验确定。
[0061]
距离测算模块，通过所述障碍物的一般尺寸、第一焦距、第二焦距、第一障碍物图像的最大尺寸以及第二障碍物图像的最大尺寸计算出飞行器与所述障碍物之间的距离；该模块是将上述的数据通过计算的方式的得到飞行器与障碍物之间的距离，从而对于飞行器与障碍物之间的相对位置进行预判，对于飞行器的控制进行初步的认知。
[0062]
飞行器控制模块，根据所述第一前方图像中的第一障碍物图像中的位置和所述摄像头的广角参数得到所述障碍物的方位，并根据所述飞行器与所述障碍物之间的距离和方位控制所述飞行器躲避障碍物。该模块是将得到障碍物的方位，同时结合障碍物的距离，对飞行器做出控制指令，使得飞行器在飞行的时候躲避障碍物。
[0063]
上述的技术方案中，通过在飞行器的飞行方向上进行图像视频的检测，通过视频处理的方式，得到对于障碍物的躲避方式。在本发明中，通过在检测到障碍物的时候，通过变换摄像头的焦距的方式，根据图像中的尺寸和实际的尺寸之间的关系，对飞行器和障碍物之间的距离进行计算，同时结合两个图像得到障碍物距离飞行器之间的角度，进而对飞行器和障碍物之间的相对位置关系作出判断，进而调整飞行器的飞行路径，使得飞行器在飞行的时候，自动的越过障碍物。
[0064]
由此，本发明通过获取行进方向上的图像，获取前进方向上的障碍物并获取障碍物的最大尺寸，从而自动控制飞行器完成障碍物的躲避，由于本发明对于障碍物进行实时的检测和躲避，使得飞行器在进行起降的时候，降低操作员的操作难度，防止飞行器与障碍物发生相撞。
[0065]
另外，对于本发明的技术方案的进一步的优化，在所述距离测算模块中，所述障碍物的一般尺寸c、所述第一焦距f1、所述第二焦距f2、所述第一障碍物图像的最大尺寸c1以及所述第二障碍物图像的最大尺寸c2，通过
[0066][0067]
计算出飞行器与所述障碍物之间的距离s，其中为ρ系数，ρ为常数。
[0068]
在本发明中，系数ρ是根据实际的场景进行设定的，在对计算的时候，系数ρ通过数据库的方式进行获取，数据库中具有场景的各个参数以及对应的系数ρ，通过飞行器在实际的飞行中所检测到的实际参数，在数据库中匹配对应的系数ρ，根据本发明的研发人员的研究和实验证实，系数ρ有关的参数有飞行器的飞行速度，飞行器周围的空气流速，环境中的参数，摄像头的参数，都会对系数ρ有一定的限定。
[0069]
在本发明中，巧妙的运用到焦距之后的成像的图像特点，将焦距与图像中的尺寸进行比例之间的对应关系，同时结合常数系数ρ，就可以根据物品的一般长度计算出飞行器与障碍物之间的距离。
[0070]
优选的，为了使得计算出的飞行器与障碍物之间的距离更加准确，排除掉干扰的数据，在计算所述距离s的时候，包括如下步骤：
[0071]
分别获取n组所述第一焦距f
1n
、第二焦距f
2n
、第一障碍物图像的最大尺寸c
1n
以及第二障碍物图像的最大尺寸c
2n
，其中n∈n，n和n均为正整数；
[0072]
分别计算每组的距离sn为
[0073][0074]
根据全部组的所述距离sn计算所述距离s为
[0075]
[0076]
输出所述距离s为飞行器与所述障碍物之间的距离。
[0077]
上述的技术方案通过获取多组第一前方图像和第二前方图像，并根据每一次得到的距离sn依次通过求和之后，计算平均值的当时，防止单一的异常数据对整体的结果造成影响。在实际中，会通过去除明显异常的数据之后，在将3-5组的数据进行处理之后得到。
[0078]
同时，在对图像处理得到其中所需要的数据的时候，即是所述障碍物检测模块在定位所述第一障碍物图像在所述第一前方图像中的位置和最大尺寸的时候，包括如下步骤：
[0079]
(一)将所述第一前方图像进行像素化处理，将每一个像素的颜色值根据像素的位置依次排列，得到像素数组w；
[0080]
(二)将所述像素数组w表示为
[0081][0082]
其中，w
mn
为第m行第n列的像素的颜色值，m、n均为正整数；
[0083]
(三)依次获取当前时间之前t个时间节点的像素数组w
t
，其中t∈t，t和t均为正整数；
[0084]
(四)统计每一个所述像素数组w
t
中像素的颜色值在设定的范围的像素的个数x
t
，当x
t-k-x
t
》α的时候，认为所述颜色值在设定的范围的像素为背景像素，其中k和α均为正整数；
[0085]
(五)设置所述第一前方图像中的背景像素的颜色值，使得所述背景像素的颜色值为与其他像素的颜色值成大于2的倍数关系，更新所述第一前方图像；
[0086]
(六)根据更新后的所述第一前方图像中，具有颜色值的像素的位置坐标，得到所述第一障碍物图像的位置和最大尺寸。
[0087]
上述的技术方案中，是将前方图像中的障碍物提取出来，障碍物之外的图像认为是背景图像，从而在得到尺寸的时候，就可以直接通过像素点的位置获取。在获取的过程中，通过颜色值的像素数组w的方式，在获取背景像素的时候，通过获取以往的动态的图像获取背景的颜色值，即是当颜色值变动不大的时候，认为该像素为背景像素的颜色值，因为在飞行器直线飞行的时候，随着飞行器的行进，背景像素的颜色值不变，但是其所覆盖的范围会有一定的变化，因此，判断x
t-k-x
t
》α的结果，得到实际的背景像素的颜色值，在根据背景颜色值对前方图像处理，提取出障碍物图像，进而通过常规的手段，即是通过像素点的坐标进行运算，得到障碍物图像的位置和最大尺寸。
[0088]
在本发明中，为了使得程序节约，第二前方图像的处理与第一前方图像的处理过程是一样的，从而得到后续计算所需要的数据。
[0089]
同时，本发明对于障碍物图像的位置判断，也是通过坐标的方式得到，所述障碍物检测模块在定位所述第一障碍物图像在所述第一前方图像中的位置时候，通过提取出所述第一障碍物图像所在像素点的坐标的中心坐标，输出中心坐标为所述第一障碍物图像在所述第一前方图像中的位置。
[0090]
在得到精确的方位的时候，本发明中所述飞行器控制模块根据所述第一前方图像中的第一障碍物图像中的位置和所述摄像头的广角参数得到所述障碍物的方位的时候，包括如下步骤：
[0091]
将所述中心坐标对称到所述数组w
‘
中，其中w
‘
表示为
[0092][0093]
根据中心位置(x,y)计算横向分量角度β和纵向分量角度γ，有
[0094][0095][0096]
其中，σ为广角参数为常数；
[0097]
输出所述方位为(β,γ)。
[0098]
上述通过二维方位角的方式，表示出障碍物的立体方位，将这样就可以横纵两个方向，将三维的空间位置确定，从而得到障碍物和飞行器之间的位置角度关系，同时结合障碍物和飞行器之间的距离，就可以通过建模或者其他的形式，得到障碍物与飞行器之间的相对位置。
[0099]
优选的，本发明在得到障碍物的尺寸的时候，即是所述障碍物检测模块在定位所述第一障碍物图像在所述第一前方图像中的最大尺寸的时候，分别计算每两个所述第一障碍物图像的边缘像素点之间的距离，并输出最大的距离为所述最大尺寸。对于数据库中的一般距离，也是得到的是名称对应的图像中的最大尺寸，这样就可以使得所计算出来的距离更加的准确。
[0100]
在本发明的实施例中，当飞行器的行进方向为下降的时候，根据所述第一前方图像中目标点的占空比得到其所在的高度，并在设定的高度通过旋转所述摄像头一周得到周围视频，并根据周围视频对目标点进行预测，根据预测的结果调整控制飞行器。
[0101]
本发明在进行降落的时候，通过判断视频画面的占空比判断其降落的程度，当即将到达地面的时候，通过摇摆摄像头一圈得到周围的视频数据，并根据得到的视频数据对飞行器即将落地的位置的障碍物进行预测，并根据预测的情况对飞行器进行调整，从而使得在飞行器落地的时候，防止地面上的移动物体突然出现在飞行器的下方，对飞行器落地的时候进行干扰。
[0102]
因此，作为本发明上述技术方案的优选，在根据周围视频对目标点进行预测的时候，根据所述飞行器的行进速度预估落地的时间，得到该落地时间的图像，并根据该落地时间的图像调整控制飞行器。使得在没有地面上确保安全的时候，才能够对飞行器完成降落，这样是为了方式地面的不平整而造成的飞行器的侧翻的情况发生。
[0103]
在本发明的实施例中，所述第一前方图像和所述第二前方图像分别裁剪为设定的尺寸。将拍摄的视频帧的尺寸进行调整，从而使得每一个视频帧在进行处理的时候，不会由于大小的原因或者摄像头抖动的原因造成数据的误判。
[0104]
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。