无人机的控制方法及控制系统与流程

1.本技术涉及无人机技术领域，尤其涉及一种无人机控制方法及控制系统。


背景技术：

2.无人机现已广泛运用于监控及航拍，操作者可通过远程显示终端（如电脑、手机或vr头盔等）来观看无人机上的摄像装置所拍摄到的图像或视频，以获得无人机视角的观看体验。
3.现有的无人机的监控或航拍方案大多是在无人机上搭载飞行方向的前方搭载一拍摄云台，然后将拍摄云台拍摄到视频发送至远程显示终端供无人机操作者观看，从而实现无人机飞行方向的视角飞行体验。
4.但上述无人机的控制方法存在以下缺陷：1、受拍摄云台的朝向及拍摄范围限制，只能观看到无人机前方一定视角范围内的图像或视频，例如，在无人机操作者需要对某个感兴趣的视频对象持续进行观察时候，如果该视频对象已不在拍摄云台的视角范围内，则需要操控无人机转向或掉头才能重新观察到该感兴趣的视频对象。
5.2、视频显示方向和无人机的飞行方向相关联，用户的观看视角方向与飞行方向一致，不能调整，用户体验感较差。
6.因此，有必要对现有的无人机控制方法进行改进。


技术实现要素：

7.本发明的目的在于提供一种无人机控制方法和控制系统，以解决背景技术中的至少一部分问题。
8.第一方面，本发明的一个优选实施例中提供了一种无人机的控制方法，包括：s1：获取无人机的位姿并进行位姿显示；s2：获取对应位姿的无人机周围的视频；s3：根据视角显示信息显示视频的对应视角；s4：根据接收到的飞控指令控制无人机运动并返回步骤s1，其中，所述视频包括球形全景视频、环形全景视频或广角视频。
9.在本实施例的一个具体方案中，所述步骤s1包括：s11：获取无人机在世界坐标系下的位姿；s12：构建显示界面坐标系；s13：将无人机在世界坐标系下的位姿转换至显示界面坐标系下的位姿并显示。
10.进一步地，所述步骤s3包括：s31：获取显示界面坐标系下的视角显示信息；s32：将显示界面坐标系下的视角显示信息转换为世界坐标系下的视角显示信息；s33：根据世界坐标系下的视角显示信息显示全景视频的对应视角。
11.具体地，上述的无人机的位姿包括无人机的飞行方向和/或坐标，以在显示界面显示无人机的航向或状态。
12.具体地，上述视角显示信息包括显示方向，或显示方向及视角大小。
13.进一步地，为使观看者在任意角度观看到平滑的视频，提升观看者的视觉体验，上
述全景视频为经过防抖技术处理后的视频。
14.第二方面，本发明提供了一种的控制系统，无人机、显示装置和遥控装置；其中，无人机包括飞控装置和摄像装置，飞控装置用于获取无人机的位姿信息，摄像装置用于获取无人机周围的视频；显示装置用于显示无人机的位姿并根据视角显示信息显示视频的对应视角；遥控装置用于发送飞控指令至飞控装置，其中，所述视频包括球形全景视频、环形全景视频或广角视频。
15.可选择地，摄像装置包括至少两个镜头，该至少两个镜头的相邻镜头的视场相互重叠以在无人机的周围形成360
°
全景视角。
16.可选择地，摄像装置为全景相机，通过安装在无人机的机身上以获得无人机周围的全景视频。
17.具体地，显示装置为vr眼镜，既可以显示无人机的位姿，还可以根据检测到的头部运动生成视角显示信息，并显示视频的对应视角。
18.具体地，遥控装置为体感遥控器，可以通过体感遥控器在三维空间的运动产生飞控指令，然后发送至飞控装置以控制无人机飞行。
19.与现有技术相比，本发明技术方案中的飞行控制由飞控指令确定，而视频的视角显示由视角显示信息确定，因此无人机的飞行控制和视角显示相对独立，使得当无人机改变飞行方向时不影响观看无人机周围视频的观看视角，提高了观看者的无人机视角的视频观看体验。
附图说明
20.图1是本发明实施例1中的无人机控制方法的流程图。
21.图2是图1中的步骤s1的流程图。
22.图3是图1中的步骤s3的流程图。
23.图4是在平面显示屏上显示全景视频的对应角度的示意图。
24.图5是无人机在沿观看者方向飞行时的显示界面的示意图。
25.图6是图5中的无人机向左飞行时的显示界面的示意图。
26.图7是本发明实施例2中的无人机控制系统的示意图。
具体实施方式
27.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
28.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
29.实施例1如图1所示，本实施例中的无人机的控制方法包括以下步骤。
30.s1：获取无人机的位姿并进行位姿显示。
31.在本实施例中，无人机的位姿包至少包括无人机的飞行方向，或者飞行方向及坐标，然后通过显示界面来显示位姿相关的信息，位姿显示的方式不限，如通过箭头、无人机的卡通图像或缩小图像在显示屏上表示无人机的飞行方向，通过数字或/或文字形式在显
示屏上显示坐标信息。其中，无人机的飞行方向可以由惯性传感单元（imu）来获取，无人机的坐标可通过无人机的导航系统（如gps）来获取。
32.在本实施例的一个具体方案中，如图2所示，步骤s1包括以下子步骤。
33.s11：获取无人机在世界坐标系下的位姿。
34.具体地，通过无人机上的惯性传感单元可以获得无人机在世界坐标系下的飞行方向，通过无人机的导航系统（如gps）可以获取无人机在世界坐标系下的坐标。
35.s12：构建显示界面坐标系。
36.构建以显示界面为参考的显示界面坐标系。例如，以无人机在世界坐标系的坐标为原点，以无人机实际的飞行方向为正前方构建显示界面坐标系。
37.s13：将无人机在世界坐标系下的位姿转换至显示界面坐标系下的位姿并显示。
38.首先通过计算世界坐标系和显示界面坐标系之间的转换矩阵，通过转换矩阵和无人机在世界坐标系下坐标计算显示界面坐标系下的坐标，再结合惯性传感单元（imu）获取的飞行方向，就可以在显示界面坐标系下显示无人机的位姿。
39.s2：获取对应位姿的无人机周围的视频。
40.本步骤中的视频包括球形全景视频、环形全景视频或广角视频。球形全景视频是以无人机为球心的形成立体球面视频；环形全景视频为球形全景视频的一部分，可以通过剪裁球形全景视频获得，例如，剪裁球形视频中间一圈即可形成环形全景视频；广角视频为广角镜头或鱼眼镜头拍摄的大于180
°
但小于360度的视频，广角视频也可以由多个镜头拍摄的视频拼接形成。
41.以球形全景视频为例，无人机的周围的球形全景视频的获取方式不限。例如，通过在无人机周围设置n个镜头(n》=2)组成，镜头可以分布在无人机的机身周围的任意位置；镜头的分布方式需满足使得n个镜头组成的视角范围可以包括无人机周围360
°
视角，即相邻镜头的视场相互重叠，以在无人机周围形成360
°
全景视角。
42.本实施例在获取球形全景视频后，还可通过全景防抖技术对球形全景视频进行处理，以得到平滑的视频，减少因无人机的抖动而导致视频上下或左右晃动，降低视频观看者的眩晕感。全景防抖技术可采用任一方式防抖技术，例如可采用三轴云台的物理防抖技术，也可以通过电子防抖或算法防抖等方式来实现，电子防抖或算法防抖的方式可以参考中国专利公开号为cn107040694a中的相关描述。
43.在本实施例的具体方案中，采用两个鱼眼镜头，在无人机的机身相对两侧分别安装了一个鱼眼镜头（单个鱼眼镜头的视角范围大于180
°
），两个鱼眼镜头的组合视角达到360
°
，两个鱼眼镜头的分布方式包括：背靠背的分布于机身的上下两侧、前后两侧以及左右两侧，或者在机身同一侧的上方或下方以背靠背的方式分布，然后将两个鱼眼镜头在同一时刻拍摄的视频帧合成球形全景视频帧，进而得到球形全景视频。球形全景视频的拼接为现有技术，具体可以参考中国专利公开号为cn106023070a中的相关描述。
44.在一些其他的可实现方案中，还可以通过安装在无人机上的全景相机来拍摄球形全景视频。
45.s3：根据视角显示信息显示视频的对应视角。
46.以球形全景视频为例，本实施例中的视角显示信息包括显示方向或显示方向及视角大小。其中，显示方向用于确定要展示的球形全景视频的方向，视角大小用于显示该方向
的球形全景视频的大小范围。
47.在本实施例的一个具体方案中，如图3所示，步骤s3包括以下子步骤。
48.s31：获取显示界面坐标系下的视角显示信息。
49.视角显示信息中的显示方向可以通过vr头盔检测头部运动产生，也可以通过触摸显示屏、移动鼠标等方式生成。例如，以通过vr头盔获取视角显示信息为例，vr头盔中的传感器检测头部运动，然后转化为显示界面坐标系下的视角显示信息的显示方向，视角显示信息中的视角大小为固定大小（如120度）或动态调整，例如，通过vr眼镜进行调节。
50.s32：将显示界面坐标系下的视角显示信息转换为世界坐标系下的视角显示信息。
51.根据世界坐标系和显示界面坐标系之间的转换矩阵，将显示界面坐标系下的视角显示信息转换为世界坐标系下的视角显示信息。
52.s33：根据世界坐标系下的视角显示信息显示视频的对应视角。
53.在确定视角显示信息后，即可在显示屏的显示界面上显示球形全景视频的对应部分。如图2所示，用平面显示器来显示球形全景视频为例，在获取视角显示信息后，需要显示球形全景视频中的球面中的曲面a’b’c’d’时，可以通过投影的方式将曲面a’b’c’d’投影为平面abcd图像，再在平面显示器上予以显示，即将球形全景视频的对应角度的画面显示在平面显示屏上。
54.s4：根据飞控指令控制无人机飞行并返回步骤s1。
55.无人机的飞控系统通过接收遥控装置（如体感遥控器）发出的飞控指令，控制无人机执行对应的飞行动作，此时，无人机的位姿已发生变化，此时返回步骤s1。
56.如图5所示，无人机在沿观看者方向飞行时，观看者看到的显示界面的示意图。图中的树木、河流及人物为全景视频中的对应角度的画面，右上角的三角形图标为无人机的飞行方向（当然，图中也可以增加无人机的实际坐标信息，如世界坐标系下的经纬度及高度等）。
57.如图6所示，为无人机接收到向左飞行的控制命令后，观看者看到的显示界面的示意图。因无人机向前飞行了一段距离，图6中的树木、河流及人物相对图5中变大了一些，基本保持平滑的变化，同时右上角的三角形图标方向发生了变化，可以提示观看者当前飞机的飞行方向。
58.通过上述描述可以知道，本实施例中的无人机的控制方法的特点在于：a、无人机的控制指令和无人机周围的视频的视角显示信息相互独立，即操作无人机飞行不会影响用户对无人机周围视频的观看；b.无人机的位姿信息实时更新，对应的无人机周围的视频也实时更新。
59.实施例2如图7所示，本实施例中揭示了一种无人机视角的控制系统，包括无人机、显示装置和控制装置。其中，无人机包括摄像装置和飞控装置。
60.摄像装置用于拍摄视频，包括摄像头和图像处理装置，摄像装置拍摄的视频包括球形全景视频、环形全景视频或广角视频，相关视频的定义可参考实施例1中的描述。以球形全景视频为例，本实施例中的摄像头包括两个鱼眼镜头，两个鱼眼镜头分别安装在无人机的机身的上下两面，每个鱼眼镜头突出于机身表面，两个鱼眼镜头的视场在机身周围形成一环形的重叠视场，从而形成360
°
全景视场，图像处理装置用于将拍摄装置的各镜头在
同一时刻拍摄的视频帧拼接成全景视频帧，进而得到球形全景视频，在本实施例中，图像处理装置包括图像信号处理器（image signal processor），还可用于自动曝光、自动增益控制、伽马校正、白平衡等图像处理。图像装置可以安装在无人机、遥控装置或显示装置上。
61.飞控装置用于控制无人机的运动，本实施例中的飞控装置包括障碍检测模块、飞行模块、全球定位系统（gps）、惯性传感单元（imu）和微处理器（mcu）。障碍检测模块用于探测无人机周围的障碍，包括但不限于视觉传感器、激光雷达、超声波等方式检测障碍；飞行模块用于使无人机在空中飞行，本实施例中为四个旋翼，每个旋翼包括电机和被电机驱动旋转的叶片；全球定位系统（gps）用于获取无人机的空间位置（即世界坐标系下的坐标位置），惯性传感单元（imu）用于获取无人机的朝向（即无人机的欧拉角），微处理器（mcu）用于根据接收到的遥控装置发送的控制指令，并根据该控制指令及接收到的障碍检测装置检测到的障碍信息控制无人机运动。此外，本领域一般技术人员可以得知本实施例中的无人机还包括用于将全景视频发送至显示装置的图传装置、用于接收及发送控制执行的无线传输装置（如rc控制器）等必要构成硬件。
62.显示装置用于根据视角显示信息显示球形全景视频的对应视角的画面以及无人机的位姿信息（如飞行方向或飞行方向及坐标）。具体地，视角显示信息可以在显示装置上根据用户的操作生成，例如当显示装置为电脑时，可以通过操作鼠标生成视角显示信息，当视觉显示装置为vr眼镜时，通过vr眼镜检测到的用户的头部运动来生成视角显示信息；视角显示信息也可以通过用户操作遥控装置来生成，例如，当遥控装置为摇杆时，通过检测摇杆的运动方向来生成视角显示信息。
63.遥控装置用于将用户的飞控指令发送至无人机的飞控装置，然后控制无人机执行该飞控指令。遥控装置包括但不限于鼠标、操作杆或体感遥控器；飞控指令包括但不限于飞行方向和飞行速度。
64.在本实施例中的无人机控制系统中的显示装置为可以检测头部运动的vr眼镜，遥控装置为可检测手部在三维空间运动的体感遥控器。
65.在其他可选择的方案中，遥控装置和显示装置还可以一体设计，例如将vr头盔设置飞控模式和观看模式两种模式，当处于飞控模式时，可以通过摆动头部控制无人机的飞行方向，当处于观看模式时，可以通过摆动头部生成视角显示信息并同步显示到vr头盔上。
66.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。