无人飞行器拍摄系统及其拍摄方法
【专利摘要】一种无人飞行器拍摄系统及其拍摄方法,无人飞行器拍摄系统包括无人飞行器本体和控制终端,所述无人飞行器本体和控制终端之间经由无线通信设备连接,所述无人飞行器本体设有用于拍摄图像的拍摄设备、用于测量无人飞行器本体姿态的第一测量模块和第一处理器,所述控制终端设有用于测量控制终端姿态的第二测量模块和第二处理器,所述第一处理器基于所述第一测量模块计算所述无人飞行器本体第一姿态数据,所述第二处理器基于所述第二测量模块计算所述控制终端第二姿态数据,所述第二处理器发送基于第二姿态数据的拍摄目标到所述第一处理器,所述第一处理器生成基于第一姿态数据的拍摄控制指令并发送所述无人飞行器本体。
【专利说明】
无人飞行器拍摄系统及其拍摄方法
技术领域
[0001]本发明属于无人飞行器航拍领域,特别是涉及一种无人飞行器拍摄系统及其拍摄方法。
【背景技术】
[0002]随着无人飞行器逐步进入消费级市场,尤其是多旋翼飞行器,典型地,如四轴多旋翼飞行器,已经成为实施航拍的首选设备。随着应用市场的进一步细分,无人飞行器航拍领域,正从专业消费级无人飞行器中分离出日常消费级无人飞行器,出现了小型化、便携化、操作简单化的自拍无人飞行器。与传统的航拍无人飞行器采用的“机身+云台相机”结构不同,自拍无人飞行器通过“飞行系统+控制终端(手机)”的模式取代云台相机,无人飞行器自带拍摄镜头,无人飞行器受远端智能手机程序控制,进行短距离飞行和拍摄。
[0003]无人飞行器在起飞、飞行、拍摄和降落过程中受控制器或手机控制。飞行拍摄过程中无人飞行器可实现人脸识别、目标跟踪拍摄等等功能;在飞行器起飞过程中,一般可采用一键起飞、抛飞或语音起飞等方法。但是在起飞后,拍摄目标锁定;切换拍摄角度、切换拍摄方向、切换拍摄目标等过程中,控制器或手机需要手动调整无人飞行器姿态和方向控制拍摄。往往出现抛飞之后,无人飞行器镜头偏离拍摄目标,无法一次准确定位拍摄方向等问题。而起飞之后的无人飞行器控制拍摄,并不是普通玩家可以短时间掌握的技术。原因是,无人飞行器的飞行操控还是属于比较复杂的,对于一个在空间上移动的载体,无人飞行器的操控要通过上下左右前后甚至Z轴旋转等多个通道的指令来控制,同时还需要考虑拍摄俯仰角、方向角、高度等因素,想要得到理想的拍摄效果,确实不易。
[0004]专利文献CN105554480 A公开了一种无人飞行器拍摄图像的控制方法,所述无人飞行器通过摄像设备拍摄的跟踪图像中包括目标物对应的目标图像,所述方法包括:无人飞行器接收用户设备发送的调节参数,所述调节参数用于指示所述目标图像在所述跟踪图像中的位置发生变化;所述无人飞行器根据所述调节参数,对所述摄像设备和目标物之间的空间位置进行调节,以使所述无人飞行器在跟踪所述目标物时,所述目标图像在所述跟踪图像中的位置为对所述目标图像进行调整后的位置。该专利无人飞行器在跟踪目标物时,目标图像在跟踪图像中的位置为对目标图像进行调整后的位置,在该过程中,用户可以动态调整目标图像在跟踪图像上的位置,提高了显示无人飞行器拍摄图像的灵活性,进而提高用户体验。但该专利无法让用户以简单的方式控制无人飞行器以适当的拍摄方位实现理想的拍摄效果,无法克服控制终端的姿态变化和无人飞行器的姿态变化给拍摄带来的拍摄方位确定问题,因此,无法使得控制终端或智能手机以较为简单的方法准确控制无人飞行器起飞后拍摄方向锁定、拍摄角度锁定、拍摄方向切换等操作,达到拍摄操作简单、拍摄效果较好的目的。
[0005]专利文献CN105469579 A公开的一种体感遥控器包括:姿势传感器、控制器和第一无线数传模块,以及遥控器本体;所述姿势传感器、所述第一无线数传模块和所述控制器均设置在所述遥控器本体上,所述姿势传感器和所述第一无线数传模块均与所述控制器电连接;所述姿势传感器用于获取所述遥控器本体的当前位置的初始状态信息,以及所述遥控器本体移动的移动信息,并传递给所述控制器;所述控制器用于根据所述初始状态信息和移动信息,得到飞行指令,并通过所述第一无线数传模块将飞行指令发出。该专利使得操作者不需要再找体感遥控器的中心位了,降低对操控者的技术水平的要求,便于操控者操控。但该专利不能将控制终端的坐标下的姿态数据和无人飞行器的坐标下的姿态数据进行处理,无法让用户以简单的方式控制无人飞行器以适当的拍摄方位实现理想的拍摄效果,无法克服控制终端的姿态变化和无人飞行器的姿态变化给拍摄带来的拍摄方位确定问题,因此,无法使得控制终端或智能手机以较为简单的方法准确控制无人飞行器起飞后拍摄方向锁定、拍摄角度锁定、拍摄方向切换等操作,达到拍摄操作简单、拍摄效果较好的目的。
[0006]因此,本领域急需要解决的技术问题在于,控制终端或智能手机以较为简单的方法准确控制无人飞行器起飞后拍摄方向锁定、拍摄角度锁定、拍摄方向切换等操作,达到拍摄操作简单、拍摄效果较好的目的。
[0007]在【背景技术】部分中公开的上述信息仅仅用于增强对本发明背景的理解,因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
【发明内容】
[0008]本发明的目的是通过以下技术方案予以实现。
[0009]根据本发明的一方面,一种无人飞行器拍摄系统包括无人飞行器本体和控制终端,所述无人飞行器本体和控制终端之间经由无线通信设备连接,所述无人飞行器本体设有用于拍摄图像的拍摄设备、用于测量无人飞行器本体姿态的第一测量模块和第一处理器,所述控制终端设有用于测量控制终端姿态的第二测量模块和第二处理器,所述第一处理器基于所述第一测量模块计算所述无人飞行器本体第一姿态数据,所述第二处理器基于所述第二测量模块计算所述控制终端第二姿态数据,所述第二处理器发送基于第二姿态数据的拍摄目标到所述第一处理器,所述第一处理器生成基于第一姿态数据的拍摄控制指令并发送所述无人飞行器本体。
[0010]优选地,所述第一测量模块和/或第二测量模块包括陀螺仪、加速度计、磁传感器、定位单元和高度计中的一个或多个,所述第一姿态数据和/或第二姿态数据包括偏航角、俯仰角、横滚角、位置参数和高度参数中的一个或多个。
[0011]优选地,所述陀螺仪为MEMS陀螺仪、所述加速度计为MEMS加速度计、所述定位单元为GPS单元或所述高度计为气压高度计。
[0012]优选地,所述无人飞行器本体设有飞控台,所述用户终端为智能手机,所述第一处理器和/或所述第二处理器分别包括CPU、RAM和内存,所述第一处理器和/或所述第二处理器实时更新第一姿态数据和第二姿态数据。
[0013]优选地,所述第一测量模块和/或第二测量模块设有传感器校准装置。
[0014]优选地,所述第一处理器设有基于所述第一测量模块计算所述无人飞行器本体欧拉角的第一姿态解算模块和第一媒体流处理模块,和/或第二处理器设有基于所述第二测量模块计算所述控制终端欧拉角的第二姿态解算模块和第二媒体流处理模块。
[0015]优选地,所述第一处理器设有人脸识别模块、目标跟踪模块、景框生成模块或延迟拍摄t吴块。
[0016]优选地,所述第二处理器发送基于第二姿态数据的拍摄目标到所述第一处理器,所述拍摄目标包括自拍、跟拍、俯拍、仰拍或旋转拍摄。
[0017]当拍摄目标为自拍时,所述拍摄控制指令中的偏航角等于第二姿态数据中的偏航角加上大致180度。
[0018]当拍摄目标为跟拍时,所述拍摄控制指令中的位置参数等于第二姿态数据中的位置参数加上恒定距离参数。当拍摄目标为俯拍或仰拍时,所述拍摄控制指令中的高度值根据第二姿态数据中的高度值而生成。
[0019]优选地,当自拍时,所述第一处理器生成的航向角经由所述无线通信设备发送到所述第二处理器,所述第二处理器)基于所述航向角增加大致180度以生成拍摄控制指令并发送所述无人飞行器本体;当跟拍时,所述第一处理器生成的位置参数经由所述无线通信设备发送到所述第二处理器,所述第二处理器基于所述位置参数增加恒定距离以生成拍摄控制指令并发送所述无人飞行器本体;当俯拍或仰拍时,所述第一处理器生成的高度值经由所述无线通信设备发送到所述第二处理器,所述第二处理器基于所述高度值变化以生成拍摄控制指令并发送所述无人飞行器本体;当旋转拍时,所述第一处理器生成的航向角和俯仰角经由所述无线通信设备发送到所述第二处理器,所述第二处理器基于所述航向角和俯仰角线性变化以生成拍摄控制指令并发送所述无人飞行器本体。
[0020]优选地,当拍摄目标为俯拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值加上无人飞行器本体与控制终端之间的距离乘以tan(X)。
[0021]当拍摄目标为仰拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值减去无人飞行器本体与控制终端之间的距离乘以tan(X)。
[0022]当拍摄目标为旋转拍摄时,所述拍摄控制指令中的航向角等于第二姿态数据中的航向角加上时间乘以常数,俯仰角等于第二姿态数据中的俯仰角加上时间乘以常数。
[0023]根据本发明的另一方面,一种使用所述的无人飞行器拍摄系统的拍摄方法包括以下步骤。
[0024]第一步骤中,所述第一测量模块测量所述无人飞行器本体的姿态,所述第二测量模块测量所述控制终端的姿态。
[0025]第二步骤中,所述第一处理器基于所述第一测量模块计算所述无人飞行器本体的第一姿态数据,所述第二处理器基于所述第二测量模块计算所述控制终端的第二姿态数据。
[0026]第三步骤中,所述第二处理器发送基于第二姿态数据的拍摄目标到所述第一处理器,所述第一处理器生成基于第一姿态数据的拍摄控制指令并发送无人飞行器本体。
[0027]优选地,在第三步骤中,所述第二处理器发送基于第二姿态数据的拍摄目标到所述第一处理器,所述拍摄目标包括自拍、跟拍、俯拍、仰拍或旋转拍摄,当拍摄目标为自拍时,所述拍摄控制指令中的偏航角等于第二姿态数据中的偏航角加上大致180度,当拍摄目标为跟拍时,所述拍摄控制指令中的位置参数等于第二姿态数据中的位置参数加上恒定距离参数,当拍摄目标为俯拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值加上无人飞行器与控制终端之间的距离乘以tan(X),当拍摄目标为仰拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值减去无人飞行器与控制终端之间的距离乘以tan(X),当拍摄目标为旋转拍摄时,所述拍摄控制指令中的航向角等于第二姿态数据中的航向角加上时间乘以常数,俯仰角等于第二姿态数据中的俯仰角加上时间乘以常数,所述拍摄控制指令并发送所述无人飞行器本体,所述拍摄设备拍摄图像。
[0028]上述说明仅是本发明技术方案的概述,为了能够使得本发明的技术手段更加清楚明白,达到本领域技术人员可依照说明书的内容予以实施的程度,并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂,下面以本发明的【具体实施方式】进行举例说明。
【附图说明】
[0029]通过阅读下文优选的【具体实施方式】中的详细描述,本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。显而易见地,下面描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。而且在整个附图中,用相同的附图标记表示相同的部件。
[0030]在附图中:
[0031]图1是根据本发明一个实施例的无人飞行器拍摄系统的结构示意图;
[0032]图2是根据本发明一个实施例的无人飞行器拍摄系统的地球坐标系的示意图;
[0033]图3是根据本发明一个实施例的无人飞行器拍摄系统的机体坐标系相对于地球坐标系变化的不意图;
[0034]图4是根据本发明一个实施例的无人飞行器拍摄系统的控制终端的机体坐标系的示意图;
[0035]图5是根据本发明一个实施例的无人飞行器拍摄系统的无人飞行器本体的机体坐标系的不意图;
[0036]图6是根据本发明另一个实施例的无人飞行器拍摄系统的结构示意图;
[0037]图7是根据本发明一个实施例的无人飞行器的拍摄方法的步骤示意图;
[0038]图8是根据本发明一个实施例的无人飞行器的控制终端的工作流程示意图;
[0039]图9是根据本发明一个实施例的无人飞行器的无人飞行器的工作流程示意图。
[0040]以下结合附图和实施例对本发明作进一步的解释。
【具体实施方式】
[0041]下面将参照附图更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
[0042]需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
[0043]为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个附图并不构成对本发明实施例的限定。
[0044]图1为本发明的一个实施例的无人飞行器拍摄系统的结构示意图,本发明实施例将结合图1进行具体说明。
[0045]如图1所示,本发明的一个实施例提供了一种无人飞行器拍摄系统,无人飞行器拍摄系统包括无人飞行器本体I和控制终端2,所述无人飞行器本体I和控制终端2之间经由无线通信设备连接,所述无人飞行器本体I设有用于拍摄图像的拍摄设备4、用于测量无人飞行器本体I姿态的第一测量模块5和第一处理器3,所述控制终端2设有用于测量控制终端2姿态的第二测量模块7和第二处理器6,所述第一处理器3基于所述第一测量模块5计算所述无人飞行器本体I在地球坐标系下的第一姿态数据,所述第二处理器6基于所述第二测量模块7计算所述控制终端2在地球坐标系下的第二姿态数据,所述第二处理器6发送基于第二姿态数据的拍摄目标到所述第一处理器3,所述第一处理器3生成基于第一姿态数据的拍摄控制指令并发送所述无人飞行器本体I。
[0046]实施例中,无人飞行器本体I是无人飞行器的本体部分,无人飞行器简称“无人机”,英文缩写为“UAV”(unmanned aerial vehicle),是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。从技术角度定义可以分为:无人直升机、无人固定翼机、无人多旋翼飞行器、无人飞艇、无人伞翼机等。
[0047]本发明实施例中优选的无人飞行器为多旋翼无人飞行器,多旋翼无人飞行器可以是四旋翼、六旋翼及旋翼数量大于六的无人飞行器。
[0048]本发明技术方案采用的无人飞行器主要是指小、微型多旋翼无人飞行器,这种无人飞行器体积小、成本低、飞行稳定性较好,飞行成本低等。本发明使用的飞行器,典型的以四轴多旋翼飞行器为代表。因此,在一个实施例中,无人飞行器本体I可以例如是多旋翼无人飞行器本体。
[0049]本发明实施例优选的是,所述第一测量模块5和/或第二测量模块7包括陀螺仪、加速度计、磁传感器、定位单元和高度计中的一个或多个,所述第一姿态数据和/或第二姿态数据包括偏航角、俯仰角、横滚角、位置参数和高度参数中的一个或多个。
[0050]在一个实施例中,所述陀螺仪为MEMS陀螺仪、所述加速度计为MEMS加速度计、所述定位单元为GPS单元或所述高度计为气压高度计,其中,可以使用MEMS(Micro ElectroMechanical System)微机电系统陀螺仪传感器跟踪并捕捉无人飞行器在三维空间中的运动。该陀螺仪由一块封装而成的芯片组成,当驱动信号加载于驱动电容片时,金属片将产生振动当无人飞行器发生偏转、倾斜时,由于科里奥利力(Cor1lisforce)的作用,金属片在X、Y、Z轴产生偏移,专用电路能感知这些微小的转动角速度,并将其转换成数字信号,以完成对转动、偏转等动作的测量,此类陀螺仪被称为三轴陀螺仪传感器。无人飞行器本体I采用MEMS陀螺仪测量无人飞行器本体I飞行过程中的航向角、俯仰角和横滚角,且配合MEMS加速度计以达到更精确的捕捉无人飞行器本体I姿态的目的。MEMS陀螺仪和加速度计集成在一起称为六轴组合传感器。而更进一步地,无人飞行器本体I配置陀螺仪+加速度计+磁传感器作为九轴组合传感器。此类陀螺仪组合均是为了更加准确获取无人飞行器本体I姿态,以及向无人飞行器发送精确的拍摄控制指令,此外,无人飞行器本体I还可以集成有气压高度计来确定无人飞行器本体I飞行过程中所在的海拔高度。GPS传感器确定无人飞行器本体I所在的地理位置经玮度。也就是说通过陀螺仪传感器,能够获得无人飞行器在三维空间中的姿态信息;通过气压高度计获得无人飞行器本体I所处海拔高度;通过GPS单元获得无人飞行器本体I所在地理方位,这些获得的信息均属于无人飞行器本体I的第一姿态数据。另一方面,无人飞行器的控制终端2同样可以配置MEMS陀螺仪、MEMS加速度计、气压高度计、GPS等智能传感器以获得第二姿态数据。
[0051]为了进一步说明姿态的含义,以四轴飞行器为例,解释一下无人飞行器本体I和控制终端2的姿态含义。姿态是用来描述一个刚体的固连坐标系和参考坐标系之间的角位置关系,有一些数学表示方法,很常见的表示方法为:欧拉角或四元数。如图2所示的地球坐标系,其又叫做地理坐标系,是固定不变的。正北,正东,正向上构成了这个坐标系的X,Y,Z轴,用坐标系R表示。第一测量模块5测量无人飞行器本体I姿态,第二测量模块7测量控制终端的2姿态,四轴飞行器或控制终端2上固定着一个坐标系,一般称之为机体坐标系,用坐标系r表示。机体坐标系r为固定在飞行器或手机上的坐标系,一般沿机身方向为X轴,沿机翼方向为Y轴,垂直机身方向为Z轴。俯仰,将物体绕Y轴旋转,表现出来的动作就是机头向上仰或者向下俯冲。航向,将物体绕Z轴旋转,表现出来的动作就是飞行器在绕中心旋转,航向改变。横滚,将物体绕X轴旋转,表现出来的动作就是飞行器两边晃动。因此,可以用欧拉角,四元数等来描述r和R的角位置关系。
[0052]下面我们通过图3来看看欧拉角是如何产生的,并且分别对应哪个角度。如上所说,地球坐标系R是固定的,四轴飞行器或控制终端2上固定一个坐标系r,坐标系r在坐标系R中运动。传感器测量的数据,就是反映坐标系r和坐标系R的角位置关系,也就是飞行器相对于地球这个固定坐标系R转动了一下航向,或者侧翻了一下机身,或者抬高下降机头;传感器包括陀螺仪,加速度计,磁力计。在图3中,当四轴飞行器或控制终端2绕其z轴旋转,可得到四轴飞行器或控制终端2相对于地球坐标系的α角,当四轴飞行器或控制终端2再绕其X轴旋转,可得到四轴飞行器或控制终端2相对于地球坐标系的β角,当四轴飞行器或控制终端2继续绕其y轴旋转,可得到四轴飞行器或控制终端2相对于地球坐标系的γ角。
[0053]如图4和5所示,所述第一处理器3基于所述第一测量模块5计算所述无人飞行器本体I在地球坐标系下的第一姿态数据,例如,无人飞行器本体I和地球的欧拉角,所述第二处理器6基于所述第二测量模块7计算所述控制终端2在地球坐标系下的第二姿态数据,例如,控制终端2和地球的欧拉角。
[0054]本发明实施例优选的是,所述无人飞行器本体I设有飞控台,在一个实施例中,控制终端2可以是无人飞行器的无线电遥控设备,例如,控制终端2可包括无人飞行器飞行控制台用于控制无人飞行器本体I的飞行。进一步地,控制终端2也可以是用户移动设备,诸如手机、pad等个人移动终端,又如在一个实施例中,所述用户终端2为智能手机,所述第一处理器3和/或所述第二处理器6分别包括CPU、RAM和内存,所述第一处理器3和/或所述第二处理器6实时更新第一姿态数据和第二姿态数据。在本发明实施例中优选地,所述第一处理器3和/或所述第二处理器6可编译、组织或分析内存中的数据以执行对数据的计算分析。所述第一处理器3和/或所述第二处理器6可以包括通用处理器、数字信号处理器、专用集成电路ASIC,现场可编程门阵列FPGA、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。
[0055]在一个实施例中,所述第一处理器3和/或所述第二处理器6可包括存储器,存储器可以是易失性存储器或非易失性存储器。存储器可以包括一个或多个只读存储器R0M、随机存取存储器RAM、快闪存储器、电子可擦除可编程只读存储器EEPROM或其它类型的存储器。
[0056]在本拍摄系统中,所述第二处理器6发送基于第二姿态数据的拍摄目标到所述第一处理器3,所述第一处理器3生成基于第一姿态数据的拍摄控制指令并发送所述无人飞行器本体I。
[0057]本发明施例中优选地是,所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。无线局域网通信设备可以是蓝牙、ZigBee或W1-Fi器中的一个,无线局域设备可通过2.4GHz通信频率建立短距离通信,在室内或低速移动的室外环境会优选该设备建立控制终端2和无人飞行器本体I之间的通信连接。平流层通信设备一般用充氦飞艇、气球作为安置转发站的平台,平台高度距地面17km?22km,无人飞行器在大范围野外飞行时,可以优选平流层通信建立控制终端2和无人飞行器本体I之间的通信连接。卫星通信设备利用卫星通信信道建立控制终端2和无人飞行器本体I之间的通信连接,一般是在无其他可用无线通信网络的情况下,会使用卫星通信器,作为应急通信。在一个实施例中,依据无线网络成本或无线网络接入速度,选择无线传输网络,本发明设计以下为优先级方案,W1-Fi网络:优先级为O;平流层通信网络:优先级为I;卫星通信网络:优先级为2;优先级别0-2,所选择无线网络优先级由高到低,即如果同时存在多种无线信号,且信号强度有效时,控制终端2和无人飞行器本体I之间的无线通信会首先选择W1-Fi网络作为无线接入网络,依次类推。优选地,无线通信设备对2G、3G和4G移动网路通信设定优先级,其中,4G优先级大于3G,3G的优先级大于2G。
[0058]图6为本发明的另一个实施例的无人飞行器拍摄系统的结构示意图,本发明实施例将结合图6进行具体说明。
[0059]如图6所示,本发明的一个实施例提供了一种无人飞行器拍摄系统,无人飞行器拍摄系统包括无人飞行器本体I和控制终端2,所述无人飞行器本体I和控制终端2之间经由无线通信设备连接,所述无人飞行器本体I设有用于拍摄图像的拍摄设备4、用于测量无人飞行器本体I姿态的第一测量模块5和第一处理器3,所述控制终端2设有用于测量控制终端2姿态的第二测量模块7和第二处理器6,所述第一测量模块5和/或第二测量模块7设有传感器校准装置8,所述第一处理器3设有基于所述第一测量模块5计算所述无人飞行器本体I欧拉角的第一姿态解算模块9和第一媒体流处理模块10,和/或第二处理器6设有基于所述第二测量模块7计算所述控制终端2欧拉角的第二姿态解算模块11和第二媒体流处理模块12,所述第一处理器3基于所述第一测量模块5计算所述无人飞行器本体I的第一姿态数据,所述第二处理器6基于所述第二测量模块7计算所述控制终端2的第二姿态数据,所述第二处理器6发送基于第二姿态数据的拍摄目标到所述第一处理器3,所述第一处理器3生成基于第一姿态数据的拍摄控制指令并发送所述无人飞行器本体I。
[0060]本发明实施例中优选的是,第一姿态解算模块9采集并计算无人飞行器本体I的第一测量模块5中的各种传感器数据和GPS数据,例如,第一姿态解算模块9采集陀螺仪和加速度计的AD值,即3个维度的陀螺仪值和3个维度的加速度值,每个值为16位精度值通过第一姿态解算模块9计算得到无人飞行器本体I当前的姿态并使用四元数表示,然后将四元数转化为欧拉角,用于表示无人飞行器本体I的飞行姿态,并通过无线通信设备向如智能手机的控制终端实时传送。其中,GPS模块:通过高灵敏度GPS接收器,在捕获到有效的卫星信号时,该模块用于确定无人飞行器本体I当前的经玮度位置。MEMS陀螺仪:通过传感器,实时收集飞行器姿态信息。MEMS陀螺仪传感器测量值的实质为无人飞行器本体I围绕三维方向x、y和z轴的转动角速度,当无人飞行器姿态发生变化时就会产生相应的传感器数据,因此在设计上以毫秒为周期设定触发机制,定期监听传感器数据,并辅以MEMS三轴加速度计数据,可以得到准确的无人飞行器欧拉角数据,MEMS加速度计:通过传感器实时收集无人飞行器本体I在三维方向的x、y和z轴上速度的变换。由于MEMS加速度计设有积分误差,所以在相对静止的条件下可以校正MEMS陀螺仪的误差。气压高度计通过传感器实时收集无人飞行器本体I垂直于地面方向的海拔高度数据。
[0061]第一处理器3接收如智能手机的控制终端2发送的如拍摄目标的控制指令,实时读取飞行器本体I的第一姿态解算模块9的各类传感器数据和GPS数据,生成拍摄控制指令,控制无人飞行器本体I完成飞行动作使得拍摄设备4完成拍摄。作为无人飞行器的核心处理模块的第一处理器3可包括CPU,RAM内存,操作系统和应用单元。该第一处理器3负责多任务调度,包括访问测量模块5、访问无线通信设备和无人飞行器传感器数据处理等等。第一媒体流处理模块10将视频或图片进行高效率压缩编码处理,使得图像或视频内容便于实时在各类无线通信网络中传输,回传至如智能手机的控制终端2。如机载相机的拍摄设备4负责采集高清视频和静态图片信息。无线通信设备主要负责通过各类无线通信网络建立与智能手机之间的通信路由,接收和发送的无人飞行器飞行控制信号和各类应用层指令消息;同时将无人飞行器采集的视频、音频、传感器数据以及其他应用单元信息通过无线网络发送至智能手机。
[0062]同样地,以智能手机为控制终端2作为示例,第二姿态解算模块11采集并计算智能手机的各种传感器数据和GPS数据,第二姿态解算模块11以测量模块7的传感器数据监听的方式,采集并计算陀螺仪和加速度计的第二姿态数据,即智能手机的一组欧拉角,横滚角Φ、俯仰角Θ和航向角Φ,确定智能手机机体坐标系相对于地球坐标系的角位置变换关系。并通过无线通信模块向无人飞行器实时传送。GPS模块通过高灵敏度GPS接收器,在捕获到有效的卫星信号时,该模块用于确定智能手机当前的经玮度位置。MEMS陀螺仪通过传感器实时收集智能手机的姿态信息。MEMS加速度计通过传感器实时收集手机在三维方向的x、y和z轴上速度的变换。配合陀螺仪完成智能手机姿态定位。气压高度计通过传感器实时收集智能手机垂直于地面方向的海拔高度数据。
[0063]用户终端2提供用户操作界面,完成一键拍摄模式设定,例如:“45度俯视自拍模式”的拍摄目标,将手机各实时传感器数据,GPS数据发送至无人飞行器。第二处理器6作为智能手机的核心处理模块,负责多任务调度,包括访问测量模块7、访问无线通信设备和传感器数据处理等等。第二媒体流处理模块12接收无人飞行器本体I回传的视频或图片数据,进行解压、解码处理,将图像或视频内容呈现至用户。无线通信设备主要负责通过各类无线通信网络建立与无人飞行器之间的通信路由,发送的无人飞行器飞行控制信号和各类应用层指令消息;同时接收无人飞行器采集的视频、音频、传感器数据以及其他应用信息。
[0064]在一个实施例中,所述第一处理器3设有人脸识别模块、目标跟踪模块、景框生成模块或延迟拍摄模块。
[0065]在一个实施例中,所述第一处理器3和/或所述第二处理器6可以是通用服务器,也可以是一个服务器集群,所述第一处理器3和/或所述第二处理器6能够提供简单高效、安全可靠、处理能力可弹性伸缩的计算服务。所述第一处理器3和/或所述第二处理器6可以包括:CPU、RAM内存,操作系统和应用单元。负责多任务调度,包括无线通信功能、存储器读写和数据处理等等。所述第一处理器3和/或所述第二处理器6的内存或存储器包括可快速读写的SDD硬盘以及可插入SD卡的移动读写装置,主要用于存储数据。
[0066]本发明实施例中优选的是,为了进一步说明本拍摄系统中的拍摄目标和拍摄控制指令的关系,这里假设智能手机和无人飞行器的三维空间机体坐标系分别为M(Xa,Ya,Za#PU(Xb,Yb,Zb),地球坐标系E(Xw,Yw,Zw),XW的地磁方向为正北。时刻t的智能手机的欧拉角为[小(仂,0(0,11)(仂],无人飞行器的欧拉角为[(})’(仂,0’(仂,11)’(仂],其中[(}),0,11)]和[Φ ’,θ’,Φ’ ]分别代表智能手机和无人飞行器的偏航角、俯仰角和横滚角;智能手机的经玮度为[Lon(t),Lat(t)],无人飞行器的经玮度为[Lon’ (t),Lat’(t)]。通过智能手机和无人飞行器携带的气压高度计,时刻t输出的海拔高度分别为h(t)和h’(t)。在传感器校准阶段,校准结果为 Φ(0)=Φ’(0),1ι(0)=1ι’(0),Lon(O) =Lon ’ (O) ,Lat(O) =Lat ’(O)。自拍模式,Φ,⑴=Φ (t)+180° ;跟拍模式,Φ,⑴=Φ (t);固定距离跟拍,保持无人飞行器与智能手机的距离d,d可设定为默认值5m,或通过GPS,以两点之间的经玮度计算,进行轨迹跟踪。俯拍模式,俯拍角度X,可以设定默认值30°,45。,60。;h’(t)=h(t)+d*tan(X);其中d在GPS可用情况下通过两点之间的经玮度计算,在GPS不可用情况下,可根据其他目标识别算法得至IJ,或设定5m默认值。仰拍模式,仰拍角度Y,可以设定默认值30°,45°,60° ;h’(t) =h(t)_d*tan(X);其中d在GPS可用情况下通过两点之间的经玮度计算,在GPS不可用情况下,可根据其他目标识别算法得到,或设定5m默认值。旋转拍摄模式中,智能手机的初始GPS经玮度为拍摄起点,X轴Y轴平面旋转半径固定为Z米,横滚角栌⑴保持固定,航向角Φ’⑴随时间线性变化,俯仰角Θ ’( t)随时间线性变化。
[0067]在一个实施例中,所述第二处理器6发送基于第二姿态数据的拍摄目标到所述第一处理器3,所述拍摄目标包括自拍、跟拍、俯拍、仰拍或旋转拍摄,当拍摄目标为自拍时,所述拍摄控制指令中的偏航角等于第二姿态数据中的偏航角加上大致180度,当拍摄目标为跟拍时,所述拍摄控制指令中的位置参数等于第二姿态数据中的位置参数加上恒定距离参数,当拍摄目标为俯拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值加上无人飞行器本体I与控制终端2之间的距离乘以tan(X),当拍摄目标为仰拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值减去无人飞行器本体I与控制终端2之间的距离乘以tan(X),当拍摄目标为旋转拍摄时,所述拍摄控制指令中的航向角等于第二姿态数据中的航向角加上时间乘以常数,俯仰角等于第二姿态数据中的俯仰角加上时间乘以常数。
[0068]参见图7,根据本发明一个实施例的使用所述的无人飞行器拍摄系统的拍摄方法包括以下步骤。
[0069]第一步骤SI中,所述第一测量模块5测量所述无人飞行器本体I的姿态,所述第二测量模块7测量所述控制终端2的姿态。
[0070]第二步骤S2中,所述第一处理器3基于所述第一测量模块5计算所述无人飞行器本体I的第一姿态数据,所述第二处理器6基于所述第二测量模块7计算所述控制终端2的第二姿态数据。
[0071]第三步骤S3中,所述第二处理器6发送基于第二姿态数据的拍摄目标到所述第一处理器3,所述第一处理器3生成基于第一姿态数据的拍摄控制指令并发送无人飞行器本体
1
[0072]本发明实施例中优选的是,在第三步骤S3中,所述第二处理器6发送基于第二姿态数据的拍摄目标到所述第一处理器3,所述拍摄目标包括自拍、跟拍、俯拍、仰拍或旋转拍摄,当拍摄目标为自拍时,所述拍摄控制指令中的偏航角等于第二姿态数据中的偏航角加上大致180度,当拍摄目标为跟拍时,所述拍摄控制指令中的位置参数等于第二姿态数据中的位置参数加上恒定距离参数,当拍摄目标为俯拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值加上无人飞行器与控制终端之间的距离乘以tan(X),当拍摄目标为仰拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值减去无人飞行器与控制终端之间的距离乘以tan(X),当拍摄目标为旋转拍摄时,所述拍摄控制指令中的航向角等于第二姿态数据中的航向角加上时间乘以常数,俯仰角等于第二姿态数据中的俯仰角加上时间乘以常数,所述拍摄控制指令并发送所述无人飞行器本体1,所述拍摄设备4拍摄图像。
[0073]本申请的特点在于把握了无人飞行器自拍和跟拍时,无法准确定位方向和拍摄角度的痛点,市场对无人飞行器自拍或跟拍的操控简单化、方式多样化的需要为导向,基于现有如智能手机的控制终端2和无人飞行器本体I创造性的开辟了一种无人飞行器的拍摄系统和方法。提升了用户使用无人飞行器自拍或跟拍的操作体验,更加注重无人飞行器摄影的易用性、娱乐性。
[0074]下面我们将在图8和9中进一步说明如智能手机的控制终端和无人飞行器的工作流程。
[0075]如图8所示的智能手机的工作流程图,智能手机初始化,建立无人飞行器与智能手机之间的点对点无线数据通信路由,将无人飞行器和智能手机摆放与同一海拔水平面,无人飞行器本体I的机头镜头方向与智能手机前端方向保持一致,启动传感器校准,即通过无线数据通信路由,无人飞行器和智能手机通过彼此通信,校准彼此机体坐标系之间的误差,校准气压高度计之间的误差,校准GPS之间的误差等,无人飞行器起飞或抛飞后,智能手机如可以一键设定拍摄目标,例如:45度俯视自拍,则相关智能手机当前的基于第二测量模块7计算的第二姿态数据如方位角,高度信息和GPS信息等通过无线网络发送至无人飞行器。无人飞行器根据接收到的拍摄对象方位角、高度信息和位置信息等以及第一测量模块5测量的自身三轴陀螺仪、三轴加速计、气压高度计和GPS等利用第一处理器3计算得到方位角、高度信息和位置信息等,获得拍摄目标的高度、方位角、俯仰角、位置等,无人飞行器到达目标拍摄机位时,通知智能手机,拍摄准备完成,智能手机启动相关应用,例如,人脸识别、目标跟踪、延迟拍摄等等,并获取取景框图像信息,完成拍摄。相关电子照片或影像通过无线通信路由,传递至智能手机,如果需要切换其他拍摄目标,智能手机可一键设定其他拍摄目标,相关信息会再次传递至无人飞行器重新解算目标拍摄姿态信息。
[0076]如图9所示的无人飞行器本体I的工作流程图,无人飞行器开机,建立无人飞行器与智能手机之间的点对点无线数据通信路由。将无人飞行器和智能手机摆放与同一海拔水平面,无人飞行器机头镜头方向与智能手机前端方向保持一致,启动传感器校准,即通过无线数据通信路由,无人飞行器和智能手机通过彼此通信,校准彼此机体坐标系之间的误差,校准气压高度计之间的误差,校准GPS之间的误差。无人飞行器起飞或抛飞,周期性接收智能手机方位角、高度和GPS信息,无人飞行器根据接收到的拍摄对象方位角、高度信息和位置信息等以及第一测量模块5测量的自身三轴陀螺仪、三轴加速计、气压高度计和GPS等利用第一处理器3计算得到方位角、高度信息和位置信息等,获得拍摄目标的高度、方位角、俯仰角、位置等,无人飞行器到达目标拍摄机位时,通知智能手机拍摄准备完成,拍摄设备4完成拍摄。
[0077]尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。
【主权项】
1.一种无人飞行器拍摄系统,其包括无人飞行器本体(I)和控制终端(2),所述无人飞行器本体(I)和控制终端(2)之间经由无线通信设备连接,所述无人飞行器本体(I)设有用于拍摄图像的拍摄设备(4)、用于测量无人飞行器本体(I)姿态的第一测量模块(5)和第一处理器(3),所述控制终端(2)设有用于测量控制终端(2)姿态的第二测量模块(7)和第二处理器(6),其特征在于:所述第一处理器(3)基于所述第一测量模块(5)计算所述无人飞行器本体(I)第一姿态数据,所述第二处理器(6)基于所述第二测量模块(7)计算所述控制终端(2)在第二姿态数据,所述第二处理器(6)发送基于第二姿态数据的拍摄目标到所述第一处理器(3),所述第一处理器(3)生成基于第一姿态数据的拍摄控制指令并发送所述无人飞行器本体(I)。2.根据权利要求1所述的无人飞行器拍摄系统,其特征在于:所述第一测量模块(5)和/或第二测量模块(7)包括陀螺仪、加速度计、磁传感器、定位单元和高度计中的一个或多个,所述第一姿态数据和/或第二姿态数据包括偏航角、俯仰角、横滚角、位置参数和高度参数中的一个或多个。3.根据权利要求2所述的无人飞行器拍摄系统,其特征在于:所述第二处理器(6)发送基于第二姿态数据的拍摄目标到所述第一处理器(3),当拍摄目标为俯拍或仰拍时,所述拍摄控制指令中的高度值根据第二姿态数据中的高度值而生成。4.根据权利要求1所述的无人飞行器拍摄系统,其特征在于:所述无人飞行器本体(I)设有飞控台,所述用户终端(2)为智能手机,所述第一处理器(3)和/或所述第二处理器(6)分别包括CPU、RAM和内存,所述第一处理器(3)和/或所述第二处理器(6)实时更新第一姿态数据和第二姿态数据。5.根据权利要求1-4中任一项所述的无人飞行器拍摄系统,其特征在于:所述第一测量模块(5)和/或第二测量模块(7)设有传感器校准装置(8)。6.根据权利要求1-4中任一项所述的无人飞行器拍摄系统,其特征在于:所述第一处理器(3)设有基于所述第一测量模块(5)计算所述无人飞行器本体(I)欧拉角的第一姿态解算模块(9)和第一媒体流处理模块(10),和/或第二处理器(6)设有基于所述第二测量模块(7)计算所述控制终端(2)欧拉角的第二姿态解算模块(11)和第二媒体流处理模块(12)。7.根据权利要求1所述的无人飞行器拍摄系统,其特征在于:当自拍时,所述第一处理器(3)生成的航向角经由所述无线通信设备发送到所述第二处理器(6),所述第二处理器(6)基于所述航向角增加大致180度以生成拍摄控制指令并发送所述无人飞行器本体(I);当跟拍时,所述第一处理器(3)生成的位置参数经由所述无线通信设备发送到所述第二处理器(6),所述第二处理器(6)基于所述位置参数增加恒定距离以生成拍摄控制指令并发送所述无人飞行器本体(I);当俯拍或仰拍时,所述第一处理器(3)生成的高度值经由所述无线通信设备发送到所述第二处理器(6),所述第二处理器(6)基于所述高度值变化以生成拍摄控制指令并发送所述无人飞行器本体(I);当旋转拍时,所述第一处理器(I)生成的航向角和俯仰角经由所述无线通信设备发送到所述第二处理器(6),所述第二处理器(6)基于所述航向角和俯仰角线性变化以生成拍摄控制指令并发送所述无人飞行器本体(I)。8.根据权利要求1所述的无人飞行器拍摄系统,其特征在于:所述第二处理器(6)发送基于第二姿态数据的拍摄目标到所述第一处理器(3),当拍摄目标为俯拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值加上无人飞行器本体(I)与控制终端(2)之间的距离乘以tan(X),当拍摄目标为仰拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值减去无人飞行器本体(I)与控制终端(2)之间的距离乘以tan(X),当拍摄目标为旋转拍摄时,所述拍摄控制指令中的航向角等于第二姿态数据中的航向角加上时间乘以常数,俯仰角等于第二姿态数据中的俯仰角加上时间乘以常数。9.一种使用根据权利要求1-8中任一项所述的无人飞行器拍摄系统的拍摄方法,其包括以下步骤: 第一步骤(SI)中,所述第一测量模块(5)测量所述无人飞行器本体(I)的姿态,所述第二测量模块(7)测量所述控制终端(2)的姿态; 第二步骤(S2)中,所述第一处理器(3)基于所述第一测量模块(5)计算所述无人飞行器本体(I)的第一姿态数据,所述第二处理器(6)基于所述第二测量模块(7)计算所述控制终端(2)的第二姿态数据; 第三步骤(S3)中,所述第二处理器(6)发送基于第二姿态数据的拍摄目标到所述第一处理器(3),所述第一处理器(3)生成基于第一姿态数据的拍摄控制指令并发送无人飞行器本体(I)。10.根据权利要求9所述的拍摄方法,其特征在于: 在第三步骤(S3)中,所述第二处理器(6)发送基于第二姿态数据的拍摄目标到所述第一处理器(3),所述拍摄目标包括自拍、跟拍、俯拍、仰拍或旋转拍摄,当拍摄目标为自拍时,所述拍摄控制指令中的偏航角等于第二姿态数据中的偏航角加上大致180度,当拍摄目标为跟拍时,所述拍摄控制指令中的位置参数等于第二姿态数据中的位置参数加上恒定距离参数,当拍摄目标为俯拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值加上无人飞行器与控制终端之间的距离乘以tan(X),当拍摄目标为仰拍X角度时,所述拍摄控制指令中的高度值等于第二姿态数据中的高度值减去无人飞行器与控制终端之间的距离乘以tan(X),当拍摄目标为旋转拍摄时,所述拍摄控制指令中的航向角等于第二姿态数据中的航向角加上时间乘以常数,俯仰角等于第二姿态数据中的俯仰角加上时间乘以常数,所述拍摄控制指令并发送所述无人飞行器本体(I),所述拍摄设备(4)拍摄图像。
【文档编号】G05D1/10GK106094865SQ201610556653
【公开日】2016年11月9日
【申请日】2016年7月15日
【发明人】陈昊
【申请人】陈昊