无人机的制作方法
【专利摘要】本发明公开了一种无人机。包括：RGBD相机、飞行控制器以及处理器，处理器与RGBD相机以及飞行控制器连接，其中：RGBD相机，用于在飞行过程中实时获取目标的RGBD图像信息，RGBD图像信息包括R、G、B像素信息和对应的深度信息；处理器用于实时对R、G、B像素信息进行处理，以识别目标，并根据目标对应的深度信息获取与目标的实时距离，飞行控制器用于根据实时距离调整无人机的飞行姿态，使得RGBD相机对目标进行跟踪拍摄。通过以上方式，本发明能够自动实现目标的跟踪拍摄。
【专利说明】
无人机
技术领域
[0001 ]本发明涉及无人机领域，特别是涉及一种无人机。
【背景技术】
[0002]随着微电子技术和计算机视觉技术的不断发展，使得目标跟踪得以实时实现，尤其是将目标跟踪装置安装到无人机上，可以实现对目标的灵活动态跟踪，在军事和民用领域具有较高的使用价值。
[0003]传统无人机的目标跟踪技术中，通常使用激光、雷达和超声等主动环境感知方法，其缺点为并不能直接获得目标的未知信息，并且多个无人机检测时会相互干扰，更为弊端的是在战场环境中隐蔽性差，被敌方发现的概率大的增加。
[0004]现有的无人机主要致力于增大航时，提高速度，隐身机体，缩小体积，高度智能，加载武器，增强传输可靠性和通用性，使无人机能够按照指令或者预先编制的程序来完成预定的作战任务。而现有的无人机上的相机一般应用2D相机来拍摄2D图像，图像中每个像素点只包括红(Red，R)、绿(6代011，6)、蓝(81116，8)像素，不包括深度信息0。如此现有的无人机无法根据拍摄2D图像来自动实现目标跟踪拍摄等。
【发明内容】
[0005]本发明实施例提供了一种无人机，能够自动实现目标的跟踪拍摄。
[0006]本发明提供一种无人机，无人机包括RGBD相机、飞行控制器以及处理器，处理器与RGBD相机以及飞行控制器连接，其中:RGBD相机，用于在飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息;处理器用于实时对R、G、B像素信息进行处理，以识别目标，并根据目标对应的深度信息获取与目标的实时距离；飞行控制器根据实时距离调整无人机的飞行姿态和/或拍摄模式，使得RGBD相机对目标进行跟足示拍摄。
[0007]其中，RGBD相机还用于拍摄用户输入的不同手势，处理器根据不同手势产生对应的控制指令，飞行控制器根据控制指令选择拍摄模式。
[0008]其中，无人机还包括语音获取模块，语音获取模块与处理器连接，语音获取模块用于获取用户输入的语音，处理器根据语音产生控制指令。
[0009]其中，目标为特定的人体，处理器根据所述R、G、B像素信息检测人体的脸部特征以锁定人体。
[0010]其中，处理器利用深度信息去除背景，提取出目标。
[0011]其中，处理器根据R、G、B像素信息和对应的深度信息获取目标至RGBD相机的实时距离。
[0012]其中，处理器根据R、G、B像素信息和对应的深度信息识别目标为刚体或非刚体。
[0013]其中，处理器进一步用于实时对R、G、B像素信息以及对应的深度信息进行识别处理，以锁定目标。
[0014]其中，目标为特定的人体，处理器根据R、G、B像素信息以及对应的深度信息检测人体的脸部轮廓以锁定人体。
[0015]其中，目标为一个或多个，无人机分析一个或多个目标的动态行为趋势。
[0016]其中，无人机还包括无线通讯单元，无线通讯单元与处理器连接，用于将跟踪拍摄到的视频发送至远端服务器，其中远端服务器可以是云端服务器或地面终端服务器。
[0017]其中，跟踪拍摄到的视频包括2D视频和RGBD图像序列，数据发送模块将2D视频和RGBD图像序列发送至远端服务器，以使得远端服务器根据2D视频和RGBD图像序列生成3D视频。
[0018]其中，跟踪拍摄到的视频包括2D视频和RGBD图像序列，处理器进一步根据2D视频和RGBD图像序列对目标进行特征点标识，在目标的边缘、关键节点设置特征点从而形成目标的骨架网格，根据骨架网格生成3D视频并发送至远端服务器。
[0019]通过上述方案，本发明的有益效果是:通过RGBD相机在无人机飞行过程中实时获取RGBD图像信息，RGBD图像信息包括R、G、B像素信息和对应的深度信息;处理器实时对R、G、B像素信息进行处理，以识别目标，并器根据目标对应的深度信息获取与目标的实时距离，飞行控制器根据实时距离调整无人机的飞行姿态和/或拍摄模式，使得RGBD相机对目标进行跟踪拍摄，能够自动实现目标的跟踪拍摄。
【附图说明】
[0020]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中:
[0021 ]图1是本发明第一实施例的无人机的结构示意图；
[0022]图2a是本发明第二实施例的无人机的结构示意图；
[0023]图2b是图2a中的无人机剖面的结构示意图；
[0024]图2c是图2a中的无人机的RGBD相机旋转的结构示意图；
[0025]图3是本发明实施例的无人机对目标进行跟踪的示意图；
[0026]图4是本发明实施例的无人机对目标进行3D建模的示意图；
[0027]图5是本发明第三实施例的无人机的结构示意图；
[0028]图6是本发明第四实施例的无人机的结构示意图。
【具体实施方式】
[0029]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[°03°]图1是本发明第一实施例的无人机的结构示意图。如图1所示，无人机(unmannedair vehicle，UAV)10包括:RGBD相机11、飞行控制器12以及处理器13。处理器13与RGK)相机11以及飞行控制器12连接。RGBD相机11用于在飞行过程中实时获取RGBD图像。RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息。其中像素的深度信息构成场景的二维像素矩阵，简称深度图。每个像素与其在场景中的位置相对应，并具有表示从某个参考位置到其场景位置的距离的像素值。换言之，深度图具有图像的形式，像素值指出场景的物体的形貌信息，而不是亮度和/或颜色。处理器13用于实时对R、G、B像素信息进行处理，以识别目标和目标特征，并根据目标对应的深度信息获取与目标的实时距离。飞行控制器12用于根据实时距离调整无人机10的飞行姿态和/或拍摄模式，使得RGBD相机11对目标进行跟踪拍摄。具体地，飞行控制器12可以接收通过遥控器，语音、手势等控制单元发出的指令，并根据指令跟踪拍摄目标，其中，无人机10的飞行姿态包括起飞、悬停、俯仰、滚转、偏航、降落等。
[0031]如图2a所示，无人机20可以包括至少两个RGBD相机210、211，并且还包括飞行组件24和云台25(图未示KRGBD相机210、211设置在云台25上，云台25用于测量载体的姿态变化做出反应以稳定云台上的RGBD相机210、111，以方便RGBD相机210、211对目标进行跟踪拍摄。云台25上设置有旋转杆26，RGBD相机210、211沿旋转杆26的竖直方向设置。无人机20的剖面图如图2b所示，在无人机20内部设置电路板，处理器23设置在电路板上。飞行组件24可以包括旋翼或固定翼，以用于确保无人机的正常飞行以及飞行过程中飞行姿态的稳定。优选地，以四旋翼无人机为例，四个螺旋桨呈十字形交叉结构，相对的四旋翼具有相同的旋转方向，分两组，两组的旋转方向不同。与传统的直升机不同，四旋翼飞行器只能通过改变螺旋桨的速度来实现各种动作。无人机20中RGK)相机210、211是相互独立设置的，即RGBD相机210、211相互独立进行拍摄，相互不受影响。图2c为无人机20中RGBD相机211旋转60度的结构示意图。在本发明实施例中，无人机20的RGBD相机数量不限于2台，具体可以延长旋转杆26，在其长度方向上增加RGBD相机。当然在本发明的其他实施例中，也可以将至少两个RGBD相机水平独立地设置在云台25上，如可以在云台25上设置多个旋转杆以分别设置RGBD相机。
[0032]在本发明实施例中，处理器13用于实时对R、G、B像素信息进行识别处理，以锁定目标，具体地，可以应用彩色图像分割方法，利用背景纹理分割出背景图像，然后利用原始图像减去背景图像得到目标图像。当然在本发明其他实施例中，也可以应用其他方法识别目标，进而锁定目标。目标为特定的人体，处理器13可以根据R、G、B像素信息检测人体的脸部特征以锁定人体。跟踪拍摄的方式包括正面拍摄、侧面拍摄、背面拍摄、顶部拍摄中的一者或任意组合。
[0033]在本发明实施例中，处理器13根据R、G、B像素信息和对应的深度信息识别目标为刚体或非刚体。具体可以利用深度信息对目标的轮廓进行识别，辨别轮廓为刚体还是非刚体，辨别出目标为动态生物(如人体)还是非刚体的物体。若为刚体则识别为物体，以及目标是否发生主动的运动。其中刚体是指三维结构不会随着运动发生改变的物体，而非刚体则相反，其三维结构会随着运动发生改变。
[0034]处理器13还可利用RGB色彩信息对目标的进行特征识别，识别物体的轮廓、色彩信息，提取更多目标的特征，提高目标的识别准确率。识别方法不限于常用的训练方法，如机器学习，深度学习等算法。例如利用RGB信息，对动态生物目标进行肤色识别，或符合人体肤色特征，则识别目标是否为人体，否则为非人体。处理器13还兼容处理声音、红外传感器等其他传感器的信息，用于识别和检测目标及其特征，提高准确率。
[0035]如果识别到目标为人体，则处理器13标识出人体躯干、四肢、手部、脸部等人体部位，提取出身高、臂长、肩宽、手掌大小、脸部大小、脸部表情特征等信息。由于人体是非刚体，在较长时间的跟踪拍摄过程中，人体不可能保持同一个姿势，容易发生非刚性变化，需要进行模型重建，避免数据的非刚性变化。处理器13首先对RGBD相机11拍摄的目标的深度图像去除背景部分，由于背景像素点的深度值比人体部位的深度值大，处理器13可以选择一个适当的阈值，当像素点的深度值大于这个阈值时，将此像素点标记为背景点，从深度图像中去除，得到人体点云数据。处理器13再将点云数据转化为三角网格数据，具体可以利用深度图像上的四领域作为连接的拓扑关系，点云数据根据该拓扑关系生成三角网格数据。处理器13进一步对点去数据进行去噪处理，具体可以将每个视角的多帧点云数据分别求和平均去除大噪声，再用双边滤波去除微小噪声。处理器13最后将多个视角的三角网格数据拼接在一起形成一个整体，以用于进行模型重建。处理器13可以采用迭代算法重建三维人体模型。在迭代算法中，先找出标准模型与采集到的数据之间的对应点，以用作后面的变化约束点。然后将约束点作为能量项，最小化目标函数，从而将标准模型变形到解决扫描数据，最后求出变形后的标准模型在人体空间中的参数，计算得到的人体参数用于下一次迭代中，如此进行多次迭代后完成三维人体模型的重建。进而可以标识出人体躯干、四肢、手部、脸部等人体部位，提取出身高、臂长、肩宽、手掌大小、脸部大小、脸部表情特征等信息。
[0036]RGBD相机11根据处理器13重建的人体模型跟踪人体目标，及人体各部位的运动轨迹。处理器13进而用以分析目标的姿态动作，并根据目标的姿态动作、行为模式等分析提取身份信息，进而区分为小孩、老人、青年人等。
[0037]如果识别到目标为动物，则处理器13可以利用类似人体目标的RGBD识别方法，及RGBD图像序列目标跟踪方法进行识别和目标特征识别提取，在此不再赘述。
[0038]如果识别到目标为非生物物体，处理器13利用深度信息D识别目标的轮廓尺寸。具体地，处理器13可以分割深度图以找出目标的轮廓。处理器13进而利用目标的RGB信息，进行物体检测，识别其色彩，或二维码等信息。
[0039]在本发明实施例中，处理器13可以进一步用于实时对R、G、B像素信息以及对应的深度信息进行识别处理，以锁定目标。例如，目标为特定的人体，处理器13根据R、G、B像素信息以及对应的深度信息检测人体的脸部轮廓以锁定人体。具体地，处理器13获取人体头部的3D姿势，进而获取脸部轮廓。人体头部的3D姿势即为具有6个自由度的姿势。处理器13可以包括运动传感器，其中传感器可为加速度计、磁力计和/或陀螺仪中的一者或一者以上。RGBD相机获取具有头部的深度信息的RGBD图像序列，头部的参考姿势由RGBD图像序列中的一帧中获得，且界定参考坐标框架。使用深度信息相对于参考坐标框架来确定与多个图像中的人体的头部姿势相关联的旋转矩阵和平移向量。举例来说，可通过从头部的图像提取特征点而在二维中确定旋转矩阵和平移向量。与所跟踪的特征点相关联的深度信息可随后用于在三维中确定头部的旋转矩阵和平移向量。所提取的特征点可为任意的。基于旋转矩阵和平移向量相对于参考姿势来确定头部的三维姿势。举例来说，可将特征点的图像坐标和对应的深度信息以及包含与人体头部的参考姿势相关联的旋转矩阵和平移向量以及当前定向和位置的状态提供给扩展卡尔曼滤波器。扩展卡尔曼滤波器可用于相对于参考姿势确定多个图像中的每一者的旋转矩阵和平移向量的估计，可从该估计确定人体头部相对于参考姿势的三维姿势。处理器13根据获取的人体头部的3D姿势获取脸部轮廓。
[0040]处理器13根据所述R、G、B像素信息和对应的深度信息获取所述目标至所述RGBD相机的实时距离，具体可以根据R、G、B像素信息和对应的深度信息计算出人体的脸部中心点，并以中心点到无人机10的距离作为实时距离。当然处理器13也可以根据R、G、B像素信息和对应的深度信息计算出人体的质心，并以质心与无人机10的距离作为实时距离。具体地，根据R、G、B像素信息以及对应的深度信息可直接获取目标的某一身体部位，例如人脸、手掌等，与RGBD相机11最近的距离，取此最近距离作为质心与无人机10的实时距离。
[0041]在本发明实施例中，目标可以为一个或多个，无人机分析该一个或多个目标的动态行为趋势。无人机10同时跟踪拍摄多个目标时，可以对多个目标设置优先级，优先跟踪拍摄优先级最高的目标，也可以不设置优先级，同时跟踪拍摄多个目标。图3是无人机对目标进行跟踪的示意图，图3a表示对目标I和目标2进行跟踪，图3b是以跟踪目标I为例，获取目标I的骨架网格以对目标进行动态行为分析，从图3c可以看出，目标I将转向行驶。无人机10可以只对目标I进行跟踪，以对目标I进行行为分析。无人机10也可以对两个目标1、2进行跟踪，如图3a。具体可以设置目标I的优先级高于目标2的优先级，当然也可以设置目标2的优先级高于目标I的优先级，在此不作限制。对多个目标设置优先级时，RGBD相机11与目标之间相距的预定距离不变，若多个目标同时位于RGBD相机11的拍摄视场中，则飞行控制器12同时对该多个目标进行跟踪拍摄，若在跟踪拍摄过程中，某一时刻由于多个目标之间相距较远，不能使所有的目标都同时位于RGBD相机11的当前拍摄视场中，即至少有一个目标不在RGBD相机11的拍摄视场中，则飞行控制器12选择优先级最高的目标进行跟踪拍摄。以同时跟踪拍摄主人与宠物狗且主人为较高优先级的目标为例，若跟踪拍摄过程中，宠物狗跑远，且不能同时保证主人与宠物狗同时位于RGBD相机11的当前拍摄视场中，则此时飞行控制器12控制RGBD相机11跟踪拍摄主人，不再跟踪拍摄宠物狗。
[0042]不设置优先级，同时跟踪拍摄多个目标时，保证多个目标都位于RGBD相机11的拍摄视场。若在跟踪拍摄过程中，某一时刻由于多个目标之间相距较远，不能使所有的目标都同时位于RGBD相机11的当前拍摄视场中，则飞行控制器12可以通过调整RGBD相机11的焦距，或者调整RGBD相机11与目标之间的距离，如增大RGBD相机11的焦距，或者增大RGBD相机11与目标之间的距离，使得多个目标都位于调整后的RGBD相机11的拍摄视场中。其中，RGBD相机11与目标之间的距离不大于无人机10的试航距离，试航距离是指确保无人机10不失去联系能够飞行的最远距离。同样以同时跟踪拍摄主人与宠物狗且不设置优先目标为例，若跟踪拍摄过程中，宠物狗跑远，且不能同时保证主人与宠物狗同时位于RGBD相机11的当前拍摄视场中，则此时飞行控制器12控制RGBD相机11增大焦距或者控制无人机10远离目标，使主人和宠物狗重新位于RGBD相机11的调整后的当前拍摄视场中，继续同时跟踪拍摄主人和宠物狗。
[0043]在本发明实施例中，飞行控制器12控制RGBD相机11拍摄到的目标的连续的图像构成目标的视频。而跟踪拍摄到的视频包括2D视频和RGBD图像序列。处理器13根据2D视频和RGBD图像序列对目标进行特征点标识。具体地，处理器13可以根据一帧RGBD图像即可识别目标的特征点，然后根据连续多角度的RGBD图像对特征点进行修正。以目标为人体为例，根据一帧RGBD图像即可识别人体的特征点，具体地，对RGBD图像去除背景得到人体的轮廓，然后将人体躯干部分的中心点、头部的质心、边缘的转折点记为特征点，并根据人体比例以及存储的人体大数据将手肘以及腿部的关节点记为特征点得到人体的全部特征点如图4中的图a所示。进一步根据连续多角度的RGBD图像对特征点进行修正得到人体的骨架网格如图4中的图b所示。处理器13进而根据骨架网格生成3D视频。无人机10还包括存储单元，用于存储视频、处理器13初步处理的目标3D模型、3D视频等。
[0044]其中，处理器13根据骨架网格生成3D视频包括:处理器13可以对跟踪拍摄对像进行跟踪拍摄以获取骨架网格的运动轨迹。同时，RGBD相机11获取多角度的RGBD图像序列，可以包括正面、侧面以及反面的RGBD图像序列。根据目标的多角度的RGBD图像序列中的各帧深度图像进行网格重建、拼接形成目标的三维模型。处理器13可以将目标的骨架网格的运动轨迹与三维模型进行匹配，并根据RGBD相机11获取的RGBD图像序列获得目标的3D视频如图4中的图C。
[0045]具体地，通过RGBD相机11获取需要进行三维重建的至少两幅RGBD图像，并根据该至少两幅RGBD图像获取需要构建三维场景的深度信息和RGB像素信息。飞行控制器12对相对于RGBD相机11移动的目标进行持续跟踪，确定目标相对于RGBD相机11的相对位置。根据该相对位置确定三维场景中需要显示的图像以进行跟踪拍摄。
[0046]RGBD相机11获取多角度的RGBD图像序列可以通过多个RGBD相机11从不同角度对场景进行拍摄，也可以使用单个RGBD相机11移动不同的位置进行拍摄获得。基于拍摄的方法，用户可以利用拍摄的多张图像或视频关键帧进行场景重建。单个RGBD相机11在拍摄的过程中，RGBD相机11的移动可以认为是视角的移动，拍摄时如果RGBD相机11进行水平移动，则能够拍摄到更大的场景，如果RGBD相机11围绕物体旋转进行拍摄，则能够拍摄到同一物体不同的视角。
[0047]相对位置包括但不限于方向、角度、距离等信息。而相对位置的变化可以是RGBD相机11自身产生移动从而造成与目标之间的相对位置变化，也有可能是在目标时用户主动操作下使RGBD相机11与目标产生相对位置变化，或者RGBD相机保持不动，而目标移动造成的相对位置变化，以及两者分别移动造成的两者之间的位置变化，在此不多赘述。但是无论何种原因导致两者相对位置变化，均能通过RGBD相机拍摄的RGBD图像确定两者之间的相对位置。
[0048]处理器13根据该至少两幅RGBD图像获取需要构建三维场景的深度信息和RGB像素信息包括:RGBD相机通过已有的局部算法或者全局算法，通过对不同RGBD图像之间的运算，获得需要构建的二维场景的深度?目息和RGB像素彳目息，例如，可以通过光束平差算法，计算三维场景中的每个像素的深度信息之后，可以通过RGBD的格式对三维场景的每个像素的RGB像素信息和深度信息进行表示并记录。处理器13结合三维场景的构建和相对位置，生成与每个相对位置对应的场景视图，组成RGBD图像序列，进而构成3D视频。
[0049]在本发明实施例中，处理器13也可以直接将第一目标的骨架网格的运动轨迹与预设的第二目标的三维模型进行匹配，并根据RGBD相机11获取的第二目标的RGBD图像序列获得第二目标的3D视频。其中第一目标的骨架网格可以是预存在处理器13中，或者是处理器13先跟踪拍摄第一目标以获取第一目标的骨架网格。第二目标的三维模型的建立与前述的目标的三维模型的建立的方法相同。
[0050]在本发明实施例中，由于无人机10内部的存储单元的存储容量有限，不可能存储大容量的数据，因此参见图5，无人机10还包括无线通讯单元14。无线通讯单元14与处理器13连接，用于将跟踪拍摄到的视频发送至远端服务器。远端服务器用于处理通过无线通讯单元14传输的RGK)图像序列，处理高清RGBD，生成高清高分辨率的目标3D模型，目标3D视频或3D动画等。其中远端服务器包括地面服务器和云端服务器。跟踪拍摄到的视频包括2D视频和RGBD图像序列，如果2D视频和RGBD图像序列的数据量太大，则无线通讯单元14可以将2D视频和RGBD图像序列发送至远端服务器，以使得远端服务器根据2D视频和RGBD图像序列生成3D视频，如此能够处理大数据的RGBD图像序列，方便飞行控制器12继续对目标进行跟踪拍摄。无线通讯单元14还用于实时将处理器13初步处理的目标3D模型、3D视频等传输至远端服务器。
[0051]在本发明实施例中，RGBD相机11还用于拍摄用户输入的不同手势，处理器13根据不同手势产生对应的控制指令，飞行控制器12根据控制指令选择拍摄模式以目标。其中，拍摄模式包括无人机10启停、目标类型选定以及跟踪拍摄方式选定，其中目标类型包括人体。手势包括五指张合手势，五指张合手势包括五指张开手势和五指闭合手势。用户的手势还可以包括但不限于抓握、自然抬手、前推、上、下、左右摆手。不同的手势对应不同的控制指令，如自然抬手表示启动无人机10，上、下、左右摆手表示调整无人机10飞行方向的控制指令等，在此不再详述。
[0052]具体的实现过程如下:
[0053]RGBD相机11用于拍摄用户输入的手势，处理器13根据用户输入的手势实时获取人手的骨架网格数据，并提取出与无人机10操作相关的骨架网格数据，并将获取的骨架网格数据与无人机10中预存的与操作相关的手势模型的骨架网格数据进行比较。如果获取的骨架网格数据在手势模型的网格数据在预设的阈值范围内，则处理器13获取的骨架网格数据与预存的手势模型进行绑定。处理器13通过RGBD相机获取的关于手势RGBD图像序列中每帧的骨架网格数据的坐标实现手势模型动作的连贯，达到场景内手势模型模拟真实用户输入的手势的运动效果。处理器13根据获取的手势与手势模型匹配的动作。
[0054]在本发明实施例中，参见图6，无人机10还包括语音获取模块15，语音获取模块15与处理器13电连接。语音获取模块15用于获取用户输入的语音，处理器13根据语音产生控制指令。飞行控制器12根据控制指令选择拍摄模式以目标。
[0055]具体地，遥控装置进行人脸识别并进行声纹识别。人脸识别时，人脸数据库中预先保存有人脸信息(例如通过红外信号检测人脸图像并留存人眼间隔、人眼长度等生理特征)，在采集时，通过红外信号采集到人脸数据与人脸数据库中的数据作比较。如果通过人脸识别，则对接收到的语音进一步判断是否为具有语音控制的权限的语音，确定该语音所对应的权限，并进行语音识别。遥控装置进一步根据人脸识别的结果，判断是否接收语音。每位具有发出语音控制指令的人员均上传一段训练语音，进而得到声纹库。进行声纹比较时，语音指令发出者发出语音指令，该语音指令被与声纹数据库进行声纹对比。通过声纹和人脸信息查找声纹数据库和人脸数据库中对应的身份信息，从而确认其权限。遥控装置进一步将语音指令发送到无人机的语音获取模块15。语音获取模块15将语音指令的安全性验证，并在通过验证后处理器13根据语音指令产生控制指令，传送到无人机的飞行控制器12。飞行控制器12将接收到的指令的代码查询对应的指令所需的运行时间，然后在该条语音指令(实际上为代码)之后添加该运行时间。飞行控制器12根据控制指令选择拍摄模式控制无人机10的飞行姿态，如飞行速度、飞行高度、飞行轨迹与周围障碍物之间的距离等。
[0056]优选地，在跟踪拍摄过程中，飞行控制器12还根据RGBD图像序列中的R、G、B像素信息以及对应的深度信息调整无人机10的飞行姿态以防止无人机10与周围的目标发生碰撞。具体地，飞行控制器12根据RGBD图像序列中各像素点的深度信息确定目标以及周围目标与RGBD相机11之间的距离，并选取目标以及周围目标与RGBD相机11之间的最近距离，根据该最近距离调整无人机10的飞行姿态。如飞行控制器12判断到该最近距离小于预设距离时，则控制无人机10向远离目标的方向飞行。并且飞行控制器12还判断该最近距离大于试航距离时，则控制无人机10朝向目标的方向飞行。
[0057]在本发明实施例中，为了获取目标以及周围目标与RGBD相机11之间的最近距离，无人机10可以设置一个RGBD相机11，该RGBD相机11转动设置于无人机10，转动角度为0-180度。无人机10也可以设置两个RGBD相机11，每个RGBD相机11可转动设置于所述无人机10，对应的转动角度为0-90度。RGBD相机11转动扫描拍摄，获取无人机10周围目标的多角度RGBD图像序列，进而使飞行控制器12能够获取目标以及周围目标与RGBD相机11之间的最近距离。当然在本发明的其他实施例中，无人机10也可以采用其他的测距方法测量周围目标与RGBD相机11之间的最近距离。例如，采用激光测距仪、超声波测距仪以及红外测距仪等测量周围目标与RGBD相机11之间的距离，并和目标与RGBD相机11之间的距离进行比较，选择最近距离。而采用激光测距仪、超声波测距仪以及红外测距仪等测量周围目标与RGBD相机11之间的距离的方法与现有技术相同，在此不再详述。
[0058]综上所述，本发明通过RGBD相机在飞行过程中实时获取RGBD图像信息，RGBD图像信息包括R、G、B像素信息和对应的深度信息;处理器实时对R、G、B像素信息进行处理，以识别目标，并根据目标对应的深度信息获取与目标的实时距离；飞行控制器根据实时距离调整无人机的飞行姿态，使得RGBD相机对目标进行跟踪拍摄，如此无人机能够从RGBD图像信息中获得RGBD相机与目标的距离，实现自动跟踪拍摄。
[0059]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种无人机，其特征在于，所述无人机包括RGBD相机、飞行控制器以及处理器，所述处理器与所述RGBD相机以及所述飞行控制器连接，其中: 所述RGBD相机，用于在飞行过程中实时获取目标的RGBD图像，所述RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息； 所述处理器，用于实时对所述R、G、B像素信息进行处理，以识别目标，并根据所述目标对应的深度信息获取与所述目标的实时距离； 所述飞行控制器用于根据所述实时距离调整所述无人机的飞行姿态和/或拍摄模式，使得所述RGBD相机对所述目标进行跟踪拍摄。2.根据权利要求1所述的无人机，其特征在于，所述RGBD相机还用于拍摄用户输入的不同手势，所述处理器根据所述不同手势产生对应的控制指令，所述飞行控制器根据所述控制指令选择拍摄模式。3.根据权利要求1所述的无人机，其特征在于，所述无人机还包括语音获取模块，所述语音获取模块与所述处理器连接，所述语音获取模块用于获取用户输入的语音，所述处理器根据所述语音产生所述控制指令。4.根据权利要求2所述的无人机，其特征在于，所述目标为特定的人体，所述处理器根据所述R、G、B像素信息检测所述人体的脸部特征以锁定所述人体。5.根据权利要求1所述的无人机，其特征在于，所述处理器利用所述深度信息去除背景，提取出所述目标。6.根据权利要求1所述的无人机，其特征在于，所述处理器根据所述R、G、B像素信息和对应的深度信息获取所述目标至所述RGBD相机的实时距离。7.根据权利要求1所述的无人机，其特征在于，所述处理器根据所述R、G、B像素信息和对应的深度信息识别所述目标为刚体或非刚体。8.根据权利要求1所述的无人机，其特征在于，所述处理器进一步用于实时对所述R、G、B像素信息以及对应的深度信息进行识别处理，以锁定目标。9.根据权利要求8所述的无人机，其特征在于，所述目标为特定的人体，所述处理器根据所述R、G、B像素信息以及对应的深度信息检测所述人体的脸部轮廓以锁定所述人体。10.根据权利要求1所述的无人机，其特征在于，所述目标为一个或多个，所述无人机分析所述一个或多个目标的动态行为趋势。11.根据权利要求1所述的无人机，其特征在于，所述无人机还包括无线通讯单元，所述无线通讯单元与所述处理器连接，用于将跟踪拍摄到的视频发送至远端服务器，其中所述远端服务器可以是云端服务器或地面终端服务器。12.根据权利要求11所述的无人机，其特征在于，所述跟踪拍摄到的视频包括2D视频和RGBD图像序列，所述数据发送模块将所述2D视频和所述RGBD图像序列发送至所述远端服务器，以使得所述远端服务器根据所述2D视频和所述RGBD图像序列生成3D视频。13.根据权利要求11所述的无人机，其特征在于，所述跟踪拍摄到的视频包括2D视频和RGBD图像序列，所述处理器进一步根据所述2D视频和所述RGBD图像序列对所述目标进行特征点标识，在所述目标的边缘、关键节点设置特征点从而形成目标的骨架网格，根据所述骨架网格生成3D视频并发送至所述远端服务器。
【文档编号】G06K9/00GK105847684SQ201610204540
【公开日】2016年8月10日
【申请日】2016年3月31日
【发明人】黄源浩, 肖振中, 许宏淮
【申请人】深圳奥比中光科技有限公司