无人机以及RGBD图像的处理方法与流程

本发明涉及无人机领域，特别是涉及一种无人机以及RGBD图像的处理方法。

背景技术：

随着微电子技术和计算机视觉技术的不断发展，使得目标跟踪得以实时实现，尤其是将目标跟踪装置安装到无人机上，可以实现对目标的灵活动态跟踪，在军事和民用领域具有较高的使用价值。

传统无人机的目标跟踪技术中，通常使用激光、雷达和超声等主动环境感知方法，其缺点为并不能直接获得目标的未知信息，并且多个无人机检测时会相互干扰，更为弊端的是在战场环境中隐蔽性差，被敌方发现的概率大的增加。

现有的无人机主要致力于增大航时，提高速度，隐身机体，缩小体积，高度智能，加载武器，增强传输可靠性和通用性，使无人机能够按照指令或者预先编制的程序来完成预定的作战任务。而现有的无人机上的相机一般应用2D相机来拍摄2D图像，图像中每个像素点只包括红(Red，R)、绿(Green，G)、蓝(Blue，B)像素，不包括深度信息D。如此现有的无人机无法根据拍摄2D图像来自动实现目标跟踪拍摄等。

技术实现要素：

本发明实施例提供了一种无人机以及RGBD图像的处理方法，能够处理大数据的RGBD图像序列。

本发明提供一种无人机，无人机包括RGBD相机、飞行控制器、处理器以及通信模块，处理器与RGBD相机、飞行控制器以及通信接口连接，其中：飞行控制器用于调整无人机的飞行姿态和/或拍摄模式；RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；通信模块用于完成无人机与远端服务器的RGBD图像的传输；处理器，用于通过通信模块将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。

其中，远端服务器通过通信接口接收无人机发送的RGBD图像，并根据RGBD图像生成目标的高清RGBD图像序列；并根据根据高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画。

其中，处理器根据RGBD图像识别目标。

其中，无人机包括多个RGBD相机，无人机通过通信模块将多个RGBD获取的目标的RGBD图像传输至远端服务器以实时输出3D视频或3D动画。

其中，远端服务器包括地面终端服务器，无人机通过通信接口将RGBD图像传输至地面终端服务器。

其中，远端服务器包括云端服务器，通信模块可以包括无线通讯单元，无人机通过无线通讯单元将RGBD图像传输至云端服务器。

本发明还提供一种RGBD图像的处理方法，包括：在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息，其中通过飞行控制器用于调整无人机的飞行姿态；将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。

其中，将RGBD图像传输至远端服务器以进行处理的步骤包括：通过远端服务器接收无人机发送的RGBD图像，并根据RGBD图像生成目标的高清RGBD图像序列；通过远端服务器根据高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画。

其中，通过远端服务器根据高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画的步骤包括：根据目标的RGBD图像序列生成目标的骨架网格；根据目标的骨架网格生成目标的3D模型、3D视频或3D动画。

其中，远端服务器包括云端服务器和/或地面终端服务器，将RGBD图像传输至远端服务器以进行处理的步骤包括：将RGBD图像传输至云端服务器和/或地面终端服务器。

通过上述方案，本发明的有益效果是：通过飞行控制器用于调整无人机的飞行姿态和/或拍摄模式；RGBD相机，用于在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息，通信模块用于完成无人机与远端服务器的RGBD图像的传输；处理器，用于通过通信模块将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画；能够处理大数据的RGBD图像序列。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本发明第一实施例的无人机的结构示意图；

图2是本发明实施例的无人机对人体进行3D建模的示意图；

图3是本发明实施例的无人机对目标进行行为分析的示意图

图4是本发明实施例的RGBD图像的处理方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明第一实施例的无人机的结构示意图。如图1所示，无人机(unmanned air vehicle，UAV)10包括：RGBD相机11、飞行控制器12、处理器13以及通信模块14。处理器13与RGBD相机11电连接，飞行控制器12与处理器13连接。飞行控制器12用于调整无人机10的飞行姿态和/或拍摄模式。RGBD相机11用于在无人机10飞行过程中实时获取目标的RGBD图像。RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息。其中像素的深度信息构成场景的二维像素矩阵，简称深度图。每个像素与其在场景中的位置相对应，并具有表示从某个参考位置到其场景位置的距离的像素值。换言之，深度图具有图像的形式，像素值指出场景的物体的形貌信息，而不是亮度和/或颜色。通信模块14用于完成无人机10与远端服务器的RGBD图像的传输。处理器13用于通过通信模块14将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。

在本发明实施例中，处理器13根据RGBD图像识别目标。具体地，处理器13可以应用彩色图像分割方法，利用背景纹理分割出背景图像，然后利用原始图像减去背景图像得到目标图像。当然在本发明其他实施例中，也可以应用其他方法识别目标。目标为特定的人体，如果目标为人体，处理器13可以根据R、G、B像素信息检测人体的脸部特征以锁定人体。跟踪拍摄的方式包括正面拍摄、侧面拍摄、背面拍摄、顶部拍摄中的一者或任意组合。

在本发明实施例中，处理器13根据R、G、B像素信息和对应的深度信息识别目标为刚体或非刚体。具体可以利用深度信息对目标的轮廓进行识别，辨别轮廓为刚体还是非刚体，辨别出目标为动态生物(如人体)还是非刚体的物体。若为刚体则识别为物体，以及目标是否发生主动的运动。其中刚体是指三维结构不会随着运动发生改变的物体，而非刚体则相反，其三维结构会随着运动发生改变。

在本发明实施例中，处理器13根据RGBD图像对目标进行特征点标识。具体地，处理器13可以根据一帧RGBD图像即可识别目标的特征点，然后根据连续多角度的RGBD图像对特征点进行修正。以目标为人体为例，根据一帧RGBD图像即可识别人体的特征点，具体地，对RGBD图像去除背景得到人体的轮廓，然后将人体躯干部分的中心点、头部的质心、边缘的转折点记为特征点，并根据人体比例以及存储的人体大数据将手肘以及腿部的关节点记为特征点得到人体的全部特征点如图2中的图a所示。进一步根据连续多角度的RGBD图像对特征点进行修正得到人体的骨架网格如图2中的图b所示。处理器13进而根据骨架网格生成3D视频如图2中的图c所示。以目标为汽车为例参见图3的图a中的目标，处理器13可以根据一帧RGBD图像识别目标的特征点，然后根据连续多角度的RGBD图像对特征点进行修正以获得目标的骨架网格。处理器13进一步可以根据目标的骨架网格对目标进行动态行为分析，如图3中的图b可以看出，目标将转向行驶。

处理器13还可利用RGB色彩信息对目标的进行特征识别，识别物体的轮廓、色彩信息，提取更多目标的特征，提高目标的识别准确率。识别方法不限于常用的训练方法，如机器学习，深度学习等算法。例如利用RGB信息，对动态生物目标进行肤色识别，或符合人体肤色特征，则识别目标是否为人体，否则为非人体。处理器13还兼容处理声音、红外传感器等其他传感器的信息，用于识别和检测目标及其特征，提高准确率。

如果识别到目标为人体，则处理器13标识出人体躯干、四肢、手部、脸部等人体部位，提取出身高、臂长、肩宽、手掌大小、脸部大小、脸部表情特征等信息。如果识别到目标为动物，则处理器13可以利用类似人体目标的RGBD识别方法，及RGBD图像序列目标跟踪方法进行识别和目标特征识别提取，在此不再赘述。如果识别到目标为非生物物体，处理器13利用深度信息D识别目标的轮廓尺寸。具体地，处理器13可以分割深度图以找出目标的轮廓。处理器13进而利用目标的RGB信息，进行物体检测，识别其色彩，或二维码等信息。

在本发明实施例中，远端服务器通过通信接口接收无人机10发送的RGBD图像，并根据RGBD图像生成目标的高清的RGBD图像序列。远端服务器进一步根据高清的RGBD图像序列生成高清的3D模型、3D视频或3D动画。通信模块14包括通信接口，其中通信接口包括RS232、USB、micro USB的至少之一。远端服务器包括地面终端服务器，无人机通过通信接口将RGBD图像传输至地面终端服务器。其中地面终端服务器可以是上位机。远端服务器包括云端服务器，通信模块14可以包括无线通讯单元，无人机10通过无线通讯单元将RGBD图像传输至云端服务器。

具体地，以目标是人体为例，远端服务器首先对RGBD相机11拍摄的目标的深度图像去除背景部分，由于背景像素点的深度值比人体部位的深度值大，远端服务器可以选择一个适当的阈值，当像素点的深度值大于这个阈值时，将此像素点标记为背景点，从深度图像中去除，得到人体点云数据。远端服务器再将点云数据转化为三角网格数据，具体可以利用深度图像上的四领域作为连接的拓扑关系，点云数据根据该拓扑关系生成三角网格数据。其中三角网格数据也即为目标的骨架网格。远端服务器进一步对点去数据进行去噪处理，具体可以将每个视角的多帧点云数据分别求和平均去除大噪声，再用双边滤波去除微小噪声。远端服务器最后将多个视角的三角网格数据拼接在一起形成一个整体，以用于进行模型重建。远端服务器可以采用迭代算法重建三维人体模型。在迭代算法中，先找出标准模型与采集到的数据之间的对应点，以用作后面的变化约束点。然后将约束点作为能量项，最小化目标函数，从而将标准模型变形到解决扫描数据，最后求出变形后的标准模型在人体空间中的参数，计算得到的人体参数用于下一次迭代中，如此进行多次迭代后完成三维人体模型的重建。远端服务器完成目标的三维重建并生成3D模型后，进而可以根据目标的RGBD图像序列生成3D视频或3D动画。远端服务器还可以完成目标的三维建模后通过通信模块将信息发送至处理器13。处理器13进而可以标识出人体躯干、四肢、手部、脸部等人体部位，提取出身高、臂长、肩宽、手掌大小、脸部大小、脸部表情特征等信息。

在本发明实施例中，RGBD相机11可以对目标进行跟踪拍摄以获取骨架网格的运动轨迹。同时，RGBD相机11获取多角度的RGBD图像序列，可以包括正面、侧面以及反面的RGBD图像序列。远端服务器根据目标的多角度的RGBD图像序列中的各帧深度图像进行网格重建、拼接形成目标的三维模型。远端服务器可以将目标的骨架网格的运动轨迹与三维模型进行匹配，并根据RGBD相机11获取的RGBD图像序列获得目标的3D视频或3D动画。

具体地，通过RGBD相机11获取需要进行三维重建的至少两幅RGBD图像，并根据该至少两幅RGBD图像获取需要构建三维场景的深度信息和RGB像素信息。飞行控制器12对相对于RGBD相机11移动的目标进行持续跟踪，确定目标相对于RGBD相机11的相对位置。根据该相对位置确定三维场景中需要显示的图像以进行跟踪拍摄。

远端处理器根据该至少两幅RGBD图像获取需要构建三维场景的深度信息和RGB像素信息包括：RGBD相机通过已有的局部算法或者全局算法，通过对不同RGBD图像之间的运算，获得需要构建的三维场景的深度信息和RGB像素信息，例如，可以通过光束平差算法，计算三维场景中的每个像素的深度信息之后，可以通过RGBD的格式对三维场景的每个像素的RGB像素信息和深度信息进行表示并记录。处理器13结合三维场景的构建和相对位置，生成与每个相对位置对应的场景视图，组成RGBD图像序列，进而构成3D视频。

在本发明实施例中，远端处理器也可以直接将第一目标的骨架网格的运动轨迹与预设的第二目标的三维模型进行匹配，并根据RGBD相机11获取的第二目标的RGBD图像序列获得第二目标的3D视频。其中第一目标的骨架网格可以是预存在远端处理器中，或者是远端处理器先跟踪拍摄第一目标以获取第一目标的骨架网格。第二目标的三维模型的建立与前述的目标的三维模型的建立的方法相同。

在本发明实施例中，处理器13也可以根据目标的RGBD图像对目标进行三维建模，并生成目标的3D模型、3D视频或3D动画，具体的方法与远端服务器生成目标的3D模型、3D视频或3D动画的方法类似，在此不再赘述。但是由于处理器13中的存储容量有限，只能针对数据量不是很大的目标的RGBD图像进行处理。而数据量庞大的目标的RGBD图像需传输至远端服务器进行处理。具体地，处理器13判断目标的RGBD图像的数据量大小，如果数据量大于预设阈值，则将RGBD图像传输至远端服务器进行处理；如果数据量小于预设阈值，则处理器可以直接处理目标的RGBD图像。其中，预设阈值可以根据需要进行设置，在此不作限定。

在本发明实施例中，RGBD相机11可以根据处理器13重建的目标的3D模型跟踪拍摄目标，获取目标的运动轨迹。处理器13进而用以分析目标的姿态动作。如果目标为人体，处理器13可以根据人体的姿态动作、行为模式等分析提取身份信息，进而区分为小孩、老人、青年人等。

在本发明实施例中，无人机10可以包括多个RGBD相机，无人机10通过通信模块14将多个RGBD获取的目标的RGBD图像传输至远端服务器以实时输出3D视频或3D动画。

在本发明实施例中，目标可以为多个。无人机10同时跟踪拍摄多个目标，具体地，在无人机10飞行过程中，如果需要拍摄的多个目标相距不远，RGBD相机11可以在拍摄的一个RGBD图像中同时包括该多个目标。如果需要拍摄的多个目标之间相距甚远，RGBD相机无法保证同一个RGBD图像中包括多个目标，则RGBD相机11进行位移或旋转以能够依次拍摄该多个目标。对应的处理器13和/或远端服务器可以对一个RGBD图像进行处理，或者依次对多个RGBD图像进行处理以获取多个目标的3D模型。

在本发明实施例中，处理器13还用于实时对R、G、B像素信息进行处理，以识别目标和目标特征，并根据目标对应的深度信息获取与目标的实时距离。飞行控制器12用于根据实时距离调整无人机10的飞行姿态，使得RGBD相机11对目标进行跟踪拍摄。具体地，飞行控制器12可以接收通过遥控器，语音、手势等控制单元发出的指令，并根据指令跟踪拍摄目标，其中，无人机10的飞行姿态包括起飞、悬停、俯仰、滚转、偏航、降落等。

无人机10还包括飞行组件和云台(图未示)。RGBD相机设置在云台上，云台用于测量载体的姿态变化做出反应以稳定云台上的RGBD相机，以方便RGBD相机对目标进行跟踪拍摄。飞行组件可以包括旋翼或固定翼，以用于确保无人机的正常飞行以及飞行过程中飞行姿态的稳定。优选地，以四旋翼无人机为例，四个螺旋桨呈十字形交叉结构，相对的四旋翼具有相同的旋转方向，分两组，两组的旋转方向不同。与传统的直升机不同，四旋翼飞行器只能通过改变螺旋桨的速度来实现各种动作。

如图4所示，本发明还提供一种RGBD图像的处理方法，包括：

步骤S10：在无人机飞行过程中实时获取目标的RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息，其中通过飞行控制器用于调整无人机的飞行姿态。

在本发明实施例中，可以通过RGBD相机获取目标的RGBD图像，具体地，可以获取目标的多角度的RGBD图像，可以包括正面、侧面以及反面的RGBD图像。

步骤S11：将RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画。

在步骤S11中，通过远端服务器接收无人机发送的RGBD图像，并根据RGBD图像生成目标的RGBD图像序列；通过远端服务器根据目标的RGBD图像序列生成目标的3D模型、3D视频或3D动画。具体地，根据目标的RGBD图像序列生成目标的骨架网格；根据目标的骨架网格生成目标的3D模型、3D视频或3D动画。

在本发明实施例中，远端服务器首先对RGBD相机拍摄的目标的深度图像去除背景部分，由于背景像素点的深度值比人体部位的深度值大，远端服务器可以选择一个适当的阈值，当像素点的深度值大于这个阈值时，将此像素点标记为背景点，从深度图像中去除，得到人体点云数据。远端服务器再将点云数据转化为三角网格数据，具体可以利用深度图像上的四领域作为连接的拓扑关系，点云数据根据该拓扑关系生成三角网格数据。其中三角网格数据也即为目标的骨架网格。远端服务器进一步对点去数据进行去噪处理，具体可以将每个视角的多帧点云数据分别求和平均去除大噪声，再用双边滤波去除微小噪声。远端服务器最后将多个视角的三角网格数据拼接在一起形成一个整体，以用于进行模型重建。远端服务器可以采用迭代算法重建目标的三维模型。在迭代算法中，先找出标准模型与采集到的数据之间的对应点，以用作后面的变化约束点。然后将约束点作为能量项，最小化目标函数，从而将标准模型变形到解决扫描数据，最后求出变形后的标准模型在目标空间中的参数，计算得到的目标参数用于下一次迭代中，如此进行多次迭代后完成目标的三维模型的重建。远端服务器完成目标的三维重建并生成3D模型后，进而可以根据目标的RGBD图像序列生成3D视频或3D动画。

其中，远端服务器包括云端服务器和/或地面终端服务器，将RGBD图像传输至远端服务器以进行处理的步骤包括：将RGBD图像传输至云端服务器和/或地面终端服务器。其中地面终端服务器可以是上位机。

在本发明实施例中，也可以直接在无人机侧根据目标的RGBD图像对目标进行三维建模，并生成目标的3D模型、3D视频或3D动画，具体的方法与远端服务器生成目标的3D模型、3D视频或3D动画的方法类似，在此不再赘述。但是由于无人机中的存储容量有限，只能针对数据量不是很大的目标的RGBD图像进行处理。而数据量庞大的目标的RGBD图像需传输至远端服务器进行处理。具体地，判断目标的RGBD图像的数据量大小，如果数据量大于预设阈值，则将RGBD图像传输至远端服务器进行处理；如果数据量小于预设阈值，则可以直接在无人机侧处理目标的RGBD图像。其中，预设阈值可以根据需要进行设置，在此不作限定。

综上所述，本发明通过RGBD相机在无人机飞行过程中实时获取RGBD图像，RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息；通信模块用于完成无人机与远端服务器的RGBD图像的传输；处理器用于通过通信模块将所述RGBD图像传输至远端服务器以进行处理，生成高清的3D模型、3D视频或3D动画，如此无人机能够处理大数据的RGBD图像序列。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。