航拍方法、装置和无人机与流程

本发明涉及无人机技术领域，尤其是涉及一种航拍方法、装置和无人机。

背景技术：

随着无人机技术的迅速发展，无人机的应用越来越广泛，其中，航拍是比较重要的应用领域。目前的航拍系统，主要由无人机和遥控设备组成，用户通过遥控设备对无人机进行控制，无人机通过一个航拍摄像头将拍摄的图像实时传送给遥控设备供用户观看。

为了向用户提供一种更加真实的体验，现有技术中开始将头戴式虚拟现实(virtualreality，vr)设备如vr眼镜作为遥控设备。无人机将拍摄的图像实时传输给vr眼镜，用户则通过vr眼镜实时观看拍摄图像，同时用户还通过vr眼镜来控制无人机的姿态和拍摄角度。

由于vr眼镜将人眼与外部完全隔绝，因此为用户提供了一种沉浸式体验，在一定程度上提升了用户体验。然而，由于无人机传送给vr眼镜的图像为2d图像，因此并不能充分发挥vr眼镜的优势，法给用户带来身临其境的体验。

技术实现要素：

本发明实施例的主要目的在于提供一种航拍方法、装置和无人机，旨在实现通过无人机进行航拍时给用户带来身临其境的体验。

为达以上目的，一方面提出一种航拍方法，所述方法包括以下步骤：

通过两个摄像头采集图像；

将所述两个摄像头采集的两个图像拼接为一个3d图像；

向外发送所述3d图像。

可选地，所述图像为照片或视频流。

可选地，当所述图像为视频流时，所述将所述两个摄像头采集的两个图像拼接为一个3d图像包括：

将所述两个摄像头采集的两个视频流分别采样为两个预设分辨率的视频流，所述预设分辨率低于原始分辨率；

将所述两个预设分辨率的视频流拼接为一个3d视频流。

可选地，所述两个摄像头左右并排设置，所述将所述两个摄像头采集的两个图像拼接为一个3d图像包括：

将所述两个摄像头采集的两个图像左右并排拼接在一起，获得一个左右格式的3d图像。

可选地，所述将所述两个摄像头采集的两个图像左右并排拼接在一起包括：将左边摄像头采集的图像拼接在左边，将右边摄像头采集的图像拼接在右边。

可选地，将所述两个摄像头采集的两个图像拼接为一个3d图像的步骤之后还包括：利用所述3d图像进行拍摄场景的深度探测，获取深度信息。

可选地，所述向外发送所述3d图像包括：向头戴式虚拟现实设备发送所述3d图像。

另一方面，提出一种航拍装置，所述装置包括：

图像采集模块，用于通过两个摄像头采集图像；

图像处理模块，用于将所述两个摄像头采集的两个图像拼接为一个3d图像；

图像发送模块，用于向外发送所述3d图像。

可选地，所述图像为照片或视频流。

可选地，当所述图像为视频流时，所述图像处理模块用于：将所述两个摄像头采集的两个视频流分别采样为两个预设分辨率的视频流，将所述两个预设分辨率的视频流拼接为一个3d视频流，其中，所述预设分辨率低于原始分辨率。

可选地，所述两个摄像头左右并排设置，所述图像处理模块用于：将所述两个摄像头采集的两个图像左右并排拼接在一起，获得一个左右格式的3d图像。

可选地，所述图像处理模块用于：将左边摄像头采集的图像拼接在左边，将右边摄像头采集的图像拼接在右边。

可选地，所述装置还包括深度探测模块，所述深度探测模块用于：利用所述3d图像进行拍摄场景的深度探测，获取深度信息。

可选地，所述图像发送模块用于：向头戴式虚拟现实设备发送所述3d图像。

本发明还提出一种无人机，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序被配置为用于执行前述航拍方法。

本发明实施例所提供的一种航拍方法，通过两个摄像头采集两个图像，并将采集的两个图像拼接为3d图像后发送出去，使得无人机能够在航拍过程中提供3d图像，并使得用户可以实时查看到画面逼真的3d图像，让用户产生身临其境的感觉，实现真正的沉浸式体验，极大的提升了用户的航拍体验。

进一步地，在将3d图像实时传送给用户观看的同时，还通过3d图像进行深度探测，使得无人机利用一组双目摄像头(即两个摄像头)就能同时实现3d航拍、避障、跟踪、测距等多种功能，无需分别利用两组双目摄像头(即四个摄像头)分别实现3d拍摄和深度探测，从而以较低的成本实现了多种功能。

附图说明

图1是本发明第一实施例的航拍方法的流程图；

图2是本发明第二实施例的航拍方法的流程图；

图3是本发明第三实施例的航拍装置的模块示意图；

图4是本发明第四实施例的航拍装置的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明实施例的航拍方法和航拍装置，主要应用于无人机，当然也可以应用于其它的飞行器，本发明对此不作限定。本发明实施例以应用于无人机为例进行详细说明。

实施例一

参见图1，提出本发明第一实施例的航拍方法，所述方法包括以下步骤：

s11、通过两个摄像头采集图像。

本发明实施例中，无人机设置有两个摄像头，组成一组双目摄像头。两个摄像头优选左右并排设置。当然，也可以交错设置，即两个摄像头不在同一条水平线上。两个摄像头之间间隔一定距离，理论上间隔距离越大越好。

本步骤s11中，无人机通过两个摄像头同时(同步)采集图像，采集的图像可以是照片或者视频流。

s12、将两个摄像头采集的两个图像拼接为一个3d图像。

具体的，将两个摄像头采集的两个图像左右并排拼接在一起，优选地，将左边摄像头采集的图像拼接在左边，将右边摄像头采集的图像拼接在右边，最终获得一个左右格式的3d(立体)图像。可选地，也可以将两个摄像头采集的两个图像上下并列拼接在一起，获得一个上下格式的3d图像。所述3d图像即3d照片或者3d视频流。

进一步地，在进行图像拼接之前，无人机先对原始图像进行分辨率降低处理，然后对降低了分辨率的图像进行拼接处理，以减小最终的3d图像尺寸，避免后续传输时消耗太多的带宽资源，从而提高传输速度，提高图像传输的实时性。

以采集的图像为视频流为例，无人机首先将两个摄像头采集的两个视频流分别采样为两个预设分辨率的视频流，然后将两个预设分辨率的视频流拼接为一个3d视频流，其中，预设分辨率低于原始分辨率。

例如，无人机的两个摄像头各自拍摄4k分辨率的视频流，无人机将两个4k分辨率的视频流采样成为两个720p格式的的视频流，采样方式可以采用通用的降采样算法进行，例如将4个像素合并成为一个像素；采样后的两个720p的视频流在保持帧同步的情况下，将左摄像头拍摄的画面置于左边，右摄像头拍摄的画面置于右边，拼接成为一个分辨率为2560*720的左右格式的3d视频流。

此外，无人机还可以将两个摄像头拍摄的原始图像保存于本地的存储空间内。进一步地，在保存前，还对原始图像进行压缩处理，以节省存储空间，如将视频流压缩为h.265格式的视频文件。

s13、向外发送3d图像。

本步骤s13中，无人机将获得的3d图像发送出去，例如发送给与无人机建立了无线通信连接的遥控设备或终端设备，如手机、平板电脑、头戴式虚拟现实(vr)设备(如vr眼镜、vr头盔等)等，或者通过无线通信网络上传至服务器等。

进一步地，在发送3d图像之前，无人机还对3d图像进行压缩处理，以减小3d图像的尺寸，提高传输效率，实现实时传输。例如，将3d视频流压缩为h.264格式的视频流，然后向外发送。

更进一步地，无人机还利用3d图像进行拍摄场景的深度探测，获取深度信息，并利用深度信息实现目标测距、人脸识别、手势识别、目标跟踪等功能，并可以结合无人机的姿态信息与深度信息实现避障(如前向避障)，从而利用一组双目摄像头就能同时实现航拍、避障、跟踪、测距等多种功能。

其中，利用3d图像进行深度探测，即利用3d图像(如3d视频流)中左右或上下两个图像的差异(视差)来实现深度探测。视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异，因此同一个目标在不同位置的双目摄像头(如左摄像头和右摄像头)获得的图像中存在视差。距离摄像头越近的目标，在双目摄像头的图像中的视差越大，因此可以根据双目摄像头获得的两幅图像中目标的视差大小来计算目标到摄像头的距离，即目标的深度，从而实现深度探测。将图像分成几个有效区域，依次计算每个区域的目标距离，并将距离与区域方位反馈给飞控，飞控根据前方目标的距离与方位，就可以实现避障。

可选地，当用户通过遥控设备(如vr眼镜)控制摄像头俯仰(通常通过控制安置摄像头的云台俯仰来实现摄像头俯仰)时，当俯仰角度大于预设的俯仰角度(可以根据实际需要设定)时，无人机则提示用户避障功能失效和/或保持悬停状态。

本发明实施例中，当用户选择好需要跟踪拍摄的目标后，无人机将调整自身和云台的姿态以对准选中的目标。因为基于深度信息的目标跟踪准确率比以往的平面视觉的方法更加精确，从而能够为无人机实现具有实际应用价值的跟踪拍摄功能。

本发明实施例中，当用户触发拍照指令时，如在遥控设备(如vr眼镜)前做出挥手、双手画框等动作时，无人机则通过两个摄像头拍摄两张全分辨率的照片存储于本地，并利用拍摄的两张照片拼接成一张3d照片。

进一步地，无人机还可以通过两个摄像头各自的画面进行画质改善，如进行去噪处理、背景虚化处理等。具体的，双目摄像头拍摄的两张照片，通过特征点匹配后，可以找出完全重合的区域，在该区域内的画面相当于进行了两次拍摄。对同一个画面进行多次拍摄后进行叠加处理(如最简单的加权平均)可以有效的降低噪声。同时，根据双目的深度信息，可以辨别画面的前景和后景，通过模糊算法(如最简单的高斯模糊滤波)可以对后景进行模糊处理，从而形成背景虚化的效果。

本发明实施例的航拍方法，相对于现有技术，具有以下技术效果：

1)通过图像拼接的方式制作3d图像，使得无人机可以通过双目摄像头拍摄3d画面，并实时传送到vr眼镜等终端设备，用户可以通过vr眼镜进行3d视频的实时观看，实时提供了航拍的3d视频源，大大提升了用户体验；

2)通过3d图像进行深度探测，使得无人机利用同一组双目摄像头，还可以实现拍摄场景的深度探测，获取深度信息，实现前向避障、目标跟踪等功能，无需分别利用两组双目摄像头(即四个摄像头)分别实现3d拍摄和深度探测，从而以较低的成本实现了多种功能；

3)还可以将手机等终端设备上基于双目摄拍摄的特色应用应用在无人机上，进一步拓展无人机的功能；

4)结合深度信息进行目标跟踪，提高了对拍摄对象(如人、车)追踪的准确度，使得无人机进行目标跟踪时更加可靠和有效；

5)利用深度信息进行目标测距，可以精确测量目标的距离，有助于安全的近距离拍摄。

实施例二

参见图2，提出本发明第二实施例的航拍方法，所述方法包括以下步骤：

s21、通过两个左右并排设置的摄像头采集视频流。

本实施例中，无人机的双目摄像头左右并排设置，无人机通过双目摄像头同时采集视频流。

s22、将两个摄像头采集的两个视频流分别采样为两个预设分辨率的视频流。

s23、将两个预设分辨率的视频流左右并排拼接在一起，获得一个左右格式的3d视频流。

具体的，无人机首先将双目摄像头采集的两个视频流分别采样为两个预设分辨率的视频流，然后将两个预设分辨率的视频流左右并排拼接在一起，优选地，将左边摄像头采集的视频流拼接在左边，将右边摄像头采集的视频流拼接在右边，最终获得一个左右格式的3d视频流，其中，预设分辨率低于原始分辨率。例如，无人机的两个摄像头各自拍摄4k分辨率的视频流，无人机首先将两个4k分辨率的视频流采样成为两个720p格式的的视频流，然后将两个720p格式的视频流左右(或上下)拼接成为一个分辨率为2560*720的左右格式(或上下格式)的3d视频流。

同时，无人机还将两个摄像头拍摄的4k分辨率的视频流保存于本地的存储空间内。进一步地，在保存前，还对原始视频流进行压缩处理，以节省存储空间，如将4k分辨率的视频流压缩为h.265格式的视频文件。

s24、将3d视频流压缩后发送给vr眼镜。

本实施例中，无人机将3d视频流压缩为h.264格式的视频流，然后发送给vr眼镜，实现实时传输。

vr眼镜接收到3d视频流后立即播放，用户则可以实时观看无人机拍摄到的3d视频，使得画面更加逼真，让用户有身临其境的感觉，极大的提升了用户体验。

用户可以通过vr眼镜控制无人机的飞行姿态和拍摄角度，当用户触发拍照指令时，如在vr眼镜前做出挥手、双手画框等动作时，无人机则通过两个摄像头拍摄两张全分辨率的照片存储于本地，并利用拍摄的两张照片拼接成一张3d照片传送回vr眼镜，用户则可以实时观看拍摄到的3d照片。进一步地，无人机还可以通过两个摄像头各自的画面进行画质改善，如进行去噪处理、背景虚化处理等。

s25、利用3d视频流进行拍摄场景的深度探测，获取深度信息。

本实施例中，无人机还同时利用3d视频流进行拍摄场景的深度探测，获取深度信息。其中，利用3d视频流进行深度探测，即利用3d视频流中左右两个视频流的差异(视差)来实现深度探测。

s26、根据深度信息实现前向避障、目标跟踪、目标测距等功能。

本实施例中，利用深度信息实现避障(如前向避障)、人脸识别、手势识别、目标跟踪等功能，并可以结合无人机的姿态信息与深度信息实现目标测距，具体实现过程与现有技术相同，在此不赘述。

本实施例将双目摄像头拍摄的两个视频流拼接为一个3d视频流，一边将3d视频流实时传送给vr眼镜供用户实时查看，一边通过3d视频流进行深度探测，使得无人机利用一组双目摄像头就能同时实现3d航拍、避障、跟踪、测距等多种功能，无需分别利用两组双目摄像头(即四个摄像头)分别实现3d拍摄和深度探测，从而以较低的成本实现了多种功能。

实施例三

参见图3，提出本发明第三实施例的航拍装置，所述装置包括图像采集模块、图像处理模块和图像发送模块，其中：

图像采集模块：用于通过两个摄像头采集图像。

本发明实施例中，无人机设置有两个摄像头，组成一组双目摄像头。两个摄像头优选左右并排设置。当然，也可以交错设置，即两个摄像头不在同一条水平线上。两个摄像头之间间隔一定距离，理论上间隔距离越大越好。

图像采集模块通过两个摄像头同时(同步)采集图像，采集的图像可以是照片或者视频流。

图像处理模块：用于将两个摄像头采集的两个图像拼接为一个3d图像。

具体的，图像处理模块将两个摄像头采集的两个图像左右并排拼接在一起，优选地，将左边摄像头采集的图像拼接在左边，将右边摄像头采集的图像拼接在右边，最终获得一个左右格式的3d(立体)图像。可选地，图像处理模块也可以将两个摄像头采集的两个图像上下并列拼接在一起，最终获得一个上下格式的3d图像。所述3d图像即3d照片或者3d视频流。

进一步地，在进行图像拼接之前，图像处理模块先对原始图像进行分辨率降低处理，然后对降低了分辨率的图像进行拼接处理，以减小最终的3d图像尺寸，避免后续传输时消耗太多的带宽资源，从而提高传输速度，提高图像传输的实时性。

以采集的图像为视频流为例，图像处理模块首先将两个摄像头采集的两个视频流分别采样为两个预设分辨率的视频流，然后将两个预设分辨率的视频流拼接为一个3d视频流，其中，预设分辨率低于原始分辨率。

例如，无人机的两个摄像头各自拍摄4k分辨率的视频流，图像处理模块将两个4k分辨率的视频流采样成为两个720p格式的的视频流，采样方式可以采用通用的降采样算法进行，例如将4个像素合并成为一个像素；在保持两个720p格式的视频流帧同步的情况下，将左摄像头拍摄的画面置于左边，右摄像头拍摄的画面置于右边，将两个720p格式的视频流左右拼接成为一个分辨率为2560*720的左右格式的3d视频流。

此外，图像处理模块还可以将两个摄像头拍摄的原始图像保存于本地的存储空间内。进一步地，在保存前，图像处理模块还对原始图像进行压缩处理，以节省存储空间，如将视频流压缩为h.265格式的视频文件。

图像发送模：用于向外发送3d图像。

具体的，图像发送模将获得的3d图像实时(或定时的)发送出去，例如发送给与无人机建立了无线通信连接的遥控设备或终端设备，如手机、平板电脑、头戴式虚拟现实设备(如vr眼镜、vr头盔等)等，或者通过无线通信网络上传至服务器等。

进一步地，在发送3d图像之前，图像处理模块还对3d图像进行压缩处理，以减小3d图像的尺寸，提高传输效率，实现实时传输。例如，将3d视频流压缩为h.264格式的视频流，然后向外发送。

本发明实施例中，当用户触发拍照指令时，如在遥控设备(如vr眼镜)前做出挥手、双手画框等动作时，图像采集模块则通过两个摄像头拍摄两张全分辨率的照片存储于本地，图像处理模块则利用拍摄的两张照片拼接成一张3d照片。

进一步地，图像处理模块还可以通过两个摄像头各自的画面进行画质改善，如进行去噪处理、背景虚化处理等。具体的，双目摄像头拍摄的两张照片，通过特征点匹配后，可以找出完全重合的区域，在该区域内的画面相当于进行了两次拍摄，图像处理模块对进行多次拍摄后的同一个画面进行叠加处理(如最简单的加权平均)就可以有效的降低噪声。同时，根据双目的深度信息，可以辨别画面的前景和后景，图像处理模块通过模糊算法(如最简单的高斯模糊滤波)可以对后景进行模糊处理，从而形成背景虚化的效果。

本发明实施例的航拍装置，通过两个摄像头采集两个图像，并将采集的两个图像拼接为3d图像后发送出去，使得无人机能够在航拍过程中提供3d图像，并使得用户可以实时查看到画面逼真的3d图像，给用户带来了身临其境的体验，极大的提升了用户的航拍体验。

实施例四

参照图4，提出本发明第四实施例的航拍装置，本实施例在第三实施例的基础上增加了深度探测模块，所述深度探测模块用于：利用3d图像进行拍摄场景的深度探测，获取深度信息，然后就可以利用深度信息实现目标测距、人脸识别、手势识别、目标跟踪等功能，并可以结合无人机的姿态信息与深度信息实现避障(如前向避障)，从而利用一组双目摄像头就能同时实现航拍、避障、跟踪、测距等多种功能。

其中，利用3d图像进行深度探测，即利用3d图像(如3d视频流)中的左右或上下两个图像的差异(视差)来实现深度探测。视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异，因此同一个目标在不同位置的双目摄像头(如左摄像头和右摄像头)获得的图像中存在视差。距离摄像头越近的目标，在双目摄像头的图像中的视差越大，因此深度探测模块可以根据双目摄像头获得的两幅图像中目标的视差大小来计算目标到摄像头的距离，即目标的深度，从而实现深度探测。

可选地，当用户通过遥控设备(如vr眼镜)控制摄像头俯仰(通常通过控制安置摄像头的云台俯仰来实现摄像头俯仰)时，当俯仰角度大于预设的俯仰角度时，深度探测模块则提示用户避障功能失效和/或保持无人机处于悬停状态。

本发明实施例中，当用户选择好需要跟踪拍摄的目标后，无人机将调整自身和云台的姿态以对准选中的目标。因为基于深度信息的目标跟踪准确率比以往的平面视觉的方法更加精确，从而能够为无人机实现具有实际应用价值的跟踪拍摄功能。

本实施例中，将双目摄像头拍摄的两个图像拼接为一个3d图像后，一边将3d图像实时传送给用户观看，一边通过3d图像进行深度探测，使得无人机利用一组双目摄像头(即两个摄像头)就能同时实现3d航拍、避障、跟踪、测距等多种功能，无需分别利用两组双目摄像头(即四个摄像头)分别实现3d拍摄和深度探测，从而以较低的成本实现了多种功能。

本发明同时提出一种无人机，所述无人机包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序被配置为用于执行航拍方法。所述航拍方法包括以下步骤：通过两个摄像头采集图像；将所述两个摄像头采集的两个图像拼接为一个3d图像；向外发送所述3d图像。本实施例中所描述的航拍方法为本发明中上述实施例所涉及的航拍方法，在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。