本发明实施例涉及无人飞行器技术领域，尤其涉及一种图像融合的方法和无人飞行器。
背景技术：
现有的无人飞行器通过设置于其上的成像装置拍摄图像，并将图像通过显示界面展示给用户，目前，无人飞行器搭载成像装置，主要是在无人飞行器的底部设置有一云台，成像装置承载在该云台上，通过云台可以使得无人飞行器在飞行过程中保证成像装置的稳定性，进而拍摄到良好的图像。但是，目前将成像装置承载在无人飞行器底部的云台上，很有可能拍摄到无人飞行器上的螺旋桨，会遮挡住所需拍摄的画面，从而影响了图像的拍摄效果。
技术实现要素：
本发明实施例提供一种图像融合的方法和无人飞行器，用于避免获得包括遮挡物的图像，改善了无人飞行器的图像的拍摄效果。
第一方面，本发明实施例提供一种图像融合的方法，包括：
分别通过无人飞行器的n个成像装置采集n张图像；所述n为大于1的整数；
识别每张图像中的遮挡物图像；
根据每张图像中的遮挡物图像，对所述n张图像进行融合，获得无遮挡物的融合图像。
第二方面，本发明实施例提供一种无人飞行器，包括：
机架；
第一成像装置，设于所述机架的顶部，用于拍摄图像；
第二成像装置，设于所述机架的底部，用于拍摄图像；以及
控制器，与所述第一成像装置以及第二成像装置通信连接，
其中，所述第一成像装置以及第二成像装置，用于将拍摄的图像发送给所述控制器；所述控制器，用于识别每张图像中的遮挡物图像，并根据每张图像中的遮挡物图像对所述图像进行融合，获得无遮挡物的融合图像。
本发明实施例提供的图像融合的方法和无人飞行器，通过无人飞行器的多个成像装置采集多张图像，再识别出每张图像中的遮挡物图像，再根据每张图像中的遮挡物图像，对该多张图像进行融合，从而获得无遮挡物的融合图像。因此，最终获取的融合图像没有遮挡物的干扰，而是全景拍摄的画面，改善了图像的拍摄效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明的实施例的无人飞行系统的示意性架构图；
图2为本发明一实施例提供的图像融合的方法的流程图；
图3a-图3e为本发明实施例提供的图像融合的方法的操作示意图；
图4为本发明实施例一提供的无人飞行器的结构示意图；
图5为本发明一实施例提供的无人飞行器的机架的结构示意图；
图6为本发明实施例二提供的无人飞行器的结构示意图；
图7为本发明实施例三提供的无人飞行器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供了图像融合的方法和无人飞行器。以下对本发明的描述使用无人机作为无人飞行器的示例。对于本领域技术人员将会显而易见的是，可以不受限制地使用其他类型的无人飞行器，本发明的实施例可以应用于各种类型的无人机。例如，无人机可以是小型或大型的无人机。在某些实施例中，无人机可以是旋翼飞行器(rotorcraft)，例如，由多个推动装置通过空气推动的多旋翼飞行器，本发明的实施例并不限于此，无人机也可以是其它类型的无人机或可移动装置。
图1是根据本发明的实施例的无人飞行系统的示意性架构图。本实施例以旋翼无人机为例进行说明。
无人飞行系统100可以包括无人机110、云台120、显示设备130和操纵设备140。其中，无人机110可以包括动力系统150、飞行控制系统160和机架。无人机110可以与操纵设备140和显示设备130进行无线通信。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人机110着陆时起支撑作用。
动力系统150可以包括电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在对应的机臂上；电子调速器151用于接收飞行控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为无人机110的飞行提供动力，该动力使得无人机110能够实现一个或多个自由度的运动。在某些实施例中，无人机110可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、平移轴和俯仰轴。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人机的姿态信息，即无人机110在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、电子罗盘、惯性测量单元(英文：inertialmeasurementunit，简称：imu)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(英文：globalpositioningsystem，简称：gps)或者。飞行控制器161用于控制无人机110的飞行，例如，可以根据传感系统162测量的姿态信息控制无人机110的飞行。应理解，飞行控制器161可以按照预先编好的程序指令对无人机110进行控制，也可以通过响应来自操纵设备140的一个或多个控制指令对无人机110进行控制。
云台120可以包括电机122。云台用于携带拍摄装置123。飞行控制器161可以通过电机122控制云台120的运动。可选地，作为另一实施例，云台120还可以包括控制器，用于通过控制电机122来控制云台120的运动。应理解，云台120可以独立于无人机110，也可以为无人机110的一部分。应理解，电机122可以是直流电机，也可以交流电机。另外，电机122可以是无刷电机，也可以有刷电机。还应理解，云台可以位于无人机的顶部，也可以位于无人机的底部。
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备，拍摄装置123可以与飞行控制器通信，并在飞行控制器的控制下进行拍摄。
显示设备130位于无人飞行系统100的地面端，可以通过无线方式与无人机110进行通信，并且可以用于显示无人机110的姿态信息。另外，还可以在显示设备130上显示拍摄装置拍摄的图像。应理解，显示设备130可以是独立的设备，也可以设置在操纵设备140中。
操纵设备140位于无人飞行系统100的地面端，可以通过无线方式与无人机110进行通信，用于对无人机110进行远程操纵。
应理解，上述对于无人飞行系统各组成部分的命名仅是出于标识的目的，并不应理解为对本发明的实施例的限制。
图2为本发明一实施例提供的图像融合的方法的流程图，如图2所示，本实施例的方法可以包括：
s201、分别通过无人飞行器的n个成像装置采集n张图像；所述n为大于1的整数。
目前，成像装置在采集图像时，由于遮挡物的存在，会使得采集的图像存在盲区，被遮挡物遮挡的部分成像装置无法采集，例如：无人飞行器的螺旋桨会挡住部分视野。因此，本实施例中的无人飞行器具有n个成像装置，n为大于1的整数；每个成像装置采集一张图像，从而n个成像装置一共可以采集n张图像。本实施例可以通过n个成像装置采集n张图像。其中，该成像装置例如为相机、摄像头、红外图像探测器等。
s202、识别每张图像中的遮挡物图像。
本实施例中，采集到n张图像之后，识别出n张图像的每张图像中的遮挡物图像。其中，每张图像中的遮挡物图像可以是至少一个，而且遮挡物可以是至少一种。
其中，s202的一种可行的实现方式中，可以对每张图像进行特征分析，获取每张图像中的特征信息，根据特征信息，识别出每张图像中的遮挡物图像。例如：若获得的图像中的特征信息包括遮挡物图像的特征信息，则可以确定该图像中遮挡物图像。
s202的一种可行的实现方式中，识别每张图像中是否与预设遮挡物图像库中的预设图像存在相同的图像部分，若存在，则确定相同的图像部分为遮挡物图像。
s203、根据每张图像中的遮挡物图像，对所述n张图像进行融合，获得无遮挡物的融合图像。
在采集到每张图像中的遮挡物图像后，由于s201中采集了多张图像，虽然有些图像中存在遮挡物图像，但是其它图像中可能采集到了被遮挡物遮挡的图像，因此，将n张图像进行融合，以删除上述s202中所识别出的遮挡物图像，从而获了无遮挡物的融合图像。
本实施例中，通过无人飞行器的多个成像装置采集多张图像，再识别出每张图像中的遮挡物图像，再根据每张图像中的遮挡物图像，对该多张图像进行融合，从而获得无遮挡物的融合图像。因此，最终获取的融合图像没有遮挡物的干扰，而是所需拍摄的画面，改善了图像的拍摄效果。
其中，上述s203的一种可能的实现方式中，可以包括s2031和s2032。
s2031、从所述n张图像中获取与每张图像中的遮挡物图像对应的部分图像。
本实施例中，采集了n张图像，这些图像中可能采集到了遮挡物图像，但是这n张图像中除本张图像之外的其它图像可能采集到了被遮挡物遮挡的图像，因此，本实施例从n张图像中获取与每张图像中遮挡物图像对应的部分图像，该部分图像是指被遮挡物遮挡的图像。
s2032、通过将所述部分图像替换对应的遮挡物图像，对所述n张图像进行融合，获得所述融合图像。
本实施例中，在获取到每张图像中遮挡物图像所对应的部分图像(即被遮挡物遮挡的图像)后，针对每张图像，将该部分图像替换对应的遮挡物图像，并对n张图像进行融合，从而获取一张图像，该一张图像称为融合图像。由于遮挡物图像已经由被遮挡物遮挡的图像所替换，因此，获得的融合图像无遮挡物。而且在融合获得融合图像的过程中，也去除了重复的图像。
可选地，上述s2031的一种可行的实现方式中，具体为：获取所述n个张图像中任意两图像中的相同图像部分；根据所述相同图像部分与所述任意两图像中的遮挡物图像之间的位置关系，获取其中一张图像中与另一张图像的所述遮挡物图像对应的部分图像。
本实施例中，将n张图像中的任意两图像进行比较，确定该两张图像中的相同图像部分，然后可以确定该每张图像的遮挡物图像与该相同图像部分之间的位置关系，可以获取该任意两张图像中其中一张图像中与另一张图像的遮挡物图像对应的部分图像。例如：以任意两张图像为第一图像与第二图像进行说明，将第一图像与第二图像进行比较，确定第一图像与第二图像中的相同图像部分。然后确定第一图像中该相同图像部分与第一图像中的遮挡物图像的位置关系，以及确定第二图像中该相同图像部分与第二图像中的遮挡物图像的位置关系。
例如：若第一图像中该相同图像部分位于第一图像中的遮挡物图像的左边，说明遮挡物右侧的图像被遮挡了，则可以确认第二图像中位于该相同图像部分右边的图像为该遮挡物图像对应的部分图像。若第二图像中该相同图像部分位于第二图像中遮挡物图像的上方，说明遮挡物下方的图像被遮挡了，则可以确定第一图像中位于该相同图像部分下方的图像为该遮挡物图像对应的部分图像。这部分用于举例说明，需要说明的是，本实施例并不限于此。
下面举例对本实施例进行详细说明，图3a-图3e为本发明实施例提供的图像融合的方法的操作示意图，如图3a-图3e所示，n等于2为例，n大于2时的操作方式可以参见n等于2的操作方式。其中，两个成像装置为第一成像装置和第二成像装置，第一成像装置位于无人飞行器的上方，第二成像装置位于无人飞行器的下方，如图3a所示，第一成像装置采集图像a1，第二成像装置采集图像a2。如图3b所示，然后识别图像a1中的遮挡物图像为b1，识别图像a2中的遮挡物图像为b2。以及如图3c所示，获取图像a1与图像a2中的相同图像部分c。如图3d所示，根据a1中c与b1的位置关系，以及a2中c与b2的位置关系，可以确定a2中与a1中的b1对应的部分图像d1(即被b1遮挡的图像)，以及确定a1中与a2中的b2对应的部分图像d2(即被b2遮挡的图像)。如图3e所示，将a2中的d1替换a1中的b1，以及将a1中的d2替换a2中的b2，并将a1与a2进行融合，其中，相同图像部分c进行重叠，从而获得融合图像e，融合图像e不存在b1和b2。因此，通过本发明实施例获得的融合图像改善了拍摄效果。
可选地，所述n张图像为所述n个成像装置同一时间采集到的图像；这样可以保证获得的融合图像是同一时间的全景图像。如果图像是视频中的图像，则n张图像是n个视频中相同帧对应的图像。
可选地，所述n张图像为所述n个成像装置在同一航向角采集到的图像。
可选地，所述n张图像为所述n个成像装置在的同一时间以及同一航向角采集到的图像。
可选地，所述遮挡物图像包括：所述无人飞行器中至少一种部件的部分或全部图像。由于现有技术中无人飞行器搭载有成像装置，该成像装置在拍摄时很有可能拍摄到无人飞行器的部件的部分或全部图像，这会遮挡住原本所需拍摄的图像，从而影响了拍摄效果。因此，本实施例中的遮挡物图像应包括无人飞行器的部件的部分或全部图像，该部件的种类为至少一种。
可选地，所述部件包括如下至少一种：螺旋桨、机臂、脚架、机身。本实施例举例示出四种无人飞行器的部件，但本实施例并不限于此。
可选地，所述n个成像装置分别承载在所述无人飞行器的n个云台上。为了保证成像装置在无人飞行器中飞行过程中拍摄图像的稳定性，无人飞行器上可以设置有n个云台，每个云台用于承载一个成像装置，云台可以将成像装置稳定地固定于无人飞行器上。
可选地，所述n个云台围绕所述无人飞行器的机身中心设置在所述无人飞行器上。由于无人飞行器的振动源为螺旋桨，将n个云台围绕无人飞行器的机身中心设置，使得n个云台尽量远离了螺旋桨，这样使得承载在这n个云台上的成像装置的拍摄图像的效果更加稳定。另外，将n个云台围绕无人飞行器的机身中心设置，使得最终获取的融合图像可以是360全方位的图像，实现了球面的完整拍摄。
可选地，所述n个云台的其中一部分所述云台设置在所述无人飞行器的底部，另外一部分所述云台设置在所述无人飞行器的顶部。这样可以尽可能地避免成像装置采集到的图像中包括机臂、螺旋桨的图像。
可选地，本实施例的方法还包括：在显示界面显示所述融合图像。用户通过显示界面可以实时地看到无遮挡物的融合图像，改善了用户对无人飞行器的拍摄体验。
图4为本发明实施例一提供的无人飞行器的结构示意图，如图4所示，本实施例的无人飞行器400包括：机架410、第一成像装置420、第二成像装置430以及控制器440。其中，第一成像装置420设于机架410的顶部，第二成像装置430设于机架410的底部。而且，控制器440，与所述第一成像装置420以及第二成像装置430通信连接。其中，第一成像装置420为至少一个，第二成像装置430为至少一个，图4中以第一成像装置420和第二成像装置430分别为一个进行图示，但本实施例并不限于此。
第一成像装置420以及第二成像装置430，用于拍摄图像，并将拍摄的图像发送给所述控制器440。
所述控制器440，用于识别每张图像中的遮挡物图像，并根据每张图像中的遮挡物图像对所述图像进行融合，获得无遮挡物的融合图像。
本实施例的无人飞行器，可以用于执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明一实施例提供的无人飞行器的机架的结构示意图，如图5所示，本实施例的机架410包括机身411以及与所述机身411连接的机臂412，所述机臂412用于承载推进装置413，所述推进装置413包括螺旋桨413a以及用于驱动所述螺旋桨413a转动的电机413b。
图6为本发明实施例二提供的无人飞行器的结构示意图，如图6所示，本实施例在图4所示实施例的基础上，所述控制器440包括飞行控制器441以及图像处理器442。
所述飞行控制器441，用于控制所述飞行器的飞行轨迹；
所述图像处理器442，与所述第一成像装置420、所述第二成像装置430、所述飞行控制器441通信连接，用于处理所述图像。
也就是，第一成像装置420和第二成像装置430将拍摄的图像发送给图像处理器442。图像处理器442识别每张图像中的遮挡物图像，并根据每张图像中的遮挡物图像对所述图像进行融合，获得无遮挡物的融合图像。
可选地，所述图像处理器442，具体用于：从所述n个张图像中获取与每张图像中的遮挡物图像对应的部分图像；通过将所述部分图像替换对应的遮挡物图像，对所述n张图像进行融合，获得所述融合图像。
可选地，所述图像处理器442，具体用于：获取所述n张图像中任意两图像中的相同图像部分；以及根据所述相同图像部分与所述任意两图像中的遮挡物图像之间的位置关系，获取其中一张图像中与另一张图像的所述遮挡物图像对应的部分图像。
可选地，所述第一成像装置420和所述第二成像装置430，用于在同一时间拍摄图像，并向在同一时间拍摄的图像发送给所述控制器440，例如图像处理器442。
或/及，所述第一成像装置和所述第二成像装置，用于在同一航向角拍摄到的图像，并将在同一航向角拍摄到的图像发送给所述控制器，例如图像处理器442。
可选地，所述遮挡物图像包括：所述无人飞行器中至少一种部件的部分或全部图像。
可选地，所述部件包括如下至少一种：螺旋桨、机臂、脚架、机身。
本实施例的无人飞行器，可以用于执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例三提供的无人飞行器的结构示意图，如图7所示，本实施例在图4-图6任一所示实施例的基础上，无人飞行器400还包括云台450，其中，所述第一成像装置420为m个，所述第二成像装置430为k个；所述m、k为大于或等于1的整数；相应地，云台450为n个，n＝m+k。而且所述m个第一成像装置和所述k个第二成像装置分别承载在所述无人飞行器的n个云台上。其中，图7以第一成像装置和第二成像装置分别为一个图示，相应地，图7中以云台为两个图示，但本实施例并不限于此。
可选地，所述n个云台450围绕所述无人飞行器的机身中心设置在所述无人飞行器上。
可选地，所述n个云台450的m个所述云台设置在所述无人飞行器的顶部，k个所述云台450设置在所述无人飞行器的底部。
可选地，本实施例的无人飞行器还可以包括：图像传输装置。该图像传输装置与所述控制器440通信连接。图像传输装置，用于将控制器440获得的所述融合图像发送给遥控装置。遥控装置，用于在显示界面上显示所述融合图像，该显示界面可以为遥控装置的一部分，遥控装置用于控制无人飞行器的飞行。
本实施例的无人飞行器，可以用于执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(英文：read-onlymemory，简称：rom)、随机存取存储器(英文：randomaccessmemory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。