图像处理的方法及装置、飞行器与流程

本发明实施方式涉及图像处理技术领域，特别是涉及一种图像处理的方法及装置、飞行器。

背景技术：

目前，在有些飞行器中配备标准镜头进行航拍，焦点定义在无穷远处，再加上图像传感器的分辨率非常有限，因此，对于地面场景中的一些小目标无法拍摄清楚。同时，一般用作航拍的镜头视角比较狭小，拍摄到的场景范围比较有限。在有些飞行器中配备变焦镜头进行航拍，视角在10°～90°之间进行调整，为了清楚地拍摄地面场景中的小目标，需要将镜头往长焦方向进行变焦，为了拍摄较广的场景，需要将镜头往广角方向切换。

发明人在实现本发明实施例的过程中发现：现有技术中，通过镜头的伸缩来调整场景视角的大小，无法同时兼顾大视角场景和小视角场景中的状况。

技术实现要素：

本发明实施方式主要解决的技术问题是提供一种图像处理的方法及装置、飞行器，能够同时兼顾大视角场景和小视角场景中的状况。

第一方面，本发明实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法包括：

获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；

根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象；

获取所述第二镜头模组拍摄的第二图像；

根据所述第一图像和所述第二图像，确定输出图像。

第二方面，本发明实施例提供了一种图像处理的装置，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述装置包括：

第一获取模块，用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象；

调整模块，用于根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象；

第二获取模块，用于获取所述第二镜头模组拍摄的第二图像；

图像确定模块，用于根据所述第一图像和所述第二图像，确定输出图像。

第三方面，本发明实施例提供了一种飞行器，包括：本体、设于所述本体的云台、设于所述云台的多目摄像装置，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述飞行器还包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述图像处理的方法。

本发明实施例提供的一种图像处理的方法及装置、飞行器，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过获取所述第二镜头模组拍摄的第二图像，根据所述第一图像和所述第二图像，确定输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理的方法的流程图；

图2a是第一图像和第二图像的示意图；

图2b是本发明实施例提供的图像合成得到的输出图像的示意图；

图2c是本发明实施例提供的图像叠加得到的输出图像的示意图；

图3是本发明又一实施例提供的一种图像处理的方法的流程图；

图4是本发明实施例提供的一种图像处理的装置的功能框图；

图5是本发明又一实施例提供的一种图像处理的装置的功能框图；

图6是本发明实施例提供的执行图像处理的方法的飞行器的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

下面结合具体附图对本发明实施例作具体阐述。

如图1所示，本发明实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法可以包括：

步骤S11、获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。

在本发明实施例中，目标对象可以包括但不限于人、动物、植物、汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。在步骤S11之前，所述方法还包括：获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。又如，通过获取人的脸部和/或躯干轮廓和/或衣着颜色等特征参数，能够实现对人物的跟踪。可以通过第一镜头模组拍摄目标对象，进而获得目标对象的特征参数；也可以通过服务器或其他智能终端等设备将目标对象的特征参数通过无线传输的方式发送过来而获得的，本发明实施例不作限定。

步骤S13、根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。

在本发明实施例中，所述方法可以应用于携带有多目摄像装置的飞行器，第一镜头模组和第二镜头模组设置于飞行器的云台上，可以利用飞行器的云台来调整第二镜头模组的光轴的方向，使得第二镜头模组的光轴朝向目标对象。

步骤S15、获取所述第二镜头模组拍摄的第二图像。

在本发明实施例中，第二镜头模组的光轴朝向目标对象后，第二镜头模组拍摄第二图像，该第二图像中包含目标对象。

作为一种可选的实施方式，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。由于变焦镜头所配置的图像传感器是单一的，且不能变化，而采用定焦的第一镜头模组和第二镜头模组可以灵活配置相应分辨率的图像传感器。此外，变焦镜头普遍要比定焦镜头重，第一镜头模组和第二镜头模组均为定焦镜头，在设计中可以采用更轻的材料而且少了变焦镜头的机械装置，从而可以减轻飞行器的负担。

在本发明实施例中，第一镜头模组的焦距与第二镜头模组的焦距不同。较佳的，第一镜头模组的焦距小于第二镜头模组的焦距。所述第一镜头模组可以包括标准镜头模组和/或广角镜头模组，所述第二镜头模组可以包括长焦镜头模组。第一镜头模组拍摄的第一图像属于大视角场景，第二镜头模组拍摄的第二图像属于小视角场景。

在所述第一镜头模组包括标准镜头模组和广角镜头模组的情况下，标准镜头模组、广角镜头模组以及长焦镜头模组可以呈三角形排列，也可以呈直线排列。可选的，标准镜头模组的等效焦距可以为35mm，广角镜头模组的等效焦距可以为18mm至24mm，长焦镜头模组的等效焦距可以为广角镜头模组的等效焦距的3倍至20倍。

步骤S17、根据所述第一图像和所述第二图像，确定输出图像。

作为一种可选的实施方式，第一图像和第二图像的结合方式可以是图像合成。具体的，如图2a所示，将第一图像210中包含所述第二图像的区域211替换为第二图像220，如图2b所示，确定包含第二图像220的第一图像210为输出图像。即，利用拍摄到的小视角清晰图像取代大视角中对应区域的图像，从而可以在大视角图像中看到目标对象的清晰图像。

作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图2c所示，将第二图像230叠加于第一图像240，确定叠加后的第一图像240和所述第二图像230为输出图像。可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，使第二图像230全屏显示，并缩小第一图像240，可以使第一图像240位于原先第二图像230所处位置。

本发明实施例提供了一种图像处理的方法，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过获取所述第二镜头模组拍摄的第二图像，根据所述第一图像和所述第二图像，确定输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况。

如图3所示，本发明又一实施例提供了一种图像处理的方法，所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组，所述方法包括：

步骤S31、获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。

步骤S33、根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。

步骤S35、获取所述第二镜头模组拍摄的第二图像。

在本发明实施例中，对步骤S31、步骤S33以及步骤S35的解释说明请参考对上述步骤S11、步骤S13以及步骤S15的解释说明，在此不再赘述。

步骤S36、根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像。

在本发明实施例中，可以根据多目摄像装置的光轴偏移量，矫正所述第一图像和所述第二图像。例如，对所述第一图像和所述第二图像的畸变进行矫正。多目摄像装置的光轴偏移量为已知的。由于不同镜头之间存在差异，需要对其光轴进行矫正配准，从而可以得到光轴偏移量。

步骤S37、将矫正后的第一图像中包含所述第二图像的区域替换为矫正后的第二图像，确定包含矫正后的第二图像的第一图像为输出图像。

在本发明实施例中，对步骤S37的解释说明可以参考对上述步骤S17中第一图像和第二图像的结合方式是图像合成的解释说明。

本发明实施例提供了一种图像处理的方法，通过获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过获取所述第二镜头模组拍摄的第二图像，根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像，将矫正后的第一图像中包含所述第二图像的区域替换为校正后的第二图像，确定包含矫正后的第二图像的第一图像为输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况，得到结合效果较好的输出图像。

如图4所示，本发明实施例提供了一种图像处理的装置40，可以用于执行本发明实施例公开的图像处理的方法。所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组。其中，多目摄像装置可以安装于图像处理的装置40中，也可以安装于其他设备中，并通过该设备将拍摄到的图像传输至图像处理的装置40。所述装置40可以包括：第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47。

第一获取模块41用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。

在本发明实施例中，目标对象可以包括但不限于人、动物、植物、汽车、建筑等物体。第一图像可以是第一镜头模组捕捉到的单帧图像。所述装置还可以包括：特征参数获取模块，用于在所述第一获取模块41获取所述第一镜头模组拍摄的第一图像之前，获取目标对象的特征参数，其中，所述特征参数用于跟踪所述目标对象，可以用来表征目标对象的整体轮廓。例如，所述多目摄像装置安装于飞行器，通过获取汽车的车牌和/或车身轮廓和/或车身颜色等特征参数，飞行器能够锁定所述汽车，进而跟踪所述汽车。

调整模块43用于根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。

在本发明实施例中，图像处理的装置40可以包括但不限于携带有多目摄像装置的飞行器、相机、手机等设备。例如，假设图像处理的装置40为飞行器，第一镜头模组和第二镜头模组可以设置于飞行器的云台上，调整模块43可以通过控制飞行器的云台来调整第二镜头模组的光轴的方向，使得第二镜头模组的光轴朝向目标对象。

第二获取模块45用于获取所述第二镜头模组拍摄的第二图像。

在本发明实施例中，第二镜头模组的光轴朝向目标对象后，第二镜头模组拍摄第二图像，该第二图像中包含目标对象。

作为一种可选的实施方式，所述第一镜头模组的焦距和所述第二镜头模组的焦距均为固定焦距。较佳的，第一镜头模组的焦距小于第二镜头模组的焦距。所述第一镜头模组可以包括标准镜头模组和/或广角镜头模组，所述第二镜头模组可以包括长焦镜头模组。第一镜头模组拍摄的第一图像属于大视角场景，第二镜头模组拍摄的第二图像属于小视角场景。

在所述第一镜头模组包括标准镜头模组和广角镜头模组的情况下，标准镜头模组、广角镜头模组以及长焦镜头模组可以呈三角形排列，也可以呈直线排列。可选的，标准镜头模组的等效焦距可以为35mm，广角镜头模组的等效焦距可以为18mm至24mm，长焦镜头模组的等效焦距可以为广角镜头模组的等效焦距的3倍至20倍。

图像确定模块47用于根据所述第一图像和所述第二图像，确定输出图像。

作为一种可选的实施方式，第一图像和第二图像的结合方式可以是图像合成。具体的，如图2a所示，将第一图像210中包含所述第二图像的区域211替换为第二图像220，如图2b所示，确定包含第二图像220的第一图像210为输出图像。

作为一种可选的实施方式，第一图像和第二图像的结合方式也可以是图像叠加。具体的，如图2c所示，将第二图像230叠加于第一图像240，确定叠加后的第一图像240和所述第二图像230为输出图像，可以将第二图像230叠加于第一图像240右上角、左上角、右下角、左下角等位置，可以根据用户操作，放大或者缩小第二图像230，例如，通过双击操作放大第二图像230，以便覆盖第一图像240。

本发明实施例提供了一种图像处理的装置，通过第一获取模块获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而调整模块根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过第二获取模块获取所述第二镜头模组拍摄的第二图像，图像确定模块根据所述第一图像和所述第二图像，确定输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况。

如图5所示，本发明实施例提供了一种图像处理的装置50，可以用于执行本发明实施例公开的图像处理的方法。所述图像由多目摄像装置拍摄，所述多目摄像装置包括第一镜头模组和第二镜头模组。其中，多目摄像装置可以安装于图像处理的装置50中，也可以安装于其他设备中，并通过该设备将拍摄到的图像传输至图像处理的装置50。所述装置50可以包括：第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57。

第一获取模块51用于获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象。

调整模块53用于根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象。

第二获取模块55用于获取所述第二镜头模组拍摄的第二图像。

在本发明实施例中，对第一获取模块51、调整模块53、第二获取模块55的解释说明请参考对上述第一获取模块41、调整模块43、第二获取模块45的解释说明，在此不再赘述。

校正模块56用于根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像。

在本发明实施例中，可以根据多目摄像装置的光轴偏移量，矫正所述第一图像和所述第二图像。例如，对所述第一图像和所述第二图像的畸变进行矫正。

图像确定模块57用于将校正后的第一图像中包含所述第二图像的区域替换为校正后的第二图像，确定包含校正后的第二图像的第一图像为所述输出图像。

在本发明实施例中，对图像确定模块57的解释说明可以参考对上述图像确定模块47中第一图像和第二图像的结合方式是图像合成的解释说明。

在本发明的其他实施例中，图像确定模块57还可以用于将所述第二图像叠加于所述第一图像，确定叠加后的所述第一图像和所述第二图像为所述输出图像。

本发明实施例提供了一种图像处理的装置，通过第一获取模块获取所述第一镜头模组拍摄的第一图像，所述第一图像中包含目标对象，进而调整模块根据所述目标对象位于所述第一图像中的位置，调整所述第二镜头模组的光轴，使得所述第二镜头模组的光轴朝向所述目标对象，再通过第二获取模块获取所述第二镜头模组拍摄的第二图像，校正模块根据所述多目摄像装置的光轴偏移量，校正所述第一图像和所述第二图像，图像确定模块将校正后的第一图像中包含所述第二图像的区域替换为校正后的第二图像，确定包含校正后的第二图像的第一图像为所述输出图像，能够同时兼顾大视角场景和小视角场景中目标对象的状况，得到结合效果较好的输出图像。

图6是本发明实施例提供的执行图像处理的方法的飞行器60的硬件结构示意图，该飞行器60可以包括：本体61、设于所述本体61的云台62、设于所述云台62的多目摄像装置63，所述多目摄像装置63包括第一镜头模组631和第二镜头模组632，所述飞行器60还可以包括：至少一个处理器64；以及与所述至少一个处理器64通信连接的存储器65；其中，所述存储器存储65有可被所述至少一个处理器64执行的指令，所述指令被所述至少一个处理器64执行，以使所述至少一个处理器64能够执行上述图像处理的方法，图6中以一个处理器64为例。处理器64和存储器65可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器65作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的用于执行图像处理的方法对应的程序指令/模块(例如，附图4所示的第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47，附图5中的第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57)。处理器64通过运行存储在存储器65中的非易失性软件程序、指令以及模块，从而执行飞行器60的各种功能应用以及数据处理，即实现上述方法实施例的图像处理的方法。

存储器65可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据飞行器60的使用所创建的数据等。此外，存储器65可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器65可选包括相对于处理器64远程设置的存储器，这些远程存储器可以通过网络连接至飞行器60。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器65中，当被所述一个或者多个处理器64执行时，执行上述任意方法实施例中的图像处理的方法，例如，执行以上描述的图1中的方法步骤S11、步骤S13、步骤S15、步骤S17，图3中的方法步骤S31、步骤S33、步骤S35、步骤S36、步骤S37，实现附图4所示的第一获取模块41、调整模块43、第二获取模块45以及图像确定模块47，附图5中的第一获取模块51、调整模块53、第二获取模块55、校正模块56以及图像确定模块57的功能。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。