用于无人机的图像处理方法、装置和系统与流程

文档序号:15595187发布日期:2018-10-02 19:25阅读:380来源:国知局

本发明属于通信技术领域,尤其涉及一种用于无人机的图像处理方法、装置和系统。



背景技术:

随着科学技术的快速发展,无人驾驶飞机简称“无人机”由于机动灵活、反应快速、无人飞行、操作要求低等优点而受到人们的青睐。无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。目前,无人机利用航拍技术,广泛应用于农业、勘探、摄影、边境巡逻等领域。

然而,由于无人机在飞行中进行航拍,所拍摄图片是平面图片,没有立体感,较虚且清晰度不够,所以无人机航拍技术还有待加强。



技术实现要素:

鉴于以上所述一个或多个问题,本发明实施例提供了一种用于无人机的图像处理方法、装置和系统。

第一方面,提供了一种图像处理方法,包括以下步骤:

接收两个摄像头同时对相同拍摄对象所拍摄的第一图像和第二图像;

依次从第一图像和第二图像逐行提取第一图像像素和第二图像像素;

基于第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像。

在一些实施例中,该方法还包括以下步骤:

利用光学分离元件将融合图像分离出第一方向的光和第二方向的光;

利用第一偏振片和第二偏振片分别接收第一方向的光和第二方向的光,以生成3d(三维)图像。

在一些实施例中,光学分离元件为:光学透镜或者光学薄膜。

在一些实施例中,第一方向的光为横向的光,第二方向的光为纵向的光。

在一些实施例中,第一偏振片和第二偏振片分别为:3d眼镜中横偏振片和纵偏振片。

在一些实施例中,两个摄像头为:分别设置在无人机左右两侧的左摄像头和右摄像头,或者是设置在无人机端部的双目摄像元件中的左摄像头和右摄像头。

在一些实施例中,左摄像头和右摄像头的配置相同。

第二方面,提供了一种图像处理装置,包括:

接收单元,用于接收两个摄像头同时对相同拍摄对象所拍摄的第一图像和第二图像;

提取单元,用于依次从第一图像和第二图像逐行提取第一图像像素和第二图像像素;

融合单元,用于基于第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像。

在一些实施例中,该装置还包括:

光学分离元件,用于将融合图像分离出第一方向的光和第二方向的光;

第一偏振片和第二偏振片,用于分别接收第一方向的光和第二方向的光,以生成3d图像。

在一些实施例中,光学分离元件为:光学透镜或者光学薄膜。

在一些实施例中,第一方向的光为横向的光,第二方向的光为纵向的光。

在一些实施例中,第一偏振片和第二偏振片分别为:3d眼镜中横偏振片和纵偏振片。

在一些实施例中,两个摄像头为:分别设置在无人机左右两侧的左摄像头和右摄像头,或者是设置在无人机端部的双目摄像头中的左摄像头和右摄像头。

在一些实施例中,左摄像头和右摄像头的配置相同。

在一些实施例中,装置设置在无人机的遥控器上。

第三方面,提供了一种图像处理系统,包括:第二方面提供的图像处理装置。

在一些实施例中,该系统还包括:

3d眼镜,用于利用第一偏振片和第二偏振片,分别接收第一方向的光和第二方向的光,以生成3d图像;

无人机,用于利用设置在无人机上的两个摄像头同时所拍摄的第一图像和第二图像,并将所拍摄的第一图像和第二图像向图像处理装置发送。

由此,本实施例通过接收无人机所拍摄的第一图像和第二图像,逐行提取第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像,可以使得图像的像素数量加倍,使得融合的图像更加清晰。另外,通过将不同角度的图像进行过融合处理,使得图像有立体感,更逼真。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例的图像处理方法的示意性流程图。

图2是本发明一实施例的生成一张融合图像的示意图。

图3是本发明另一实施例的图像处理方法的示意性流程图。

图4是本发明一实施例的图像处理装置的结构示意图。

图5是本发明另一实施例的图像处理装置的结构示意图。

图6是本发明一实施例的图像处理装置的框架结构示意图。

图7是本发明一实施例的图像处理系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1是本发明一实施例的图像处理方法的示意性流程图。

如图1所示,用于无人机的图像处理方法可以包括以下步骤:s110,接收设置在无人机上的两个摄像头同时所拍摄的第一图像和第二图像;s120,依次从第一图像和第二图像逐行提取第一图像像素和第二图像像素;s130,基于第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像。

由此,本实施例通过接收无人机所拍摄的第一图像和第二图像,逐行提取第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像,可以使得图像的像素数量加倍,使得融合的图像更加清晰。另外,通过将不同角度的图像进行过融合处理,使得图像有立体感,更逼真。

在一些实施例中,两个摄像头可以是设置在无人机左侧的左摄像头和设置在无人机右侧的右摄像头。两个摄像头还可以是设置在无人机端部(例如,前端部、后端部和底部)的双目摄像元件中的左摄像头和右摄像头。如此设置两个摄像头,可以方便无人机更好的拍摄图像。

在一些实施例中,左摄像头和右摄像头的配置相同。由此,配置相同的摄像头可以将它们的拍摄参数调节为一致,使得第一图像和第二图像可以是在相同的条件下,在不同的角度同时对同一对象所拍摄的图像。

图2是本发明一实施例的生成一张融合图像的示意图。

为了示例形象且说理简单,下面向右45°的条纹图片(第一图像1)和向左45°的条纹图片(第二图像2)为例,说明通过第一图像1和第二图像2生成融合图像3的实现方式。

如图2所示,该实现方式可以包括以下5个步骤:

步骤1:从第一图像1提取第一行第一图像像素11;

步骤2:从第二图像2提取第一行第二图像像素21;

步骤3:从第一图像1提取第二行第一图像像素12;

步骤4:从第二图像2提取第二行第二图像像素22。

步骤5:依次将第一行第一图像像素11、第一行第二图像像素21、第二行第一图像像素12和第二行第二图像像素22融合成融合图像3。

通过图2中的图片对比可知,第一图像1和第二图像2均是平面图像,而融合图像3是立体图像,较第一图像1和第二图像2更加逼真。融合图像3的图片效果要好于第一图像1和第二图像2。融合图像3可以适用于影视拍摄等应用场合。

图3是本发明另一实施例的图像处理方法的示意性流程图。

如图3所示,用于无人机的图像处理方法可以包括以下步骤:s110,接收设置在无人机上的两个摄像头同时所拍摄的第一图像和第二图像;s120,依次从第一图像和第二图像逐行提取第一图像像素和第二图像像素;s130,基于第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像。s140,利用光学分离元件将融合图像分离出第一方向的光和第二方向的光;s150,利用第一偏振片和第二偏振片分别接收第一方向的光和第二方向的光,以生成3d图像。

在一些实施例中,光学分离元件为:光学透镜或者光学薄膜。

在一些实施例中,第一方向的光为横向的光,第二方向的光为纵向的光。

在一些实施例中,第一偏振片和第二偏振片分别为:3d眼镜中横偏振片和纵偏振片。偏振光原理:在左眼和右眼分别装上横偏振片和纵向偏振片,横偏振光只能通过横偏振片,纵偏振光只能通过纵偏振片。这样就保证了左边相机拍摄的东西只能进入左眼,右边相机拍摄的东西只能进入右眼,于是就会有立体效果。由此通过专业的3d眼镜,可以将无人机采集的图像加工处理成非常好的3d效果的图像。

3d眼镜是采用了“时分法”,通过3d眼镜与显示器同步的信号来实现。当显示器输出左眼图像时,左眼镜片为透光状态,而右眼为不透光状态,而在显示器输出右眼图像时,右眼镜片透光而左眼不透光,这样两只眼镜就看到了不同的游戏画面,达到欺骗眼睛的目的。以这样地频繁切换来使双眼分别获得有细微差别的图像,经过大脑计算从而生成一幅3d立体图像。3d眼镜在设计上采用了精良的光学部件,与被动式眼镜相比,可实现每一只眼睛双倍分辨率以及很宽的视角。

需要说明的是,本实施例中所示的功能单元或者功能模块的实现方式可以为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

需要说明的是,上述图1和图2所描述的操作内容可以进行不同程度的组合应用,为了简明,不再赘述各种组合的实现方式,本领域的技术人员可以按实际需要将上述的操作步骤的顺序进行灵活调整,或者将上述步骤进行灵活组合等操作。

图4是本发明一实施例的图像处理装置的结构示意图。

如图4所述,用于无人机的图像处理装置400可以包括:接收单元410、提取单元420和融合单元430。其中,接收单元410可以用于接收设置在无人机上的两个摄像头同时所拍摄的第一图像和第二图像;提取单元420可以用于依次从第一图像和第二图像逐行提取第一图像像素和第二图像像素;融合单元430可以用于基于第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像。

图5是本发明一实施例的图像处理装置的结构示意图。

如图5所述,用于无人机的图像处理装置400可以包括:接收单元410、提取单元420、融合单元430、光学分离元件440、第一偏振片450和第二偏振片460。其中,接收单元410可以用于接收设置在无人机上的两个摄像头同时所拍摄的第一图像和第二图像;提取单元420可以用于依次从第一图像和第二图像逐行提取第一图像像素和第二图像像素;融合单元430可以用于基于第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像。光学分离元件440可以用于将融合图像分离出第一方向的光和第二方向的光;第一偏振片450和第二偏振片460可以用于分别接收第一方向的光和第二方向的光,以生成3d图像。

在一些实施例中,光学分离元件440为:光学透镜或者光学薄膜,经过光学透镜或者光学薄膜光学处理后的数据可以形成横向的光和纵向的光。

在一些实施例中,第一方向的光为横向的光,第二方向的光为纵向的光。

在一些实施例中,第一偏振片和第二偏振片分别为:3d眼镜中横偏振片和纵偏振片。

在一些实施例中,两个摄像头为:分别设置在无人机左右两侧的左摄像头和右摄像头,或者是设置在无人机端部的双目摄像头中的左摄像头和右摄像头。

在一些实施例中,左摄像头和右摄像头的配置相同。

在一些实施例中,用于无人机的图像处理装置400可以设置在无人机的遥控器上。

需要说明的是,上述各实施例的装置可作为上述各实施例的方法中的执行主体,可以实现各个方法中的相应流程,上述各个实施例中的内容可以互相参考使用,为了简洁,此方面内容不再赘述。

图6是本发明一实施例的图像处理装置的框架结构示意图。

如图6所示,该架构可以包括中央处理单元(cpu)601,其可以根据存储在只读存储器(rom)602中的程序或者从存储部分607加载到随机访问存储器(ram)603中的程序而执行如下的操作处理:接收设置在无人机上的两个摄像头同时所拍摄的第一图像和第二图像;依次从第一图像和第二图像逐行提取第一图像像素和第二图像像素;基于第一图像像素和第二图像像素,将第一图像和第二图像进行逐行交叉融合,生成一张融合图像。

在ram603中,还存储有图像处理装置操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线彼此相连。输入/输出(i/o)接口604也连接至通信总线。

以下部件连接至i/o接口:包括键盘、鼠标等的输入部分605;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分606;包括硬盘等的存储部分607;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分608。通信部分608经由诸如因特网的网络执行通信处理。驱动器609也根据需要连接至i/o接口604。可拆卸介质610,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器609上,以便于从其上读出的计算机程序根据需要被安装入存储部分607。

特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分608从网络上被下载和安装,和/或从可拆卸介质610被安装。

图7是本发明一实施例的图像处理系统的结构示意图。

如图7所示,用于无人机的图像处理系统1000可以包括:用于无人机的图像处理装置400、3d眼镜500和无人机600。其中,3d眼镜500可以用于利用第一偏振片和第二偏振片,分别接收第一方向的光和第二方向的光,以生成3d图像;无人机600可以用于利用设置在无人机上的两个摄像头同时所拍摄的第一图像和第二图像,并将所拍摄的第一图像和第二图像向图像处理装置发送。

应该理解,图7系统还可以设置其他辅助设备,例如头戴式显示器和网络设备等。

在一些实施例中,用于无人机的图像处理装置400可以包括但不限于个人电脑、智能手机、平板电脑、个人数字助理、服务器等。图像处理装置400可以安装有各种通讯客户端应用,例如即时通信工具、邮箱客户端、社交平台软件、音频视频软件等。其中,这些电子设备具有存储器和逻辑运算处理器、控制元件等,可以用户图像处理。

应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,功能单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。例如,用于无人机的图像处理装置400可以是功能模块,该功能模块可以设置在头戴式显示器中,可以单独设置,还可以将其功能集成到遥控器(用于遥控无人机)内,或者设置在无人机内,此方面内容不做限制。

当用于无人机的图像处理装置400可以是遥控器时,遥控器处理图像的实现方式可以如下所示:无人机上面有两个摄像头类似于人的左右眼用于同时采集视频数据,将采集到的视频数据传输到遥控器端。遥控器端是有屏幕的,类似于手机屏幕一样,但是数据在屏幕上的显示是左摄像头的数据显示在屏幕的上一行,右摄像头的数据显示在屏幕的下一行,这样一行一行显示。遥控器的屏幕是加了一层光学处理的透镜或者在屏幕上贴一层有光学处理的膜,经过光学处理后上一行的数据形成横向的光,下一行的数据形成纵向的光,用户带上3d偏正光眼镜后就能看到立体的效果。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1