一种图像处理方法及其装置与流程

文档序号:12068729阅读:163来源:国知局
一种图像处理方法及其装置与流程

本发明涉及数字图像处理技术,尤其涉及一种图像处理方法及其装置。



背景技术:

随着科学技术的快速发展,越来越多的终端(例如手机、平板电脑,可穿戴设备等)配备了照相功能,对于如何利用这些照相终端得到真实、自然的照片和/或视频等图像成为了一项研究的热点。

目前,终端得到图像的方式是采用单颗摄像头进行拍摄,并将拍摄得到的图像显示在终端上,能够实现迅速且便捷的采集和显示图像,方便用户的日常需要。

然而,上述方式中得到的图像通常不能够进行立体图像转换或进行立体图像转换的效果较差,不能满足用户对照相终端智能化和自动化的需求。



技术实现要素:

本发明实施例所要解决的技术问题在于,提供一种图像处理方法及其装置。可实现图像的立体图像转换。

为了解决上述技术问题,本发明实施例提供了一种图像处理方法,包括:

调用至少两个摄像模块对目标场景进行拍摄操作,并获取所述至少两个摄像模块分别对应的原始图像;

针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像;

从所述各个原始图像中确定参考图像,并将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像;

根据所述目标立体图像生成目标立体视频。

其中,所述目标立体视频包括用于在虚拟现实设备上播放的视频信息,所述方法还包括:

搜索虚拟现实设备的连接标识,在确定所述连接标识为目标连接标识的情况下,向所述目标连接标识对应的虚拟现实设备发送连接请求;

当接收到针对所述连接请求的确认连接信息时,与所述目标连接标识对应的虚拟现实设备建立连接;

基于所述连接将所述目标视频发送至所述目标连接标识对应的虚拟现实设备。

其中,所述针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像,包括:

获取所述原始图像的基本元素,所述基本元素包括灰度值和/或特征分布值;

根据所述原始图像的基本元素建立所述原始图像之间的对应关系;

根据所述对应关系进行立体匹配处理,并得到所述目标场景的深度图像。

其中,所述第二处理包括三维变换处理和/或空洞填充处理;

所述将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像,包括:

将所述参考图像与所述深度图像进行三维图像变换处理;

生成三维图像变换处理后的目标立体图像。

其中,所述方法还包括:

若所述目标立体图像中存在空洞现象,则对所述目标进行空洞填充处理,其中,所述空洞填充处理包括平滑处理、滤波处理、轨迹追踪处理的一种或多种;

生成进行空洞填充处理后的目标立体图像。

其中,所述获取所述至少两个摄像模块分别对应的原始图像之前,还包括:

在调用至少两个摄像模块对目标场景进行拍摄操作之后,生成针对所述目标场景的初始视频;

在检测到立体图像处理操作事件时,将所述初始视频分离成所述至少两个摄像模块分别采集的原始图像,其中,所述分离方式包括以帧为单位的视频分离方式。

相应地,本发明实施例还提供一种图像处理装置,包括:

摄像模块,用于对目标场景进行拍摄操作,其中,所述摄像模块的数量为至少两个;

获取模块,用于获取至少两个所述摄像模块分别对应的原始图像;

处理模块,用于针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像;

所述处理模块,还用于从所述各个原始图像中确定参考图像,并将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像;

生成模块,用于根据所述目标立体图像生成目标立体视频。

其中,所述目标立体视频包括用于在虚拟现实设备上播放的视频信息,所述装置还包括:

通信模块,用于搜索虚拟现实设备的连接标识,在确定所述连接标识为目标连接标识的情况下,向所述目标连接标识对应的虚拟现实设备发送连接请求;

当接收到针对所述连接请求的确认连接信息时,与所述目标连接标识对应的虚拟现实设备建立连接;

基于所述连接将所述目标视频发送至所述目标连接标识对应的虚拟现实设备。

其中,所述处理模块,具体用于通过所述获取模块获取所述原始图像的基本元素,所述基本元素包括灰度值和/或特征分布值;

根据所述原始图像的基本元素建立所述原始图像之间的对应关系;

根据所述对应关系进行立体匹配处理,并得到所述目标场景的深度图像。

其中,所述第二处理包括三维变换处理和/或空洞填充处理;

所述处理模块,具体用于将所述参考图像与所述深度图像进行三维图像变换处理;

所述生成模块,具体用于生成三维图像变换处理后的目标立体图像。

其中,所述处理模块,还用于若所述目标立体图像中存在空洞现象,则对所述目标进行空洞填充处理,其中,所述空洞填充处理包括平滑处理、滤波处理、轨迹追踪处理的一种或多种;

所述生成模块,还用于生成进行空洞填充处理后的目标立体图像。

其中,所述生成模块,还用于在所述至少两个摄像模块对目标场景进行拍摄操作之后,生成针对所述目标场景的初始视频;

所述处理模块,还用于在检测到立体图像处理操作事件时,将所述初始视频分离成所述至少两个摄像模块分别采集的原始图像,其中,所述分离方式包括以帧为单位的视频分离方式。

实施本发明实施例,具有如下有益效果:首先将至少两个摄像模块分别采集得到的原始图像进行处理,然后得到目标立体图像,最后将该目标立体图像连接成视频,可以使图像具有立体感,从而实现图像的立体图像转化,满足用户对照相终端的智能化和自动化需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的一种图像处理方法的示意流程图;

图2是本发明第二实施例提供的一种图像处理方法的示意流程图;

图3是本发明实施例提供的一种图像处理算法示意图;

图4是本发明第三实施例提供的一种图像处理装置的结构示意图

图5是本发明第四实施例提供的一种图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参阅图1,是本发明第一实施例提供的一种图像处理方法的示意流程图。本发明实施例的所述方法可以由各种终端来执行,具体的,终端可以是手机,平板电脑,可穿戴设备等带图像处理功能的终端。如图1所示,本发明实施例中的用于图像处理的方法包括以下步骤:

S101、调用至少两个摄像模块对目标场景进行拍摄操作,并获取所述至少两个摄像模块分别对应的原始图像。

需要说明的是,调用至少两个摄像模块对目标场景进行拍摄操作之前,终端需要接收到用户的拍摄命令。该拍摄命令可以是在用户打开该终端的照相界面时,终端默认已接收到用户的拍摄命令,并开始调用摄像模块对目标场景进行拍摄操作;或者,该拍摄命令还可以是通过用户触控终端上的特定按键(例如菜单键)时,终端默认接收到用户的拍摄命令。当然,上述方式只是举例,而非穷举,包含但不限于上述可选方式。

可选的,该至少两个摄像模块对目标场景进行拍摄操作的时间可以为同时拍摄。具体的,该至少两个摄像模块在同一时间对目标场景从不同角度或不同位置或不同方式近行拍摄操作,并显示在该终端的照相界面上,以方便用户进行开始记录图像或暂停拍摄操作等的选择,其中,显示在该终端的照相界面上的图像可以是该至少两个摄像模块分别拍摄得到的图像进行合成处理后显示的图像。

其中,该摄像模块可以为两个或三个或多个,摄像模块越多,获得的目标场景信息量也越多,并且,该摄像模块具体可以为终端上的摄像头设备或具有图像采集功能的其他设备。举例来说,该摄像模块可以是同时位于终端后盖或前盖上的双摄像头。

还需要说明的是,获取该至少两个摄像模块分别对应的原始图像之前,终端还可以接收到用户的立体图像处理命令。即在终端接收到用户的立体图像处理命令之后,终端获取该至少两个摄像模块分别对应的原始图像。如果终端未接收到用户的立体图像处理命令,则该终端可以将该至少两个摄像模块的图像合成为一副图像,并显示在该终端照相界面上,或者该终端还可以将该至少两个摄像模块采集的图像分别显示在该终端的照相界面上。

其中,该原始图像是指该至少两个摄像模块分别采集的针对目标场景的图像,该原始图像的数量至少为两幅,并且各个原始图像的拍摄方位、拍摄时间、拍摄方式等均可以不同。

S102、针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像。

需要说明的是,所述第一处理可以是立体匹配算法处理,该立体匹配算法处理是获取该目标场景的深度图像的一种处理方法。其中,匹配算法就是在两幅图像的匹配基元之间建立对应关系的过程,它是双目立体视觉系统的关键。实际上,任何计算机视觉系统中都包含一个作为其核心的匹配算法,举例来说,假设给定两幅同一环境的图像,这两幅图像可能由于摄取的时间、方位或方式的不同而有差别,如双目立体视觉系统所摄取的两幅图像、地图与遥感或航测图像等,对于如何找到彼此对应的部分这个问题,一般有两种考虑途径:灰度分布的相关性或特征分布的相似性,因而立体匹配算法可以分为两类算法:基于灰度的算法(intensity based)或基于特征的算法(feature based)。如果按照控制策略分,有如下几种:粗到精多层次结构(coarse-to-finehierarchical),引入约束条件的松驰法(constraintsrelaxation),多级表示的决策结构(multilevel representation)。

举例来说,针对目标场景的具体的目标物体的深度值获取方式可以是:如果拍摄目标场景的摄像模块分别为第一摄像头和第二摄像头,该第一摄像头和该第二摄像头分别对应的图像为第一图像和该第二图像。如图3所示,通过第一摄像头获取包含目标物体的第一图像,并记录焦距f1,同时通过第二摄像头获取包含目标物体的第二图像,并记录焦距f2;接收到输入的位于第一图像上的该目标物体上的目标点时,在第二图像上确定该目标点的成像点的位置,并确定在第一图像上该目标点的成像点与第一摄像头到该第一图像的垂直点的距离X1,以及在第二图像上该目标点的成像点与第二摄像头到该第二图像的垂直点的距离X2;根据f1、f2、X1、X2和所述两个摄像头的中心距离T计算出与所述目标物体之间的距离Z=T*f1*f2/(X1*f2+X2*f1)

还需要说明的是,该目标场景的深度图像是由该各个原始图像进行处理之后得到的图像,深度图像反映的是目标场景中的物体相对于摄像模块聚焦平面的远近关系图。一般情况下,该目标场景的深度图像为一幅图像,并且该深度图像中包含有目标场景的深度信息,例如阴影信息、色彩分布信息等。

可以理解的是,在得到该深度图像之后,终端将该深度图像进行存储,并利用该深度图像执行S103步骤。

S103、从所述各个原始图像中确定参考图像,并将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像。

可以理解的是,该参考图像是指和该深度图像进行第二处理的图像。具体的,该参考图像的确定方式可以是从该各个原始图像随机选取一个原始图像作为该参考图像;或者,该参考图像的确定方式还可以是将各个原始图像进行图像合成处理,并将进行合成处理后生成的图像作为该参考图像;或者,该参考图像的确定方式还可以是取各个原始图像的参数均衡值,并利用该参数均衡值生成针对目标场景的新图像,将该新图像作为该参考图像。当然,上述方式只是举例,而非穷举,包含但不限于上述可选方式。

需要说明的是,该第二处理可以是指基于深度的图像绘制(depth image based rendering,DIBR),该基于深度的图像绘制主要完成的功能是利用参考图像及深度图像合成目标立体图像,以便构成立体图像对(stereo pair),采用DIBR算法的视图合成引擎只需要传输一副参考图像及对应的深度图便可得到立体图像对,从而可以减少传输带宽。DIBR所产生的目标立体图像是一系列算法运行后的结果。通常,DIBR技术通过三维图像变换生成新视图,但新视图往往有空洞现象存在,因此需要空洞填充得更好的结果。将参考图像和运算得到的深度图像作为算法输入,最后得到处理后带有立体感的图像。

具体的,终端从该各个原始图像中确定参考图像之后,将该参考图像和该深度图像进行DIBR算法处理,其中,该DIBR算法处理主要包括三维图像变换处理和空洞填充处理,并得到进行DIBR算法处理后的目标立体图像。

还需要说明的是,该目标立体图像包含有立体信息,且用于在虚拟现实设备等播放设备中播放,以使用户能够在观看视频时,充满3D立体和身临其境的感觉,相比传统的蓝绿眼镜方式,将目标立体图像传送给虚拟现实设备等播放设备播放,会使得视频更加逼真,深度信息也更加准确。

S104、根据所述目标立体图像生成目标立体视频。

可选的,在根据该目标立体图像生成目标立体视频之前,终端可以与虚拟现实设备建立连接,若终端接收到用户触发的发送命令,则该终端根据该目标立体图像生成立体视频。

其中,终端通过有线连接的方式与该虚拟现实设备建立连接,或者该终端通过无线连接的方式与该虚拟现实设备建立连接。具体的,该有线连接的方式包括线缆连接方式,该无线连接的方式包括以下至少一种:无限局域网(Wireless Local Area Net,WLAN)、蓝牙、红外、射频感应。

还需要说明的是,虚拟设备将目标立体视频处理成左右两个视角的视频。右视角与左视角之间的差异称为屏幕视差值,由于存在屏幕视差,使左右两幅图像在人脑中融合成立体的图像。

还需要说明的是,该目标立体视频包含有多个目标立体图像,每个目标立体图像的排布可以是以帧为单位的排布方式。在播放该目标立体视频时,若以时间顺序播放,则该目标立体视频显示的是以帧为单位排布的多个目标立体图像。

可以理解的是,该目标立体视频的格式可以有多种。具体的,该目标立体视频的格式可以是MPEG、AVI、MOV、ASF、WMV、NAVI、3GP、FLV、RMVB等格式,当然,也可以是其他格式,在此不做限制。

可以看出,本发明实施例技术方案中,首先将至少两个摄像模块分别采集得到的原始图像进行处理,然后得到目标立体图像,最后将该目标立体图像连接成目标立体视频,可以使图像具有立体感,从而实现图像的立体图像转化,让用户在观看目标立体视频时能够身临其境的体验到拍摄的场景,满足用户对照相终端的智能化和自动化需求。

请参阅图2,是本发明第二实施例提供的一种图像方法的示意流程图。本发明实施例的所述方法可以由各种终端来执行,具体的,终端可以是手机,平板电脑,可穿戴设备等带图像处理功能的终端。如图2所示,本发明的实施例中的图像处理方法包括以下步骤:

S201、在调用至少两个摄像模块对目标场景进行拍摄操作之后,生成针对所述目标场景的初始视频。

需要说明的是,该初始视频可以是该至少两个摄像模块对目标场景进行拍摄操作之后,分别生成的视频进行合成处理后的视频。通常情况下,该初始视频无3D立体效果,可用于用户进行裸眼观看。

还需要说明的是,该初始视频可以在终端的显示屏上进行显示,以便于用户确认该初始视频是否为用户想要的视频。如果用户认为该初始视频不是该用户想要的视频,则终端可以再次调用该至少两个摄像模块对目标场景进行拍摄操作并得到拍摄后的视频,直至用户确认该视频为初始视频为止。

S202、在检测到立体图像处理操作事件时,将所述初始视频分离成所述至少两个摄像模块分别采集的原始图像,其中,所述分离方式包括以帧为单位的视频分离方式。

需要说明的是,该立体图像处理事件是由用户所触发。具体的,当用户想要将拍摄得到的初始视频处理成有立体感的视频时,就需要触发该立体图像处理事件。其中,触发该立体图像处理事件的方式可以是用户通过触控终端显示屏上的菜单栏(例如带有“开启立体图像处理功能”的菜单栏)来触发该立体图像处理事件,也可以是用户通过触控终端的物理按键(例如音量增大键或主菜单键或锁屏键等等)来触发该立体图像处理事件,还可以是用户通过手势控制、指纹识别、语音识别等方式来触发该立体图像处理事件,在此不作限制。

还需要说明的是,由于连续的图像变化每秒超过24帧画面以上时,根据视觉暂留原理,人眼无法辨别单幅的静态画面,看上去是平滑连续的视觉效果,这样连续的画面叫做视频,即视频是由许多幅图像快速变化而形成。其中,获得的最初图像即指视频中的各个快速变化的画面。

还需要说明的是,在终端利用包括以帧为单位的视频分离方式获取了初始视频中的最初图像之后,将该最初图像根据不同摄像模块分别采集到的不同图像进行分离操作,生成原始图像。

其中,该分离方式可以为以帧为单位的视频分离方式。具体的分离操作可以通过视频分离软件把视频拆解成序列图片或利用图片捕获技术来获取初始视频的帧图像,也即最初图像。

S203、获取所述至少两个摄像模块分别对应的原始图像。

S204、针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像。

可选的,所述针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像,包括:获取所述原始图像的基本元素,所述基本元素包括灰度值和/或特征分布值;根据所述原始图像的基本元素建立所述原始图像之间的对应关系;根据所述对应关系进行立体匹配处理,并得到所述目标场景的深度图像。

需要说明的是,所述第一处理可以是立体匹配算法处理,该立体匹配算法处理是获取该目标场景的深度图像的一种处理方法。其中,匹配算法就是在两幅图像的匹配基元之间建立对应关系的过程,它是双目立体视觉系统的关键。实际上,任何计算机视觉系统中都包含一个作为其核心的匹配算法,举例来说,假设给定两幅同一环境的图像,这两幅图像可能由于摄取的时间、方位或方式的不同而有差别,如双目立体视觉系统所摄取的两幅图像、地图与遥感或航测图像等,对于如何找到彼此对应的部分这个问题,一般有两种考虑途径:灰度分布的相关性或特征分布的相似性,因而立体匹配算法可以分为两类算法:基于灰度的算法(intensity based)或基于特征的算法(feature based)。如果按照控制策略分,有如下几种:粗到精多层次结构(coarse-to-finehierarchical),引入约束条件的松驰法(constraintsrelaxation),多级表示的决策结构(multilevel representation)。

S205、从所述各个原始图像中确定参考图像,并将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像。

其中,所述第二处理包括三维变换处理和/或空洞填充处理;所述将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像,包括:将所述参考图像与所述深度图像进行三维图像变换处理;生成三维图像变换处理后的目标立体图像。

需要说明的是,该第二处理可以是指基于深度的图像绘制(depth image based rendering,DIBR),该基于深度的图像绘制主要完成的功能是利用参考图像及深度图像合成目标立体图像,以便构成立体图像对(stereo pair),采用DIBR算法的视图合成引擎只需要传输一副参考图像及对应的深度图便可得到立体图像对,从而可以减少传输带宽。

可选的,若所述目标立体图像中存在空洞现象,则对所述目标进行空洞填充处理,其中,所述空洞填充处理包括平滑处理、滤波处理、轨迹追踪处理的一种或多种;生成进行空洞填充处理后的目标立体图像。

具体的,DIBR技术通过三维图像变换生成新视图,但新视图往往有空洞现象存在,因此需要空洞填充处理得更好的结果,其中,所述空洞填充处理包括平滑处理、滤波处理、轨迹追踪处理的一种或多种。将参考图像和运算得到的深度图像作为算法输入,最后得到处理后带有立体感的图像。

S206、根据所述目标立体图像生成目标立体视频。

S207、搜索虚拟现实设备的连接标识,在确定所述连接标识为目标连接标识的情况下,向所述目标连接标识对应的虚拟现实设备发送连接请求。

其中,该虚拟现实(Virtual Reality,VR)设备可以是指VR眼镜、VR眼罩、VR头盔等VR头戴式显示设备,利用该VR头戴式显示设备将用户的对外界的视觉、听觉封闭,引导用户产生一种身在虚拟环境中的感觉。其显示原理是VR设备将将视频投射到一个球型坐标系中,并且分离出左右两个视角的视频。右视角与左视角之间的差异称为屏幕视差值。由于存在屏幕视差,使左右两幅图像在人脑中融合成立体图像,使人眼获取这种带有差异的信息后在脑海中产生立体感。

需要说明的是,该连接标识可以是有线连接标识,也可以是无线连接标识。如果该连接标识是有线连接标识,则该终端通过有线连接的方式与VR设备建立连接,如果该连接标识是无线连接标识,则该终端通过无线连接的方式与VR设备建立连接。

具体的,确定该目标连接标识的方式可以是终端搜索到该连接标识之后,与该连接标识对应的VR设备进行身份验证,具体的,该身份验证可以是获取VR设备的设备型号或视频可播放格式等设备信息,如果该设备信息与终端匹配,则终端确定该连接标识为目标连接标识;或者,确定该目标连接标识的方式还可以是用户在连接界面上输入与该连接标识对应的VR设备的密码,如果密码验证通过,则该终端确定该连接标识为目标连接标识。当然,上述方式只是举例,而非穷举,包含但不限于上述可选方式。

还需要说明的是,终端在确认目标连接标识之后,向该目标连接标识对应的虚拟现实设备发送连接请求,该连接请求里可以包含终端的终端信息,以及请求内容(例如待发送的视频格式、视频大小等)。

S208、当接收到针对所述连接请求的确认连接信息时,与所述目标连接标识对应的虚拟现实设备建立连接。

需要说明的是,该针对该连接请求的确认连接信息有VR设备发出,VR设备设备可以是在接收到连接请求后,提取连接请求的请求内容,并确认该请求内容有效的情况下,将该针对该连接请求的确认连接信息发出。

S209、基于所述连接将所述目标视频发送至所述目标连接标识对应的虚拟现实设备。

需要说明的是,该目标立体视频包含有多个目标立体图像,每个目标立体图像的排布可以是以帧为单位的排布方式。在播放该目标立体视频时,若以时间顺序播放,则该目标立体视频显示的是以帧为单位排布的多个目标立体图像。

可以看出,本发明实施例技术方案中,首先调用至少两个摄像模块对目标场景进行拍摄并生成初始视频,在检测到立体图像处理操作事件时,将该初始视频分离成至少两个摄像模块分别采集得到的原始图像并对其进行处理,然后得到目标立体图像,最后将该目标立体图像连接成目标立体视频,并将该目标立体视频发送给虚拟现实设备,可以使图像具有立体感,从而实现图像的立体图像转化,让用户在观看目标立体视频时能够身临其境的体验到拍摄的场景,满足用户对照相终端的智能化和自动化需求。

下面为本发明装置实施例,本发明装置实施例用于执行本发明方法第一实施例和第二实施例实现的方法,为了便于说明,仅示出了本发明实施例相关的部分,具体未揭示的部分,请参照本发明第一实施例和第二实施例。

请参阅图4,是本发明第三实施例提供的一种图像处理装置的结构示意图。本发明实施例的所述装置可以设置在各种终端中,具体的,该终端可以是手机,平板电脑,可穿戴设备等带图像处理功能的终端。如图4所示,本发明实施例中的图像处理装置包括:

摄像模块401,用于对目标场景进行拍摄操作,其中,所述摄像模块401的数量为至少两个。

获取模块402,用于获取至少两个所述摄像模块401分别对应的原始图像。

处理模块403,用于针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像。

所述处理模块403,还用于从所述各个原始图像中确定参考图像,并将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像。

可选的,所述处理模块403,具体用于通过所述获取模块402获取所述原始图像的基本元素,所述基本元素包括灰度值和/或特征分布值;根据所述原始图像的基本元素建立所述原始图像之间的对应关系;根据所述对应关系进行立体匹配处理,并得到所述目标场景的深度图像。

可选的,所述处理模块403,还用于在检测到立体图像处理操作事件时,将所述初始视频分离成所述至少两个摄像模块401分别采集的原始图像,其中,所述分离方式包括以帧为单位的视频分离方式。

生成模块404,用于根据所述目标立体图像生成目标立体视频。

可选的,所述第二处理包括三维变换处理和/或空洞填充处理。

可选的,所述处理模块403,具体用于将所述参考图像与所述深度图像进行三维图像变换处理。

所述生成模块404,具体用于生成三维图像变换处理后的目标立体图像。

其中,所述生成模块404,还用于生成进行空洞填充处理后的目标立体图像。

可选的,所述目标立体视频包括用于在虚拟现实设备上播放的视频信息,所述装置还包括:通信模块405,用于搜索虚拟现实设备的连接标识,在确定所述连接标识为目标连接标识的情况下,向所述目标连接标识对应的虚拟现实设备发送连接请求;当接收到针对所述连接请求的确认连接信息时,与所述目标连接标识对应的虚拟现实设备建立连接;基于所述连接将所述目标视频发送至所述目标连接标识对应的虚拟现实设备。

可选的,所述生成模块404,还用于在所述至少两个摄像模块401对目标场景进行拍摄操作之后,生成针对所述目标场景的初始视频。

其中,所述处理模块403,还用于若所述目标立体图像中存在空洞现象,则对所述目标进行空洞填充处理,其中,所述空洞填充处理包括平滑处理、滤波处理、轨迹追踪处理的一种或多种。

可以看出,本发明实施例技术方案中,首先调用至少两个摄像模块对目标场景进行拍摄并生成初始视频,在检测到立体图像处理操作事件时,将该初始视频分离成至少两个摄像模块分别采集得到的原始图像并对其进行处理,然后得到目标立体图像,最后将该目标立体图像连接成目标立体视频,并将该目标立体视频发送给虚拟现实设备,可以使图像具有立体感,从而实现图像的立体图像转化,让用户在观看目标立体视频时能够身临其境的体验到拍摄的场景,满足用户对照相终端的智能化和自动化需求。

请参阅图5,是本发明第四实施例提供的一种图像处理装置的结构示意图,所述装置可以是手机,平板电脑,可穿戴设备等带图像处理功能的终端。如图5所示,本发明实施例中的图像处理装置包括:至少一个通信接口501;至少一个处理器502,例如CPU;至少一个存储器503;至少一个输出设备504,至少两个摄像头505,上述通信接口501、处理器502、存储器503和输出设备504,摄像头505通过总线连接。其中,总线用于实现这些组件之间的连接通信。其中,本发明实施例中装置的通信接口501和输出设备504可以是有线发送端口,也可以为无线设备,例如包括天线装置,用于与其他节点设备进行信令或数据的通信。

该处理器502可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP)或者CPU和NP的组合。

该处理器502还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。

该存储器503可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器也可以包括非易失性存储器(non-volatile memory),例如快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器503还可以包括上述种类的存储器的组合。

可选地,该存储器503还用于存储程序指令。该处理器502可以调用该存储器503存储的程序指令,实现如本申请第一实施例、第二实施例所示的图像处理方法。

处理器502,用于调用摄像头505对目标场景进行拍摄操作,并获取所述至少两个摄像模块分别对应的原始图像;针对拍摄得到的各个原始图像进行第一处理,并得到所述目标场景的深度图像;从所述各个原始图像中确定参考图像,并将所述参考图像和所述深度图像进行第二处理,并得到进行第二处理后的目标立体图像;根据所述目标立体图像生成目标立体视频。

可选的,所述目标立体视频包括用于在虚拟现实设备上播放的视频信息。所述通信接口501,用于搜索虚拟现实设备的连接标识,在确定所述连接标识为目标连接标识的情况下,向所述目标连接标识对应的虚拟现实设备发送连接请求;当接收到针对所述连接请求的确认连接信息时,与所述目标连接标识对应的虚拟现实设备建立连接;基于所述连接将所述目标视频发送至所述目标连接标识对应的虚拟现实设备。

其中,所述处理器502,具体用于获取所述原始图像的基本元素,所述基本元素包括灰度值和/或特征分布值;根据所述原始图像的基本元素建立所述原始图像之间的对应关系;根据所述对应关系进行立体匹配处理,并得到所述目标场景的深度图像。

其中,所述第二处理包括三维变换处理和/或空洞填充处理;

可选的,所述处理器502,具体用于将所述参考图像与所述深度图像进行三维图像变换处理;生成三维图像变换处理后的目标立体图像。

可选的,所述处理器502,还用于若所述目标立体图像中存在空洞现象,则对所述目标进行空洞填充处理,其中,所述空洞填充处理包括平滑处理、滤波处理、轨迹追踪处理的一种或多种;生成进行空洞填充处理后的目标立体图像。

可选的,所述处理器502,还用于在调用至少两个摄像模块对目标场景进行拍摄操作之后,生成针对所述目标场景的初始视频;在检测到立体图像处理操作事件时,将所述初始视频分离成所述至少两个摄像模块分别采集的原始图像,其中,所述分离方式包括以帧为单位的视频分离方式。

可以看出,本发明实施例技术方案中,首先调用至少两个摄像模块对目标场景进行拍摄并生成初始视频,在检测到立体图像处理操作事件时,将该初始视频分离成至少两个摄像模块分别采集得到的原始图像并对其进行处理,然后得到目标立体图像,最后将该目标立体图像连接成目标立体视频,并将该目标立体视频发送给虚拟现实设备,可以使图像具有立体感,从而实现图像的立体图像转化,让用户在观看目标立体视频时能够身临其境的体验到拍摄的场景,满足用户对照相终端的智能化和自动化需求。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1