图像处理方法和装置与流程

文档序号:15595087发布日期:2018-10-02 19:25阅读:141来源:国知局

本发明涉及图像领域,具体而言,涉及一种图像处理方法和装置。



背景技术:

对于静止的物体,可以通过在其周围的固定位置摆放摄像头的方式来记录其立体影像,但是,对于移动的物体来说,无法通过上述方式来及记录其立体影像。

针对上述的问题,目前尚未提出有效的解决方案。



技术实现要素:

本发明实施例提供了一种图像处理方法和装置,以至少解决现有技术中无法记录运动物体的立体影像的技术问题。

根据本发明实施例的一个方面,提供了一种图像处理方法,包括:获取电子设备检测目标物体得到的所述目标物体的移动情况,其中,多台所述电子设备根据所述目标物体的移动情况进行运动,以保持多台所述电子设备各自与所述目标物体之间的相对位置不变;获取多台所述电子设备从不同角度拍摄所述目标物体得到的第一图像,得到多张所述第一图像;将多张所述第一图像进行合成,得到所述目标物体的立体影像。

进一步地,多台所述电子设备为n台所述电子设备,获取多台所述电子设备从不同角度拍摄所述目标物体得到的第一图像,得到多张所述第一图像包括:第i台电子设备根据自身的图像采集单元识别所述目标物体;所述第i台电子设备以第i角度拍摄所述目标物体,得到所述第一图像,其中,所述第i角度是所述第i台电子设备相对所述目标物体的角度,其中,i依次取1至n,第1角度至第n角度为n个互不相同的角度,n为大于1的整数。

进一步地,将多张所述第一图像进行合成,得到所述目标物体的立体影像包括:获取每张所述第一图像的拍摄时间;将拍摄时间相同的多张所述第一图像进行合成,得到所述立体影像。

进一步地,将拍摄时间相同的多张所述第一图像进行合成,得到所述立体影像包括:去除所述第一图像中的背景部分,得到背景去除后的第一图像;将拍摄时间相同的多张背景去除后的第一图像进行合成,得到所述立体影像。

进一步地,获取电子设备检测目标物体得到的所述目标物体的移动情况包括:多台所述电子设备中的目标电子设备根据所述目标物体的移动情况生成第一运动轨迹,其中,所述目标电子设备按照所述第一运动轨迹进行运动;所述目标电子设备计算多台所述电子设备中除所述目标电子设备以外的其余每台所述电子设备相对于所述目标电子设备的相对位置;所述目标电子设备将所述相对位置发送给多台所述电子设备中除所述目标电子设备以外的其余电子设备;多台所述电子设备中除所述目标电子设备以外的每台电子设备根据所述第一运动轨迹和自身相对于所述目标电子设备的相对位置生成运动轨迹,并按照生成的运动轨迹进行运动。

进一步地,在获取电子设备检测目标物体得到的所述目标物体的移动情况之前,所述方法还包括:获取标准时间;根据所述标准时间校准多台所述电子设备中每台所述电子设备的时间。

根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第一获取单元,用于获取电子设备检测目标物体得到的所述目标物体的移动情况,其中,多台所述电子设备根据所述目标物体的移动情况进行运动,以保持多台所述电子设备各自与所述目标物体之间的相对位置不变;第二获取单元,用于获取多台所述电子设备从不同角度拍摄所述目标物体得到的第一图像,得到多张所述第一图像;合成单元,用于将多张所述第一图像进行合成,得到所述目标物体的立体影像。

进一步地,多台所述电子设备为n台所述电子设备,所述第二获取单元包括:第i识别子单元,设置在第i台电子设备上,用于根据所述第i台电子设备的图像采集单元识别所述目标物体;第i拍摄子单元,设置在所述第i台电子设备上,用于以第i角度拍摄所述目标物体,得到所述第一图像,其中,所述第i角度是所述第i台电子设备相对所述目标物体的角度,其中,i依次取1至n,第1角度至第n角度为n个互不相同的角度,n为大于1的整数。

进一步地,所述合成单元包括:获取子单元,用于获取每张所述第一图像的拍摄时间;合成子单元,用于将拍摄时间相同的多张所述第一图像进行合成,得到所述立体影像。

进一步地,所述合成子单元包括:去除模块,用于去除所述第一图像中的背景部分,得到背景去除后的第一图像;合成模块,用于将拍摄时间相同的多张背景去除后的第一图像进行合成,得到所述立体影像。

进一步地,所述第一获取单元包括:生成子单元,设置在多台所述电子设备中的目标电子设备上,用于根据所述目标物体的移动情况生成第一运动轨迹,其中,所述目标电子设备按照所述第一运动轨迹进行运动;计算子单元,设置在所述目标电子设备上,用于计算多台所述电子设备中除所述目标电子设备以外的其余每台所述电子设备相对于所述目标电子设备的相对位置;发送子单元,设置在所述目标电子设备上,用于将所述相对位置发送给多台所述电子设备中除所述目标电子设备以外的其余电子设备;控制子单元,设置在多台所述电子设备中除所述目标电子设备以外的每台电子设备上,用于根据所述第一运动轨迹和多台所述电子设备中除所述目标电子设备以外的每台电子设备相对于所述目标电子设备的相对位置生成运动轨迹,并控制多台所述电子设备中除所述目标电子设备以外的每台电子设备按照生成的运动轨迹进行运动。

进一步地,所述装置还包括:第三获取单元,用于在所述第一获取单元获取电子设备检测目标物体得到的所述目标物体的移动情况之前,获取标准时间;校准单元,用于根据所述标准时间校准多台所述电子设备中每台所述电子设备的时间。

在本发明实施例中,目标物体是处于运动状态的,多台电子设备检测目标物体得到目标物体的运动情况,根据目标物体的运动情况调整自身的运动状态,使得自身与目标物体保持相对静止,每台电子设备从不同角度对目标物体进行拍摄,得到多张图像,将这多张图像进行合成,得到目标物体的立体影像,达到了记录运动物体的立体影像的技术效果,进而解决了现有技术中无法记录运动物体的立体影像的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的一种图像处理方法的流程图;

图2是根据本发明实施例的多台电子设备与目标物体的位置示意图;

图3是根据本发明实施例的多台电子设备与目标物体的运动轨迹示意图;

图4是根据本发明实施例的一种图像处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例,提供了一种图像处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种图像处理方法的流程图。该图像处理方法应用于具备驱动装置的电子设备,驱动装置用于为电子设备提供驱动力以使得电子设备能够移动,电子设备还具有图像采集单元。

如图1所示,该方法包括如下步骤:

步骤s102,获取电子设备检测目标物体得到的目标物体的移动情况,其中,多台电子设备根据目标物体的移动情况进行运动,以保持多台电子设备各自与目标物体之间的相对位置不变。

步骤s104,获取多台电子设备从不同角度拍摄目标物体得到的第一图像,得到多张第一图像。

步骤s106,将多张第一图像进行合成,得到目标物体的立体影像。

目标物体是移动的物体,可以在一定范围内自由移动。

电子设备可以是机器人。电子设备可以具有用于拍摄的双目摄像头。

多台电子设备根据目标物体的移动情况进行运动,以保持多台电子设备各自与目标物体之间的相对位置不变,即,每台电子设备相对于目标物体都是静止的。

每台电子设备相对于目标物体的角度、方位都是不同的,每台电子设备对目标物体进行拍摄,得到第一图像,多台电子设备一共得到多张第一图像。每张第一图像都从不同角度对目标物体的影像进行了记录。

将多张第一图像进行合成,即能够得到目标物体的立体影像,该立体影像中包含了目标物体全方位的信息。

在本发明实施例中,目标物体是处于运动状态的,多台电子设备检测目标物体得到目标物体的运动情况,根据目标物体的运动情况调整自身的运动状态,使得自身与目标物体保持相对静止,每台电子设备从不同角度对目标物体进行拍摄,得到多张图像,将这多张图像进行合成,得到目标物体的立体影像,解决了现有技术中无法记录运动物体的立体影像的技术问题,达到了记录运动物体的立体影像的技术效果。

可选地,多台电子设备为n台电子设备,获取多台电子设备从不同角度拍摄目标物体得到的第一图像,得到多张第一图像包括:第i台电子设备根据自身的图像采集单元识别目标物体;第i台电子设备以第i角度拍摄目标物体,得到第一图像,其中,第i角度是第i台电子设备相对目标物体的角度,其中,i依次取1至n,第1角度至第n角度为n个互不相同的角度,n为大于1的整数。

例如,图2中示出了3台电子设备,分别为电子设备e1、电子设备e2、电子设备e3,a为目标物体。目标物体a是运动的,电子设备e1、电子设备e2、电子设备e3根据目标物体a的运动情况调整自身的运动情况,以保持自身与目标物体a之间的相对位置不变。

电子设备e1、电子设备e2、电子设备e3相对于目标物体的角度、方位都是不同的,这3台电子设备分别对目标物体进行拍摄,得到3张第一图像。这3张第一图像从不同角度对目标物体的影像进行了记录,将这3张第一图像进行合成,就得到了目标物体a的立体影像。

可选地,将多张第一图像进行合成,得到目标物体的立体影像包括:获取每张第一图像的拍摄时间;将拍摄时间相同的多张第一图像进行合成,得到立体影像。

每台电子设备都会拍摄得到多张第一图像,这多张第一图像可以是在不同的时间拍摄的。电子设备在拍摄图像时,会记录拍摄时间。通过读取拍摄时间,能够知道电子设备拍摄图像的时间。

将不同电子设备拍摄的拍摄时间相同的多张第一图像进行合成,得到目标物体的立体影像。

例如,图2中示出的电子设备e1在t1时刻拍摄得到第一图像p11,在t2时刻拍摄得到第一图像p12,在t3时刻拍摄得到第一图像p13。

电子设备e2在t1时刻拍摄得到第一图像p21,在t2时刻拍摄得到第一图像p22,在t3时刻拍摄得到第一图像p23。

电子设备e3在t1时刻拍摄得到第一图像p31,在t2时刻拍摄得到第一图像p32,在t3时刻拍摄得到第一图像p33。

将拍摄时间同为t1时刻的第一图像p11、第一图像p21、第一图像p31进行合成,得到目标物体在t1时刻的立体图像。

将拍摄时间同为t2时刻的第一图像p12、第一图像p22、第一图像p32进行合成,得到目标物体在t2时刻的立体图像。

将拍摄时间同为t3时刻的第一图像p13、第一图像p23、第一图像p33进行合成,得到目标物体在t3时刻的立体图像。

可选地,在获取电子设备检测目标物体得到的目标物体的移动情况之前,方法还包括:获取标准时间;根据标准时间校准多台电子设备中每台电子设备的时间。

电子设备中的时间有可能是准确的,也可能是不准确的。如果多台电子设备中的时间不同步,那么在将拍摄时间相同的多张第一图像进行合成,得到立体影像的过程中,就会出现错误,即,将实际拍摄时间不同的多张第一图像进行合成会得到错误的图像。

为了避免上述问题,使用标准时间对多台电子设备中每台电子设备的时间进行校准,使得多台电子设备中的时间同步。

可选地,将拍摄时间相同的多张第一图像进行合成,得到立体影像包括:去除第一图像中的背景部分,得到背景去除后的第一图像;将拍摄时间相同的多张背景去除后的第一图像进行合成,得到立体影像。

在将拍摄时间相同的多张第一图像进行合成之前,可以先去除多张第一图像中的背景部分,然后再将多张第一图像进行合成,能够去掉背景的干扰,得到更加清晰突出的目标物体的立体影像。通过识别和交互,确认被拍摄主体(目标物体),并从当前3d影像中去除背景,剪切出被拍摄主体。

多台电子设备生成自身的运动轨迹的方法可以为以下任意一种:

多台电子设备生成自身的运动轨迹的第一种方法:

多台电子设备可以各自实时检测目标物体的运动情况,然后各自根据目标物体的运动情况和自身相对于目标物体的位置实时生成自身的运动轨迹,以使自身与目标物体相对静止。

如图3所示,一共有3台电子设备,分别为电子设备e1、电子设备e2、电子设备e3,a为目标物体。目标物体a是运动的,电子设备e1、电子设备e2、电子设备e3根据目标物体a的运动情况进行运动,以保持自身与目标物体a之间的相对位置不变。电子设备e1、电子设备e2、电子设备e3均实时检测目标物体a的运动情况,根据目标物体a的运动情况生成自身的运动轨迹,以使自身与目标物体a保持相对静止。轨迹g0示出了目标物体a的运动轨迹;轨迹g1示出了电子设备e1的运动轨迹;轨迹g2示出了电子设备e2的运动轨迹;轨迹g3示出了电子设备e3的运动轨迹。

多台电子设备生成自身的运动轨迹的第二种方法:

多台电子设备中的目标电子设备根据目标物体的移动情况生成第一运动轨迹,其中,目标电子设备按照第一运动轨迹进行运动;目标电子设备计算多台电子设备中除目标电子设备以外的其余每台电子设备相对于目标电子设备的相对位置;目标电子设备将相对位置发送给多台电子设备中除目标电子设备以外的其余电子设备;多台电子设备中除目标电子设备以外的每台电子设备根据第一运动轨迹和自身相对于目标电子设备的相对位置生成运动轨迹,并按照生成的运动轨迹进行运动。

多台电子设备之间具有通信能力,可以由其中一台电子设备(目标电子设备)根据目标物体的移动情况生成第一运动轨迹,当目标电子设备按照第一运动轨迹进行运动时,目标电子设备与目标物体的相对位置不变。

多台电子设备中除目标电子设备以外的每台电子设备根据第一运动轨迹和自身相对于目标电子设备的相对位置生成运动轨迹,并按照生成的运动轨迹进行运动,以使得自身与目标物体的相对位置不变。

在第二种方法中,目标电子设备可以是多个电子设备中任意一个,也可以是多个电子设备中计算能力最强的一个。

多台电子设备中,只有目标电子设备需要检测目标物体的运动情况,其他电子设备都不需要检测目标物体的运动情况,使得电子设备的工作量大大较少。

由于每台电子设备相对于目标物体都是静止的,所以任意两台电子设备之间也是相对静止的,即,任意两台电子设备在任意一个时刻的相对位置保持不变。目标电子设备计算其余每台电子设备相对于目标电子设备的相对位置可以是实时探测、计算得到的,也可以是在运动过程中的任意时刻探测、计算到的,还可以是在目标物体开始运动之前探测、计算到的,还可以是用户输入的。

多台电子设备中除目标电子设备以外的每台电子设备根据第一运动轨迹和自身相对于目标电子设备的相对位置生成运动轨迹,并按照生成的运动轨迹进行运动。

由于多台电子设备中除目标电子设备以外的每台电子设备相对于目标电子设备静止,目标电子设备相对于目标物体静止,因此,多台电子设备中每台电子设备都相对于目标物体静止。

在本发明实施例中,通过多台电子设备自组网络通信,实现协同运动,协同跟随拍摄3d影像,进而合成出全方位3d影像。

以机器人为例,说明本发明实施例提供的图像处理方法。

多台机器人通过网络或其他方式建立连接,保证可以交换信息。机器人通过信息交换确认和调整彼此的方位。定位与调整方位包括但不限于使用视觉,超声,微波等技术。用户触发或其他任何方式让机器人组合开启全方位3d影像记录功能。机器人通过双目视觉识别被摄物体,并结合自身位置进行相互通信,确认被摄物体,同时确认被摄物体和机器人的相对位置。开始记录影像,每台机器人都从当前双目视觉识别出被摄物体,并将背景去除,保留记录时间等信息。当物体开始移动时,通过双目视觉感知物体移动,计算出被摄物体和机器人之间的位置变化。机器人通过自主移动尽可能保持与被摄物体之间的相对位置不变。多台机器人将拍摄的影像,通过记录时间进行校准,并合成出全方位3d影像(立体影像)。

在本发明实施例中,多个机器人之间通过网络或其他方式相互连接,交换信息,在机器人之间相互传递信令,使其能够协同工作,通过合成同一时间的不同角度的3d影像生成全方位的影像,实现了多机器人协作全方位动态3d影像记录。

根据本发明实施例,还提供了一种图像处理装置。该图像处理装置可以执行上述图像处理方法,上述图像处理方法也可以通过该图像处理装置实施。

图4是根据本发明实施例的一种图像处理装置的示意图。该图像处理装置应用于具备驱动装置的电子设备,驱动装置用于为电子设备提供驱动力以使得电子设备能够移动,电子设备还具有图像采集单元。

如图4所示,该装置包括:第一获取单元10、第二获取单元20、合成单元30。

第一获取单元10,用于获取电子设备检测目标物体得到的目标物体的移动情况,其中,多台电子设备根据目标物体的移动情况进行运动,以保持多台电子设备各自与目标物体之间的相对位置不变。

第二获取单元20,用于获取多台电子设备从不同角度拍摄目标物体得到的第一图像,得到多张第一图像。

合成单元30,用于将多张第一图像进行合成,得到目标物体的立体影像。

可选地,多台电子设备为n台电子设备,第二获取单元20包括n个识别子单元和n个拍摄子单元。n个识别子单元分别为第1识别子单元至第n识别子单元。n个拍摄子单元分别为第1拍摄子单元至第n拍摄子单元。第i识别子单元,设置在第i台电子设备上,用于根据第i台电子设备的图像采集单元识别目标物体。第i拍摄子单元,设置在第i台电子设备上,用于以第i角度拍摄目标物体,得到第一图像,其中,第i角度是第i台电子设备相对目标物体的角度,其中,i依次取1至n,第1角度至第n角度为n个互不相同的角度,n为大于1的整数。

可选地,合成单元30包括:获取子单元、合成子单元。获取子单元,用于获取每张第一图像的拍摄时间。合成子单元,用于将拍摄时间相同的多张第一图像进行合成,得到立体影像。

可选地,合成子单元包括:去除模块、合成模块。去除模块,用于去除第一图像中的背景部分,得到背景去除后的第一图像。合成模块,用于将拍摄时间相同的多张背景去除后的第一图像进行合成,得到立体影像。

可选地,第一获取单元包括:生成子单元、计算子单元、发送子单元、控制子单元。生成子单元,设置在多台电子设备中的目标电子设备上,用于根据目标物体的移动情况生成第一运动轨迹,其中,目标电子设备按照第一运动轨迹进行运动。计算子单元,设置在目标电子设备上,用于计算多台电子设备中除目标电子设备以外的其余每台电子设备相对于目标电子设备的相对位置。发送子单元,设置在目标电子设备上,用于将相对位置发送给多台电子设备中除目标电子设备以外的其余电子设备。控制子单元,设置在多台电子设备中除目标电子设备以外的每台电子设备上,用于根据第一运动轨迹和多台电子设备中除目标电子设备以外的每台电子设备相对于目标电子设备的相对位置生成运动轨迹,并控制多台电子设备中除目标电子设备以外的每台电子设备按照生成的运动轨迹进行运动。

可选地,装置还包括:第三获取单元、校准单元。第三获取单元,用于在第一获取单元10获取电子设备检测目标物体得到的目标物体的移动情况之前,获取标准时间。校准单元,用于根据标准时间校准多台电子设备中每台电子设备的时间。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1