基于多个摄像头合成图像的方法和装置与流程

本发明涉及图像处理领域，具体而言，涉及一种基于多个摄像头合成图像的方法和装置。

背景技术：

随着智能手机、平板电脑等移动设备的发展，手机已成为人们生活和工作不可或缺的随身工具，随着智能手机摄像头硬件的提高和手机上各种相机应用程序的发展，手机拍照已经逐步取代传统的摄像机拍照。现在的智能手机，通常都有两个摄像头，前置摄像头用于自拍，后摄像头用于拍摄背景图像。由于前手机的相机是通过前摄像头和后摄像头单独成像，当用户想要将自己和景物拍到一起时，一般需要借助同伴或者自拍杆才能为自己和景物拍照。目前的手机暂时无法实现通过前摄和后摄同时工作获取图像来合成一幅图像。

针对上述的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种基于多个摄像头合成图像的方法和装置，以至少解决现有技术无法利用前后摄像头同时拍照且无法实现自定义合成图像的技术问题。

根据本发明实施例的一个方面，提供了一种基于多个摄像头合成图像的方法，包括：通过第一摄像头获取包含了目标对象的第一图像，通过第二摄像头获取用于合成目标对象的第二图像；获取第二图像中的合成区域，其中，合成区域为根据预设条件选取的区域；将第一图像合成到合成区域，得到合成后的第三图像。

根据本发明实施例的另一方面，还提供了一种基于多个摄像头合成图像的装置，包括：第一获取模块，用于通过第一摄像头获取包含了目标对象的第一图像，通过第二摄像头获取用于合成目标对象的第二图像；第二获取模块，用于获取第二图像中的合成区域，其中，合成区域为根据预设条件选取的区域；合成模块，用于将第一图像合成到合成区域，得到合成后的第三图像。

在本发明实施例中，通过第一摄像头获取包含了目标对象的第一图像，通过第二摄像头获取用于合成目标对象的第二图像；获取第二图像中的合成区域，其中，合成区域为根据预设条件选取的区域；将第一图像合成到合成区域，得到合成后的第三图像，达到了通过两个摄像头同时获取图像，并将通过其中一个摄像头获取的图像合成到通过另一个摄像头获取的图像中预定位置的目的，从而实现了通过移动设备的前后摄像头同时拍照，并可以自定义目标对象在背景图像中的合成位置的技术效果，进而解决了现有技术无法利用前后摄像头同时拍照且无法实现自定义合成图像的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的基于多个摄像头合成图像的方法流程图；

图2(a)是根据本发明实施例的一种可选的通过手机前置摄像头拍摄用户图像的示意图；

图2(b)是根据本发明实施例的一种可选的通过手机后摄像头拍摄背景图像的示意图；

图2(c)是根据本发明实施例的一种可选的将手机前摄像头拍摄的用户图像合成到后摄像头的背景图像的示意图；

图3是根据本发明实施例的一种可选的基于多个摄像头合成图像的方法流程图；

图4所示为根据本发明实施例的一种可选的合成图像的模拟示意图；

图5是根据本发明实施例的一种可选的基于多个摄像头合成图像的方法流程图；

图6是根据本发明实施例的一种可选的基于多个摄像头合成图像的方法流程图；

图7是根据本发明实施例的一种可选的基于多个摄像头合成图像的方法流程图；

图8是根据本发明实施例的一种优选的利用手机前后摄像头同时拍摄的图像合成为一幅图像的方法流程图；以及

图9是根据本发明实施例的一种基于多个摄像头合成图像的装置示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种基于多个摄像头合成图像的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的基于多个摄像头合成图像的方法流程图，如图1所示，该方法包括如下步骤：

步骤S102，通过第一摄像头获取包含了目标对象的第一图像，通过第二摄像头获取用于合成目标对象的第二图像。

具体地，在上述步骤中，目标对象可以为要拍摄的人或物；第一图像可以为通过第一摄像头拍摄的包含了该目标对象的图像；第二图像可以为通过第二摄像头拍摄的用于合成上述目标对象的背景图像；一种可选的实施方案中，第一摄像头可以为移动设备的前置摄像头，第二摄像头可以为该移动设备的后摄像头。

可选地，上述移动设备可以为智能手机、平板电脑等智能移动设备。

步骤S104，获取第二图像中的合成区域，其中，合成区域为根据预设条件选取的区域。

具体地，在上述步骤中，上述合成区域可以为第二图像中根据预设条件选取的一个或多个区域，一种可选的实施方案中，用户可以在第二图像中选择任意尺寸大小的一个区域作为合成区域来合成目标对象的第一图像。

步骤S106，将第一图像合成到合成区域，得到合成后的第三图像。

具体地，在上述步骤中，上述第三图像为将包含了目标对象的第一图像合成到第二图像中的合成区域后形成的图像；通过第一摄像头获取包含了目标对象的第一图像，通过第二摄像头获取用于合成目标对象的第二图像后，获取第二图像中根据预设条件选取的合成区域，将包含了目标对象的第一图像合成到第二图像中的合成区域，可以得到合成后的第三图像，第三图像为包含了目标对象以及背景图像(第二图像)的图像。

一种可选的实施例中，以手机为例，上述第一摄像头可以为手机的前置摄像头，上述第二摄像头可以为手机的后摄像头，上述目标对象可以为人。如图2(a)所示为根据本发明实施例的一种可选的通过手机前置摄像头拍摄用户图像的示意图，图2(b)所示为根据本发明实施例的一种可选的通过手机后摄像头拍摄背景图像的示意图，图2(c)所示为根据本发明实施例的一种可选的将手机前摄像头拍摄的用户图像合成到后摄像头的背景图像的示意图。在图2(a)中，图标201所示为通过手机前置摄像头拍摄的目标对象；图标21所示为包含了该目标对象的第一图像；在图2(b)中，图标23所示为通过手机后摄像头拍摄的背景图像(即，第二图像)，图标203所示为背景图像(即，第二图像)中的合成区域；在图2(c)中，图标25所示为将第一图像合成到第二图像后得到的第三图像。由图2(a)至图2(c)可以看出，通过手机的前置摄像头获取用户的图像，再通过手机的后摄像头获取当前背景的图像，在背景图像中获取用于合成用户图像的合成区域，将通过手机前置摄像头获取的用户的图像合成至背景图像中，从而得到当前背景下的用户的图像。

由上可知，在本申请上述实施例中，通过第一摄像头获取包含目标对象的图像，通过第二摄像头获取用于合成该目标对象的背景图像，在背景图像中获取根据预设条件选取的用于合成目标对象的合成区域后，将目标对象的图像合成到背景图像，得到合成后的包含了目标对象和背景的图像，达到了通过两个摄像头同时获取图像，并将通过其中一个摄像头获取的图像合成到通过另一个摄像头获取的图像中预定位置的目的，实现了通过移动设备的前后摄像头同时拍照，并可以自定义目标对象在背景图像中的合成位置的技术效果，进而解决了现有技术无法利用前后摄像头同时拍照且无法实现自定义合成图像的技术问题。

在一种可选的实施例中，如图3所示，在获取第二图像中的合成区域之前，上述方法还可以包括如下步骤：

步骤S302，将第二图像划分为多个图像区域；

步骤S304，按照预设的区域范围从多个图像区域中选择一个或多个图像区域作为合成区域。

具体地，在上述步骤中，第二图像可以为通过摄像头拍摄的用于合成上述目标对象的背景图像；图像区域可以为第二图像中根据预设条件设置的多个区域，一种可选的实施例中，在拍摄拍摄之前用户可任意根据实际场景和自己的喜欢的风格选取前摄获取人体图像在背景中所处的一个或多个图像区域作为合成区域。

作为一种可选的实施例，图4所示为根据本发明实施例的一种可选的合成图像模拟示意图，图标401所示为第二图像，即背景图像；图标403所示为合成区域，用于合成第一图像；其中，“1”表示后摄像头拍摄的图像，“0”表示为前摄像头拍摄的图像；需要说明的是，在第二图像中可以选取多个图像区域作为合成区域，用于合成包含了目标对象的第一图像。

通过上述实施例，实现了在背景图像中划分用于合成目标对象的一个或多个图像区域的目的。

在一种可选的实施例中，如图5所示，在将第一图像合成到合成区域，得到合成后的第三图像之前，上述方法还可以包括如下步骤：

步骤S502，检测第一图像和第二图像的亮度；

步骤S504，判断第一图像与第二图像的亮度之差是否大于预设阈值；

步骤S506，如果亮度之差大于预设阈值，则调整第一图像和/或第二图像的亮度。

具体地，在上述步骤中，第一图像可以为通过第一摄像头拍摄的包含了该目标对象的图像；第二图像可以为通过第二摄像头拍摄的用于合成上述目标对象的背景图像；由于第一摄像头和第二摄像头所使用的感光芯片的不同，会导致拍摄的图像感光度出现一定的差异，为了使合成后的图像整体的感光程度均匀而不显得图像合成出现一定的突兀，可以在将第一图像合成到合成区域，得到合成后的第三图像之前，检测第一图像和第二图像的亮度，判断第一图像与第二图像的亮度值之差是否大于预设阈值，如果亮度之差大于预设阈值，则调整第一图像和/或第二图像的亮度，以便更好地合成图像。

可选地，上述预设阈值可以为6EV，具体地，可以按照实际情况进行调整。

此处需要说明的是，第一摄像头和第二摄像头的亮度值大小均为可调，根据实际场景进行适当的调试。

通过上述实施例，在合成图像之前，通过对包含目标对象的图像和背景图像的亮度进行调整，使得合成后的图像更加自然、协调。

在一种可选的实施例中，如图6所示，将第一图像合成到合成区域，得到合成后的第三图像，可以包括如下步骤：

步骤S602，将第一图像按照如下方式进行处理，得到第四图像：从第一图像中截取预定大小的图像，和/或，将第一图像按照合成区域的大小进行缩放处理；

步骤S604，将第四图像复制至第二图像中的合成区域，得到第三图像。

具体地，在上述步骤中，第一图像可以为包含了目标对象的图像，第二图像可以为用于合成目标对象的背景图像；在获取到第二图像中用于合成目标对象的合成区域的情况下，一种可选的实施方案中，可以从第一图像中截取预定大小的图像作为第四图像复制到第二图像中的合成区域，得到第三图像；另一种可选的实施方案中，可以将第一图像按照合成区域的大小进行缩放处理，将缩放处理后的图像作为第四图像复制到第二图像中的合成区域，得到第三图像。

通过上述实施例，实现了将通过第一摄像头获取的包含了目标对象的第一图像合成到通过第二摄像头获取的第二图像中的目的。

在一种可选的实施例中，如图7所示，在将第四图像复制至第二图像中的合成区域，得到第三图像之后，上述方法还可以包括如下步骤：

步骤S702，对合成区域中除目标对象之外的预定图像区域进行虚化处理；

步骤S704，利用合成区域的原区域信息填补虚化部分的图像。

具体地，在上述步骤中，在将第一图像中截取预定大小的图像，和/或，将第一图像按照合成区域的大小进行缩放处理后得到的图像复制至第二图像中的合成区域，得到第三图像之后，可以对第二图像中合成区域中除目标对象之外的预定图像区域进行虚化处理，并利用第二图像中合成区域的原区域信息填补虚化部分的图像，进而得到合成后的最终图像。

此处需要说明的是，由于通过第一摄像头获取的包含了目标对象的第一图像中，通常会夹杂其他与目标对象的图像信息不相关的一些拍摄信息，可以采用一些图像处理算法处理这些信息同时虚化部分图像使用原区域信息填补虚化部分(俗称为根植处理)。

一种可选的实施方案中，如果目标对象是人，可以采用特殊人体识别算法处理第一图像中与人不相关的其他背景图像信息。

通过上述实施例，对合成后的图像进一步处理，可以达到时合成后的图像更加和谐、融洽的目的。

作为一种优选的实施方式，可以结合图8来说明本申请上述实施例，图8所示为一种优选的利用手机前后摄像头同时拍摄的图像合成为一幅图像的方法流程图，如图8所示，包括如下步骤：

步骤S802，开启手机上相机应用程序。

具体地，在上述步骤中，在进行拍摄之前，用户需要打开手机上的相机应用程序，该相机应用程序可以是手机出厂时默认的相机应用程序，也可以为用户下载的相机应用程序。

步骤S804，点击开启前后摄像头同时拍照功能。

具体地，在上述步骤中，在打开手机上的应用程序后，点击开启前后摄像头同时拍照功能，则进入手机的前后摄像头同时拍照功能。

步骤S806，开启手机的前摄像头和后摄像头。

具体地，在上述步骤中，在用户点击打开手机的前后摄像头同时拍照功能后，手机同时开启前摄像头和后摄像头。

需要说明的是，一般在使用手机的前摄头和后摄像头获取图像的时候，我们通常会选取前摄像头或后摄像头中任意一个作为主成像摄像头，另一个为辅助成像摄像头，主摄像头主要提供背景成像，辅助摄像头主要提供人体模型进行图像合成，一种优选的实施例中，将手机的后摄像头作为主摄像头，用于提供背景图像，将手机的前摄像头作为辅助摄像头，用于提供目标对象的图像，即，人体图像。

步骤S808，通过前摄像头获取人体图像，通过后摄像头获取背景图像。

具体地，在上述步骤中，前摄像头为第一摄像头，后摄像头为第二摄像头；上述人体图像为包含了目标对象的第一图像，上述背景图像为用于合成目标对象的第二图像；将手机的后摄像头作为主摄像头，用于获取背景图像，并通过手机的前摄像头获取人的图像。优选地，可以在手机的相机应用程序中同时显示人体图像和背景图像，用户可以在背景图像中根据自己喜欢的样式或根据实际场景将人体图像安插在背景图像中的某个位置。

步骤S810，使用人体模型算法抽取出前摄像头中的人体图像。

具体地，在上述步骤中，在用户开启手机的前后摄像头同时拍照功能的情况下，手机的前摄像头将会通过人体模型算法提取拍摄者的人体信息。

步骤S812，分区后摄像头的图像。

具体地，在上述步骤中，在通过手机的后摄像头获取到背景图像后，可以对背景图像进行分区，划分多个图像区域，用于合成前摄像头获取的人体图像。

步骤S814，在后摄像头的图像的选定区域中安插前摄像头的人体图像。

具体地，在上述步骤中，用户可以在手机的后摄像头获取的图像中选定一个或多个图像作为合成区域，用于安插前摄像头获取的人体图像。

此处需要说明的是，在后摄像头的图像的选定区域中安插前摄像头的人体图像之前，需要对前摄像头提取出人体信息根据所选取的区域将人体模型进行一定比率的缩放，以便适应背景图像中合成区域的尺寸。

步骤S816，对人体图像周边进行图像“根植处理”。

具体地，在上述步骤中，用户选取好的合成区域后，将前摄传回来的人体模型直接复制在该区域上面，由于人体模型算法所选取的区域通常会夹杂其他与人体信息不想关的前摄拍摄信息，通过特殊人体识别算法处理这些信息同时虚化部分图像使用原区域信息填补虚化部分(俗称为根植处理)。

步骤S818，调整合成图像的整体亮度反差，统一合成图像的亮度。

具体地，在上述步骤中，通过检测主摄像头拍取图像的luma target(目标光亮度)和人体图像的luma target进行比较，如果两者差距在6以上将会(具体差距可以按实际调整)调整两者的luma target来协调两者的光亮差距以便更好的合成。

通过上述实施例，同时开启移动设备的前后摄像头获取图像，通过前后摄像头传回来的图像，使用根植算法和模糊算法处理，实现人物和背景的结合，使得成像技术有进一步的提升，使得手机可以同时获取前后摄像头的图像合成出一幅图像成为可能，进而实现前后摄像头同时成像，并可以自定义进行图像合成的技术效果。

实施例2

根据本发明实施例，还提供了一种基于多个摄像头合成图像的装置实施例。本发明实施例1中的基于多个摄像头合成图像的方法可以在本发明实施例2的装置中执行。

图9是根据本发明实施例的一种基于多个摄像头合成图像的装置示意图，如图9所示，该装置包括：第一获取模块901、第二获取模块903和合成模块905。

其中，第一获取模块901，用于通过第一摄像头获取包含了目标对象的第一图像，通过第二摄像头获取用于合成目标对象的第二图像；第二获取模块903，用于获取第二图像中的合成区域，其中，合成区域为根据预设条件选取的区域；合成模块905，用于将第一图像合成到合成区域，得到合成后的第三图像。

由上可知，在本申请上述实施例中，通过第一摄像头获取包含目标对象的图像，通过第二摄像头获取用于合成该目标对象的背景图像，在背景图像中获取根据预设条件选取的用于合成目标对象的合成区域后，将目标对象的图像合成到背景图像，得到合成后的包含了目标对象和背景的图像，达到了通过两个摄像头同时获取图像，并将通过其中一个摄像头获取的图像合成到通过另一个摄像头获取的图像中预定位置的目的，实现了通过移动设备的前后摄像头同时拍照，并可以自定义目标对象在背景图像中的合成位置的技术效果，进而解决了现有技术无法利用前后摄像头同时拍照且无法实现自定义合成图像的技术问题。

在一种可选的实施例中，上述装置还可以包括：划分模块，用于将第二图像划分为多个图像区域；选择模块，用于按照预设的区域范围从多个图像区域中选择一个或多个图像区域作为合成区域。

在一种可选的实施例中，上述装置还可以包括：检测模块，用于检测第一图像和第二图像的亮度；判断模块，用于判断第一图像与第二图像的亮度之差是否大于预设阈值；调整模块，用于如果亮度之差大于预设阈值，则调整第一图像和/或第二图像的亮度。

在一种可选的实施例中，上述合成模块包括：第一处理模块，用于将第一图像按照如下方式进行处理，得到第四图像：从第一图像中截取预定大小的图像，和/或将第一图像按照合成区域的大小进行缩放处理；复制模块，用于将第四图像复制至第二图像中的合成区域，得到第三图像。

在一种可选的实施例中，上述复制模块包括：第二处理模块，用于对合成区域中除目标对象之外的预定图像区域进行虚化处理；第三处理模块，用于利用合成区域的原区域信息填补虚化部分的图像。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。