拍照方法及其装置与流程

本发明涉及终端设备领域，尤其涉及一种拍照方法及其装置。

背景技术：

随着终端设备的普及，用户越来越喜欢利用终端设备的拍照功能进行拍照或者记录生活。而且终端设备还可以提供对图像进行处理的应用程序，通过应用程序可以对图像进行处理。

例如，可以为一个拍摄对象替换多个拍摄场景，使得照片多样化和趣味性，将一个拍摄的图像中显示用户处于海滩，而用户喜欢自己处于草原，此时可以对图像进行抠图处理，然后将抠图出的用户放置到草原这一拍摄场景中。由于目前所有应用程序对图像处理基本上都是在二维图像上进行的，使得拍摄对象无法与图像中的拍摄场景完美贴合，导致图像处理效果较差。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种拍照方法，以实现为同一拍摄对象替换不同拍摄场景时，可以使得拍摄对象与拍摄场景完美贴合，使得图像处理效果更好，以及解决现有应用程序对图像处理基本上都是在二维图像上进行的，使得拍摄对象无法与图像中的拍摄场景完美贴合，导致图像处理效果较差的问题。

本发明的第二个目的在于提出一种拍照装置。

本发明的第三个目的在于提出一种终端设备。

本发明的第四个目的在于提出一个或多个包含计算机可执行指令的非易失性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种拍照方法，包括：

通过结构光获取拍摄对象的第一深度图像；

获取由结构光形成的待融合场景的第二深度图像；

获取所述拍摄对象的第一图像和所述待融合场景的第二图像；所述第一图像和所述第二图像中携带每个像素点的rgb值；

根据所述第一深度图像和所述第二深度图像，将所述拍摄对象融合到所述待融合场景中，得到目标深度图像；

根据所述第一图像、所述第二图像以及所述目标深度图像，形成目标图像，其中，所述目标图像中包括所述拍摄对象和所述待融合场景。

本发明实施例的拍照方法，通过结构光获取拍摄对象的第一深度图像，获取待融合场景的第二深度图像，获取拍摄对象的第一图像和待融合场景的第二图像；其中，第一图像和第二图像中携带每个像素点的rgb值，根据第一深度图像和第二深度图像，将拍摄对象融合到待融合场景中，得到目标深度图像，根据第一图像、第二图像以及目标深度图像，形成目标图像，其中目标图像中包括拍摄对象和待融合场景。本实施例中，基于结构光获取拍摄对象和待融合场景的深度图像，基于深度图像将拍摄对象融合到场景中，能够在为拍摄对象切换拍摄场景时，可以使得拍摄对象与拍摄场景完美贴合，使得图像处理效果更加自然，提升用户体验。

为达上述目的，本发明第二方面实施例提出了一种拍照装置，包括：

第一获取模块，用于通过结构光获取拍摄对象的第一深度图像；

第二获取模块，用于获取由结构光形成的待融合场景的第二深度图像；

第三获取模块，用于获取所述拍摄对象的第一图像和所述待融合场景的第二图像；所述第一图像和所述第二图像中携带每个像素点的rgb值；

第四获取模块，用于根据所述第一深度图像和所述第二深度图像，将所述拍摄对象融合到所述待融合场景中，得到目标深度图像；

第五获取模块，用于根据所述第一图像、所述第二图像以及所述目标深度图像，形成目标图像，其中，所述目标图像中包括所述拍摄对象和所述待融合场景。

本发明实施例的拍照装置，通过结构光获取拍摄对象的第一深度图像，获取待融合场景的第二深度图像，获取拍摄对象的第一图像和待融合场景的第二图像；其中，第一图像和第二图像中携带每个像素点的rgb值，根据第一深度图像和第二深度图像，将拍摄对象融合到待融合场景中，得到目标深度图像，根据第一图像、第二图像以及目标深度图像，形成目标图像，其中目标图像中包括拍摄对象和待融合场景。本实施例中，基于结构光获取拍摄对象和待融合场景的深度图像，基于深度图像将拍摄对象融合到场景中，能够在为拍摄对象切换拍摄场景时，可以使得拍摄对象与拍摄场景完美贴合，使得图像处理效果更加自然，提升用户体验。

为达上述目的，本发明第三方面实施例提出了一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如本发明第一方面实施例所述的拍照方法。

为达上述目的，本发明第四方面实施例提出了一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如第一方面实施例所述的拍照方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例提供的一种拍照方法的流程示意图；

图2为一个投射结构光的装置组合示意图；

图3为均匀排布的结构光的示意图；

图4为本发明实施例提供的另一种拍照方法的流程示意图；

图5为本发明实施例中非均匀的结构光的投影集合示意图；

图6为本发明实施例提供的一种拍照装置的结构示意图；

图7为本发明实施例提供的另一种拍照装置的结构示意图；

图8为本发明实施例提供的一种终端设备中的图像处理电路的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的拍照方法及装置、终端设备。

由于目前所有应用程序对图像处理基本上都是在二维图像上进行的，使得拍摄对象无法与图像中的拍摄场景完美贴合，导致图像处理效果较差。

针对这一问题，本发明实施例提出一种拍照方法，以实现同一拍摄对象替换不同拍摄场景时，可以使得拍摄对象与拍摄场景完美贴合，使得图像处理效果更好的目的。

图1为本发明实施例提供的拍照方法的流程示意图。

如图1所示，该拍照方法包括以下步骤：

步骤101，通过结构光获取拍摄对象的第一深度图像。

其中，已知空间方向光束的投影集合称为结构光(structuredlight)。

作为一种示例，图2为一个投射结构光的装置组合示意图。图2中仅以结构光的投影集合为线的集合进行示例，对于投影集合为散斑图案的结构光的原理类似。如图2所示，该装置中可以包括光学投射器和摄像机，其中，光学投射器将一定模式的结构光投射于拍摄对象(用户)所处的空间内，在用户表面上形成由表面形状所调制的光条的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得畸变的光条二维图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和用户表面的轮廓，直观上，沿光条显示出的位移(或偏移)与用户表面的高度成比例，扭曲表示了平面的变化，不连续显示了用户表面的物理间隙，当光学投射器与摄像机之间的相对位置一定时，由畸变的光条二维图像坐标即可重现用户的三维轮廓，即获得用户的3d模型。

作为一种示例，可以采用公式(1)计算获得用户的3d模型，其中，公式(1)如下所示：

其中，(x,y,z)为获取的用户3d模型的坐标，b为投射装置与摄像头之间的基线间距，f为摄像头的焦距，θ为投射装置向用户所处的空间投射预设的结构光时的投影角度，(x',y')为带有用户深度信息的二维畸变图像的坐标。

作为一种示例，结构光的类型包括光栅型、光点型、斑纹型(包括圆形斑纹和十字斑纹)，如图3所示，上述结构光是均匀排布的。对应地，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，比如光学投射器，也可以是生成激光束的激光器。

作为一种示例，当拍摄对象为终端设备的使用者时，可以将结构光照射到使用者身上，由使用者的身体反射结构光，进而得到使用者的第一深度图像。由于所形成的第一深度图像中包括结构光中各特征点的深度信息，进而可以根据第一深度图像能够重新构建出使用者的3d模型。

步骤102，获取由结构光形成的待融合场景的第二深度图像。

作为一种示例，用户可以从预存的图像如照片中选取一个待融合图像，而且在拍摄该待融合图像时同步保存了所述待融合图像对应拍摄场景的深度图像，这样当用户选择了一个照片后，就可以根据选择的照片的名称或者标识，确定出该照片对应的深度图像，进而将该照片的深度图像作为第二深度图像。

作为一种示例，可以从预先存储的多个拍摄场景中，选择一个作为待融合场景，该拍摄场景可以为之前拍摄照片时，存储在终端设备上的。例如，之前用户曾经在沙滩、草原、游乐园等场景下拍摄过照片，可以在拍摄的照片的时候，通过结构光获取到拍摄场景的第二深度图像。在该第二深度图像中可以包括该拍摄场景下各个物体的深度信息。作为一种示例，可以通过结构光获取拍摄对象的第一深度图像，然后在通过结构光获取待融合场景的第二深度图像。

作为一种示例，可以从网络或者朋友处获取由结构光形成的第二深度图像，第二深度图像为待融合场景对应的深度图像。

步骤103，获取拍摄对象的第一图像和待融合场景的第二图像。

其中，第一图像和第二图像中携带每个像素点的rgb值。

为了实现能够在待融合场景下重构拍摄对象，还需要通过另外一个摄像头获取拍摄对象的第一图像和待融合场景的第二图像。其中，该第一图像和第二图像中包括每个像素点的rgb值，是由自然光在摄像装置中的图像传感器上成像得到的。也就是说，第一图像和第二图像为一个色彩图像。第二图像可以为终端设备的使用者在之前对待融合场景进行拍照时获取到的。

此处需要说明，待融合场景的第二图像可以由终端设备上的另一个摄像头采集，也可以由其他设备上的摄像头采集，由使用场景确定，此处不进行限制。

步骤104，根据第一深度图像和第二深度图像，将拍摄对象融合到待融合场景中，得到目标深度图像。

在获取到第一深度图像和第二深度图像后，可以对拍摄对象和待融合场景进行3d构建，形成拍摄对象的3d模型和融合场景的3d模型。为了使拍摄对象融合到待融合场景中，首先需要在待融合场景的3d模型中，获取拍摄对象在待融合场景中的融合位置。可以对用户的用于在待融合场景的3d模型中，选择融合位置的选择操作进行监测当监测到选择操作时，就可以根据该选择操作中用户的手指轨迹确定出融合位置。

例如，当拍摄对象为一个人，拍摄场景为集体照，则可以在拍摄场景的3d模型中选择一个位置作为拍摄对象在集体照中的位置，该位置称为融合位置。

进一步地，将拍摄对象的3d模型放入到待融合场景的3d模型中融合位置上，就可以将拍摄对象融合到待融合场景中，得到目标深度图像。

步骤105，根据第一图像、第二图像以及目标深度图像，形成目标图像。

其中，目标图像中包括拍摄对象和待融合场景。

本实施例中，在获取到包括拍摄对象和待融合场景的目标深度图像后，就可以根据第一图像、第二图像以及目标深度图像，形成目标图像。具体地，可以利用第一图像中每个像素点的rgb值，来填充目标深度图像中拍摄对象的相应像素点的rgb值。可以利用第二图像中每个像素点的rgb值，来填充目标深度图像中待拍摄场景中相应像素点的rgb值。当颜色填充完成后，就可以得到一个具有色彩并且携带有深度信息的目标图像，该目标图像为一个3d图像。

本实施例提供的拍照方法，通过结构光获取拍摄对象的第一深度图像，获取待融合场景的第二深度图像，获取拍摄对象的第一图像和待融合场景的第二图像；其中，第一图像和第二图像中携带每个像素点的rgb值，根据第一深度图像和第二深度图像，将拍摄对象融合到待融合场景中，得到目标深度图像，根据第一图像、第二图像以及目标深度图像，形成目标图像，其中目标图像中包括拍摄对象和待融合场景。本实施例中，基于结构光获取拍摄对象和待融合场景的深度图像，基于深度图像将拍摄对象融合到场景中，能够在为拍摄对象切换拍摄场景时，可以使得拍摄对象与拍摄场景完美贴合，使得图像处理效果更加自然，提升用户体验。

图4为本发明实施例提供的另一种拍照方法的流程示意图。如图4所示，该拍照方法包括以下步骤：

步骤401，向拍摄对象发射结构光。

本实施例中，可以在终端中设置投射装置，用于向拍摄物体发射结构光。当用户将终端对着拍摄物体时，终端中设置的投射装置可以向拍摄物体发射结构光。

步骤402，采集结构光在拍摄对象所形成的发射光；其中发射光中携带用于对拍摄对象的深度信息。

步骤403，将反射光在图像传感器上所成的图像作为第一深度图像。

当向拍摄对象发射的结构光到达之后，由于拍摄对象上各个面部器官会对结构光造成阻碍结构光会在拍摄对象处发生反射，此时，可以通过终端中设置的摄像头对结构光在拍摄对象上的反射光进行采集，通过采集到的反射光可以形成拍摄对象的深度图像。

步骤404，基于第一深度图像重构拍摄对象的3d模型。

具体的，第一深度图像中可能包括拍摄对象和背景，首先对第一深度图像进行去噪处理及平滑处理，来获取拍摄对象所在区域的图像，进而通过前后景分割等处理，将拍摄对象与背景图分割。

在将拍摄对象从深度图像中提取出来后，即可从拍摄对象的深度图像中提取特征点数据，进而根据提取的特征点数据，将这些特征点连接成网络。比如根据各个点在空间上的距离关系，将相同平面的点，或者距离在阈值范围内的点连接成三角形网络，进而将这些网络进行拼接，就可以生成拍摄对象的3d模型。

步骤405，接收对端设备发送的拍照请求；其中，拍照请求中包括待融合场景的第二深度图像，第二深度图像由所述对端设备向所述待融合场景发射结构光形成的。

本实施例中，对端设备处于待融合场景下，通过对端设备上的结构光的投射装置，向待融合场景投射结构光，可以获取到待融合场景的第二深度图像。

在用户使用终端设备拍照的过程中，可以接收到与该终端设备处于通信状态的对端设备发送的拍照请求，该拍照请求中可以包括待融合场景的第二深度信息。例如，当拍摄一个集体照时，有部分同学不在现场，可以由在现场的同学向不在现场的同学发送一个拍照请求，该拍照请求中包括待融合场景即集体照的第二深度图像。

步骤406，基于第二深度图像重构待融合场景的3d模型。

与步骤404类似，具体过程可参见上述相关内容的记载，此处不再赘述。

步骤407，在待融合场景的3d模型中，获取拍摄对象在所述待融合场景中的融合位置。

关于融合位置的确定过程可参见上述实施例中相关内容的记载，此处不再赘述。

步骤408，将拍摄对象的3d模型放置到待融合场景的3d模组的融合位置上，使拍摄对象融合到待融合场景中，得到目标深度图像。

作为一种示例，为了能够提高融合的效果，使得融合效果更加美观，本实施例中，首先可以从待融合场景中的3d模型中，获取位于该融合位置上的至少一个物体，例如，该物体可以一个树或者另一个人，拍摄对象可以能会在该融合位置上与树或者另个人出现部分重叠的现象。

为了避免出现部分重叠，使得成像效果较差的问题，可以从第二深度图像中提取物体的深度信息，根据第一深度图像中拍摄对象的深度信息和物体的深度信息，确定拍摄对象和物体之间的相对关系。

例如，可以根据拍摄对象的深度信息确定出拍摄对象的尺寸，并且根据物体的深度信息确定出该物体的尺寸，可以调整物体与拍摄对象的尺寸，或者调整物体与拍摄对象的距离，使得拍摄对象与物体之间存在一定的距离，避免出现部分重叠的问题。在例如，当物体为与拍摄对象为同一类物体时，可以根据待融合场景下的物体的尺寸来调整拍摄对象的尺寸，例如，拍摄对象和物体均为人时，如果拍摄对象人的尺寸与待融合场景中人的尺寸明显存在较大差异，则可以根据待融合场景中人的尺寸调整待拍摄对象人的尺寸，使得两者尺寸的差异在一个合理的范围内。

进一步地，还可以根据拍摄对象的深度信息与物体的深度信息，对拍摄对象与物体的前后位置关系进行调整，明确两者的前后位置关系。例如，拍摄对象为人，而物体为人要站立的座椅。由于人和座椅处于同一融合位置上，可以将人的位置设置在座椅前面，从而明确人和座椅的前后位置关系。

在确定了拍摄对象与物体之间的相对关系后，就可以按照相对关系，将拍摄对象融合到待融合场景中，形成目标深度图像，即将拍摄对象放置待融合场景中的融合位置上，形成一个目标深度图像。

步骤409，获取拍摄对象的第一图像和待融合场景的第二图像。

进一步地，从对端设备待融合场景的第二图像，从自身终端设备上获取拍摄对象的第一图像，其中，第一图像和第二图像包括每个像素地点的rgb值，是由自然光在摄像头中的图像传感器成像得到的。

此处需要说明的是，该第二图像可以在拍摄请求中随同第二深度图像发送给终端设备，也可以分别发送给终端设备。

步骤410，根据第一图像、第二图像以及目标深度图像，形成目标图像。

其中，所述目标图像中包括拍摄对象和待融合场景。

具体地，可以利用第一图像中每个像素点的rgb值，来填充目标深度图像中拍摄对象的相应像素点的rgb值。可以利用第二图像中每个像素点的rgb值，来填充目标深度图像中待拍摄场景中相应像素点的rgb值。当颜色填充完成后，就可以得到一个具有色彩并且携带有深度信息的目标图像，该目标图像为一个3d图像。

作为一种示例，可以将第一图像与第二图像进行融合，得到第一图像中每个像素点的融合rgb值，然后利用第一图像中每个像素点融合后的rgb值对目标深度图像中拍摄对象的颜色进行填充，得到目标图像。具体地，获取第二图像的每个像素点rgb值，使用第二图像的每个像素点rgb值对第一色彩图像中每个像素点的rgb值进行修正，得到第一图像中每个像素点融合后的rgb值。例如，可以获取第二图像中每个像素点rgb值的平均值，然后基于该平均值对第一图像中每个像素点的rgb值进行修正，可以获取第一图像中每个像素点rgb值的平均值，获取两个平均值的比值，利用这个比值来修正第一图像中每个像素点的rgb值，得到融合后rgb值。可选地，可以将第一图像中每个像素点的rgb值与比值相乘/相除，得到融合后的rgb值。

可选地，可以计算第一图像中每个像素点rgb值与平均值的差值，然后计算该差值与平均值的比值，然后利用该比值与该像素点的rgb值进行乘积，得到融合后rgb值。

可选地，可以从第二图像中识别出图像的高阶区域，可以对高阶区域进行图像处理，例如可以进行高斯滤波、平滑等处理，得到处理后的第二图像。在处理后的第二图像的基础之上，获取第二色彩图像的每个像素点rgb值的平均值。

本实施例提供的拍照方法，通过结构光获取拍摄对象的第一深度图像，获取待融合场景的第二深度图像，获取拍摄对象的第一图像和待融合场景的第二图像；其中，第一图像和第二图像中携带每个像素点的rgb值，根据第一深度图像和第二深度图像，将拍摄对象融合到待融合场景中，得到目标深度图像，根据第一图像、第二图像以及目标深度图像，形成目标图像，其中目标图像中包括拍摄对象和待融合场景。本实施例中，基于结构光获取拍摄对象和待融合场景的深度图像，基于深度图像将拍摄对象融合到场景中，能够在为拍摄对象切换拍摄场景时，可以使得拍摄对象与拍摄场景完美贴合，使得图像处理效果更加自然，提升用户体验。

此处需要说明的是，作为一种示例，上述实施例中采用的结构光可以为非均匀的结构光，非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案。

图5为本发明实施例中非均匀的结构光的投影集合示意图。如图5所示，本发明实施例中采用的是非均匀的结构光，其中，非均匀的结构光为随机排列非均匀的散斑图案，也就是说，该非均匀的结构光为多个光斑的集合，且多个光斑之间采用不均匀的分散方式排布，进而构成一个散斑图案。由于散斑图案所占的存储空间较小，因而，投射装置运行时不会对终端的运行效率造成太大影响，能够节约终端的存储空间。

此外，本发明实施例中采用的散斑图案，相较于其他现有的结构光类型而言，散列排布能够降低能量消耗，节省电量，提高终端的续航能力。

在本发明实施例中，可以在电脑、手机、掌上电脑等终端中设置投射装置和摄像头。投射装置向拍摄对象发射非均匀的结构光即散斑图案。具体地，可以利用投射装置中的衍射光学元件形成散斑图案，其中，该衍射光学元件上设置有一定数量的浮雕，不规则的散斑图案就由衍射光学元件上不规则的浮雕产生。本发明实施例中，浮雕凹槽深度和数量可以通过算法设置。

其中，投射装置可以用于向拍摄对象所处的空间投射一个预设的散斑图案。摄像头可以用于对已投射散斑图案的拍摄对象进行采集，以得到带有散斑图案的被测对象的二维畸变图像。

本发明实施例中，当终端的摄像头对准拍摄对象时，终端中的投射装置可以向拍摄对象所处的空间投射预设的散斑图案，该散斑图案中具有多个散斑点，当该散斑图案被投射到拍摄对象表面上时，该散斑图案中的好多散斑点会由于拍摄对象表面包含的各个元素的原因而发生偏移。通过终端的摄像头对拍摄对象进行采集，得到带有散斑图案的拍摄对象的二维畸变图像。

进一步地，将采集到的拍摄对象的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取拍摄对象的散斑图像的各个散斑点(特征点)相对于参考散斑点(参考特征点)的移动距离。最后根据该移动距离、参考散斑图像与终端上摄像头的距离以及投射装置与摄像头之间的相对间隔值，利用三角法得到散斑图像的各个散斑点的深度值，并根据该深度值得到拍摄对象的深度图像，进而根据深度图像可获得拍摄对象3d模型。

图6为本发明实施例提供的一种拍照装置的结构示意图。如图6所示，该拍照装置包括：第一获取模块61、第二获取模块62、第三获取模块63、第四模块64和第五获取模块65。

第一获取模块61，用于通过结构光获取拍摄对象的第一深度图像。

第二获取模块62，用于获取由结构光形成的待融合场景的第二深度图像。

第三获取模块63，用于获取所述拍摄对象的第一图像和所述待融合场景的第二图像；所述第一图像和所述第二图像中携带每个像素点的rgb值。

第四获取模块64，用于根据所述第一深度图像和所述第二深度图像，将所述拍摄对象融合到所述待融合场景中，得到目标深度图像。

第五获取模块65，用于根据所述第一图像、所述第二图像以及所述目标深度图像，形成目标图像，其中，所述目标图像中包括所述拍摄对象和所述待融合场景。

图6的基础之上，图7为本发明实施例提供的另一种拍照装置的结构示意图。如图7所示，第四获取模块44，包括：建模单元641、位置获取单元641、融合单元643。

建模单元641，用于根据所述第一深度图像构建所述拍摄对象的3d模型，以及根据所述第二深度图像构建所述待融合场景的3d模型。

位置获取单元642，在所述待融合场景的3d模型中，确定用于获取所述拍摄对象在所述待融合场景中的融合位置。

融合单元643，用于将所述拍摄对象的3d模型放置到所述待融合场景的3d模组的所述融合位置上，使所述拍摄对象融合到所述待融合场景中，得到所述目标深度图像。

所述融合单元643包括：获取子单元、提取子单元、相对关系确定单元和融合子单元。

获取子单元，用于获取所述待融合场景中位于所述融合位置上的至少一个物体；

提取子单元，用于从所述第二深度图像中提取所述物体的深度信息；

相对关系确定单元，用于根据所述第一深度图像中所述拍摄对象的深度信息和所述物体的深度信息，确定所述拍摄对象和所述物体之间的相对关系；

融合子单元，用于根据所述相对关系，将所述拍摄对象融合到所述待融合场景中形成所述目标深度图像。

进一步地，相对关系确定单元，具体用于根据所述拍摄对象的深度信息和所述物体的深度信息，对所述拍摄对象的尺寸、所述物体的尺寸和/或前后位置关系进行调整，形成所述拍摄对象和所述物体之间的相对关系。

进一步地，第五获取模块65，包括：图像融合单元651和填充单元652。

图像融合单元651，用于将所述第一图像与所述第二图像进行融合，得到所述第一图像中每个像素点的融合rgb值。

填充单元652，用于利用所述第一图像中每个像素点融合后的rgb值对所述目标深度图像中所述拍摄对象的颜色进行填充，得到所述目标图像。

图像融合单元651，具体用于获取所述第二图像的每个像素点rgb值，使用所述第二图像的每个像素点rgb值对所述第一色彩图像中每个像素点的rgb值进行修正，得到所述第一图像中每个像素点融合后的rgb值。

进一步地，第一获取模块61，具体用于向所述拍摄对象发射结构光，采集所述结构光在所述拍摄对象所形成的发射光；其中所述发射光中携带用于对拍摄对象的深度信息，以及将所述反射光在图像传感器上所成的图像作为所述第一深度图像。

进一步地，所述结构光为非均匀的结构光，所述非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案，是由设置在终端上的投射装置中的衍射光学元件形成的，其中，所述衍射光学元件上设置有一定数量的浮雕，所述浮雕的凹槽深度不同。

进一步地，第二获取模块62，具体用于接收对端设备发送的拍照请求；其中，所述拍照请求中包括所述待融合场景的所述第二深度图像；其中，所述第二深度图像由所述对端设备向所述待融合场景发射结构光形成的；或者，

从预存在终端设备上的图像中选取一个待融合图像，并获取所述待融合图像对应场景的深度图像作为所述第二深度图像。

本发明实施例的拍照装置，通过结构光获取拍摄对象的第一深度图像，获取待融合场景的第二深度图像，获取拍摄对象的第一图像和待融合场景的第二图像；其中，第一图像和第二图像中携带每个像素点的rgb值，根据第一深度图像和第二深度图像，将拍摄对象融合到待融合场景中，得到目标深度图像，根据第一图像、第二图像以及目标深度图像，形成目标图像，其中目标图像中包括拍摄对象和待融合场景。本实施例中，基于结构光获取拍摄对象和待融合场景的深度图像，基于深度图像将拍摄对象融合到场景中，能够在为拍摄对象切换拍摄场景时，可以使得拍摄对象与拍摄场景完美贴合，使得图像处理效果更加自然，提升用户体验。

上述拍照装置中各个模块的划分仅用于举例说明，在其他实施例中，可将拍照装置按照需要划分为不同的模块，以完成上述拍照装置的全部或部分功能。

本发明实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以下步骤：

通过结构光获取拍摄对象的第一深度图像；

获取通过结构光形成的待融合场景的第二深度图像；

获取所述拍摄对象的第一图像和所述待融合场景的第二图像；所述第一图像和所述第二图像中携带每个像素点的rgb值；

根据所述第一深度图像和所述第二深度图像，将所述拍摄对象融合到所述待融合场景中，得到目标深度图像；

根据所述第一图像、所述第二图像以及所述目标深度图像，形成目标图像，其中，所述目标图像中包括所述拍摄对象和所述待融合场景。

本发明实施例还提供一种终端设备。上述终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路80包括成像设备810、isp处理器830和控制逻辑器840。成像设备810可包括具有一个或多个透镜812、图像传感器814的照相机和结构光投射器816。结构光投射器816将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器814捕捉投影至被测物形成的结构光图像，并将结构光图像发送至isp处理器830，由isp处理器830对结构光图像进行解调获取被测物的深度信息。同时，图像传感器814也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器814分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，isp处理器830对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差tof的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在isp处理器830接收到图像传感器814捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。isp处理器830对图像数据进行分析以获取可用于确定成像设备810的一个或多个控制参数的图像统计信息。图像传感器814可包括色彩滤镜阵列(如bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器830处理的一组原始图像数据。

isp处理器830按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器830可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

isp处理器830还可从图像存储器820接收像素数据。图像存储器820可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接存储器存取)特征。

当接收到原始图像数据时，isp处理器830可进行一个或多个图像处理操作。

在isp处理器830获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法asm、主动外观模型法aam、主成分分析法pca、离散余弦变换法dct等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器820，以便在被显示之前进行另外的处理。isp处理器830从图像存储器820接收处理数据，并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器860，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，isp处理器830的输出还可发送给图像存储器820，且显示器860可从图像存储器820读取图像数据。在一个实施例中，图像存储器820可被配置为实现一个或多个帧缓冲器。此外，isp处理器830的输出可发送给编码器/解码器850，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器860设备上之前解压缩。编码器/解码器850可由cpu或gpu或协处理器实现。

isp处理器830确定的图像统计信息可发送给控制逻辑器840单元。控制逻辑器840可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备810的控制参数。

以下为运用图8中图像处理技术实现拍照方法的步骤：

通过结构光获取拍摄对象的第一深度图像；

获取通过结构光形成的待融合场景的第二深度图像；

获取所述拍摄对象的第一图像和所述待融合场景的第二图像；所述第一图像和所述第二图像中携带每个像素点的rgb值；

根据所述第一深度图像和所述第二深度图像，将所述拍摄对象融合到所述待融合场景中，得到目标深度图像；

根据所述第一图像、所述第二图像以及所述目标深度图像，形成目标图像，其中，所述目标图像中包括所述拍摄对象和所述待融合场景。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。