拍摄图像处理方法、装置、设备及计算机可读存储介质与流程

1.本发明实施例涉及但不限于通信领域，尤其涉及一种拍摄图像处理方法、装置、设备及计算机可读存储介质。


背景技术：

2.目前，流水场景拍摄图像处理技术能够将流水场景拍摄成丝绸状效果，但该图像处理技术只能满足仅为流水场景的景物图像，当在流水场景中存在前景主体时，若用目前的流水模式拍摄带有前景主体和流水场景的混合场景，由于需要维持一定的拍摄时间，因此在拍摄的过程中容易出现相机抖动或者被拍摄前景主体的晃动的情况，而相机抖动和被拍摄前景主体的晃动都会导致前景主体的轮廓处产生模糊的叠影，严重影响前景主体的轮廓处的清晰度。


技术实现要素：

3.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
4.本发明实施例的主要目的在于提出一种拍摄图像处理方法、装置、设备及计算机可读存储介质，能够有效提高渲染图像中前景主体的轮廓处的清晰度。
5.第一方面，本发明实施例提供了一种拍摄图像处理方法，包括：
6.从通过连续拍摄的多帧拍摄图像中选取参考帧图像；
7.根据所述参考帧图像，将所述多帧拍摄图像中除参考帧以外的其他拍摄图像进行全局配准得到多帧配准图像；
8.对所述参考帧图像进行分割，得到前景区域；
9.根据所述前景区域从所述多帧配准图像中选取多帧相似图像；
10.选取与所述参考帧图像的拍摄时间相邻的第一数量的相似图像，对所述第一数量的相似图像进行均值处理，得到第一均值图像；
11.对第二数量的相似图像进行均值处理，得到第二均值图像，所述第二数量大于所述第一数量；
12.对所述前景区域进行膨胀处理，得到膨胀后的前景区域；
13.对所述参考帧图像的前景区域的图像、所述第一均值图像和剔除所述膨胀后的前景区域的第二均值图像融合处理，得到渲染图像。
14.第二方面，本发明实施例还提供了一种拍摄图像处理装置，包括：
15.图像选取单元，用于从通过连续拍摄的多帧拍摄图像中选取参考帧图像；
16.图像配准单元，用于根据所述参考帧图像，将所述多帧拍摄图像中除参考帧以外的其他拍摄图像进行全局配准得到多帧配准图像；
17.图像分割单元，用于对所述参考帧图像进行分割，得到前景区域；
18.图像相似单元，用于根据所述前景区域从所述多帧配准图像中选取多帧相似图
像；
19.图像第一均值单元，用于选取与所述参考帧图像的拍摄时间相邻的第一数量的相似图像，对所述第一数量的相似图像进行均值处理，得到第一均值图像；
20.图像第二均值单元，用于对第二数量的相似图像进行均值处理，得到第二均值图像，所述第二数量大于所述第一数量；
21.图像膨胀单元，用于对所述前景区域进行膨胀处理，得到膨胀后的前景区域；
22.图像融合单元，用于对所述参考帧图像的前景区域的图像、所述第一均值图像和剔除所述膨胀后的前景区域的第二均值图像融合处理，得到渲染图像。
23.第三方面，本发明实施例还提供了一种拍摄图像处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述第一方面的拍摄图像处理方法。
24.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现前述第一方面的拍摄图像处理方法。
25.本发明实施例包括：从通过连续拍摄的多帧拍摄图像中选取参考帧图像；根据参考帧图像，将多帧拍摄图像中除参考帧以外的其他拍摄图像进行全局配准得到多帧配准图像；对参考帧图像进行分割，得到前景区域；根据前景区域从多帧配准图像中选取多帧相似图像；选取与参考帧图像的拍摄时间相邻的第一数量的相似图像，对第一数量的相似图像进行均值处理，得到第一均值图像；对第二数量的相似图像进行均值处理，得到第二均值图像，第二数量大于第一数量；对前景区域进行膨胀处理，得到膨胀后的前景区域；对参考帧图像的前景区域的图像、第一均值图像和剔除膨胀后的前景区域的第二均值图像融合处理，得到渲染图像。根据本发明实施例的技术方案，由于第一数量的相似图像是通过选取与参考帧图像的拍摄时间相邻的相似图像选取得到的，第一数量的相似图像的前景区域坐标位置对应的图像和参考帧的前景区域的图像基本一致，那么通过第一数量的相似图像均值处理所得到的第一均值图像的作用能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
附图说明
26.图1是本发明一个实施例提供的用于执行拍摄图像处理方法的系统架构的示意图；
27.图2是本发明一个实施例提供的拍摄图像处理方法的流程图；
28.图3是本发明一个实施例提供的拍摄图像处理方法中获取的前景区域的示意图；
29.图4是本发明一个实施例提供的拍摄图像处理方法中膨胀处理后的前景区域的示意图；
30.图5是本发明一个实施例提供的拍摄图像处理方法中选取相似图像的流程图；
31.图6是本发明一个实施例提供的拍摄图像处理方法中的参考帧图像的前景区域图像的原始像素示意图；
32.图7是本发明一个实施例提供的拍摄图像处理方法中的高相似度的配准图像的前景区域图像的示意图；
33.图8是本发明一个实施例提供的拍摄图像处理方法中的低相似度的配准图像的前景区域图像的示意图；
34.图9是本发明一个实施例提供的拍摄图像处理方法中的选取第一数量的相似图像的流程图；
35.图10是本发明一个实施例提供的拍摄图像处理方法中融合得到渲染图像的流程图；
36.图11是本发明一个实施例提供的拍摄图像处理装置的示意图。
具体实施方式
37.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
38.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
39.在传统技术中，流水场景拍摄图像处理技术能够将流水场景拍摄成丝绸状效果，但该图像处理技术只能满足仅为流水场景的景物图像，当在流水场景中存在前景主体时，若用目前的流水模式拍摄带有前景主体和流水场景的混合场景，为了拍摄出清晰前景主体和背景流水丝绸状态的混合渲染效果，因此在拍照期间需要拍摄者手持的相机基本不动，并且需要被拍摄的前景主体也基本不动。但是，由于需要维持一定的拍摄时间，因此在拍摄过程中容易出现相机抖动或者被拍摄前景主体晃动的情况，而相机抖动和被拍摄前景主体晃动都会导致前景主体的轮廓处产生模糊的叠影，严重影响照片中前景主体的轮廓处的清晰度。其中，上述的前景主体可以为人物主体，上述的流水场景可以为喷泉或者溪流等场景。
40.本发明提供了一种拍摄图像处理方法、装置、设备及计算机可读存储介质，其中拍摄图像处理方法包括：从通过连续拍摄的多帧拍摄图像中选取参考帧图像；根据参考帧图像，将多帧拍摄图像中除参考帧以外的其他拍摄图像进行全局配准得到多帧配准图像；对参考帧图像进行分割，得到前景区域；根据前景区域从多帧配准图像中选取多帧相似图像；选取与参考帧图像的拍摄时间相邻的第一数量的相似图像，对第一数量的相似图像进行均值处理，得到第一均值图像；对第二数量的相似图像进行均值处理，得到第二均值图像，第二数量大于第一数量；对前景区域进行膨胀处理，得到膨胀后的前景区域；对参考帧图像的前景区域的图像、第一均值图像和剔除膨胀后的前景区域的第二均值图像融合处理，得到渲染图像。根据本发明实施例的技术方案，由于第一数量的相似图像是通过选取与参考帧图像的拍摄时间相邻的相似图像选取得到的，第一数量的相似图像的前景区域坐标位置对应的图像和参考帧的前景区域的图像基本一致，那么通过第一数量的相似图像均值处理所得到的第一均值图像的作用能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会
导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
41.下面结合附图，对本发明实施例作进一步阐述。
42.如图1所示，图1是本发明一个实施例提供的用于执行拍摄图像处理方法的系统架构的示意图。在图1的示例中，该系统架构平台100可以包括有摄像头110、处理器120和存储器130，其中，处理器120和存储器130可以通过总线或者其他方式连接，图1中以通过总线连接为例。
43.需要说明的是，摄像头110用于捕获静态图像或视频。摄像头110可以包括至少一个前置摄像头和/或至少一个后置摄像头。
44.需要说明的是，处理器120可以包括一个或多个处理单元，示例性地，处理器120可以包括ap(application processor，应用处理器)、调制解调处理器、gpu(graphics processing unit，图形处理器)、isp(image signal processor，图像信号处理器)、控制器、视频编解码器、dsp(digital signal processor，数字信号处理器)、基带处理器或者npu(neural-network processing unit，神经网络处理器)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器120中。
45.可以理解的是，处理器120可以运行本发明实施例提供的拍摄图像处理方法的软件代码，处理得到用户满足的图像。
46.需要说明的是，存储器130用于存储指令和数据。在一些实施例中，存储器130为高速缓冲存储器。该存储器130可以保存处理器120刚用过或循环使用的指令或数据。如果处理器120需要再次使用该指令或数据，可从存储器130中直接调用。避免了重复存取，减少了处理器120的等待时间，因而提高了图像处理的效率。
47.可以理解的是，存储器130作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器130可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器130可选包括相对于处理器120远程设置的存储器130，这些远程存储器可以通过网络连接至该处理器120。
48.在图1所示的系统架构平台中，处理器120可以调用储存在存储器130中的图像处理程序，从而执行拍摄图像处理方法。
49.本领域技术人员可以理解的是，图1中示出的系统架构平台并不构成对本发明实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
50.本发明实施例描述的系统架构平台100以及应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构平台100的演变和新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
51.基于上述系统架构平台100的结构，提出本发明的拍摄图像处理方法的各个实施例。
52.本发明实施例描述的系统架构以及应用场景是为了更加清楚的说明本发明实施
例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
53.基于上述系统架构的结构，提出本发明的信息处理方法的各个实施例。
54.在一个实施例中，参照图2，图2为本发明实施例提供的拍摄图像处理方法的流程图，该拍摄图像处理方法应用于上述系统架构中的图像处理装置，在一实施例中，该拍摄图像处理方法包括但不限于有步骤s210和步骤s280。
55.步骤s210，从通过连续拍摄的多帧拍摄图像中选取参考帧图像；
56.步骤s220，根据参考帧图像，将多帧拍摄图像中除参考帧以外的其他拍摄图像进行全局配准得到多帧配准图像；
57.步骤s230，对参考帧图像进行分割，得到前景区域；
58.步骤s240，根据前景区域从多帧配准图像中选取多帧相似图像；
59.步骤s250，选取与参考帧图像的拍摄时间相邻的第一数量的相似图像，对第一数量的相似图像进行均值处理，得到第一均值图像；
60.步骤s260，对第二数量的相似图像进行均值处理，得到第二均值图像，第二数量大于第一数量；
61.步骤s270，对前景区域进行膨胀处理，得到膨胀后的前景区域；
62.步骤s280，对参考帧图像的前景区域的图像、第一均值图像和剔除膨胀后的前景区域的第二均值图像融合处理，得到渲染图像。
63.具体地，在拍照时段内，本发明实施例需要在拍摄者手持的相机基本不动以及被拍摄的前景主体也基本不动的前提下，连续拍摄多帧相同场景的图像；然后从拍摄得到的多帧拍摄图像中选取参考帧图像，并将剩余的其它拍摄图像与参考帧进行全局配准，从而得到多帧配准图像，对参考帧图像进行分割处理以得到如图3所示的前景区域310，然后可以对前景区域310按一定宽度的通过形态学进行膨胀处理，得到如图4所示的膨胀后的前景区域410；根据前景区域310从多帧配准图像中选取多帧相似图像，选取与参考帧图像的拍摄时间相邻的第一数量的相似图像，对第一数量的相似图像进行均值处理以得到第一均值图像，对第二数量的相似图像进行均值处理，得到第二均值图像，其中第二数量大于第一数量，可以再从第二均值图像中剔除膨胀后的前景区域410坐标位置对应的区域，得到剔除膨胀后的前景区域410的第二均值图像；对参考帧图像的前景区域310的图像、第一均值图像和剔除膨胀后的前景区域410的第二均值图像融合处理以得到渲染图像，例如：在融合的过程中，可以将第一均值图像设置在最底层，然后与剔除膨胀后的前景区域410的第二均值图像进行融合，得到剔除膨胀后的前景区域410内的区域的像素点为第一均值图像的像素点，且剔除膨胀后的前景区域410外的区域420的像素点为第二均值图像的像素点的图像，然后将前景区域310的图像按照前景区域310的坐标位置与上述融合后的图像进行再次融合，能够得到渲染图像，该渲染图像的前景区域310的像素点为参考帧图像的像素点、剔除膨胀后的前景区域410外的区域420的像素点为第二均值图像的像素点、在膨胀后的前景区域410相对前景区域310膨胀的区域的像素点为第一均值图像的像素点。
64.根据本发明实施例的技术方案，由于第一数量的相似图像是通过选取与参考帧图像的拍摄时间相邻的相似图像选取得到的，第一数量的相似图像的前景区域坐标位置对应
的图像和参考帧的前景区域的图像基本一致，多帧相似图像的前景区域的拍摄对象晃动比较小，那么通过第一数量的相似图像均值处理所得到的第一均值图像的作用能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
65.需要说明的是，前景区域的图像可以是人像，可以是动物，本实施例对其不作具体限定。
66.需要说明的是，关于上述作为参考帧的参考帧图像的选取，可以从拍摄得到的多张图像中选择第一帧图像作为参考帧图像，也可以选择第一前景区域的图像相对清晰的一帧图像作为参考帧图像。
67.需要说明的是，关于上述参考帧图像和拍摄图像之间的图像配准过程，是指全局背景配准，即是将其他拍摄图像和参考帧图像在基本不变的大背景上基本配准到相同的坐标系中。另外，后续的分割、修正和融合等等处理都是对已配准的图像进行实施的。
68.需要说明的是，关于上述的分割处理方法，可以包括但不限于采用深度学习的语义分割方法或者传图图像分割方法。
69.另外，可以理解的是，为了保证多帧图像之间的差异性不会过大，本发明实施例可以在拍照时间段内保持相同的曝光参数。
70.另外，对多帧配准图像进行均值处理以得到第一均值图像的步骤，可以理解的是，例如，拍摄图像的前景区域外图像包括流动的水景，那么通过均值处理，得到的第一均值图像的水景对应的区域的图像能够呈现丝绸流水效果。
71.需要说明的是，第一均值图像可以通过包括参考帧图像和第一数量的相似图像进行均值处理得到，也可以是通过第一数量的相似图像进行均值处理得到，本实施例对其不作具体限定。
72.另外，对多帧相似图像进行均值处理以得到第一均值图像的步骤，可以理解的是，由于多帧相似图像是通过根据前景区域从多帧配准图像中选取得到的，多帧相似图像的前景区域的图像基本一致，可以认为多帧感兴趣图像的前景区域的拍摄对象晃动比较小，那么通过多帧相似图像生成的第一均值图像作用能够提高渲染图像的前景区域的图像的轮廓处的清晰度，并且当拍摄图像的前景区域外图像包括流动的水景，那么通过均值处理，得到的第一均值图像的水景对应的区域的图像还能够呈现丝绸流水效果。
73.需要说明的是，第一均值图像还可以通过包括参考帧图像的多帧相似图像进行均值处理得到，也可以是不包括参考帧图像的多帧相似图像进行均值处理得到，本实施例对其不作具体限定。
74.需要说明的是，关于上述第一数量的相似图像的均值处理，当累加完第一数量的相似图像之后，本发明实施例会以最后得到的第一累加图像除以第一数量，从而输出第一数量的相似图像的第一均值图像。同理，关于上述第二数量的相似图像的均值处理，当累加完第二数量的相似图像之后，本发明实施例会以最后得到的第二累加图像除以第二数量，从而输出第二数量的相似图像的第二均值图像。
75.在一实施例中，可以以参考帧图像作为背景累加图的初始值，遍历所有的配准图像，将当前配准图像的前景区域的图像与参考帧图像的前景区域的图像进行对比，若相似
度低于预设阈值，则抛弃掉该帧配准图像继续遍历其它配准图像，反之，若相似度大于预设阈值，将当前配准图像确定为相似图像，将该相似图像加入到背景累加图中，然后继续对下一帧配准图像进行相似度对比，如当前背景累加图达到预设的拍摄时间靠前的第一数量的相似图像，则将当前累加图除以当前累加的相似图像的第一数量，输出第一数量的相似图像的第一均值图像，然后可以继续将相似图像加入到背景累加图中，直至背景累加图中相似图像的数量达到第二数量，则将当前累加图除以当前累加的相似图像的第二数量，输出第二数量的相似图像的第二均值图像。
76.其中，背景累加图为相应坐标位置的多张配准图片的像素值进行求和得到的图像。
77.另外，可以理解的是，第二数量可以小于等于所有相似图像的数量，大于第一数量，本实施例对其不作具体限定。
78.参照图5，在一实施例中，步骤s240包括但不限于有步骤s510、步骤s520和步骤s530：
79.步骤s510，将多帧配准图像中与前景区域的坐标位置对应的图像分别和参考帧图像的前景区域的图像进行相似度比较，得到与多帧配准图像中与前景区域的坐标位置对应的图像一一对应的相似度参数；
80.步骤s520，根据相似度参数从多帧配准图像中选取多帧相似图像。
81.具体地，首先根据前景区域从多帧配准图像提取得到多帧配准图像的前景图像，然后将将多帧配准图像的前景图像分别与参考帧图像的前景图像比较，得到与配准图像的前景图像一一对应的相似度参数，然后根据相似度参数从多帧配准图像中选取多帧相似图像。由于相似图像的前景图像与参考帧图像的前景图像相似度高，多帧相似图像的前景区域的拍摄对象晃动比较小，那么可以认为多帧相似图像的前景区域的轮廓处的图像与参考帧图像的前景区域的轮廓处的图像也基本一致，从而使得后续步骤中通过第一数量的相似图像均值处理所得到的第一均值图像的作用能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。当拍摄的场景为用户人像与流水拍摄场景时，能够拍摄出清晰前景主体的人像流水效果的渲染图像。
82.具体地，根据相似度参数从多帧配准图像中选取多帧相似图像的步骤可以是，首先将多帧相似图像的相似度参数与预设阈值进行比较，确定大于预设阈值的相似度参数，根据大于预设阈值的相似度参数从多帧配准图像中选取多帧相似图像，选取出的多帧相似图像的前景区域的拍摄对象晃动比较小，那么可以认为多帧相似图像的前景区域的轮廓处的图像与参考帧图像的前景区域的轮廓处的图像也基本一致，从而使得后续步骤中通过第一数量的相似图像均值处理所得到的第一均值图像的作用能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
83.需要说明的是，当拍摄的场景包括人像，即前景区域的图像为人像，为规避拍摄过程中人像身体的大范围晃动而导致均值背景的鬼影问题，本实施中对配准图像进行均值处
理时都将当前配准图像的前景区域与参考帧图像的前景区域进行相似度对比，如相似度过低则表明存在人像大晃动的情况，那么可以直接丢弃该配准图像，不纳入均值处理。
84.需要说明的是，相似度的评价指标可以是结构相似度，可以是峰值信噪比(peak signal to noise ratio，psnr)，也可以是均方误差，本实施例对其不作具体限定。
85.需要说明的是，关于配准图像的前景区域的图像与参考帧图像的前景区域的图像进行相似度对比，确定感兴趣图像的原理如下：其中图6为参考帧图像的前景区域图像的原始像素示意图，图7为高相似度的配准图像的前景区域图像的示意图，图8为低相似度的配准图像的前景区域图像的示意图。如在仅考虑参考帧图像的前景区域范围的前提下，图7的配准图像的前景区域的图像仅在人像左侧手部与图6的参考帧图像的前景区域图像有差异，可以认为图7的配准图像的前景区域的图像与图6的参考帧图像的前景区域的相似度高，那么可以将图7的配准图像确定为用于计算第二均值图像的感兴趣图像。图8的配准图像的前景区域的图像的人像左侧手臂和头部的像素点与图6的参考帧图像的前景区域中对应部分的像素点均有很大差异，图8的配准图像的前景区域的图像与图6的参考帧图像的前景区域的相似度低，可以认为人像存在大运动情况，如将图8的配准图像作为用于计算第二均值图像的感兴趣图像，会导致第二均值图像在背景区域部分包括人像鬼影，所以需要将图8的配准图像丢弃。
86.参照图9，在一实施例中，步骤s250中的选取与参考帧图像的拍摄时间相邻的第一数量的相似图像，包括但不限于有步骤s910至s940：
87.步骤s910，获取参考帧图像的拍摄时间和多帧相似图像的拍摄时间；
88.步骤s920，确定多帧相似图像的拍摄时间与参考帧图的拍摄时间之间的多个时间差值；
89.步骤s930，将多个时间差值按从小到大的顺序对时间差值对应的相似图像进行排序，得到相似图像序列；
90.步骤s940，从相似图像序列中的第一帧相似图像开始，选取第一数量的相似图像。
91.具体地，由于拍摄图像处理方法是基于参考帧图像进行处理的，那么与参考帧图像的拍摄时间越接近的相似图像中，相似图像的前景区域中的图像的相似度也更为接近，所以可以通过以下步骤选取第一数量的相似图像，首先可以获取参考帧图像的拍摄时间和多帧相似图像的拍摄时间，然后确定多帧相似图像的拍摄时间与参考帧图的拍摄时间之间的多个时间差值，接着将多个时间差值按从小到大的顺序对时间差值对应的相似图像进行排序，得到相似图像序列，从相似图像序列中的第一帧相似图像开始，选取第一数量的相似图像，即能够得到与参考帧图像的前景区域的图像相似度最高的第一数量的相似图像。从而使得后续步骤中通过第一数量的相似图像均值处理所得到的第一均值图像的作用能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
92.具体地，在拍摄过程中，通常拍摄前期人像的变化比较小，可以选取拍摄图像中的第一帧图像为参考帧图像，那么选取第一数量的相似图像的步骤可以包括但不限于以下步骤，按相似图像的拍摄时间的先后顺序，从第一帧的相似图像开始，根据设定的第一数量选
择若干配准图像，那么可以得到与参考帧图像的前景区域的图像相似度高的第一数量的相似图像。从而使得后续步骤中通过第一数量的相似图像均值处理所得到的第一均值图像的作用能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
93.参照图10，在一实施例中，步骤s260包括但不限于有步骤s1010至步骤s1040：
94.步骤s1010，根据前景区域对参考帧图像进行提取，得到前景区域图像；
95.步骤s1020，从第二均值图像中剔除膨胀后的前景区域对应的区域，得到第三均值图像；
96.步骤s1030，对第一均值图像和第三均值图像融合处理，得到背景图像；
97.步骤s1040，对前景区域图像和背景图像融合处理，得到渲染图像。
98.具体地，根据前景区域对参考帧图像进行提取，得到前景区域图像，然后从第二均值图像中剔除膨胀后的前景区域对应的区域以得到第三均值图像，第三均值图像和第三均值图像融合处理以得到背景图像，再对前景区域图像和背景图像融合处理，得到渲染图像。由于第一数量的相似图像是通过选取与参考帧图像的拍摄时间相邻的相似图像选取得到的，第一数量的相似图像的前景区域坐标位置对应的图像和参考帧的前景区域的图像基本一致，多帧相似图像的前景区域的拍摄对象晃动比较小，那么通过第一数量的相似图像均值处理所得到的第一均值图像、前景区域图像和第三均图像融合，能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
99.在一实施例中，可以将第一均值图像设置在最底层，然后与剔除膨胀后的前景区域的第二均值图像进行融合，得到剔除膨胀后的前景区域内的区域的像素点为第一均值图像的像素点，且剔除膨胀后的前景区域外的区域的像素点为第二均值图像的像素点的图像，然后将前景区域的图像按照前景区域的坐标位置与上述融合后的图像进行再次融合，能够得到渲染图像，该渲染图像的前景区域的像素点为参考帧图像的像素点、剔除膨胀后的前景区域外的区域的像素点为第二均值图像的像素点、在膨胀后的前景区域相对前景区域膨胀的区域的像素点为第一均值图像的像素点。根据本发明实施例的技术方案，由于第一数量的相似图像是通过选取与参考帧图像的拍摄时间相邻的相似图像选取得到的，第一数量的相似图像的前景区域坐标位置对应的图像和参考帧的前景区域的图像基本一致，多帧相似图像的前景区域的拍摄对象晃动比较小，那么通过第一数量的相似图像均值处理所得到的第一均值图像、前景区域图像和第三均图像融合，能够解决由于在拍摄时相机抖动和被拍摄前景主体的晃动会导致前景主体的轮廓处出现的模糊叠影问题，因此，本发明实施例在拍摄期间无需三脚架等器材的辅助，即使在相机抖动或者被拍摄前景主体晃动的情况下也能够拍摄出不带边缘模糊叠影的清晰前景主体的渲染图像。
100.另外需要说明的是，关于上述前景区域图像和背景均值图之间的融合算法，可以包括但不限于拉普拉斯融合、泊松融合等经典图像融合算法。
101.基于上述实施例的图像处理方法，下面提出本发明的图像处理装置的各个实施
例。
102.如图11所示，图11是本发明一个实施例提供的拍摄图像处理装置的示意图。该拍摄图像处理装置1100但不限于有图像选取单元1110、图像配准单元1120、图像分割单元1130、图像相似单元1140、图像第一均值单元1150、图像第二均值单元1160、图像膨胀单元1170和图像融合单元1180。
103.具体地，图像选取单元1110用于从通过连续拍摄的多帧拍摄图像中选取参考帧图像。图像配准单元1120用于根据参考帧图像，将多帧拍摄图像中除参考帧以外的其他拍摄图像进行全局配准得到多帧配准图像。图像分割单元1130用于对参考帧图像进行分割，得到前景区域。图像相似单元1140用于根据前景区域从多帧配准图像中选取多帧相似图像。图像第一均值单元1150用于选取与参考帧图像的拍摄时间相邻的第一数量的相似图像，对第一数量的相似图像进行均值处理，得到第一均值图像。图像第二均值单元1160用于对第二数量的相似图像进行均值处理，得到第二均值图像，第二数量大于第一数量。图像膨胀单元1170用于对前景区域进行膨胀处理，得到膨胀后的前景区域。图像融合单元1180用于对参考帧图像的前景区域的图像、第一均值图像和剔除膨胀后的前景区域的第二均值图像融合处理，得到渲染图像。
104.另外，关于上述的图像相似单元1140，还用于将多帧配准图像中与前景区域的坐标位置对应的图像分别和参考帧图像的前景区域的图像进行相似度比较，得到与多帧配准图像中与前景区域的坐标位置对应的图像一一对应的相似度参数；根据相似度参数从多帧配准图像中选取多帧相似图像。
105.另外，关于上述的图像相似单元1140，还用于确定大于预设阈值的相似度参数；根据大于预设阈值的相似度参数从多帧配准图像中选取多帧相似图像。
106.另外，关于上述的图像第一均值单元1150，还用于获取参考帧图像的拍摄时间和多帧相似图像的拍摄时间；确定多帧相似图像的拍摄时间与参考帧图的拍摄时间之间的多个时间差值；将多个时间差值按从小到大的顺序对时间差值对应的相似图像进行排序，得到相似图像序列；从相似图像序列中的第一帧相似图像开始，选取第一数量的相似图像。
107.另外，关于上述的图像第一均值单元1150，还用于将第一数量的相似图像进行累加，得到第一累加图像；对第一累加图像进行均值处理，得到第一均值图像。
108.另外，关于上述的图像第二均值单元1160，还用于将第二数量的相似图像进行累加，得到第二累加图像；对第二累加图像进行均值处理，得到第二均值图像。
109.另外，关于上述的图像融合单元1180，还用于根据前景区域对参考帧图像进行提取，得到前景区域图像；从第二均值图像中剔除膨胀后的前景区域对应的区域，得到第三均值图像；对第一均值图像和第三均值图像融合处理，得到背景图像；对前景区域图像和背景图像融合处理，得到渲染图像。
110.值得注意的是，本发明实施例的拍摄图像处理装置1100的技术效果，可对应参照上述图像处理方法的实施例。
111.基于上述实施例的拍摄图像处理方法，下面提出本发明的拍摄图像处理设备和计算机可读存储介质的各个实施例。
112.另外，本发明的一个实施例还提供了一种拍摄图像处理设备，该控制器包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
113.处理器和存储器可以通过总线或者其他方式连接。
114.需要说明的是，本实施例中的控制器，可以对应为包括有如图1所示实施例中的存储器和处理器，能够构成图1所示实施例中的系统架构平台的一部分，两者属于相同的发明构思，因此两者具有相同的实现原理以及有益效果，此处不再详述。
115.实现上述实施例的拍摄图像处理方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例的拍摄图像处理方法，例如，执行以上描述的图2中的方法步骤s210至s280、图5中的方法步骤s510至s520、图9中的方法步骤s910至s940、图10中的方法步骤s1010至s1040。
116.具体地，本发明实施例的拍摄图像处理设备可以是终端拍摄图像处理设备，例如手机、平板电脑、可穿戴拍摄图像处理设备等。其中，拍摄图像处理设备自身可以携带有摄像头，用于拍摄图像。示例性地，用户可以通过手机的摄像头拍摄图像，并在手机内部对图像进行处理，以得到渲染图像。
117.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
118.此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述实施例中拍摄图像处理装置中的一个处理器执行，可使得处理器执行上述实施例中的拍摄图像处理方法，例如，执行以上描述的图2中的方法步骤s210至s280、图5中的方法步骤s510至s520、图9中的方法步骤s910至s940、图10中的方法步骤s1010至s1040。
119.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
120.以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。