针对图像效果的分割的制作方法

本公开总体上涉及图像处理，并且更具体地涉及针对图像效果的分割。

背景技术：

1、数码相机产品的增加的多功能性已经允许数码相机被集成到各种各样的设备中，并且已经将其用途扩展到不同的应用。例如，电话、无人机、汽车、计算机、电视和今天的许多其他设备经常配备有相机设备。相机设备允许用户从配备有相机设备的任何系统捕获图像和/或视频。图像和/或视频可以被捕获以用于娱乐使用、专业摄影、监视和自动化以及其他应用。此外，相机设备越来越多地配备有用于修改图像或在图像上创建艺术效果的特定功能。例如，许多相机设备配备有用于在捕获的图像上生成不同效果的图像处理能力。

2、许多图像处理技术依赖于图像分割算法来实现，该图像分割算法将图像划分成多个片段，这些片段可以被分析或处理以产生特定的图像效果。图像分割的一些示例实际应用包括但不限于色度键合成、特征提取、识别任务(例如，对象识别、面部识别等)、图像风格化、机器视觉、医学成像和景深(或“散景”)效果等。然而，相机设备和图像分割技术通常产生糟糕且不一致的结果，并且在许多情况下只适用于特定类型的图像。

技术实现思路

1、本文公开了用于准确的图像分割和图像效果的系统、方法和计算机可读介质。根据至少一个示例，提供了一种用于前景预测的方法。一种示例方法可以包括：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(fov)，并且第二图像具有不同于第一fov的第二fov；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域。

2、根据至少一些示例，提供了一种用于前景预测的装置。在一个示例中，示例装置可以包括存储器和一个或多个处理器，该一个或多个处理器被配置为：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(fov)，并且第二图像具有不同于第一fov的第二fov；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域。

3、根据至少一些示例，另一示例装置可以包括用于进行以下操作的单元：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(fov)，并且第二图像具有不同于第一fov的第二fov；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域

4、根据至少一个示例，提供了一种用于前景预测的非暂时性计算机可读介质。示例非暂时性计算机可读介质可以存储指令，该指令在由一个或多个处理器执行时，使一个或多个处理器进行以下操作：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(fov)，并且第二图像具有不同于第一fov的第二fov；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域

5、在一些方面，上述方法、装置和非暂时性计算机可读介质可以包括：基于细化分割掩膜来生成经编辑的图像。在一些示例中，经编辑的图像可以是基于第一图像或第二图像的。在一些情况下，经编辑的图像可以包括视觉效果、扩展现实效果、图像处理效果、模糊效果、图像识别效果、分割效果、计算机图形效果、色度键控效果和/或图像风格化效果。在说明性示例中，经编辑的图像可以包括模糊效果。

6、在一些情况下，生成经编辑的图像可以包括：基于细化分割掩模将模糊效果应用于位于前景区域外部的一个或多个图像区域，其中，模糊效果包括景深效果，其中，一个或多个图像区域至少部分地被模糊并且前景区域至少部分地被聚焦。

7、在一些示例中，生成细化分割掩模可以包括：通过融合第二分割图和第三分割图来生成融合分割图；以及基于融合分割图来生成细化分割掩膜。在一些情况下，融合第二分割图和第三分割图可以包括对第二分割图中的前景预测值和第三分割图中的前景预测值进行平均。在一些示例中，融合分割图可以包括平均前景预测值。

8、在一些情况下，生成融合分割图可以包括融合第二分割图和第三分割图，以及将中心优先图与第二分割图和第三分割图的融合的输出相乘。

9、在一些情况下，可以从第一相机接收第一图像，并且可以从第二相机接收第二图像。在一些示例中，第一相机可以响应于可见光，并且第二相机可以响应于红外光。在一些情况下，上述装置可以包括第一相机和第二相机。在其他情况下，可以从同一相机接收第一图像和第二图像。在一些示例中，上述装置可以包括同一相机。

10、在一些方面，上述方法、装置和非暂时性计算机可读介质可以包括：基于第三图像来确定第四分割图，该第四分割图包括与第三图像中的第三估计前景区域相关联的前景值。在一些情况下，可以从第三相机接收第三图像。例如，可以从第一相机接收第一图像，可以从第二相机接收第二图像，并且可以从第三相机接收第三图像。

11、在一些示例中，上述装置可以被配置为响应于对成像模式(例如，人像模式(portrait mode)、绿色屏蔽等)的用户选择来生成分割掩模。

12、在一些方面，上述方法、装置和非暂时性计算机可读介质可以包括：针对第一图像和/或第二图像中的超像素(superpixel)计算前景概率，以及基于前景概率来生成中心优先图。在一些情况下，每个前景概率可以是基于相关联的超像素到图像中心的距离来计算的。

13、在一些示例中，生成第三分割图可以包括：将第一分割图裁剪为第二图像的大小；以及在裁剪第一分割图之后，根据第二图像的分辨率来对第一分割图进行上采样。

14、在一些情况下，确定第一分割图可以包括：从第一图像提取超像素；生成图像查询的集合，每个图像查询包括所提取的超像素，其中，每个图像查询具有由一个或多个区分像素属性标记的超像素的不同边界区域；基于图像查询的集合来生成分割概率图的集合，其中，每个图像查询的分割概率图是使用一个或多个流行排序函数(manifold rankingfunction)生成的，以至少部分地基于超像素的不同边界区域和与每个图像查询相关联的超像素的一个或多个其他区域之间的差异来估计前景概率；以及通过将分割概率图的集合相乘来生成第一分割图。

15、在一些示例中，确定第二分割图可以包括：从第二图像提取超像素；生成图像查询的附加集合，该图像查询的附加集合中的每个附加图像查询包括来自第二图像的提取的超像素，其中，每个附加图像查询具有由一个或多个区分像素属性标记的超像素的不同边界区域；基于图像查询的附加集合生成分割概率图的附加集合，其中，每个附加图像查询的附加分割概率图是使用一个或多个流行排序函数生成的，以至少部分地基于超像素的不同边界区域和与附加图像查询相关联的超像素的一个或多个其他区域之间的附加差异来估计前景概率；以及通过将分割概率图的附加集合相乘来生成第二分割图。

16、在一些示例中，可以使用深度神经网络生成第一分割图和第二分割图。在一些示例中，第一分割图和第二分割图可以使用经训练的神经网络来生成。在一些情况下，经训练的神经网络可以包括深度神经网络。在一些情况下，第一图像和第二图像是使用具有不同fov的不同镜头捕获的。在一些示例中，不同镜头可以包括长焦镜头、广角镜头、超广角镜头、标准镜头和/或变焦镜头。

17、在一些情况下，可以使用不同图像捕获设备或具有不同fov的相机来捕获第一图像和第二图像。在其他情况下，可以使用单个图像捕获设备或具有不同fov的相机来捕获第一图像和第二图像。

18、在一些情况下，上述装置可以是和/或可以包括移动电话、智能可穿戴设备、便携式计算机和/或相机。在一些情况下，上述装置可以包括图像传感器和/或显示器。在一些示例中，每个上述装置可以包括一个或多个相机。例如，每个装置可以包括具有不同fov的不同相机。作为另一示例，每个装置可以包括具有不同fov的相机。

19、本
技术实现要素：
不旨在识别所要求保护的主题的关键或基本特征，也不旨在独立地用于确定所要求保护的主题的范围。主题应当通过参考本公开的整个说明书、附图和权利要求书的适当部分来理解。

20、在参考下面的说明书、权利要求书和附图时，上述以及其他特征和实施例将变得更加显而易见。