一种光场图像前后景自动分割方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，具体地说，本发明涉及一种光场图像前后景自动 分割方法。
【背景技术】
[0002] 图像前后景分割是图像处理中的一种常见技术，它被广泛应用于动画制作、物体 识别、监控分析、图像后期处理等各个领域。现有技术中，图像前后景分割算法主要是利用 普通图像中聚焦清晰区域和失焦模糊区域的区别，计算每个像素及周围区域四阶矩，然后 进行一系列的形态学滤波去填充聚焦区域中的空洞。四阶矩响应高的像素会被选择作为区 域生长的种子，然后根据区域边缘重叠的最大后验生长准则进行区域生长，得到前景的分 割图。然而，这种算法存在分割准确率较低的问题。例如：当前景与背景颜色十分相似时， 容易错误分割颜色相似的部分；当背景的模糊程度不够时，容易错误地把部分背景分割成 前景。
[0003] 另一方面，光场相机技术已经较为成熟并广泛使用。使用光场相机能够拍摄光场 图像。光场图像是一个四维的数据，相比普通图像，它额外记录了光线入射的方向，相当于 普通相机从不同视角拍摄了同一个场景。通过数字重聚焦，光场图像可以聚焦在场景内的 任何深度，实现浅景深的效果。这种特性可以用来确定图像中各个像素的深度关系，进而提 取出对应的深度图。然而，从光场图像中提取具有足够精度的深度图需要耗费大量计算资 源，因此，如果基于深度图进行光场图像前后景分割，要么计算量过大，要么分割准确度过 低，实用价值不高。
[0004] 所以，当前迫切需要一种计算量较小的具有高分割准确度的光场图像前后景自动 分割。
【发明内容】
[0005] 因此，本发明的任务是提供一种具有高分割准确度的光场图像前后景自动分割解 决方案。
[0006] 根据本发明的一个方面，提供了一种光场图像前后景自动分割方法，包括下列步 骤：
[0007] 1)基于超像素分割算法将光场图像划分为多个基本区域；
[0008] 2)提取每个基本区域的聚焦度；
[0009] 3)生成各种可能的前后景分割方案，选出使得总代价最小的前后景分割方案，所 述总代价根据各个基本区域被划分为前景或者背景的单区域代价得出，每个基本区域的所 述单区域代价根据该基本区域的聚焦度得出。
[0010] 其中，所述步骤2)还包括：计算相邻基本区域的图像特征距离；
[0011] 所述步骤3)中，所述总代价是所有基本区域的单区域代价与相邻基本区域的区 域相似度代价的加权和，所述相邻基本区域的区域相似度代价根据被分别划分为前景和后 景的两个相邻基本区域的图像特征距离得出。
[0012] 其中，所述步骤2)、3)中，所述图像特征距离根据两个基本区域的聚焦距离得出。
[0013] 其中，所述步骤2)、3)中，所述图像特征距离是两个基本区域的聚焦距离与颜色 距离的加权和。
[0014] 其中，所述图像特征距离中，聚焦距离的权重大于颜色距离的权重。
[0015] 其中，所述步骤3)中，对于任一基本区域S,，将该基本区域S,作为前景的单区域 代价P (Sj)如下：
[0017] 将该基本区域^作为背景的单区域代价B (S ,)如下：
[0019] 其中，j表不基本区域的标签，i表不使基本区域Sj聚焦最清晰的图层的标签， t (i)表示基本区域&中在图层i聚焦最清晰的像素的个数。
[0020] 其中，两个基本区域.?,&的聚焦距离为：
[0022] 其中，I是重聚焦图层的最大层数
.是基 本区域和另2在第i层的聚焦差异值。
[0023] 其中，所述步骤3)还包括：检测光场图像中的前景物体的分散程度，根据该分散 程度动态调整单区域代价和区域相似代价在总代价中的权重，使得所述前景物体的分散程 度越低，单区域代价在总代价中的权重越高，所述前景物体的分散程度越高，区域相似代价 在总代价中的权重越高。
[0024] 其中，所述步骤1)包括下列子步骤：
[0025] 11)采用简易线性迭代聚类算法对全清晰光场图像进行超像素分割；
[0026] 12)根据全清晰光场图像的一阶梯度响应图对相邻超像素区域进行合并。
[0027] 13)完成所有合并后，将最终所得区域作为所述基本区域。
[0028] 其中，所述步骤12)和步骤13)之间还包括步骤：
[0029] 121)基于颜色相似度将面积小于预设阈值的区域与相邻区域合并。
[0030] 与现有技术相比，本发明具有下列技术效果：
[0031] 1、本发明能够对景深差异较小的光场图像进行准确的前后景自动分割。
[0032] 2、本发明能够更好地克服光场图像中前景与背景颜色相似部分的影响，提高分割 的准确度。
[0033] 3、本发明的计算量较小。
【附图说明】
[0034] 以下，结合附图来详细说明本发明的实施例，其中：
[0035] 图1示出了本发明一个实施例的光场图像前后景自动分割方法的流程图；
[0036] 图2a示出了一个重聚焦堆栈的示例，图2b示出了一个聚焦在前景上的重聚焦图 层的示例，图2c示出了一个聚焦在背景上的重聚焦图层的示例；
[0037] 图3a示出了采用SLIC算法对全清晰图像完成超像素分割后的一个图像示例；图 3b示出了一个全清晰图像的一阶梯度响应图的示例；图3c示出了对图3a的全清晰图像的 超像素分割的合并结果；图3d示出了对图3c的区域进一步合并后的结果；
[0038] 图4示出了基于本发明对一组测试图像进行前后景分割的测试结果；
[0039] 图5示出了多种前后景分割方案的Fl值的对比。
【具体实施方式】
[0040] 图1示出了本发明一个实施例的光场图像前后景自动分割方法的流程图，该分割 方法包括以下步骤：1、区域预分割及重聚焦图层预处理；2、区域特征提取；3、根据区域特 征进行图像分割。下面分别介绍这几个步骤。
[0041] 1、区域预分割及重聚焦图层预处理
[0042] 本实施例中，图像分割的对象是光场图像。众所周知，重聚焦是目前光场图像处理 中最常用的一种技术。从光场相机得到图像后，就可以直接导出重聚焦图像。定义光场图像 可以重聚焦在I个不同的深度上。这I张图像就组成了一个重聚焦图像集，每一张图像，称 为一个重聚焦图层，而重聚焦图像集也可称为重聚焦堆栈，图2a示出了一个重聚焦堆栈的 示例，图2b示出了一个聚焦在前景上的重聚焦图层的示例，图2c示出了一个聚焦在背景上 的重聚焦图层的示例。在重聚焦图像集里，重聚焦图层标号与聚焦深度变化成正相关，聚焦 的信息包含了深度信息。图像中任意一个像素点及其邻域只有在某一个深度上才是聚焦清 晰的。如果聚焦的深度与该点的深度不相等，那么该像素点及其邻域会呈现不同程度的失 焦模糊现象。因此，可以通过判断两个像素点是否在同一个重聚焦图层上，来推测这两个像 素点是否在同一个深度上。本发明正是利用了这一特点来实现对光场图像前后景的准确分 害J。另一方面，由于光场图像可以重聚焦在I个不同的深度上，因此可从光场图像可导出全 清晰图像，也就是在图像内处处清晰，没有景深效果的图像。全清晰图像中前景与背景之间 的轮廓是锐利的，因此针对全清晰图像进行前后景分割，能够获得更为准确的前后景轮廓。
[0043] 本步骤中，区域预分割就是基于像素点及其邻域的颜色相似度，对光场图像导出 的全清晰图像进行分割，得到多个单色图像区域。在本实施例中，区域预分割包括下列子步 骤：
[0044] 步骤101 :对全清晰图像进行超像素分割。超像素分割是基于边缘检测算法将图 像划分为若干个超像素区域。本实施例中采用简易线性迭代聚类算法完成超像素分割。简 易线性迭代聚类英文名称为Simple Linear Iterative Clustering，简称SLICc3SLIC算法 的处理速度快，分割准确度高，尤其是该算法具有很好的保持边缘特性（即所划分的超像 素区域贴附边缘的效果很好）。图3a示出了采用SLIC算法对全清晰图像完成超像素分割 后的一个图像示例，可以看出，其贴附边缘效果很好。需要指出的是，本发明的其它实施例 中，也可以采用其它超像素分割算法来完成超像素分割。
[0045] 步骤102 :全清晰图像的一阶梯度响应图，找到梯度小于预设阈值的位置，将这些 位置对应的超像素区域标记为同一颜色。图3b示出了图3a的全清晰图像的一阶梯度响应 图。在很多图像中，除了复杂的颜色、纹理部分，也可能会出现大面积纯色背景，例如天空。 在图像处理过程中，