一种基于三维光场的静态场景前景分割方法和装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，特别是指一种基于三维光场的静态场景前景分割 方法和装置。
【背景技术】
[0002] 图像分割指把图像中具有特殊涵义的不同区域区分开来。分割产生的每一个区域 都是连通的，区域内像素满足特定的一致性准则，而不同的图像区域互不相交，彼此之间存 在差异性。在分割概念基础上，可以将图像抽象为"前景"和"背景"两个类别。其中，图像 "前景"的概念是相对于"背景"而言的，通常指图片场景中的人们感兴趣的区域。有效的前 景分割是虚拟场景构建、智能视频监控和自然人机交互等高层次应用的前提和基础。
[0003] 现有静态场景中的前景分割方法主要分为基于阈值、基于边缘、基于区域以及结 合其他特定理论的方法等几个类别。其中，L.Vincent等提出的分水岭算法把图像看作拓 扑地貌，以灰度的局部最小点为中心构建集水区，能够得到连续的分割边界，但在实际应用 中常会出现过分割问题；Felzenszwalb等提出采用贪婪搜索策略的图分割方法，该方法能 用成对区域比较方法获得全局最优解；Chan等基于水平集设计了几何主动轮廓模型，较好 地实现了单目标轮廓提取，但在边缘定位仍然不够精确。
【发明内容】
[0004] 有鉴于此，本发明的目的在于提出一种能够有效、高效实现图像分割的基于三维 光场的静态场景前景分割方法和装置。
[0005] 基于上述目的本发明提供的一种基于三维光场的静态场景前景分割方法，包括以 下步骤：
[0006] 通过相机在一条一维直线上等间隔拍摄一场景的序列图像以构建三维光场，并生 成场景的对极平面图；
[0007] 使用直线检测算法提取所述对极平面图中的直线特征并计算斜率信息，由所述斜 率信息恢复场景中不同物体的深度信息，并使用快速插值算法生成整个场景的深度图像；
[0008] 对所述深度图像中的不同物体设定对应的深度阈值，并根据所述深度阈值对不同 物体进行快速分割。
[0009] 优选的，在所述三维光场中，任意一条光线L表不为：
[0010]L=LF(x,y,t)
[0011] 其中，t为光线的起点，即所述相机在所述一维直线上的坐标；(x，y)代表光线的 方向，对应于图像中的二维坐标值；
[0012] 所述对极平面图为所述序列图像在相同y值条件下横向像素的堆叠，即垂直于y 坐标的（x，t)切面；场景中同一物体的像素点在所述对极平面图中形成一条直线轨迹，且 物体与相机直线运动轨迹之间的空间距离正比于该物体在所述对极平面图中对应直线的 斜率。
[0013] 优选的，生成所述深度图像的步骤进一步包括：
[0014] 选取所述序列图像的一幅作为深度恢复和前景分割的目标图像；
[0015] 使用直线检测算法从所述对极平面图中提取直线并确定所有直线区域；
[0016] 根据所述直线区域，在所述目标图像生成直线特征点的斜率分布；
[0017] 根据所述直线特征点的斜率分布，采用插值算法生成所述目标图像所有像素点的 斜率分布；
[0018] 将所述目标图像所有像素点的斜率分布变换深度分布，再线性映射到灰度区间 上，最终生成所述深度图像。
[0019] 优选的，使用直线检测算法提取直线前，对所述对极平面图进行高斯缩放，缩放比 为 0.9〇
[0020] 优选的，确定所述直线区域的步骤包括：
[0021] 对所述对极平面图中的每一个像素点，计算其相对颜色一致的临近点方向和水平 方向的夹角，该夹角相近的像素点构成直线候选区；
[0022] 用近似的矩形覆盖每一个所述直线候选区，构造噪声模型对所述直线候选区执行 验证，得出所述直线候选区构成直线的概率；
[0023] 设定直线判定的概率阈值，最终确定所述直线区域。
[0024] 优选的，从所述对极平面图中提取直线的步骤后，还包括对提取结果的筛选处理 步骤：
[0025] 仅提取端点落在所述对极平面图在y轴方向上前十个像素内的直线；
[0026] 将没有与所述对极平面图上边界直接相交的直线延长，计算推测交点；
[0027] 剔除推测交点超出图像边界的直线，将由于延长而出现的两条重合直线合并为单 条直线。
[0028] 本发明还提供了一种基于三维光场的静态场景前景分割装置，包括：
[0029] 构建模块，用于通过相机在一条一维直线上等间隔拍摄一场景的序列图像以构建 三维光场，并生成场景的对极平面图；
[0030] 深度恢复模块，用于使用直线检测算法提取所述对极平面图中的直线特征并计算 斜率信息，由所述斜率信息恢复场景中不同物体的深度信息，并使用快速插值算法生成整 个场景的深度图像；
[0031] 分割模块，用于对所述深度图像中的不同物体设定对应的深度阈值，并根据所述 深度阈值对不同物体进行快速分割。
[0032] 优选的，所述构建模块生成的所述三维光场中，任意一条光线L表不为：
[0033] L=LF(x,y,t)
[0034] 其中，t为光线的起点，即所述相机在所述一维直线上的坐标；(x，y)代表光线的 方向，对应于图像中的二维坐标值；
[0035] 所述对极平面图为所述序列图像在相同y值条件下横向像素的堆叠，即垂直于y 坐标的（x，t)切面；场景中同一物体的像素点在所述对极平面图中形成一条直线轨迹，且 物体与相机直线运动轨迹之间的空间距离正比于该物体在所述对极平面图中对应直线的 斜率。
[0036] 优选的，所述深度恢复模块进一步用于：选取所述序列图像的一幅作为深度恢复 和前景分割的目标图像；使用直线检测算法从所述对极平面图中提取直线并确定所有直线 区域；根据所述直线区域，在所述目标图像生成直线特征点的斜率分布；根据所述直线特 征点的斜率分布，采用插值算法生成所述目标图像所有像素点的斜率分布；将所述目标图 像所有像素点的斜率分布变换深度分布，再线性映射到灰度区间上，最终生成所述深度图 像。
[0037] 优选的，所述深度恢复模块还包括用于在使用直线检测算法提取直线前，对所述 对极平面图进行高斯缩放的缩放模块，所述缩放模块进行缩放的缩放比为0. 9。
[0038] 从上面所述可以看出，本发明提供的基于三维光场的静态场景前景分割方法和装 置，通过在一条直线等间距的不同视点上拍摄场景的序列图像构建三维光场，用直线检测 算法从对极平面图中分析提取出场景边缘及其深度信息；借助快速插值算法恢复整个场景 的深度信息，最终通过阈值法实现对不同深度的前景物体的分割。本发明能够较准确地恢 复场景中多个物体之间的空间关系，前景分割结果较好地克服了现有基于区域聚类和数学 形态学等方法在复杂场景应用中存在的过分割问题，在针对特定目标提取时有较高的分割 效率。
【附图说明】
[0039] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0040] 图1为本发明优选实施例的基于三维光场的静态场景前景分割方法流程图；
[0041] 图2为本发明优选实施例的三维光场描述示意图；
[0042] 图3为本发明优选实施例中物体、成像平面、成像中心路径之间的几何关系示意 图；
[0043] 图4(a)为本发明优选实施例确定直线区域步骤中的原始图像像素；
[0044] 图4(b)为本发明优选实施例确定直线区域步骤中的计算过夹角的像素点；
[0045] 图4(c)为本发明优选实施例确定直线区域步骤中的直线候选区；
[0046] 图5(a)为本发明优选实施例中高斯缩放比为0. 5时的直线检测结果；
[0047] 图5(b)为本发明优选实施例中高斯缩放比为0. 9时的直线检测结果；
[0048] 图5(c)为本发明优选实施例中高斯缩放比为1. 5时的直线检测结果；
[0049] 图6(a)为本发明优选实施例中的原始场景图像；
[0050] 图6 (b)为本发明优选实施例中的EPI;
[0051] 图6(c)为本发明优选实施例中的深度图像；
[0052] 图7为"Mansion"场景深度图像直方图统计；
[0053] 图8(a)为对"Church"场景应用本发明的方法进行分割的分割结果；
[0054] 图8(b)为对"Mansion"场景应用本发明的方法进行分割的分割结果；
[0055] 图8(c)为对"Statue"场景应用本发明的方法进行分割的分割结果；
[0056] 图9 (a)为对"〇1111'〇11"、"]\&1118；[011"、"3七31：116"三个场景使用分水岭分割算法的分 割结果；
[0057]图9 (b)为对"〇1111'(：11"、"]\^118；[011"、"3七31：116"三个场景使用6四。11(]111:分割算法 的分割结果；
[0058]图 9 (c)基于K-means聚类的分割算法的）为对 "Churc