h"、"Mansion"、"Statue" 三个场景使分割结果；
[0059] 图10为本发明实施例的基于三维光场的静态场景前景分割装置结构示意图。
【具体实施方式】
[0060] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0061] 本发明实施例提供了一种基于三维光场的静态场景前景分割方法，该方法通过在 一条直线等间距的不同视点上拍摄场景的序列图像构建三维光场，用直线检测算法从对极 平面图中分析提取出场景边缘及其深度信息；借助快速插值算法恢复整个场景的深度信 息，最终通过阈值法实现对不同深度的前景物体的分割。其中，光场（LightFields)是对空 间中所有光线的描述。现实世界中的场景包含丰富的三维信息，单张二维图像不能完全描 述物体之间的空间关系。使用稠密的序列图像能够用来刻画静态场景。快速采样的序列图 像中时间连续性大致等同于场景的空间连续性，同时采用"对极平面图"（EpipolarPlane Image，EPI)这种描述方法来分析三维场景。以下，通过本发明的优选实施例来进一步说明 所述的基于三维光场的静态场景前景分割方法。
[0062]参考图1，为本发明优选实施例的基于三维光场的静态场景前景分割方法流程图。[0063] 本发明优选实施例的基于三维光场的静态场景前景分割方法包括以下步骤：
[0064]步骤1:通过相机在一条一维直线上等间隔拍摄一场景的序列图像以构建三维光 场，并生成场景的对极平面图；
[0065]步骤2:使用直线检测算法提取所述对极平面图中的直线特征并计算斜率信息， 由所述斜率信息恢复场景中不同物体的深度信息，并使用快速插值算法生成整个场景的深 度图像；
[0066]步骤3 :对所述深度图像中的不同物体设定对应的深度阈值，并根据所述深度阈 值对不同物体进行快速分割。
[0067] (1)步骤1的具体实施
[0068] 于步骤1中，首先建立三维光场。典型的光场构建过程通常需要对同一个场景在 不同视角下拍摄大量图像，然后采用合适的几何模型描述光线在空间中的分布情况。针对 本实施例中的场景前景分割的应用背景，研宄考察图像序列的成像中心在一条水平直线上 情形，即通过在一条一维直线上获取有序二维图像来建立三维光场。
[0069] 参考图2,为本发明优选实施例的三维光场描述示意图。
[0070] 图像的生成可以看作是光线在成像平面上的投射过程。对空间中的任意一条光线 L描述如下：
[0071]L=LF(x,y,t)
[0072] 其中，t为光线的起点，即所述相机在所述一维直线上的坐标；(x，y)代表光线的 方向，对应于图像中的二维坐标值。在由LF描述的三维光场中，垂直于t坐标的（x，y)切 面对应了不同视角下的场景图像，而垂直于y坐标的（x，t)切面对应的就是对极平面图，即 EPI〇
[0073] 直观来看，EPI对应于序列图像在相同y值条件下横向像素的堆叠。为了后续处 理的便捷性，本实施例假定任意相邻两幅序列图像光心（光心也即相机位置）间距一致，光 心是成像的中心，相机位置等间距可以保证光心等间距，即保证所形成的EPI中同一物体 对应像素点的连续性。当采样图像数量足够多时，场景中同一物体像素点在EPI中形成一 条直线轨迹。通过对直线的几何特征分析即可得到场景中物体的空间信息。
[0074] 参考图3,为本发明优选实施例中物体、成像平面、成像中心路径之间的几何关系 示意图。
[0075] 如图3所示，假定成像平面到成像中心距离为h，物体P到镜头中心路径的距离为 Ddpxj别为P在图像中像素的横坐标，At为成像中心移动距离。
[0076] 由三角相似关系可得：
【主权项】
1. 一种基于三维光场的静态场景前景分割方法，其特征在于，包括以下步骤： 通过相机在一条一维直线上等间隔拍摄一场景的序列图像以构建三维光场，并生成场 景的对极平面图； 使用直线检测算法提取所述对极平面图中的直线特征并计算斜率信息，由所述斜率信 息恢复场景中不同物体的深度信息，并使用快速插值算法生成整个场景的深度图像； 对所述深度图像中的不同物体设定对应的深度阈值，并根据所述深度阈值对不同物体 进行快速分割。
2. 根据权利要求1所述的方法，其特征在于，在所述三维光场中，任意一条光线L表示 为： L = LF (x, y, t) 其中，t为光线的起点，即所述相机在所述一维直线上的坐标；(x，y)代表光线的方向， 对应于图像中的二维坐标值； 所述对极平面图为所述序列图像在相同y值条件下横向像素的堆叠，即垂直于y坐标 的（x，t)切面；场景中同一物体的像素点在所述对极平面图中形成一条直线轨迹，且物体 与相机直线运动轨迹之间的空间距离正比于该物体在所述对极平面图中对应直线的斜率。
3. 根据权利要求2所述的方法，其特征在于，生成所述深度图像的步骤进一步包括： 选取所述序列图像的一幅作为深度恢复和前景分割的目标图像； 使用直线检测算法从所述对极平面图中提取直线并确定所有直线区域； 根据所述直线区域，在所述目标图像生成直线特征点的斜率分布； 根据所述直线特征点的斜率分布，采用插值算法生成所述目标图像所有像素点的斜率 分布； 将所述目标图像所有像素点的斜率分布变换深度分布，再线性映射到灰度区间上，最 终生成所述深度图像。
4. 根据权利要求3所述的方法，其特征在于，使用直线检测算法提取直线前，对所述对 极平面图进行高斯缩放，缩放比为0. 9。
5. 根据权利要求3所述的方法，其特征在于，确定所述直线区域的步骤包括： 对所述对极平面图中的每一个像素点，计算其相对颜色一致的临近点方向和水平方向 的夹角，该夹角相近的像素点构成直线候选区； 用近似的矩形覆盖每一个所述直线候选区，构造噪声模型对所述直线候选区执行验 证，得出所述直线候选区构成直线的概率； 设定直线判定的概率阈值，最终确定所述直线区域。
6. 根据权利要求3所述的方法，其特征在于，从所述对极平面图中提取直线的步骤后， 还包括对提取结果的筛选处理步骤： 仅提取端点落在所述对极平面图在y轴方向上前十个像素内的直线； 将没有与所述对极平面图上边界直接相交的直线延长，计算推测交点； 剔除推测交点超出图像边界的直线，将由于延长而出现的两条重合直线合并为单条直 线。
7. -种基于三维光场的静态场景前景分割装置，其特征在于，包括： 构建模块，用于通过相机在一条一维直线上等间隔拍摄一场景的序列图像以构建三维 光场，并生成场景的对极平面图； 深度恢复模块，用于使用直线检测算法提取所述对极平面图中的直线特征并计算斜率 信息，由所述斜率信息恢复场景中不同物体的深度信息，并使用快速插值算法生成整个场 景的深度图像； 分割模块，用于对所述深度图像中的不同物体设定对应的深度阈值，并根据所述深度 阈值对不同物体进行快速分割。
8. 根据权利要求7所述的装置，其特征在于，所述构建模块生成的所述三维光场中，任 意一条光线L表不为： L = LF (x, y, t) 其中，t为光线的起点，即所述相机在所述一维直线上的坐标；(x，y)代表光线的方向， 对应于图像中的二维坐标值； 所述对极平面图为所述序列图像在相同y值条件下横向像素的堆叠，即垂直于y坐标 的（x，t)切面；场景中同一物体的像素点在所述对极平面图中形成一条直线轨迹，且物体 与相机直线运动轨迹之间的空间距离正比于该物体在所述对极平面图中对应直线的斜率。
9. 根据权利要求7所述的装置，其特征在于，所述深度恢复模块进一步用于：选取所述 序列图像的一幅作为深度恢复和前景分割的目标图像；使用直线检测算法从所述对极平面 图中提取直线并确定所有直线区域；根据所述直线区域，在所述目标图像生成直线特征点 的斜率分布；根据所述直线特征点的斜率分布，采用插值算法生成所述目标图像所有像素 点的斜率分布；将所述目标图像所有像素点的斜率分布变换深度分布，再线性映射到灰度 区间上，最终生成所述深度图像。
10. 根据权利要求9所述的装置，其特征在于，所述深度恢复模块还包括用于在使用直 线检测算法提取直线前，对所述对极平面图进行高斯缩放的缩放模块，所述缩放模块进行 缩放的缩放比为0.9。
【专利摘要】本发明公开了一种基于三维光场的静态场景前景分割方法和装置，所述方法包括步骤：通过相机在一条一维直线上等间隔拍摄一场景的序列图像以构建三维光场，并生成场景的对极平面图；使用直线检测算法提取所述对极平面图中的直线特征并计算斜率信息，由所述斜率信息恢复场景中不同物体的深度信息，并使用快速插值算法生成整个场景的深度图像；对所述深度图像中的不同物体设定对应的深度阈值，并根据所述深度阈值对不同物体进行快速分割；本发明在复杂户外场景的分割中，能够准确恢复场景中多个物体之间的空间关系，较好地克服了现有基于区域聚类和数学形态学等方法在复杂场景应用中存在的过分割问题，在针对特定目标提取时有较高的分割效率。
【IPC分类】G06T7-00
【公开号】CN104851089
【申请号】CN201510209026
【发明人】白亮, 老松杨, 郭金林, 康来, 魏巍
【申请人】中国人民解放军国防科学技术大学
【公开日】2015年8月19日
【申请日】2015年4月28日