一种基于结构信息的边界保护深度视频估计方法
【技术领域】
[0001] 本发明涉及图像处理技术及立体成像领域，尤其涉及一种基于结构信息的边界保 护深度视频估计方法。
【背景技术】
[0002] 3D视频提供给观察者一种身临其境的立体体验。3D技术的迅速发展与进步，使得 3D技术受到越来越多的关注，例如：3D电视的出现，3D影院和自由立体电视的兴起，以及3D 技术在医学和军事中的应用。3D系统与传统的2D系统的区别在于其提供给观察者对场景 的深度感知?目息。因此，深度?目息的获取是3D系统中的重要因素，也是获取立体感知的根 本原因。目前已提出一些深度视频估计方法，主要包括局部深度估计方法和全局深度估计 方法。局部深度估计方法依据邻域像素具有相同深度值的假设进行深度估计，全局深度估 计方法是基于能量函数最小化的估计方法，相对局部深度估计方法可以得到更加准确的深 度结果，但全局深度估计方法的全局优化策略使得其边界准确性需要进一步提高。
【发明内容】
[0003] 本发明提供了一种基于结构信息的边界保护深度视频估计方法，本发明将彩色图 像的区域分割信息与初始深度图的边界信息相结合，利用结构信息更新能量函数平滑项， 提高深度视频的边界准确性，详见下文描述：
[0004] -种基于结构信息的边界保护深度视频估计方法，所述方法包括以下步骤：
[0005] 基于亮度信息对输入视频的每一帧构造能量函数；
[0006] 通过求解所述能量函数获取最优解，以此得到初始深度图，通过边界提取算子提 取初始深度图边界；
[0007] 对彩色视频的每一帧进行区域分割，根据彩色视频的分割结果以及初始深度图边 界对能量函数进行处理，更新能量函数的平滑项；
[0008] 对更新后的能量函数进行最小化处理，获取视差值，并将视差值转化为深度值。
[0009] 通过求解所述能量函数获取最优解具体为：通过能量函数最小化方法求取能量函 数的最优解。
[0010] 所述更新能量函数的平滑项具体为：
[0012] 其中，a，b e {-1，1} ;ρ为平滑系数；P(x+a，y+b)为当前像素的相邻像素；Ε_ depth为初始深度图；LabelP〇i+a,y+b)为P(x+a，y+b)在彩色分割图中所属的区域；Label Pfcy) 为P(x，y)在彩色分割图中所属区域；α为原有平滑系数；LsJP Ls 2为平滑项更新参数。
[0013] 本发明提供的技术方案的有益效果是：本发明通过对彩色图像进行区域分割，对 初始深度图提取边界，将以上边界和区域的结构信息相结合，能够使正确的边界更加清晰， 并平滑错误的边界，从而提高深度视频边界的准确性。
【附图说明】
[0014] 图1为本发明提出方法的流程图；
[0015] 图2为初始深度图边界信息的示意图；
[0016] 图3为图2中所标定的方框内彩色图与深度边界的示意图；
[0017] 图4为未经能量函数平滑项更新的图2中所标定的方框内深度图边界的示意图；
[0018] 图5为经过本方法得到的图2中所标定的方框内深度图边界的示意图。
【具体实施方式】
[0019] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0020] 能量函数最小化是全局深度估计算法的基础。能量函数包括三项，数据项，平滑项 以及时域项。数据项保证当前像素与参考视点中对应像素的亮度相似性，平滑项使得当前 像素与其相邻像素具有相似的深度值，时域项包括帧间相关信息，可提高深度视频时域一 致性。
[0021] 图像区域分割算法按照一定的规则将图像划分成多个具有像素相似性的区域。 根据分割规则的不同，彩色图像区域分割方法主要有以下几种：1)基于边缘的图像分割方 法：通过图像灰度的不连续性确定图像中的边缘点，以边缘点为基础对图像进行分割，例 如：分水岭分割算法就属于这一类。2)基于闭值的分割方法：在这一类分割算法中最常用 的是直方图分割算法，直方图中每一个峰值对应于一个区域，峰谷对应于区域的边界。3)基 于区域的分割方法：这种方法将像素按照某种特性分为几类，把具有相同特性的像素看作 一个整体，即为一个区域。例如常用的区域生长就属于这种方法。区域生长分割算法按照某 种生长规则不断将种子像素与周边临近像素进行合并，将其划分为同一区域，直到不满足 生长条件，区域生长结束。4)基于聚类的分割方法：聚类是最早应用于图像分割的方法之 一，该方法根据图像中不同物体颜色和距离等信息的差别进行聚类，分割结果较为理想。例 如常用的聚类分割算法有K-means分割算法，分层聚类，mean-shift分割算法等。K-means 是基于聚类分割算法中最为常用的一种，通常将距离作为相似性的评价指标。该算法认为 簇是由距离靠近的对象组成的，因此将获取紧凑且独立的簇作为最终目标。
[0022] 边界提取也是目前图像处理领域中常用的一项技术，它是对于图像轮廓的一个处 理方法。图像灰度变化率最大的地方被认为是图像的边缘。通常，利用图像灰度的不连续 性来确定边缘像素的位置。大多边缘检测的方法是将差分方程作为检测基础，构建边缘检 测算子。常用的有Roberts算子，Canny算子，以及Sobel算子等。为更好地实现边缘检测， Canny算子首先对图像进行去噪处理，然后使用四个掩模分别检测水平，垂直以及对角四个 方向边缘，以此来寻找图像中的亮度梯度。亮度梯度较高的位置更有可能是图像的边缘，采 用边缘跟踪的方法找到图像边缘位置。
[0023] 现有技术中的基于能量函数最小化框架的全局深度估计方法得到的深度视频，在 边界准确性方面有待进一步提高，进而使其保证深度及绘制视点视频的质量。本发明实施 例将彩色图像的区域分割信息与初始深度图边界信息相结合，判断初始边界可靠性，更新 能量函数平滑项，提高深度视频的边界准确性。
[0024] 实施例1
[0025] 101 :基于亮度信息对输入视频的每一帧构造能量函数；
[0026] 能量函数由数据项、平滑项以及时域项三项构成。首先通过块匹配构建能量函数 数据项。分别计算当前视点与左右参考视点对应像素的亮度差值，并取其中较小值作为数 据项。然后，对每一个像素，分别计算其与相邻的四个像素的亮度差，将亮度差以一定权值 进行加权作为能量函数平滑项。接下来通过获取帧间运动信息构造能量函数时域项。经运 动估计得到的运动矢量为（m，η)，以运动矢量（m，η)为参数计算时域项自适应权值；利用运 动矢量找到前一帧中与当前位置对应位置的深度值，将对应点深度值的差值作为能量函数 的时域项。
[0027] 102 :对彩色视频的每一帧进行区域分割，通过求解能量函数获取最优解，以此得 到初始深度图，通过边界提取算子提取初始深度图边界；
[0028] 首先采用区域分割算法k-means对彩色视频的每一帧进行区域分割，得到一块一 块的区域，标记为Label，将像素 P (X，y)所在区域记为LabelP(x,y)。
[0029] 通过能量函数最小化方法求取步骤101获取到的能量函数的最优解，能量函数的 自变量即为深度值，得到初始深度图。然后利用canny算子提取初始深度图边界，记为E_ depth〇
[0030] 具体实现时，本发明实施例对区域分割算法、提取初始深度图边界算子不做限制， 可以根据实际应用中的需要进行选择。
[0031] 103:根据彩色视频的分割结果以及初始深度图边界对能量函数进行处理，更新能 量函数的平滑项；
[0032] 将步骤102获取到的初始深度图边界与彩色图的分割结果相结合，更新能量函数 的平滑项，更新方式如下：
[0034] 其中，a，b e {-1，1} ;p为平滑系数；P(x+a，y+b)为当前像素的相邻像素；E_ depth为初始深度图；LabelP(x+a,y+b)为P(x+a，y+b)在彩色分割图中所属的区域；
[0035] LabelPfcy0 P(x, y)在彩色分割图中所属区域；α是原有平滑系数；Ls JP Ls 2是 平滑项更新参数；