图像中弱纹理区域的深度信息获取方法及终端的制作方法_4

文档序号:9598456阅读:来源:国知局
可以获得 如图6标示出的三个弱纹理区域。
[0109] 所述边缘深度获取模块303,用于提取所述弱纹理区域获取模块302选取的弱纹 理区域的边界像素点,获取所述边界像素点的深度值。
[0110] 所述边缘深度获取模块303,具体用于对所述弱纹理区域进行区域标记获得标记 后的弱纹理区域,然后将标记后的弱纹理区域与所述图像的其他区域进行二值化获得二值 化后的弱纹理区域,将所述二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱 纹理区域,将所述空洞填充后的弱纹理区域进行轮廓提取获取所述弱纹理区域的轮廓线, 根据所述弱纹理区域的轮廓线获取所述弱纹理区域的边界像素点;按照以下公式计算获取 所述边界像素点的深度值Z:
[0112] 其中,f是立体成像装置中两个数码摄像头的焦距,T是两个数码摄像头之间的间 距,d为两个数码摄像头拍摄的两幅图像的视差图中所述边界像素点对应的视差值。
[0113] 区域标记就是把连续区域作同一个标记,常见的区域标记方法有四邻域标记算法 和八邻域标记算法。
[0114] 二值化,就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现 出明显的只有黑和白的视觉效果。
[0115] 对于图6所标示出的三个弱纹理区域中位于图像右上方的弱纹理区域,进行区域 标记,即将图像右上方的弱纹理区域标记为1号区域,其他区域标记为2号区域;然后将标 记后的弱纹理区域即1号区域与所述图像的其他区域即2号区域进行二值化,就如图7所 示,位于图像右上方的弱纹理区域显示为白色,图像中的其他区域显示为黑色。通常由于噪 声的影响,弱纹理区域中的部分像素点会被误认为不属于弱纹理区域,导致检测出的弱纹 理区域内部出现空洞,如图7中的白色区域内的黑点。
[0116] 为了获取所述弱纹理区域的边界像素点,所述边缘深度获取模块303会采用区域 空洞填充算法将二值化后的弱纹理区域进行区域空洞填充获得空洞填充后的弱纹理区域。 弱纹理区域进行区域空洞填充完成后的图像如图8所示。
[0117] 此时就可以对图8进行轮廓提取,由于黑白对比分明,所述边缘深度获取模块303 可以容易提取到弱纹理区域的轮廓线,其轮廓线如图9中的线条所示。根据所述弱纹理区 域的轮廓线就可以获取所述弱纹理区域的边界像素点。
[0118] 边缘深度获取模块303提取到所述弱纹理区域的边界像素点后,可以应用立体匹 配算法获取所述边界像素点的深度值。
[0119] 立体匹配算法的输入为若干不同视角的数码摄像头采集的图像,输出是这些图像 上的点的对应关系。假设为标准配置下双目立体视觉的几何模型,c和c'为两相机的光心, f为焦距,T为两光心的连线即两个数码摄像头之间的间距,也称为基线,过光心且垂直于 成像平面的直线称为光轴。所谓标准配置是指两个相机的光轴垂直于基线且互相平行。设 两相机的焦距相等都为f,且相机的坐标系的水平坐标与基线方向平行,则空间中的点P在 两相机上成的像具有相同的竖直坐标,这个特点也叫立体视觉的外极线(Epipolar Line) (所谓的外极线是指外极平面和图像平面的交线,其中外极平面是包含两个焦点和空间点 的平面)约束。对于一般配置的相机,通过相机标定和配准,可以得到标准配置下的图像。 设P点投影到两相机后的图像分别为X和X',X和X'是一对对应点。如果用X和X'来表 示它们的水平坐标,这两个点的对应关系可以由如下定义的视差来描述:
[0120] 视差 d = X-X'
[0121] 通过简单的几何关系推导,我们可以得到如下等式:
:;其中Z表示对应点的深度。
[0123] 可见当基线和焦距固定的时候,也就是相机的参数以及相机之间的相对位置和姿 态固定不变的时候,视差d与空间的点的深度Z成反比。因此,只需要知道了像素点的视差 就可以得到该像素点的深度。
[0124] 边缘深度获取模块303可以使用立体匹配算法获得弱纹理区域的边界像素点的 视差d,使用以下公式计算出所述弱纹理区域的边界像素点的Z
[0125] 应用立体匹配算法计算弱纹理区域的像素点的深度值时,由于弱纹理区域内的像 素点在颜色和亮度上比较相似,这就给像素点的匹配带来了奇异性,应用立体匹配算法容 易误匹配,这样获取的弱纹理区域的深度信息就不准确。但是对于弱纹理区域的边界像素 点来说,边界像素点与弱纹理区域内部的像素点在颜色和亮度上都不相同,应用立体匹配 算法不容易误匹配,这样获取的弱纹理区域的边界像素点的深度值就比较准确。
[0126] 所述区域深度获取模块304,用于根据所述边缘深度获取模块303获取的边界像 素点的深度值,计算出所述弱纹理区域中各像素点的深度值。
[0127] 所述区域深度获取模块304可以直接根据所述边缘深度获取模块303获取的边界 像素点的深度值,进行平面拟合计算出所述弱纹理区域中各像素点的深度值
[0128] 由于立体匹配算法本身的弱点以及边界点的遮挡问题,会出现部分深度值不准确 的突变像素点,此时为了获取更加准确的深度值;所述区域深度获取模块304,具体用于根 据所述边界像素点的深度值筛除所述边界像素点中的突变点,获得所述边界像素点中的可 靠点;将所述可靠点的深度值进行平面拟合,计算出所述弱纹理区域中各像素点的深度值。
[0129] 所述区域深度获取模块304具体可以利用RANSAC算法筛除所述边界像素点中的 突变点。
[0130] 随机抽样一致(RANSAC,RANdom SAmple Consensus)算法,是根据一组包含异常数 据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。RANSAC算法经常 用于计算机视觉中。
[0131] RANSAC算法的基本假设是样本中包含正确数据(inliers)即可以被模型描述的 数据,也包含异常数据(outliers)即偏离正常范围很远、无法适应数学模型的数据,即数 据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生 的。同时RANSAC也假设,给定一组正确的数据,存在可以计算出符合这些数据的模型参数 的方法。
[0132] RANSAC算法的基本思想描述如下:
[0133] ①考虑一个最小抽样集的势为η的模型(η为初始化模型参数所需的最小样本数) 和一个样本集Ρ,集合Ρ的样本数# (Ρ) >η,从Ρ中随机抽取包含η个样本的Ρ的子集S初始 化模型Μ ;
[0134] ②余集SC = P\S中与模型Μ的误差小于某一设定阈值t的样本集以及S构成S*。 S*认为是内点集,它们构成S的一致集(Consensus Set);
[0135] ③若#(S*)彡N,认为得到正确的模型参数,并利用集S*(内点inliers)采用最小 二乘等方法重新计算新的模型M* ;重新随机抽取新的S,重复以上过程。
[0136] ④在完成一定的抽样次数后,若未找到一致集则算法失败,否则选取抽样后得到 的最大一致集判断内外点,算法结束。
[0137] 在本实施例中,所述区域深度获取模块304,具体用于将所述边界像素点的深度值 作为样本集P,随机从样本集P中抽出η个边界像素点的深度值作为子集S,并通过平面拟 合获得初始化模型Μ ;将余集SC = P\S中与所述初始化模型Μ的误差小于第二阈值的边 界像素点的深度值划分为内点集;当内点集中深度值的数目达到了 Ν时,根据内点集采用 最小二乘法重新计算新的模型Μ* ;重新随机抽取新的子集S*,重复以上过程;在重复一定 次数(如5-10次)后,选出获得的最大内点集,所述最大内点集中的深度值为所述边界像 素点中的可靠点的深度值,所述样本集Ρ中的其余数值为所述边界像素点中突变点的深度 值,所述η和Ν为预设值。η为预设数值,可以为Ρ中样本点数目的60% -80%,Ν值也为预 设值,可以为Ρ中样本点数目的90%。
[0138] 区域深度获取模块304可以将所述可靠点的深度值进行平面拟合,获得平面拟合 方程,所述弱纹理区域中各像素点的深度值就可以通过该平面拟合方程计算出来。如图10 所示为一个弱纹理区域的边界像素点的深度值进行的平面拟合图示,可以看到边界点拟合 的平面覆盖了该弱纹理区域,该区域的其它像素点的深度值可以通过该平面拟合方程计算 出来。
[0139] 图11为应用现有的立体匹配算法获得的深度图像,图12为应用本实施例提供的 方法获得的弱纹理区域的深度图像以及应用现有的立体匹配算法获得的其他区域的深度 图像;可以看到图6中标记处理来的弱纹理区域的深度图变得平滑,且正确率提升了。
[0140] 应用本实施例终端可以准确获取弱纹理区域的深度信息,这样,在利用深度图像 进行背景虚化时,在弱纹理区域,由于立体匹配算法的奇异性,使得弱纹理区域的深度值估 计会出现错误,背景虚化的效果会受到影响,虚化效果不自然。利用本实施例的终端进行弱 纹理区域的深度值估计,可以减少弱纹理区域的深度值估计的错误概率,让背景虚化效果 更好。在利用深度图像进行区域目标距离估计时,如果该目标区域为弱纹理区域,则利用匹 配算法中奇异性的深度值估计的目标距离将会出错,利用本实施例的终端进行弱纹理区域 的深度值估计,可以减少弱纹理区域的深度值估计的错误概率,使目标的距离估计更为准 确;在利用深度图像进行图像分割时,如果目标和背景都含有若纹理区域,则利用匹配算法 中奇异性的深度值进行分割的区域将会不准确,利用本实施例的终端进行弱纹理区域的深 度值估计,可以减少弱纹理区域的深度值估计的错误概率,使得图像分割区域更加准确。
[0141] 实施例2
[0142] 本发明实施例提供了一种图像中弱纹理区域的深度信息获取方法,如图13所示, 本实施例方法的处理流程包括以下步骤:
[0143] 步骤1301、获取图像的颜色和亮度信息,根据所述颜色与亮度信息,将所述图像分 割为若干区域。
[0144] 终端可以应用基于区域的分割方法如区域生长方法来对图像进行分割。区域生长 的基本思想是将具有相似性质的像素集合起来构成区域。具体先对每个需要分割的区域找 一个种子像素点作为生长的起点,然后将种子像素点周围中与种子像素点有相同或相似性 质的像素(本实施例中是颜色和亮度信息相似的像素)合并到种子像素点所在的区域中。 将这些新像素当作新的种子像素点继续进行上面的过程,直到再没有满足条件的像素可被 包括进来。这样一个
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1