专利名称：一种多视角图像前景目标提取方法及装置的制作方法
技术领域：
本发明涉及图像处理和计算机视觉技术领域，尤其涉及一种多视角图像前景目标提取方法及装置。
背景技术：
前景目标提取是计算机视觉领域的热点和难点问题，用于提取图像中感兴趣的物体作为输出或作为后续操作的输入，其前景提取的准确与否，直接影响后续的操作是否成功。前景目标提取广泛应用多个领域，如三维模型重建，运动捕捉，智能监控等。前景目标提取是将物体F从图像I中分离出来，即将I划分为前景区F和非前景区F。提取结果α要么是0，要么是1，“0”表示背景，“I”表示前景，其目的是从图像I中完 整的提取出用户感兴趣的物体F。根据处理的视角数目的不同，分为单视角前景目标提取和多视角前景目标提取。单视角前景目标提取方法经过多年的研究，研究者们提出了许多有效的方法。最早的前景目标提取技术是背景减除法，它要求场景的背景固定且已知背景图像，利用包含前景的图像与背景图像的差获取前景。背景减除技术简单有效，计算量小，可以达到实时处理。但是它对背景有严格的要求，极大的限制了它的应用范围。由于设备和场景的限制，我们平时拍摄的环境背景都是变化的，因此，针对自然环境的图像前景目标提取技术逐渐成为当前的研究热点。其中，交互式目标提取方法成为当前的主流技术，代表性的有Graph Cut，GrabCut，泊松方法和软分割剪刀，主动轮廓方法等。以上这些方法主要针对的是单张图像，无法直接应用到多视角图像的前景目标提取中。当然可以将多视角图像看成多个单视角图像分别进行处理，不过这样需要耗费更多的人力和时间。多视角前景目标提取方法主要思想是根据初始分割结果重建三维模型，然后将重建的三维模型通过空间一致性投影到各个视角图像中指导分割，经过多次迭代到达前景提取的目的。另一种无需三维重建，只需要将每次分割结果与摄像机光心构成的视锥投影到其它成像平面中作为前景目标提取的一种启发信息指导前景目标提取。上述两种思想都需要已知摄像头的内外参数以及视角数目不能少于一定数目(至少4个)，并要求所有的摄像头都覆盖前景，甚至要求前景目标位于所有图像的中央区域，使得前景提取的应用受到很大的限制。
发明内容
本发明解决的技术问题在于如何使得多视角图像前景目标提取快速简单易操作。为了解决以上问题，本发明公开了一种多视角图像前景目标提取方法，包括以下步骤步骤I :输入多视角图像集图像分块预处理；步骤2 :对每幅图像进行尺度不变特征SIFT特征点的提取，并对相邻视角的图像进行SIFT特征点匹配；步骤3 :根据图像分块的拓扑邻接结构和图像间SIFT匹配特征点构建图模型；步骤4:用偏见正则切方法得到最小切的解对解X*用大律法计算二值化阈值进行自适应二值化操作，其结果作为图像分割的结果输出。进一步，作为一种优选，所述步骤I :输入多视角图像集图像分块预处理具体包括以下步骤步骤101 =RGB颜色空间转成Lab颜色空间；步骤102 :计算图像的梯度图，用罗伯特交叉梯度算子在Lab颜色空间中三通道分别计算水平方向梯度gx和垂直方向梯度gy，则梯度g为
权利要求
1.一种多视角图像前景目标提取方法，其特征在于，包括以下步骤 步骤I:输入多视角图像集图像分块预处理； 步骤2 :对每幅图像进行尺度不变特征SIFT特征点的提取，并对相邻视角的图像进行SIFT特征点匹配； 步骤3 :根据图像分块的拓扑邻接结构和图像间SIFT匹配特征点构建图模型； 步骤4:用偏见正则切方法得到最小切的解对解X*用大律法计算二值化阈值进行自适应二值化操作，其结果作为图像分割的结果输出。
2.根据权利要求I所述的一种多视角图像前景目标提取方法，其特征在于，所述步骤I :输入多视角图像集图像分块预处理具体包括以下步骤 步骤101 =RGB颜色空间转成Lab颜色空间； 步骤102 :计算图像的梯度图，用罗伯特交叉梯度算子在Lab颜色空间中三通道分别计算水平方向梯度gx和垂直方向梯度gy，则梯度g为^Hs2x+g2y ； lab 步骤103 :根据预先定义的分块个数K，计算图像分块的步长 R = ^nTk ; 步骤104 :在图像中随机产生K个初始点，并以点的初始位置为中心的3*3窗口中找到梯度最小的点作为图像分块的中心点，则中心点集C的元素为图像分块的中心点像素坐标X, y和像素L，a, b颜色分量构成的5维向量； 步骤105 :计算图像中每个像素点到每个中心点的距离D D =^/(4 -hf +(ak ~aiY +(h -bif +~-/( — xi f + ( — ) ，,-)'， K 其中参数m控制分块的边缘的紧缩度，1，a，b为Lab彩色空间颜色分量，x, y为像素坐标值； 步骤106 :将图像中每个像素点归为距离最小的中心点所在的图像分块； 步骤107 :计算每个分块相似的颜色分量1，a, b和像素坐标x，y的平均值更新中心点集C ; 步骤108 :重复迭代步骤105-107，直到收敛。
3.根据权利要求书I所述的一种多视角图像前景目标提取方法，其特征在于，所述步骤2 :对每幅图像进行尺度不变特征SIFT特征点的提取，并对相邻视角的图像进行SIFT特征点匹配具体包括以下步骤 步骤201 :对多视角图像集中每幅图像进行SIFT特征点提取； 步骤202:对相邻图像进行SIFT特征点匹配，其中，采用特征点的特征向量的欧式距离作为图像中的SIFT特征点是否匹配的判断依据； 步骤203 :剔除错误匹配点，计算两张相邻图像匹配点对的图像像素坐标的欧式距离屯，其平均距离为D = 式，对于DMi的匹配点对为错误匹配，予以剔除。
4.根据权利要求书I所述的一种多视角图像前景目标提取方法，其特征在于，所述步骤3 :根据图像分块的拓扑邻接结构和图像间SIFT匹配特征点构建图模型G(V，E, W)，其中V为顶点集，即图像分块集，E为边集，W为相似权矩阵，具体包括以下步骤 步骤301 :每个图像分块作为图的顶点，对每张图像，根据拓扑邻接关系连接相邻顶点；对于图像分块Si, Sj G In, n=l,. . .，m，如果图像分块Si, Sj的中心点的欧式距离小于Ic1R(R定义见步骤102)，k:为大于0的常数，则图像分块Si, Sj相邻，即Si G Sj的邻接顶点集N(Sj)，Sj g Si的邻接顶点集N(Si)； 步骤302 :多视角图像，通过匹配的特征点连接图的顶点；对于相邻图像的匹配点对Pi G IjPPj G I」，分别在图像Ii, Ij中以Pi, Pj为中心画大小为2RX2R的窗口 RpRj,那么，对于图像分块VS, e/,，V*S’, e/,位于窗口 Ri，R.内，那么图像分块Si, Sj相邻，即Si G Sj的邻接顶点集N(Sj), Sj G Si的邻接顶点集N(Si)； 步骤303 :对于每个图像分块，计算颜色直方图H的累计直方图F(n)
5.根据权利要求书I所述的一种多视角图像前景目标提取方法，其特征在于，所述步骤4:用偏见正则切方法得到最小切的解对解X*用大律法计算二值化阈值进行自适应二值化操作，其结果作为图像分割的结果输出；具体包括以下步骤 步骤401 :计算拉普拉斯矩阵= IP(D-W)D 士的最小K个特征值X p X 2，. . .，X k及其对应的特征向量 步骤402 :根据手工输入的种子点集T构造偏向向量sT，偏向向量sT维数与拉普拉斯矩阵特征向量维数相同。偏向向量sT对应于种子点集T所标记的顶点的元素置为1，其它为0 ； 步骤403 :计算偏向最小切x%计算公式如下
6.根据权利要求书5所述的一种多视角图像前景目标提取方法，其特征在于，所述手工输入的种子点集T为手动输入的一系列点。
7.根据权利要求书5所述的一种多视角图像前景目标提取方法，其特征在于，所述手工输入的种子点集T为手动输入的一系列曲线。
8.根据权利要求书5所述的一种多视角图像前景目标提取方法，其特征在于，所述手工输入的种子点集T为手动输入的像素属于前景的概率组成的概率图。
9.一种多视角图像前景目标提取装置，其特征在于，包括 图像分块预处理模块输入多视角图像集图像分块预处理； 特征点匹配模块对每幅图像进行尺度不变特征SIFT特征点的提取，并对相邻视角的图像进行SIFT特征点匹配； 图模型的表示和建立模块根据图像分块的拓扑邻接结构和图像间SIFT匹配特征点构建图模型； 多视角图像前景提取计算模块用偏见正则切方法得到最小切的解，对解用大律法计算二值化阈值进行自适应二值化操作，其结果作为图像分割的结果输出； 以上模块顺序连接。
全文摘要
本发明公布了一种多视角图像前景目标提取方法，包括以下步骤步骤1输入多视角图像集图像分块预处理；步骤2对每幅图像进行尺度不变特征SIFT特征点的提取，并对相邻视角的图像进行SIFT特征点匹配；步骤3根据图像分块的拓扑邻接结构和图像间SIFT匹配特征点构建图模型；步骤4用偏见正则切方法得到最小切的解x*，对解x*用大律法计算二值化阈值进行自适应二值化操作，其结果作为图像分割的结果输出。本发明还公布了一种多视角图像前景目标提取装置。本发明不需要摄像头标定步骤，只需在多视角图像集中的一张图像交互，并且能够处理大小的图像集，是一种快速简单易操作的分割方法。
文档编号G06K9/46GK102708370SQ20121015522
公开日2012年10月3日 申请日期2012年5月17日 优先权日2012年5月17日
发明者梁清华, 苗振江 申请人:北京交通大学