立体图像对中遮挡信息的提取方法

文档序号:7745441阅读:196来源:国知局
专利名称:立体图像对中遮挡信息的提取方法
技术领域
本发明涉及用于遮挡信息的提取方法,尤其涉及一种立体图像对中遮挡信息的提取方法。
背景技术
根据拍摄场景中物体在左右立体图像对中的可见性,可以将立体图像对中的像素 分为三类仅在左视点图像中可见的像素点、仅在右视点图像中可见的像素点和在左右视 点图像中均可见的点。在立体匹配获取视差图的过程中,首先必须选定左右立体图像对中 的某一视点作为参考视点,另一视点作为辅助视点,然后才能进行立体匹配。立体图像对中 的遮挡信息指的是辅助视点可见而参考视点不可见的像素点。戴眼镜式的立体显示技术是现在主流的立体显示技术,采用该技术的立体显示设 备可以将同一场景左右两个视点的立体图像对呈现给观众,观众通过佩戴专业的眼镜,左 眼看到左视点的图像,右眼看到右视点的图像,即可感受到立体效果,这种技术需要同时获 得左右视点的图像。传统的技术采用同时独立编码传输两路图像数据的方式提供立体显示 所需的数据源,这种方式没用充分利用左右视点立体图像对中大量的冗余信息,需要的存 储空间很大,占用了大量的带宽资源。自由立体显示技术是现在新兴的立体显示技术,采用该技术的立体显示设备 可以将同一场景多个视点的不同图像同时呈现给观众,观众不需要佩戴专业的眼镜 即可在多个观看位置感受到立体效果,该技术需要获得多幅同一场景不同视点的图 像。主流的方案采用在编码传输端传输一路图像数据和对应的深度数据,在重构显示端 DIBR(Depth-Image-Based Rendering)算法生成多路虚拟视点图像,最后合成立体图像进 行显示。虽然该方案解决了直接传输多路图像数据占用大量带宽的问题,但是由于其缺失 了很多必需的遮挡信息,在DIBR算法生成的虚拟视点图像中存在着很多没有值的像素点, 即空洞区域。虽然可以采用图像修复算法对产生的空洞区域进行修复,但是在修复区域会 存在虚假边缘及图像纹理不连续等问题。为了呈现更好的立体效果,仍然需要添加遮挡信 息,付出的代价只是增加少量的带宽。

发明内容
本发明的目的是克服现有技术的缺陷和不足,提出了一种立体图像对中遮挡信息 的提取方法。立体图像对中遮挡信息的提取方法包括以下步骤(1)对待处理的左右视点立体图像对,先以左视点图像为主视点图像,右视点图像 为辅助视点图像进行立体匹配,得到左视点的视差图像,再以右视点图像为主视点图像,左 视点图像为辅助视点图像进行立体匹配,得到右视点的视差图像;(2)根据左视点的视差图像,将左视点图像坐标系中的每一个像素坐标映射至右 视点图像坐标系中,建立左右图像对中像素坐标之间的对应关系,并记录右视点图像坐标系中每一个像素坐标的映射标志位;(3)将右视点图像中在左视点图像中没有对应映射点的像素点提取出来,得到右 视点的残余图像;(4)根据右视点的视差图像,将右视点残余图像中的每一个像素坐标映射至左视 点图像坐标系中,在左视点图像坐标系中的对应像素位置,记录右视点残余图像中对应像 素点的像素值及其在右视点视差图像中的视差值,得到左视点位置的右视点图像中的遮挡 fn息ο
所述的对待处理的左右视点立体图像对,先以左视点图像为主视点图像,右视点 图像为辅助视点图像进行立体匹配,得到左视点的视差图像,再以右视点图像为主视点图 像,左视点图像为辅助视点图像进行立体匹配,得到右视点的视差图像的步骤为(a)以左视点图像IL(Xpy1)为主视点图像,以右视点图像lK(xr,yr)为辅助视点图 像进行立体匹配,得到左视点的视差图像DJx1, Y1)。其中,X1表示左视点图像像素点水平方向上的坐标,I1表示左视点图像像素点垂 直方向上的坐标,X1的取值为X1 = 0,1,2, ... , H-I, Y1的取值为Y1 = 0,1,2, ... , V-I, Xr 表示右视点图像像素点水平方向上的坐标,^表示右视点图像像素点垂直方向上的坐标,& 的取值为xr = 0,1,2,... ,H-Lyr的取值为yr = 0,1,2,. . .,V_l,H表示左右视点图像的 水平分辨率,V表示左右视点图像的垂直分辨率;(b)以右视点图像iK(xr,yr)为主视点图像,以左视点图像Il(X1^1)为辅助视点图 像进行立体匹配,得到右视点的视差图像DkUr,yr)。所述的根据左视点的视差图像,将左视点图像坐标系中的每一个像素坐标映射至 右视点图像坐标系中,建立左右图像对中像素坐标之间的对应关系,并记录右视点图像坐 标系中每一个像素坐标的映射标志位的步骤为(c)根据步骤(a)得到的左视点的视差图像I\(Xl,yi)将左视点图像坐标系中的每 一个像素坐标(Xl,Y1)映射至右视点图像坐标系中,得到右视点图像坐标系中对应的映射 点坐标(X' r,y'》,表示公式如下(x' r,y' r) = (X1-Dl(XijY1)jY1)其中,χ' r为映射后像素点水平方向上的坐标,y' r为映射后像素点垂直方向上 的坐标;(d)记录右视点图像IK(\,yr)中每一个像素位置的映射标志位Fla&(^,yr), 若步骤(C)得到的映射点坐标(X' r, y' r)在右视点图像区域范围之内,则映射标志位 FlagE(xr, yr) = 1,其他情况下,映射标志位Fla&(xr,yr) = 0,表示公式如下<formula>formula see original document page 6</formula>所述的将右视点图像中在左视点图像中没有对应映射点的像素点提取出来,得到 右视点的残余图像的步骤为(e)根据步骤(d)得到的映射标志位Fla&(\,y》,将右视点图像中没有映射点的像素点提取出来,得到右视点的残余图像Itoesidual(\,,表示公式如下<formula>formula see original document page 7</formula>
所述的根据右视点的视差图像,将右视点残余图像中的每一个像素坐标映射至左 视点图像坐标系中,在左视点图像坐标系中的对应像素位置,记录右视点残余图像中对应 像素点的像素值及其在右视点视差图像中的视差值,得到左视点位置的右视点图像中的遮 挡信息的步骤为(f)根据步骤(b)得到的右视点的视差图像DK(Xr,yr)和步骤(d)得到的映射标 志位FlagE(xr, yr),将步骤(e)得到的残余图像IEresidual (xr, yr)中映射标志位FlagE(xr, yr) =0的像素点,映射至左视点图像坐标系中,得到左视点图像坐标系中对应的映射点坐标 (x' i;y'》,表示公式如下(χ' 1; y' = (xr+DE(xr, yr), yr)其中,χ' x为映射后像素点水平方向上的坐标,y' !为映射后像素点垂直方向上 的坐标;(g)记录左视点图像Il(X1, Y1)中每一个像素位置的映射标志位FlagL(X1, Yi), 若步骤(f)得到的映射点坐标(X' y' i)在左视点图像区域范围之内,则映射标志位 FlagL(Xl,yi) = 1,其他情况下,映射标志位FlagL (Xl,yi) = 0,其他情况下FlagL(Xl,yi)= 0,表示公式如下<formula>formula see original document page 7</formula>(h)根据步骤(g)得到的映射标志位Fla&(Xl,yi),将步骤(e)得到的右视点残余 图像IKMSidual(Xr,yr)和步骤(b)得到的右视点的视差图像Dk(Xr,yr)映射至左视点图像坐 标系中,得到在左视点图像中不可见但是在右视点中可见的遮挡信息I。。。lusi。n(x,y)和遮挡 信息对应的视差信息D。。。lusi。n(x,y),χ表示像素点水平方向上的坐标,y表示像素点垂直方 向上的坐标,χ的取值为χ = 0,1,2,. . .,H-I,y的取值为y = 0,1,2,· · ·,V-I,表示公式如 下<formula>formula see original document page 7</formula>Docclusion(xr + DR{xr,yr),yr) = \cv / , γ , 、 、λ
I 255, FlagL(xr+DR(xr,yr),yr) = 0本发明适用于从立体图像对中提取遮挡信息。以往的立体图像对数据量相对较 大,应用领域局限于戴眼镜式的双目立体显示技术。本方法通过双向立体匹配建立左右图 像中像素点对应映射关系的方法,去除了左右立体图像对中的冗余信息,保留了有用的遮 挡信息,大大减少了立体图像对的数据量,节约了传输立体图像或者立体视频数据时所需 的带宽资源,并通过附加遮挡信息对应视差信息的方式极大地增强了遮挡信息使用的灵活性。


图1是立体图像对中遮挡信息提取方法的整体框图;图2 (a)是Racket立体测试图像对左视点图像;图2 (b)是Racket立体测试图像对右视点图像;图3 (a)是立体匹配后得到的Racket左视点的视差图像;图3 (b)是立体匹配后得到的Racket右视点的视差图像;图4是对图2 (b)进行提取后得到的Racket右视点的残余图像;图5 (a)是经过遮挡信息提取后得到的Racket立体图像对的遮挡信息图像;图5(b)是遮挡信息图像对应的视差图像。
具体实施例方式立体图像对中遮挡信息的提取方法包括以下步骤(整体框图如图1所示)(1)对待处理的左右视点立体图像对,先以左视点图像为主视点图像,右视点图像 为辅助视点图像进行立体匹配,得到左视点的视差图像,再以右视点图像为主视点图像,左 视点图像为辅助视点图像进行立体匹配,得到右视点的视差图像;(2)根据左视点的视差图像,将左视点图像坐标系中的每一个像素坐标映射至右 视点图像坐标系中,建立左右图像对中像素坐标之间的对应关系,并记录右视点图像坐标 系中每一个像素坐标的映射标志位;(3)将右视点图像中在左视点图像中没有对应映射点的像素点提取出来,得到右 视点的残余图像;(4)根据右视点的视差图像,将右视点残余图像中的每一个像素坐标映射至左视 点图像坐标系中,在左视点图像坐标系中的对应像素位置,记录右视点残余图像中对应像 素点的像素值及其在右视点视差图像中的视差值,得到左视点位置的右视点图像中的遮挡 fn息ο所述的对待处理的左右视点立体图像对,先以左视点图像为主视点图像,右视点 图像为辅助视点图像进行立体匹配,得到左视点的视差图像,再以右视点图像为主视点图 像,左视点图像为辅助视点图像进行立体匹配,得到右视点的视差图像的步骤为(a)以左视点图像IL(Xpy1)为主视点图像,以右视点图像lK(xr,yr)为辅助视点图 像进行立体匹配,得到左视点的视差图像DjXl,Y1)。其中,X1表示左视点图像像素点水平方向上的坐标,Y1表示左视点图像像素点垂 直方向上的坐标,X1的取值为X1 = 0,1,2, ... , H-I, Y1的取值为Y1 = 0,1,2, ... , V-I, Xr 表示右视点图像像素点水平方向上的坐标,^表示右视点图像像素点垂直方向上的坐标,& 的取值为xr = 0,1,2, ... , H-1, yr的取值为yr = 0,1,2,…,V-I,H表示左右视点图像的 水平分辨率,V表示左右视点图像的垂直分辨率;(b)以右视点图像IK(xr,yr)为主视点图像,以左视点图像IL(Xpy1)为辅助视点图 像进行立体匹配,得到右视点的视差图像Dk(Xr,yr)。 所述的根据左视点的视差图像,将左视点图像坐标系中的每一个像素坐标映射至右视点图像坐标系中,建立左右图像对中像素坐标之间的对应关系,并记录右视点图像坐 标系中每一个像素坐标的映射标志位的步骤为(c)根据步骤(a)得到的左视点的视差图像I\(Xl,yi)将左视点图像坐标系中的每 一个像素坐标(Xl,Y1)映射至右视点图像坐标系中,得到右视点图像坐标系中对应的映射 点坐标(X' r,y'》,表示公式如下(x' r,y' r) = (X1-Dl(XijY1)jY1)其中,χ' r为映射后像素点水平方向上的坐标,y' r为映射后像素点垂直方向上 的坐标;(d)记录右视点图像IK(xr,yr)中每一个像素位置的映射标志位Fla&(xr,yr), 若步骤(C)得到的映射点坐标(X' r, y' r)在右视点图像区域范围之内,则映射标志位 FlagE(xr, yr) = 1,其他情况下,映射标志位Fla&(xr,yr) = 0,表示公式如下
<formula>formula see original document page 9</formula>通过将左视点像素映射到右视点图像坐标系中的操作,可以建立左右视点立体图 像中像素点从左到右的一个映射关系,而右视点图像中没有建立映射关系的像素点即为左 视点位置不可见的像素点。所述的将右视点图像中在左视点图像中没有对应映射点的像素点提取出来,得到 右视点的残余图像的步骤为(e)根据步骤(d)得到的映射标志位Fla&(\,y》,将右视点图像中没有映射点的 像素点提取出来,得到右视点的残余图像Itoesidual (\,y》,表示公式如下
r^mi r , 、 I1Rixr^yrI FlagR(xr,yr) = 0IRresidual^ yr) = \m f 、厂所述的根据右视点的视差图像,将右视点残余图像中的每一个像素坐标映射至左 视点图像坐标系中,在左视点图像坐标系中的对应像素位置,记录右视点残余图像中对应 像素点的像素值及其在右视点视差图像中的视差值,得到左视点位置的右视点图像中的遮 挡信息的步骤为(f)根据步骤(b)得到的右视点的视差图像DK(Xr,yr)和步骤(d)得到的映射标 志位FlagE(xr, yr),将步骤(e)得到的残余图像IEresidual (xr, yr)中映射标志位FlagE(xr, yr) =0的像素点,映射至左视点图像坐标系中,得到左视点图像坐标系中对应的映射点坐标 (x' i;y'》,表示公式如下(χ' 1; y' = (xr+DE(xr, yr), yr)其中,χ' x为映射后像素点水平方向上的坐标,y' !为映射后像素点垂直方向上 的坐标;(g)记录左视点图像Il(Xl,Y1)中每一个像素位置的映射标志位FlagL(Xl,Y1), 若步骤(f)得到的映射点坐标(χ' y' D在左视点图像区域范围之内,则映射标志位 FlagL(Xl,yi) = 1,其他情况下,映射标志位FlagL (Xl,yi) = 0,其他情况下FlagL(Xl,yi)=0,表示公式如下
<formula>formula see original document page 10</formula>
通过将右视点残余图像映射到左视点图像坐标系中的操作,可以建立左右视点立 体图像中像素点从右到左的一个映射关系,将右视点残余图像中左视点位置不可见的像素 点重新映射到左视点位置。(h)根据步骤(g)得到的映射标志位Fla&(Xl,yi),将步骤(e)得到的右视点残余 图像IKMSidual(Xr,yr)和步骤(b)得到的右视点的视差图像Dk(Xr,yr)映射至左视点图像坐 标系中,得到在左视点图像中不可见但是在右视点中可见的遮挡信息I。。。lusi。n(x,y)和遮挡 信息对应的视差信息D。。。lusi。n(x,y),χ表示像素点水平方向上的坐标,y表示像素点垂直方 向上的坐标,χ的取值为χ = 0,1,2,. . .,H-I,y的取值为y = 0,1,2,· · ·,V-I,表示公式如 下
cdusw r Μ","," 1 255, FlagL{xr+DR{xr,yr),yr) = 0ω…fi(wr)’w = Hf),= 1 。
I 255, FIagL(xr+DR(xr,yr),yr) = 0实施例(1)将图像分辨率为752X480的Racket左右视点立体图像对作为提取遮挡信息 的输入图像。图2(a)即为Racket左视点图像,图2(b)即为Racket右视点图像。(2)以左视点图像为主视点图像右视点图像为辅助视点图像,进行立体匹配,得到 左视点的视差图像。图3(a)即为Racket左视点视差图像。(3)以右视点图像为主视点图像左视点图像为辅助视点图像,进行立体匹配,得到 右视点的视差图像。图3(b)即为Racket右视点视差图像。(4)根据左视点视差图像将左视点图像的像素坐标映射至右视点图像坐标系中, 建立像素点之间从左到右的映射关系,并记录右图像映射标志位,在左图像中存在映射点 的像素其标志位置为1,没有映射点的像素其标志位置为0。(5)根据右图像映射标志位,提取标志位为0的像素即没有映射点的像素,作为右 视点的残余图像。图4即为Racket右视点残余图像。(6)根据右视点视差图像将右视点残余图像的像素坐标映射至左视点图像坐标系 中,建立像素点之间从右到左的映射关系,并记录左图像映射标志位,在右视点残余图像中 存在映射点的像素其标志位置为1,没有映射点的像素其标志位置为0。(7)在左图像映射标志位为1的像素点位置记录其在右视点残余图像中对应像素 点的像素值,得到遮挡信息,并记录右视点视差图像中该对应点的视差值,得到遮挡信息的 视差值。图5(a)即为Racket立体图像对的遮挡信息图像,图5 (b)即为Racket立体图像 对遮挡信息对应的视差图像。
权利要求
一种立体图像对中遮挡信息的提取方法,其特征包括以下步骤(1)对待处理的左右视点立体图像对,先以左视点图像为主视点图像,右视点图像为辅助视点图像进行立体匹配,得到左视点的视差图像,再以右视点图像为主视点图像,左视点图像为辅助视点图像进行立体匹配,得到右视点的视差图像;(2)根据左视点的视差图像,将左视点图像坐标系中的每一个像素坐标映射至右视点图像坐标系中,建立左右图像对中像素坐标之间的对应关系,并记录右视点图像坐标系中每一个像素坐标的映射标志位;(3)将右视点图像中在左视点图像中没有对应映射点的像素点提取出来,得到右视点的残余图像;(4)根据右视点的视差图像,将右视点残余图像中的每一个像素坐标映射至左视点图像坐标系中,在左视点图像坐标系中的对应像素位置,记录右视点残余图像中对应像素点的像素值及其在右视点视差图像中的视差值,得到左视点位置的右视点图像中的遮挡信息。
2.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法,其特征在于所述的 对待处理的左右视点立体图像对,先以左视点图像为主视点图像,右视点图像为辅助视点 图像进行立体匹配,得到左视点的视差图像,再以右视点图像为主视点图像,左视点图像为 辅助视点图像进行立体匹配,得到右视点的视差图像的步骤为(a)以左视点图像IL(Xpy1)为主视点图像,以右视点图像lK(xr,yr)为辅助视点图像进 行立体匹配,得到左视点的视差图像Ov Y1);其中,X1表示左视点图像像素点水平方向上的坐标,力表示左视点图像像素点垂直方 向上的坐标,X1的取值为X1 = 0,1,2,…,H-I, Y1的取值为Y1 = 0,1,2, . . . , V-I, Xr表示 右视点图像像素点水平方向上的坐标,^表示右视点图像像素点垂直方向上的坐标,\的 取值为xr = 0,1,2, ... , H-1, yr的取值为yr = 0,1,2,…,V-I,H表示左右视点图像的水 平分辨率,V表示左右视点图像的垂直分辨率;(b)以右视点图像Ik(Xr,yr)为主视点图像,以左视点图像Ux1J1)为辅助视点图像进 行立体匹配,得到右视点的视差图像Dk(Xr,yr)。
3.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法,其特征在于所述的 根据左视点的视差图像,将左视点图像坐标系中的每一个像素坐标映射至右视点图像坐标 系中,建立左右图像对中像素坐标之间的对应关系,并记录右视点图像坐标系中每一个像 素坐标的映射标志位的步骤为(c)根据步骤(a)得到的左视点的视差图像I\(Xl,yi)将左视点图像坐标系中的每一个 像素坐标(Xl,Y1)映射至右视点图像坐标系中,得到右视点图像坐标系中对应的映射点坐 标(x' r, y'》,表示公式如下(x' r,y' r) = (X1-Dl (xx, Y1), Y1)其中,χ',为映射后像素点水平方向上的坐标,y',为映射后像素点垂直方向上的坐标;(d)记录右视点图像Ik(Xr,yr)中每一个像素位置的映射标志位Fla&(Xr,y》,若步骤 (c)得到的映射点坐标(x' r,y'》在右视点图像区域范围之内,则映射标志位FlagK(Xr, yr) = 1,其他情况下,映射标志位Fla&(\,yr) = 0,表示公式如下<formula>formula see original document page 3</formula>
4.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法,其特征在于所述的 将右视点图像中在左视点图像中没有对应映射点的像素点提取出来,得到右视点的残余图 像的步骤为(e)根据步骤(d)得到的映射标志位FlagK(\,y》,将右视点图像中没有映射点的像素 点提取出来,得到右视点的残余图像Itoesidual (\,y》,表示公式如下<formula>formula see original document page 3</formula>
5.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法,其特征在于所述 的根据右视点的视差图像,将右视点残余图像中的每一个像素坐标映射至左视点图像坐标 系中,在左视点图像坐标系中的对应像素位置,记录右视点残余图像中对应像素点的像素 值及其在右视点视差图像中的视差值,得到左视点位置的右视点图像中的遮挡信息的步骤 为(f)根据步骤(b)得到的右视点的视差图像Dk(^,yr)和步骤(d)得到的映射标志位 FlagR (xr,yr),将步骤(e)得到的残余图像Iliresidual (xr,yr)中映射标志位Fla&(xr,yr) = O的 像素点,映射至左视点图像坐标系中,得到左视点图像坐标系中对应的映射点坐标(x'1’ 0,表示公式如下<formula>formula see original document page 3</formula>其中,x'工为映射后像素点水平方向上的坐标,y'工为映射后像素点垂直方向上的坐标;(g)记录左视点图像IJx1,Y1)中每一个像素位置的映射标志位FlagJx1, yi),若步骤 (f)得到的映射点坐标(x' i;y' J在左视点图像区域范围之内,则映射标志位FlagL(Xl, Y1) = 1,其他情况下,映射标志位FlagJx1, yi) = 0,其他情况下FlagJx1, yi) =0,表示公 式如下<formula>formula see original document page 3</formula>(h)根据步骤(g)得到的映射标志位Fla&(Xl,yi),将步骤(e)得到的右视点残余图像 IEresidual(xr, yr)和步骤(b)得到的右视点的视差图像Dk(Xr,yr)映射至左视点图像坐标系 中,得到在左视点图像中不可见但是在右视点中可见的遮挡信息I。。。lusi。n(x,y)和遮挡信息 对应的视差信息D。。。lusi。n(x,y),χ表示像素点水平方向上的坐标,y表示像素点垂直方向上 的坐标,χ的取值为x = 0,1,2,...,H-l,y的取值为y = 0,1,2,…,V-I,表示公式如下<formula>formula see original document page 3</formula><formula>formula see original document page 4</formula>
全文摘要
本发明公开了一种立体图像对中遮挡信息的提取方法,包括以下步骤(1)对待处理的左右视点立体图像对,分别以左右图像为主视点图像,另一图像为辅助视点图像进行立体匹配,得到左右视差图像;(2)根据左视差图像,将左视点图像坐标系中的像素点映射至右视点图像坐标系中,建立左右图像对中像素点之间的对应关系;(3)提取右视点图像中在左视点图像中没有对应映射点的像素点,作为右视点的残余图像;(4)根据右视差图像,将右视点残余图像中的像素点映射至左视点图像坐标系中,得到左视点位置的右视点图像中的遮挡信息。本发明可以快速准确地获得立体图像对中的遮挡信息,极大地减少了立体图像对的数据量,节约了数据传输的带宽资源。
文档编号H04N13/00GK101808251SQ20101014110
公开日2010年8月18日 申请日期2010年4月6日 优先权日2010年4月6日
发明者席明, 张明, 李东晓, 杨青青, 薛玖飞 申请人:浙江大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1