专利名称：一种适用于3d电视的dibr系统的制作方法
技术领域：
本发明属于3D电视视频后处理技术领域，更为具体地讲，涉及ー种适用于3D电视的DIBR系统
背景技术：
基于深度图像绘制(D印th-Image-Based Rendering，简称DIBR)技术是3D电视系统中的关键技木，引起了很多研究机构的关注。DIBR系统主要完成的功能是利用參考图像及其对应的深度图像合成新视点的视图，即目标图像(Destination Image)，从而构成立体图像对(stereo pair)，其所得到的目标图像是一系列算法运行后的結果。传统的3D视频信号传输时需要传送左眼和右眼两路视频流，而基于DIBR技术的 3D电视系统只需要传输一路视频流及对应的深度信息，从而可以减少传输带宽。同时，采用 DIBR技术能够方便地实现2D-3D视频转换，方便地支持各种自由立体显示器。正因为这些优点，目前很多科研院所都在研究DIBR技木。例如，Nerola系统便是目前已商业化的带有 DIBR功能的3D电视系统。然而目前的DIBR系统在生成目标图像吋，会产生空洞(Holes)和褶皱(R)Ids)现象。消除空洞和褶皱是提高合成视图的质量、使其走向实用化的关键。
发明内容
本发明的目的在于克服现有技术的不足，提供ー种适用于3D电视的DIBR系统，该系统能较好地减少因空洞和褶皱带来的伪像。为实现上述目的，本发明适用于3D电视的DIBR系统，其特征在干，包括一參数设置模块，用于存放三维图像变换和空洞填充所需的參数，即目标图像的序号η，η为整数，取值范围为[_4，4]，η = 0表示參考视图本身，η < 0表示目标图像位于參考图像左侧，为左视图；η > 0表示目标图像位于參考图像右側，为右视图；比例因子r， 其取值范围为W，1M2]；零视差平面所对应的灰度值Dzps，其取值范围是W，255]；阈值点数len_bigh0le，其取值范围是W，7]；膨胀像素点个数1，其取值范围是W，7]；一画家算法模块，接目标图像序列号n，用于确定三维图像变换时，对參考图像的扫描顺序；η <0表示目标图像位于參考图像左側，η > 0表示目标图像位于參考图像右侧；当目标图像位于參考图像右侧时，扫描顺序为从左到右，从上到下；当目标图像位于參考图像左侧时，扫描顺序为从右到左，从上到下；三维图像变换模块，用于根据參数设置模块存储的參数、扫描顺序和深度图像，对输入的參考图像Iref进行三维变换依据画家算法模块确定的扫描順序，遍历參考图像Irrf中的像素点，并进行ー下处理，对于參考图像しf中第Vref行第Uref列的像素点Uref,首先依据公式(1)计算其在目标图像Ides中对应的匹配像素点Udes ；其中γ
UcteS_Uref=n· -7ZZ7 ■ (D,pS - D(Uref , Vref )),，、4096( 1 )
^des ^ref
,其中，Uref,、ef分别为图像像素坐标系中參考图像Iref像素点的水平坐标和垂直坐标，Udes, Vdes分别为图像像素坐标系中目标图像Ides中对应參考图像像素点的水平坐标， D(uref, vref)表示深度图像中像素点(uref，vref)的灰度值；然后，像素点Uref的像素值拷贝到像素点Udes，将视差图M中的元素(uref，vref)置
ノ、] Udes~Uref ；最后得到目标图像Ides及其视差图M ；一中值滤波模块，用于接收三维图像变换输出目标图像Ides及其视差图M，然后进行以下处理⑴、对视差图M进行中值滤波；⑵、根据滤波后的视差图M，得到目标图像Ides 像素点在參考图像Iref上的匹配点坐标；C3)、判断匹配点坐标是否落在參考图像Iref内，如果是，则将參考图像上匹配点坐标处的像素值拷贝到目标图像Ides对应位置，否则，不处理；一空洞填充模块，用于接收中值滤波子模块输出的视差图M和目标图像Ides井根据画家算法模块输出的扫描顺序及參数设置模块中的參数，填充目标图像Ides中存在的空洞(1)、检测较大空洞按行以从左到右的順序遍历视差图M，若连续出现阈值点数lerubighole个及其以上的空洞点，则认为此处是较大空洞，记录下该较大空洞的起点和终点；O)、膨胀较大空洞根据画家算法模块输出的扫描顺序，区分目标图像Ides是左视图还是右视图，如果是左视图，执行步骤a)；如图是右视图，执行步骤b)；a)、首先区分较大空洞边缘区域是背景像素点还是前景像素点以视差图M中的较大空洞区域为中心，从左向右检测较大空洞右边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较小值跃变到较大值时，较大空洞右边缘区域为背景像素点，并记录下该较大视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较大值跃变到较小值，或者视差值一致没有跃变时，较大空洞右边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；然后膨胀空洞边缘若较大空洞右边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去1个像素点和终点横坐标加上1个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞右边缘区域为前景像素点，则较大空洞的左边缘为匹配误差区域，只膨胀较大空洞的左边缘，将较大空洞的起点横坐标减去1个像素点和终点维持不变作为目标图像中需要填充的空洞的起点和终点；b)、首先区分较大空洞边缘区域是背景像素点还是前景像素点以视差图中的较大空洞区域为中心，从右向左检测较大空洞左边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变吋，并且跃变是从较大值跃变到较小值时，较大空洞左边缘区域为背景像素点，并记录下该较小视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较小值跃变到较大值，或者视差值一致没有跃变，较大空洞左边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；然后膨胀较大空洞边缘若较大空洞左边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去1个像素点和终点横坐标加上1个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞左边缘区域为前景像素点，则较大空洞的右边缘为匹配误差区域，只膨胀较大空洞的右边缘，将较大空洞的起点维持不变和终点横坐标加上1个像素点作为目标图像中需要填充的空洞的起点和终点；在本步骤(2)中，膨胀的像素点个数1为误匹配像素点的个数，与深度图像估计的准确度有关，可根据生成的目标图像质量来调节，取值范围为0-7 ；(3)、填充较大空洞将目标图像Ides中需要填充的空洞的起点、终点横坐标均减去前景像素点的视差值，得到需要在參考图像Iref中复制的像素点区域，然后，从參考图像中复制该区域的像素点填充到目标图像Ides中需要填充的空洞区域，得到最终的目标图像Ides。本发明的发明目的是这样实现的本发明适用于3D电视的DIBR系统，通过參数设置模块将三维图像变换和空洞填充所需的參数存储起来，然后通过画家算法模块得到三维图像变换的扫描，即目标图像的绘制顺序，以避免目标图像中出现的褶皱现象；三维图像变换模块根据參数设置模块存储的參数以及扫描顺序进行三维图像变换，得到目标图像及其视差图；中值滤波模块对视差图进行滤波，然后依据校正后的视差图对目标图像的匹配误差进行校正，最后，空洞填充模块依据校正视差图，对目标图像进行空洞填充，得到空洞和褶皱减少的目标图像。
图1是本发明适用于3D电视的DIBR系统一具体实施方式
原理框图。
具体实施例方式下面结合附图对本发明的具体实施方式
进行描述，以便本领域的技术人员更好地理解本发明。需要特別提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容吋，这些描述在这里将被忽略。图1是本发明适用于3D电视的DIBR系统一具体实施方式
原理框图；如图1所示，在本实施例中，适用于3D电视的DIBR系统包括深度预处理模块1、參数设置模块2、画家算法模块3、三维图像变换模块4、中值滤波模块5以及空洞填充模块6。深度预处理模块1用于对深度图像D进行平滑处理，以减小目标图像的空洞，其处理方式可以有多种方法，如4邻域计算等。參数设置模块2功能是完成整个DIBR系统，包括各个模块參数设置。本发明的 DIBR系统之所以将所有的參数放在一个模块进行设置，是因为这有利于硬件实现时參数对应的寄存器地址的分配。每次绘制新的目标图像，DIBR系统都会先调用參数设置模块。此时用户可以将參数设置成上次相同的值，即保持參数值不变，也可以根据需要更改某些參数值。对同一幅目标图像，它的每个像素点所使用的參数都是ー样的；而不同的目标图像， 所使用的參数值可以不相同。參数设置模块2存放三维图像变换所需的參数目标图像的序号η，η为整数，取值范围为[_4，4]，n = 0表示參考视图本身，η <0表示目标图像位于參考图像左侧，为左视图；η > 0表示目标图像位于參考图像右側，为右视图；比例因子r，其取值范围为
；零视差平面所对应的灰度值Dzps，其取值范围是W，255]。空洞填充所需的參数阈值点数lerubighole，其取值范围是W，7]；膨胀像素点个数1，其取值范围是W，7]；视差值跃变阈值Sharp_th，该值用于在空洞填充中判断较大值跃变到较小值或较小值跃变到较大值，超过该视差值跃变阈值Sharp_th则认为有跃变。在本发明中，三维图像变换公式为
权利要求
1. ー种适用于3D电视的DIBR系统，其特征在干，包括一參数设置模块，用于存放三维图像变换和空洞填充所需的參数，即目标图像的序号 η，η为整数，取值范围为[_4，4]，n = 0表示參考视图本身，η < 0表示目标图像位于參考图像左侧，为左视图；η >0表示目标图像位于參考图像右侧，为右视图；比例因子r，其取值范围为W，1M2]；零视差平面所对应的灰度值Dzps，其取值范围是
；阈值点数len_ bighole，其取值范围是W，7]；膨胀像素点个数1，其取值范围是W，7]；一画家算法模块，接目标图像序列号n，用于确定三维图像变换时，对參考图像的扫描順序；η < 0表示目标图像位于參考图像左側，η > 0表示目标图像位于參考图像右侧；当目标图像位于參考图像右侧时，扫描顺序为从左到右，从上到下；当目标图像位于參考图像左侧时，扫描顺序为从右到左，从上到下；三维图像变换模块，用于根据參数设置模块存储的參数、扫描顺序和输入的深度图像， 对输入的參考图像し行三维变换依据画家算法模块确定的扫描順序，遍历參考图像Im中的像素点，并进行一下处理， 对于參考图像Iref中第Vref行第Uref列的像素点uref，首先依据公式(1)计算其在目标图像 Ides中对应的匹配像素点Udes ；其中
全文摘要
本发明公开了一种适用于3D电视的DIBR系统，通过参数设置模块将三维图像变换和空洞填充所需的参数存储起来，然后通过画家算法模块得到三维图像变换的扫描，即目标图像的绘制顺序，以避免目标图像中出现的褶皱现象；三维图像变换模块根据参数设置模块存储的参数以及扫描顺序进行三维图像变换，得到目标图像及其视差图；中值滤波模块对视差图进行滤波，然后依据校正后的视差图对目标图像的匹配误差进行校正，最后，空洞填充模块依据校正视差图，对目标图像进行空洞填充，得到空洞和褶皱减少的目标图像。
文档编号H04N13/00GK102547338SQ20111039702
公开日2012年7月4日 申请日期2011年12月5日 优先权日2011年12月5日
发明者刘军令, 刘然, 刘阳, 甘平, 田逢春, 罗雯怡, 许小艳, 谢辉, 谭迎春, 邰国钦, 郭瑞丽, 鲁国宁, 黄扬帆 申请人:四川虹微技术有限公司, 重庆大学