专利名称：一种立体视频渲染方法及装置的制作方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种立体视频渲染方法及装置。
背景技术：
深度图在立体视频采集、后期制作以及视频二维转三维中都扮演着极其重要的角色。在现有的技术水平下，人们已经有多种渠道可以获得二维视频所对应的深度图，但是在立体视频最终呈现给观众的时候，仍需要有较高质量的不同视角的图像，而利用深度图生成不同视角的图像这一过程，一般称之为基于深度图的立体视频渲染。传统的基于深度的立体视频渲染一般包含以下几个步骤1、根据深度值计算视差值2、根据视差值计算图像的正向坐标3、根据正向坐标对原图进行像素搬移生成目标图像
4、对目标图像中存在的空洞进行检测并填补。 传统的立体视频渲染方法的核心是计算正向坐标并对原图按照正向坐标进行像素搬移，其搬移过程如图I所示。图I中，A'表示原图中的某行像素，B’表示原图中的某行像素经过搬移后的结果，即渲染后的目标图中的某行像素。其中A'中每个像素点上的数字代表了该像素的正向坐标，在渲染过程中，将原图中的该像素按照其正向坐标的指向，复制到目标图的相应位置。由于深度图的不平滑，很容易造成B'中出现空洞。而且对于不同的深度图，空洞出现的位置和大小都不相同。当B'中出现空洞后，一般需要进行空洞检测和空洞填补，但由于空洞出现的随机性，空洞检测和填补的这一步骤在软件和硬件上实现时都需要消耗相当一部分的计算时间和计算资源。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的一个目的在于提出一种无需空洞填补、计算量较小的立体视频渲染方法。本发明的另一目的在于提出一种无需空洞填补、计算量较小的立体视频渲染装置。为了实现上述目的，根据本发明第一方面的立体视频渲染方法包括以下步骤A.输入深度图和视频同步信号，获取深度图中像素(i，j)的深度值Daj),其中i为行坐标，j为列坐标；B.根据深度图，逐行计算所有像素的反向坐标；以及C.根据所有像素的反向坐标，对视频同步信号进行采样取值，以获得立体视频渲染结果，并输出立体视频渲染结果。在本发明立体视频渲染方法的一个实施例中，步骤B进一步包括B1.根据第i行第一列像素(i，D的深度值D (i，I)计算第i行全局偏移量OfTseti ;和B2.根据第i行各个元素(i，j)的深度值D (i，j)和第i行全局偏移量OfTseti迭代地计算第i行各个元素(i，j)的反向坐标C(i, j)。在本发明立体视频渲染方法的一个实施例中，第i行全局偏移量Offseti的计算公式为=Offseti=-Dtia^discale,其中discale为视差调节参数。
在本发明立体视频渲染方法的一个实施例中，步骤B2进一步包括B21.根据第i行全局偏移量Offseti,计算第i行第一列像素(i，I)的反向坐标C(i,D JPB22.根据第i行中第j_l列像素的反向坐标Caj-D,第i行中第j列像素的深度值D 以及第i行全局偏移量Offseti,计算第i行中第j列像素的反向坐标C&J)。在本发明立体视频渲染方法的一个实施例中，第i行第一列像素的反向坐标C(i,D的计算公式为Cai) = -Offseti。在本发明立体视频渲染方法的一个实施例中，第i行中第j列像素的反向坐标C(i,j)的计算公式为若j-discale*D(ijJ)+Offseti<C(ijJ_1)则C (i, j)=C(i, j—D+1-S ；若C(i,贝[I C1 h ;) = (I — -7—, i, + ——(i - discale * D(l + Offset ,) + 1- S t 若
权利要求
1.一种立体视频渲染方法，其特征在于，包括以下步骤 A.输入深度图和视频同步信号，获取所述深度图中像素(i，j)的深度值Daj),其中i为行坐标，j为列坐标； B.根据所述深度图，逐行计算所有像素的反向坐标；以及 C.根据所述所有像素的反向坐标，对所述视频同步信号进行采样取值，以获得立体视频渲染结果，并输出所述立体视频渲染结果。
2.根据权利要求I所述的立体式视频渲染方法，其特征在于所述步骤B进一步包括 BI.根据第i行第一列像素(i，l)的深度值D (i，I)计算第i行全局偏移量Offseti;和 B2.根据第i行各个元素(i，j)的深度值D(i，j)和所述第i行全局偏移量OfTseti迭代地计算第i行各个元素(i，j)的反向坐标C(i，j)。
3.根据权利要求2所述的立体式视频渲染方法，其特征在于所述第i行全局偏移量Offseti的计算公式为Affseti=-DaD^discale,其中discale为视差调节参数。
4.根据权利要求3所述的立体式视频渲染方法，其特征在于所述步骤B2进一步包括 B21.根据所述第i行全局偏移量Offseti,计算第i行第一列像素(i，I)的反向坐标Caa);和 B22.根据第i行中第j-1列像素的反向坐标Ca^)，第i行中第j列像素的深度值D(i,j),以及所述第i行全局偏移量Offseti,计算所述第i行中第j列像素的反向坐标Qm)。
5.根据权利要求4所述的立体式视频渲染方法，其特征在于所述第i行第一列像素的反向坐标Cai)的计算公式为=CaD=-Offsetitj
6.根据权利要求4所述的立体式视频渲染方法，其特征在于所述第i行中第j列像素的反向坐标Caj)的计算公式为若 j_discale*D(i, j+OfTseti<C(i, j—1)。则=C(Lj)=C(i,j-1)1-S ； 若 C (i, J-1)<j-discale*D(ij J)+0ffseti<C(ij j^d+M, JjllJ
7.根据权利要求I所述的立体式视频渲染方法，其特征在于所述采样取值的过程为 若所述像素(i，j)的反向坐标C(i,j)为整数，则直接采样原图中第i行第C(i,」)列像素(i,C(ijJ))的信息； 若所述像素(i，j)的反向坐标C(i,j)为整数为浮点数，则取第i行第C(i,」)相邻整数列的像素的信息，按照比例进行插值。
8.一种立体视频渲染装置，其特征在于，包括以下部分 输入模块，用于输入视频同步信号和深度图； 深度值获取模块，用于获取所述深度图中像素(i，j)的深度值D^，其中i为行坐标，j为列坐标；反向坐标获取模块，用于获取所有像素的反向坐标； 采样取值模块，用于根据所述所有像素的反向坐标，从所述视频同步信号中进行像素采样取值；和 输出模块，用于在完成所有像素的所述像素采样取值操作后，输出立体视频渲染结果。
9.根据权利要求8所述的立体式视频渲染装置，其特征在于所述反向坐标获取模块进一步包括 全局变量计算模块，用于根据第i行第一列像素(i，D的深度值]^:)计算第i行全局偏移量Offseti ;和 反向坐标计算模块，用于根据第i行各个元素(i，j)的深度值D(m)和所述第i行全局偏移量OffSeti迭代地计算第i行各个元素(i，j)的反向坐标C&j)。
10.根据权利要求8所述的立体式视频渲染装置，其特征在于所述第i行全局偏移量Offseti的计算公式为Affseti=-Da^discaie,其中discale为视差调节参数。
11.根据权利要求10所述的立体式视频渲染装置，其特征在于所述反向坐标计算模块进一步包括 首列像素反向坐标计算模块，用于根据所述第i行全局偏移量OfTseti,计算第i行第一列像素(i，D的反向坐标C(i,D ;和 其他列像素反向坐标计算模块，用于根据第i行中第j_l列像素的反向坐标第i行中第j列像素的深度值D (i,j)，以及所述第i行全局偏移量Offseti,计算所述第i行中第j列像素的反向坐标C(i,j.)。
12.根据权利要求11所述的立体式视频渲染装置，其特征在于所述第i行第一列像素的反向坐标Cai)的计算公式为Cai) = -Offset^
13.根据权利要求11所述的立体式视频渲染装置，其特征在于所述第i行中第j列像素的反向坐标C(i,j5的计算公式为若
14.根据权利要求8所述的立体式视频渲染装置，其特征在于所述采样取值模块中， 若所述像素(i，j)的反向坐标C(i,j)为整数，则直接采样原图中第i行第C(i,」)列像素(i,C(ijJ))的信息； 若所述像素(i，j)的反向坐标C(i,j)为整数为浮点数，则取第i行第C(i,」)相邻整数列的像素的信息，按照比例进行插值。
全文摘要
本发明提出一种立体视频渲染方法及装置，该方法包括以下步骤输入深度图和视频同步信号，获取深度图中各像素的深度值；根据深度图，逐行计算所有像素的反向坐标；以及根据所有像素的反向坐标，对视频同步信号进行采样取值，以获得立体视频渲染结果，并输出立体视频渲染结果。根据本发明实施例的方法，可以免除渲染后形成空洞，省却了空洞检测和填充的步骤，计算量较小，提高了渲染处理速率，同时降低了对硬件资源的要求。该方法对于深度图的平滑性没有严格的要求，既可接受经过滤波之后的深度图，也可以接受边缘突变较大的深度图，应用范围较广。
文档编号H04N13/00GK102724526SQ20121020065
公开日2012年10月10日 申请日期2012年6月14日 优先权日2012年6月14日
发明者季向阳, 戴琼海, 曹汛, 郝伟 申请人:清华大学