一种多视点立体视频转换的方法及装置的制造方法
【专利说明】一种多视点立体视频转换的方法及装置 【技术领域】
[0001] 本发明涉及计算机视觉和视频处理技术领域，尤其涉及一种多视点立体视频转换 的方法及装置。 【【背景技术】】
[0002] 多视点立体视频是当前计算机视觉、图形学、图像视频处理等学科领域的研究热 点，被广泛应用于影视制作、文物保护、军事模拟等领域。多视点立体视频在空域和时域上 具备大量的冗余信息，可以用于显著提高平面视频的重建分辨率。因此，如何有效的从多视 点立体视频中提取超分辨率的平面视频，是一个函待解决的关键问题。
[0003] 现有的超分辨率视频重建技术多采用数学方程组来表示观测模型。其线性空域观 测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样 以及其它复杂的降质模型等内容。该重建技术主要包括非均匀空域样本内插法、迭代反投 影方法、集合理论复原方法、统计复原方法、混合ML/MAP/P0CS法、自适应滤波/维纳滤波/ 卡尔曼滤波方法等。 【
【发明内容】
】
[0004] 现有从多视点立体视频中提取超分辨率平面视频的方法多采用直接截取某一视 点的视图，然后通过插值的方法将该视点视图放大到原视频尺寸。该方法转换出的平面视 频不仅清晰度不足，并且造成了空域和时域信息上的浪费。
[0005] 为了克服现有技术的不足，本发明提供了一种多视点立体视频转换的方法及装 置，以充分利用空域和时域信息，提高转换得到的平面视频的清晰度。
[0006] -种多视点立体视频转换的方法，包括如下步骤：
[0007] Sl，选取立体视频第i帧所有视点的图像说(nii, mi:),第i-Ι帧参考图像 沾(In1,ra2)和第i+Ι帧参考图像成I1(Hihm2)作为第i帧的输入图像；其中，k表示第i帧 视频的视点编号，K表示立体视频的视点个数，mdP m2表示图像的坐标，0彡k彡K-I ;
[0008] S2,计算所述第i帧的输入图像中的每个图像分别相对于第i帧参考图像的像素 位移量其中，X。和y。表示像素位移量的坐标，0彡k彡K+1 ;
[0009] S3,对所述第i帧参考图像进行插值，使所述第i帧参考图像在X和Y方向扩大a 倍，得到第i帧的待重建图像的初始估计图像§，
[0010] S4,根据第i帧的输入图像、像素位移量(Xci,y〇)i和a，对待重建图像的当前估计 图像右进行降质处理，得到分别对应K+2幅输入图像的K+2幅模拟输入图像
[0011] S5,计算模拟输入图像成"0^1? m2)与输入图像成(In1, m2)的误差值
[0012]
[0013] 若误差值:s|小于设定的误差阈值，则将待重建图像的当前估计图像作为待重建 图像的最终图像，否则，将待重建图像的当前估计图像更新为iCl·，并重新执行步骤S4 ; 其中，M1X M2表示图像的分辨率。
[0014] 在一个实施例中，
[0015] 在步骤S5中，利用输入图像4(mi,m2)与模拟输入图像的差值数据 % (叫,m2)将待重建图像的当前估计图像更新为Ui,其中，
[0016]
[0017] 在一个实施例中，
[0018] 将所述差值数据在" Cm1M2)反投影到待重建图像的当前估计图像仏得到/i。
[0019] 在一个实施例中，
[0020] 在步骤S2中，利用频域位移估计算法计算所述第i帧的输入图像中的每个图像分 别相对于第i帧参考图像的像素位移量心
[0021] 在一个实施例中，
[0022] 在步骤S3中，对所述第i帧参考图像进行双线性插值。
[0023] 本发明还提供了一种多视点立体视频转换的装置，包括：
[0024] 第一处理单元，用于选取立体视频第i帧所有视点的图像(ITl1, Hl2)、第i-Ι帧参 考图像沒和第i+Ι帧参考图像成+I(mi.m2)作为第i帧的输入图像；其中，k表示 第i帧视频的视点编号，K表示立体视频的视点个数，mdPm2表示图像的坐标，0彡k彡K-I ;
[0025] 第二处理单元，计算所述第i帧的输入图像中的每个图像分别相对于第i帧参考 图像的像素位移量(X(vyc)L，其中，X。和y。表示像素位移量的坐标，0彡k彡κ+1;
[0026] 第三处理单元，对所述第i帧参考图像进行插值，使所述第i帧参考图像在X和Y 方向扩大a倍，得到第i帧的待重建图像的初始估计图像f :;
[0027] 第四处理单元，根据第i帧的输入图像、像素位移量(Xt),y〇)i和a，对待重建图像的 当前估计图像g进行降质处理，得到分别对应K+2幅输入图像MOn 1,1?}的K+2幅模拟输 入图像5【"(叫,爪2):
[0028] 第五处理单元，计算模拟输入图像与输入图像的误差值
[0029]
[0030] 若误差值&小于设定的误差阈值，则将待重建图像的当前估计图像#作为待重建 图像的最终图像，否则，将待重建图像的当前估计图像#更新为&1，并重新执行步骤S4 ; 其中，M1X M2表示图像的分辨率。
[0031] 在一个实施例中，
[0032] 所述第五处理单元还用于，利用输入图像甙(叫旧2)与模拟输入图像 Sil(叫,吨）的差值数据^(叫,m2)将待重建图像的当前估计图像沒更新为，其中，
[0033]
[0034] 在一个实施例中，
[0035] 所述第五处理单元还用于，将所述差值数据在" (WlWn2)反投影到待重建图像的 当前估计图像/彳，得到Citi
[0036] 在一个实施例中，
[0037] 所述第二处理单元还用于，利用频域位移估计算法计算所述第i帧的输入图像中 的每个图像分别相对于第i帧参考图像的像素位移量(Xmy 0)L。
[0038] 在一个实施例中，
[0039] 所述第三处理单元还用于，对所述第i帧参考图像进行双线性插值。
[0040] 本发明的有益效果是：通过利用立体视频第i帧所有视点的图像5(〇^,ηι2)..第 i-Ι帧参考图像沒和第i+Ι帧参考图像成M(Hi^m2)作为第i帧的输入图像，以此 获取的平面视频充分利用了空域和时域上的信息，分辨率、清晰度大大提高。 【【附图说明】】
[0041] 图1是本发明一种实施例的多视点立体视频转换的方法的流程图；
[0042] 图2是本发明一种实施例的多视点立体视频转换的方法中的差值示意图。 【【具体实施方式】】
[0043] 以下对发明的较佳实施例作进一步详细说明。
[0044] 如图1所示，一种实施例的多视点立体视频转换的方法，本实施例使用双目立体 视频重建超分辨率平面视频，双目立体视频各视点分辨率为[256 X 256]，重建倍数为4。对 于视频的每一帧图像依次进行如下步骤：
[0045] 步骤S1 :对于第i帧图像，选择中间视点图像作为参考图像，即M (m;, m 2); 并选择5l：(mi<m2) (k = 0, 1)以及第i-Ι帧参考图像W(mi，m2)和第i+Ι帧参考图像 作为第i帧的输入图像（视频的首帧与末帧各缺少一张输入图像）。
[0046] 步骤S2 :应用频域位移估计法，估计出第i帧的所有输入图像与其参考图像的子 像素位移量= 0…3)。
[0047] 步骤S3 :按照下述公式对参考图像进行双线性插值，使