基于相位的双目转多目虚拟视图合成方法
【技术领域】
[0001] 本发明涉及计算机视觉及计算机图形学技术领域，特别涉及一种基于相位的双目 转多目虚拟视图合成方法。
【背景技术】
[0002] 裸眼多视点3D技术摆脱了传统立体显示中必须佩带眼镜的束缚，观众可以在较 大角度范围内在不同方位自由的观看不同视角的立体图像，可以说是目前最前沿的一种立 体显示技术。而当前制约裸眼3D发展的一个重要因素是片源的稀缺，现阶段市场上主流的 3D片源都是根据快门式或偏光式双目技术制作的，这些片源需要重新制作或者重构转换成 多视角片源才能应用到裸眼3D设备上，无形中增加了大量的成本。因此解决显示片源的问 题是拓展裸眼3D显示器的应用领域需要解决的首要问题。
【发明内容】
[0003] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[0004] 为此，本发明的目的在于提供一种基于相位的双目转多目虚拟视图合成方法，该 方法能够更好的进行外推插值合成新视点以及对散焦模糊、运动模糊、含有高反射性物体 的图片具有良好的合成效果。
[0005] 为了实现上述目的，本发明的实施例提出了一种基于相位的双目转多目虚拟视图 合成方法，包括以下步骤：采集双目图像，其中，所述双目图像位于RGB色彩空间，所述双目 图像包括左图像和右图像；将所述双目图像变换至YIQ色彩空间以得到变换后的左图像和 右图像；分别将所述变换后的左图像和右图像进行可控复数金字塔分解；计算所述变换后 的左图像和右图像分解后每个点对应的相位差；根据所述每个点对应的相位差进行相位插 值操作以得到相位插值图像序列，并对所述相位插值图像序列进行反混叠滤波处理，以重 构并恢复图像；将重构并恢复的图像转换至所述RGB色彩空间。
[0006] 根据本发明实施例的基于相位的双目转多目虚拟视图合成方法，通过可控金字塔 分解得到不同频带对应的空间场进行相位插值变换，通过滤波操作减弱噪声和振铃效应， 逐级重构金字塔产生新的视角的图像。跟传统的基于视图变形的算法和基于深度的算法 比较能够更好的外推插值合成新视点以及对散焦模糊、运动模糊的图片具有良好的合成效 果。
[0007] 另外，根据本发明上述实施例的基于相位的双目转多目虚拟视图合成方法还可以 具有如下附加的技术特征：
[0008] 在一些示例中，将位于RGB色彩空间的所述双目图像变换至YIQ色彩空间的变换 式如下：
[0009]
[0010] 在一些示例中，所述分别将所述变换后的左图像和右图像进行可控复数金字塔分 解，进一步包括：
[0011] 设输入的所述双目图像为I，将所述双目图像I作DFT变换得到f，将f分别作低 通滤波和高通滤波得到"（ω)和&(?)，其中低通滤波器和高通滤波器表达式如下：
[0012]
[0013]
[0014] 其中L(r)是低通滤波器，H(r)是高通滤波器，r是?以中心点为原点的极坐标系 的归一化长度；
[0015] 对得到的"（ω)用K-I阶方向导数算子滤波器得到K个方向的滤波器，所述滤波 器是关于原点对称的，K阶方向导数滤波器公式如下：
[0016]
[0017] 其中，Gk(r)只在〇<外￥<冬范围内取值，将G。到 Gki分别乘以该层的低通滤 K 1 波器和高通滤波器得到带通滤波器A。到A K i，具体为：
[0018] Ak= G k (r) L (r) H (r) = L0 (ω) Gk (r) H (r) (k = 0,. . . , k-1)；
[0019] 将"（ω)进行倍数为2的降采样，由于"（ω)是频域图像，降采样即取以中心点 为中心，长宽分别为"（ω) -半的矩形，并对降采样后的图像进行下一层的低通滤波得到 L1 (ω )，依次执行上述步骤以构造出金字塔结构。
[0020] 在一些示例中，所述计算所述变换后的左图像和右图像分解后每个点对应的相位 差，进一步包括：从最低层开始找到相位异常点，对次低层各个方向均判断找到对应中心距 离2倍的点进行修正，从次低层开始各个方向分别对应逐级向上找到对应的距离中心2倍 距离的点进行修正直到金字塔的顶层。
[0021 ] 在一些示例中，根据所述每个点对应的相位差进行相位差值操作以得到相位插值 图像序列，进一步包括：
[0022] 傅里叶光学理论中平面复场的傅里叶变换后的分量可以看作是沿不同方向离开 该平面传播的平面波，设平面上复场为U(x，y)，对应傅里叶域为A(fx，fY)，则二者关系如 下：
[0023]
[0024] 以?代表二维离散空间变量（X，y)，以;?代表二维离散频域变量（fx，f Y)，其中（X， y)和（fx，fY)均为实数向量；
[0025] 将傅里叶变换后的频域图像截半反变换回来以构建空间复数场，具体如下：
[0026]
[0027] 其中/(7)是/(》傅里叶变换式冰7)截取一半信息得到的，则实际是复函 数，即每个实数对；对应的值为复数，假设左图像为/_(〗），右图像为/$+">,则左、右图像 离散化后的表达式分别如下所示：
[0028]
[0029]
[0030] 利用可控复数金字塔分解将/Ol+Δ?分解为各个频带以及不同方向上对应的空 间场分量，则对于金字塔对应频率为;F5方向为Θ的子带的空间场可以表示为：
[0031]
[0032] 其中Anglemask(Q)是对应方向滤波器，由于每个频带各个方向的处理方法相同 且重构时各方向对应的空间场是简单求和相加，因此不区分方向公式可写作：
[0033]
[0034] 根据左、右图像的偏置Δ/?对右图加入偏置,其中α是偏置系数，理论上可以 取到整个实数域，因此加入相位偏移量后新的空间场可以表示为：
[0035]
[0036] 在一些示例中，所述对所述相位插值图像序列进行反混叠滤波处理，以重构并恢 复图像，进一步包括：
[0037] 用S(x，y，α )表示右图像偏移量为α的空间复数场，为了反混叠滤波，对相位偏 移为α的图像需要与其附近的图像以某一系列权重系数进行滤波，假设滤波器为F，则滤 波后的图像可以表示为：
[0038]
[0039] 上述公式可以继续变换为：
[0040]
[0041] 其中代表右图像相位偏移量为α的图像空域复数场，是右图像的 空域复数场，采用高斯滤波器：
[0042]
[0043]
[0044]
[0045] 其中δ是修正后的可控复数金字塔每个点对应的相位差。
[0046] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0047] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变 得明显和容易理解，其中：
[0048] 图1是根据本发明一个实施例的基于相位的双目转多目虚拟视图合成方法的流 程图；
[0049] 图2是根本发明一个具体实施例的右图像取值对图像在空间中的位置示意图。
【具体实施方式】
[0050] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0051] 以下结合附图描述根据本发明实施例的基于相位的双目转多目虚拟视图合成方 法。
[0052] 图1是根据本发明一个实施例的基于相位的双目转多目虚拟视图合成方法的流 程图。如图1所示，该方法包括以下步骤：
[0053] 步骤SlOl :采集双目图像，其中，双目图像位于RGB色彩空间，双目图像包括左图 像和右图像。
[0054] 步骤S102 :将双目图像变换至YIQ色彩空间以得到变换后的左图像和右图像。具 体地说，在本发明的一个实施例中，将位于RGB色彩空间的双目图像变换至YIQ色彩空间的 变换式力m .
[0055]
[0056] 步骤S103 :分别将变换后的左图像和右图像进行可控复数金字塔分解。其中，可 控复数金字塔分解是根据可控金字塔分解发展而来的。可控金字塔变换是对图片在空间尺 度、方向的过完备分解与重构的变换。变换的基函数是类小波函数及高斯窗口限制的正弦 函数，这些基函数都是可控的，因此被称为可控金字塔变换。输入图像