偏移滤波后的空域复数场，再通过可控复数金字塔重构就得到了需要的 新的视角的虚拟视图。
[0097] 步骤S106 :将重构并恢复的图像转换至RGB色彩空间。
[0098] 综上，根据本发明实施例的基于相位的双目转多目虚拟视图合成方法，通过可控 金字塔分解得到不同频带对应的空间场进行相位插值变换，通过滤波操作减弱噪声和振铃 效应，逐级重构金字塔产生新的视角的图像。跟传统的基于视图变形的算法和基于深度的 算法比较能够更好的外推插值合成新视点以及对散焦模糊、运动模糊的图片具有良好的合 成效果。
[0099] 在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、 "厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底" "内"、"外"、"顺时 针"、"逆时针"、"轴向"、"径向"、"周向"等指示的方位或位置关系为基于附图所示的方位或 位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0100] 此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或 者隐含地包括至少一个该特征。在本发明的描述中，"多个"的含义是至少两个，例如两个， 三个等，除非另有明确具体的限定。
[0101] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连 接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内 部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员 而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0102] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征"上"或"下"可以 是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或仅仅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可以是 第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0103] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任 一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
[0104] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种基于相位的双目转多目虚拟视图合成方法，其特征在于，包括以下步骤： 采集双目图像，其中，所述双目图像位于RGB色彩空间，所述双目图像包括左图像和右 图像； 将所述双目图像变换至YIQ色彩空间以得到变换后的左图像和右图像； 分别将所述变换后的左图像和右图像进行可控复数金字塔分解； 计算所述变换后的左图像和右图像分解后每个点对应的相位差； 根据所述每个点对应的相位差进行相位插值操作以得到相位插值图像序列，并对所述 相位插值图像序列进行反混叠滤波处理，以重构并恢复图像； 将重构并恢复的图像转换至所述RGB色彩空间。2. 根据权利要求1所述的基于相位的双目转多目虚拟视图合成方法，其特征在于，将 位于RGB色彩空间的所述双目图像变换至HQ色彩空间的变换式如下：3. 根据权利要求1所述的基于相位的双目转多目虚拟视图合成方法，其特征在于，所 述分别将所述变换后的左图像和右图像进行可控复数金字塔分解，进一步包括： 设输入的所述双目图像为I，将所述双目图像I作DFT变换得到J,将f分别作低通滤 波和高通滤波得到"（co)和&(?)，其中低通滤波器和高通滤波器表达式如下：其中L(r)是低通滤波器，H(r)是高通滤波器，r是J以中心点为原点的极坐标系的归 一化长度； 对得到的L。（co)用K-1阶方向导数算子滤波器得到K个方向的滤波器，所述滤波器是 关于原点对称的，K阶方向导数滤波器公式如下：其中，Gk(r)只在〇<f范围内取值，将G。到GKi分别乘以该层的低通滤波器 和高通滤波器得到带通滤波器A。到AKi，具体为： Ak=Gk(r)L(r)H(r) =L〇(〇)Gk(r)H(r)(k= 0, ???,k-1)； 将"（co)进行倍数为2的降采样，由于"（co)是频域图像，降采样即取以中心点为 中心，长宽分别为"（co) -半的矩形，并对降采样后的图像进行下一层的低通滤波得到 Q(?)，依次执行上述步骤以构造出金字塔结构。4. 根据权利要求1所述的基于相位的双目转多目虚拟视图合成方法，其特征在于，所 述计算所述变换后的左图像和右图像分解后每个点对应的相位差，进一步包括： 从最低层开始找到相位异常点，对次低层各个方向均判断找到对应中心距离2倍的点 进行修正，从次低层开始各个方向分别对应逐级向上找到对应的距离中心2倍距离的点进 行修正直到金字塔的顶层。5. 根据权利要求1所述的基于相位的双目转多目虚拟视图合成方法，其特征在于，根 据所述每个点对应的相位差进行相位插值操作以得到相位插值图像序列，进一步包括： 傅里叶光学理论中平面复场的傅里叶变换后的分量可以看作是沿不同方向离开该平 面传播的平面波，设平面上复场为U(x，y)，对应傅里叶域为A(fx，fY)，则二者关系如下：以5代表二维离散空间变量（x，y)，以了代表二维离散频域变量（fx，fY)，其中（x，y) 和（fx，fY)均为实数向量； 将傅里叶变换后的频域图像截半反变换回来以构建空间复数场，具体如下：其中Y(7)是/傅里叶变换式成7)截取一半信息得到的，则/(&实际是复函数，即 每个实数对i对应的值为复数，假设左图像为/命，右图像为/(「HAh，则左、右图像离散 化后的表达式分别如下所示：利用可控复数金字塔分解将/G+Ah)分解为各个频带以及不同方向上对应的空间场 分量，则对于金字塔对应频率为方向为?的子带的空间场可以表示为：其中Anglemask(?)是对应方向滤波器，由于每个频带各个方向的处理方法相同且重 构时各方向对应的空间场是简单求和相加，因此不区分方向公式可写作：根据左、右图像的偏置届对右图加入偏置祕其中a是偏置系数，理论上可以取到 整个实数域，因此加入相位偏移量后新的空间场可以表示为：6.根据权利要求5所述的基于相位的双目转多目虚拟视图合成方法，其特征在于，所 述对所述相位插值图像序列进行反混叠滤波处理，以重构并恢复图像，进一步包括： 用S(x，y,a)表示右图像偏移量为a的空间复数场，为了反混叠滤波，对相位偏移为a的图像需要与其附近的图像以某一系列权重系数进行滤波，假设滤波器为F，则滤波后 的图像可以表示为：其中代表右图像相位偏移量为a的图像空域复数场，5^0是右图像的空域 复数场，采用高斯滤波器：其中S是修正后的可控复数金字塔每个点对应的相位差。
【专利摘要】本发明提出一种基于相位的双目转多目虚拟视图合成方法，包括以下步骤：采集双目图像，其中，双目图像位于RGB色彩空间，双目图像包括左图像和右图像；将双目图像变换至YIQ色彩空间以得到变换后的左图像和右图像；分别将变换后的左图像和右图像进行可控复数金字塔分解；计算变换后的左图像和右图像分解后每个点对应的相位差；根据每个点对应的相位差进行相位差值操作以得到相位插值图像序列，并对相位插值图像序列进行反混叠滤波处理，以重构并恢复图像；将重构并恢复的图像转换至RGB色彩空间。本发明的方法能够更好的进行外推插值合成新视点以及对散焦模糊、运动模糊、含有高反射性物体的图片具有良好的合成效果。
【IPC分类】G02B27/22, G06T17/00, G02B27/00
【公开号】CN105093522
【申请号】CN201510398760
【发明人】戴琼海, 戴威, 刘烨斌
【申请人】清华大学
【公开日】2015年11月25日
【申请日】2015年7月8日