高角度分辨率光场获取装置与图像生成方法
【专利摘要】本发明提供了一种高角度分辨率光场获取装置与图像生成方法，针对分辨率折衷引起的空间分辨率低或图像混叠导致光场图像质量下降问题，构建一种利用光线编码孔径与微透镜阵列相结合的高角度分辨率光场获取装置，包括沿光线传递路径依次排列的主透镜、编码孔径、微透镜阵列和传感器；在不降低光场位置分辨率前提下，利用光场数据中蕴含的深度信息提升了光场的角度分辨率。本发明具有角度分辨率高、性噪比高、通过率高和可以采集光场视频的优点。本发明提出的光场图像生成方法由于采用了压缩感知理论，具有角度分辨高、图像混叠可去除的优点。
【专利说明】
高角度分辨率光场获取装置与图像生成方法
技术领域
[0001 ]本发明涉及计算机视觉、计算摄像学和光学工程领域。
【背景技术】
[0002] 光场是空间中同时包含位置和角度信息的四维光福射场的参数化表不。光场成像 理论的提出为数字成像领域带来了革命性进步。与传统数字相机通过标准光学透镜组和数 字信号感应器捕捉场景光线不同，光场相机是通过新颖的光学系统将场景中的光线按照某 种给定的关系与传感器像素进行对应。在采集到的光场位置信息和角度信息基础上，通过 计算生成新颖的图像。但与传统成像技术相比，光场成像技术也存在一定的局限性。在传感 器像素一定的情况下，由于要同时获取光线位置和角度信息，现有光场采集方法面临分辨 率折衷。这已成为限制光场相机及计算摄影术进一步广泛应用的瓶颈问题。
[0003] 为了获得高质量的光场图像，国外研究人员进行了大量的研究。现有解决方法主 要分两类，一类是复用方法，一类是计算方法。例如，斯坦福法学设计的128台相机阵列是空 间复用方法的体现。虽然空间复用方法生成的光场图像空间分辨率较高，但所需传感器数 量较多、设备庞大、布置灵活性较差。Green等设计的环形孔径相机通过时间复用方法实现。 但时间复用最大的缺点是为了采集光场角度信息，需要先后对同一场景进行多次拍摄，使 得该方法只能用于静止场景光场获取。频域复用的现有方法存在光场图像信噪比低的缺 点，且较少关注光场角度分辨率的提高。因此，复用方法是将光场位置和角度分辨率之间的 折衷转换为时间、空间或通光量之间的折衷，相应的采集方法存在时间分辨率降低、采集设 备规模增大或光场图像信噪比低等缺点。Wanner等首次明确指出光场相机的优势在于能获 取光场角度信息，光场图像混叠去除对于计算摄影术应用至关重要。它采用变分不等式框 架下实现了光场角度分辨率和位置分辨率的同时提升，但该方法需亚像素级精度的场景几 何结构信息作为先验，在现实中较难实现。因此，现有提升位置分辨率的方法未能很好地解 决光场图像质量差的问题，有待改进。
【发明内容】
[0004] 为了克服现有技术的不足，本发明提供一种编码孔径与微透镜阵列相结合的光场 数据获取装置，在不降低光场位置分辨率前提下，提高角度分辨率，采集包含更多角度信息 的光场数据，得到高质量的光场图像。
[0005] 本发明解决其技术问题所采用的技术方案是:一种高角度分辨率光场获取装置， 包括沿光线传递路径依次排列的主透镜、编码孔径、微透镜阵列和传感器;所述的主透镜汇 聚空间中的光线，所述的编码孔径对经过主透镜后的光线进行调制，得到光场信号，所述的 微透镜阵列对光场信号中的角度信息和位置信息进行分离，分别由传感器进行采集。
[0006] 本发明还提供了一种从高角度分辨率光场数据中生成高质量光场图像的方法，包 括以下步骤：
[0007] 步骤1，提取编码孔径调制后经任一传感器获取图像中的图像模糊FUSe(x，y，d)作 为参考光场图像，以参考光场图像和其他视角光场图像之间的视差ParallaX(X，y，d)作为 深度线索，其中x，y表示参考光场图像的坐标，d表示参考图像和其他视角图像之间的视差；
[0008] 步骤2，获取场景深度〇6口1:11(叉，7，(1) = (1-(1)卩1186(叉，7，(1)+(^&抑11&叉(叉，7，(1)，其 中a是权重因子，取值范围为[0，1];
[0009] 步骤3,采用混合高斯模型对场景深度与角度信号关联性的关系进行建模，构建角 度超分辨能量函数4 (w，v，.以）=伙.7,斯-Y，Ad) ° "(v，.s. - G、(办r ，又,.(</)) ? v，以 中（u，v)和(s，t)是双平面光场模型下光线的角度位置和空间位置，r是上采样因子，H是相 应的上采样函数，A〇是原始光场信号，gx(d)和gy(d)分别是水平、垂直视差因素;采用优化方 法对角度超分辨能量函数求解获得超角度分辨率光场数据；
[0010]步骤4,建立角度欠采样倍率与图像像素混叠范围的关系模型，提取离散采样空间 下的光场图像聚焦特征€ =h.A, =niin(5,\i/(2Av)，l/(2tyv))，其中Kfv为采样系数，劣为场 景频率上限，A V为相机分辨率，SV为光场图像分辨率，f为双平面距离，hd=l/Z_-l/Zmax， Zm i n是前景深，Zmax是后景深;米用多次随机孔径米样方法对图像混叠范围大于给定阈值的 区域进行检测；
[0011] 步骤5,利用多尺度理论建立高斯光场图像金字塔，对目标区域的混叠特征进行分 离，选择图像梯度特征进行泊松方程求解，实现对于光场图像混叠的去除，最终获得高质量 的光场图像。
[0012] 本发明的有益效果是:针对分辨率折衷引起的空间分辨率低或图像混叠导致光场 图像质量下降问题，构建一种利用光线编码孔径与微透镜阵列相结合的高角度分辨率光场 获取装置。在不降低光场位置分辨率前提下，利用光场数据中蕴含的深度信息提升了光场 的角度分辨率。相比现有的采集装置，本发明具有角度分辨率高、性噪比高、通过率高和可 以采集光场视频的优点。本发明提出的光场图像生成方法由于采用了压缩感知理论，具有 角度分辨高、图像混叠可去除的优点。
【附图说明】
[0013] 图1为光场采集装置光路图；
[0014] 图2为微透镜阵列的排布图；
[0015] 图3为超角度分辨率光场数据重建路线；
[0016] 图中，101-主透镜，102-主透镜像平面，103-中继透镜，104-偏振立方体分光棱镜， 105-中继透镜，106-液晶附硅(LCoS)设备，107-中继透镜，108-微透镜阵列，109-传感器， 110-虚拟聚焦平面。
【具体实施方式】
[0017] 本发明提供一种利用光线编码孔径与微透镜阵列相结合的光场采集装置，以及一 种利用深度信息与角度分辨率耦合关系，通过光场图像混叠检测与去除实现高角度分辨率 光场图像生成的方法。
[0018] 本发明提出的一种光线编码孔径与微透镜阵列相结合的光场数据采集系统，包 括:主透镜，用于汇聚空间中的光线;编码孔径，其位置位于主透镜的后方，用于对经过主透 镜后的光线进行调制;微透镜阵列和传感器，其定位在编码孔径后的光线传递路径上，用于 光场信号中角度信息和位置信息的分离和采集。
[0019] 本发明提出的基于编码孔径与微透镜阵列相结合的光场数据采集系统，通过编码 孔径的相位调制掩膜能够实现对频域光线的调制，使得调制后的信号中包含更多深度信 息。基于微镜头阵列的接力成像系统通过孔径分割的方法可以实现对光场位置信息和角度 信息的分离和采集。因此，将二者有机结合，通过优势互补可以实现光场稠密位置信息和角 度信息同时获取。
[0020] 另外，根据本发明上述实施例的高角度分辨率光场获取系统还可以具有如下附加 的技术特征：
[0021 ]编码孔径的设计方案基于压缩感知理论；
[0022] 采集装置参数标定以微透镜子图配准误差作为系统参数估计精度和获取图像质 量的评价指标。
[0023] 本发明还提供基于上述光场数据的一种通过角度超分辨率重建提升光场图像质 量的方法，主要环节包括:高精度深度图的获取、超角度分辨率光场数据重建和高质量光场 图像生成。所述方法包含以下步骤：
[0024] S1、光场数据中深度线索的提取
[0025]提取编码孔径调制后经传感器获取图像中的图像模糊FuSe(x，y，d)和重新渲染的 光场图像之间的视差ParallaX(X，y，d)作为深度线索，其中x，y分别表示参考光场图像的坐 标，d表不参考图像和其他视角图像之间的视差；
[0026] S2、多线索融合的场景深度图获取
[0027] 利用标定后的采集装置内参数和图像点扩散函数相位偏移建立两种深度线索之 间的融合计算代价函数
[0028] Depth(x,y,d)=(l-a)Fuse(x,y,d)+aParallax(x,y,d)
[0029]其中a是权重因子，本发明采用全局优化算法获得场景深度Depth(x，y，d)。
[0030] S3、超角度分辨率光场数据重建
[0031]采用混合高斯模型对场景深度Depth(X，y，d)与角度信号关联性的关系进行建模， 在此基础上，构建全局的角度超分辨能量函数
[0032] ^ (u, v,.v,〇 = Deplh(.\\\\d) 〇 H(u, v,s -rg^ {d),l - rg..(d )) ? A0(u,
[0033] 其中（u，v)和（s，t)是双平面光场模型下光线的角度位置和空间位置，r是上采样 因子，H是相应的上采样函数，Ao是原始光场信号，A T是高角度分辨率的光场信号。与传统基 于EPI采样分析的方法不同，gx(d)和gy(d)分别是水平、垂直视差因素。最后，采用优化方法 对其求解获得超角度分辨率光场数据。
[0034] S4、光场图像混叠区域检测
[0035] 建立角度欠采样倍率与图像像素混叠范围的关系模型，提取离散采样空间下的光 场图像聚焦特征，
[0036] Er = K, jh：l = min( B； ,1 / (2Ar), 1 / (2dv))
[0037] 其中Kfv为采样系数，或为场景频率上限，A v为相机分辨率，SV为光场图像分辨率， f为双平面距尚，hd= l/Zmin-1/Zmax取决于场景深度范围，Zmin是前景深，Zmax是后景深。米用 多次随机孔径采样方法对图像混叠范围大于给定阈值的区域进行检测。
[0038] S5、基于混叠去除的高质量光场图像生成
[0039] 利用多尺度理论建立高斯光场图像金字塔，对目标区域的混叠特征进行分离，选 择适当尺度的图像梯度特征进行泊松方程求解，实现对于光场图像混叠的有效去除，最终 获得高质量的光场图像。
[0040] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出。下面通过参考 附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0041 ]此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者 隐含地包括一个或者更多个该特征。在本发明的描述中，"多个"的含义是两个或两个以上， 除非另有明确具体的限定。
[0042] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接;可以是机 械连接，也可以是电连接;可以是直接相连，也可以通过中间媒介间接相连，可以是两个元 件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发 明中的具体含义。
[0043] 下面将参照附图描述根据本发明实施例提出的高角度分辨率光场获取与图像生 成方法。首先将参照附图描述根据本发明实施例提出的基于编码孔径和微透镜阵列的超角 分辨率光场采集装置。参照图1所示，该超角分辨率光场采集装置包括:主透镜1〇1(包含但 不仅限于F接口、C接口），三个中继透镜103、105、和107,偏振立方体分光棱镜104,液晶附硅 (LCoS)设备106,微透镜阵列108和传感器109。
[0044] 具体的，场景光线经过主透镜101折射后聚焦在主透镜像平面102,像平面的光线 进入中继透镜103,然后进入偏振立方体分光镜104,光线经过中继透镜105后，LCoS设备106 对光线进行调制并反射，反射的光线同入射光线分离并传到中继透镜107,经中继透镜107 折射的光线聚焦在虚拟聚焦平面110,然后经过微透镜阵列108,被再次分离，最后由传感器 109收集。在本实施例中，主透镜为Computar M1614(焦距：16臟，光圈:？1.4)镜头。中继透镜 103、105和107为爱特蒙德非球面消色差透镜(焦距:50mm，直径:25mm)。偏振镜为爱特蒙德 偏振立方体分光镜(直径:25mm)。液晶附硅(LCoS)设备106为H)D公司的SXGA-3DM。微透镜阵 列108如图2所示，采用正六边形排布，此时k =々/ 2，单个微透镜615的直径为0.3mm，焦距为 2.726_，为平凸透镜。微透镜阵列108将图像传感器109光敏面完全覆盖，由水平方向不少 于120个、垂直方向不少于92个微透镜以正六边形排布而成。传感器109由一个VirworksVH-1 IMG的工业接口相机进行改造，像元大小为9um*9um，总像元数为2672*4008，镜头接口为尼 康F卡口，数据传输采用GigE接口，最大帧率为6.4fps，曝光时间在1/7000~7秒之间。
[0045] 作为优选方案，对于编码孔径的设计，本发明采用对焦位置编码孔径均固定的设 计方案。以真实场景图像梯度分布满足高斯先验模型为前提。依据通过最大化Kullback Leibler散度提升编码孔径的深度恢复能力。因此，依据基于图像纹理统计信息得编码孔径 优化设计准则及对应的全局最优化算法，本发明设计出了能获取更多光场角度信息的编码 孔径。作为优选方案，在采集装置构建过程中需对装置内参数进行标定和全局优化。本发明 将各部件的光学尺寸、位置信息在统一的成像框架下进行参数化描述，结合光场成效理论 双平面模型，采用满足光场离散采样与连续表达映射关系的内参数标定方法进行标定。由 于在部件设备和装备中不可避免的存在误差，本发明采用变分不等式优化方法，以微透镜 子图配准误差作为系统参数估计精度和获取图像质量的评价指标，对采集装置的参数进行 全局优化。
[0046] 本发明实施例的光场采集装置利用编码孔径对光场的调制和微透镜阵列对光场 的分离获得位置信息和角度信息的光场，并且只需要利用压缩感知技术对调制后光场信号 进行恢复，就可以提高光场数据的角度分辨率。
[0047] 同时，参照附图描述根据发明实施例提出的通过角度超分辨率重建生高质量光场 图像方法。参照图3所示，包括以下步骤：
[0048] S1，深度线索提取
[0049] 对于深度线索的获取。本发明将编码孔径调制后的图像模糊和单张重渲染光场图 像的模糊区域和两张及其以上重渲染光场图像之间的视差作为主要的深度线索。对于模糊 线索，通过确定图像的点扩散函数(PSF)的尺度来表达相应像素的深度线索。
[0050] 模糊深度线索 [0051 ] 视差深度线索
[0052]其中，ML表示经典拉普拉斯算子，m、n分别表示包含模糊线索的重渲染图像横纵坐 标像素取值范围，1</代表与不同视角下的重渲染光场图像(视差为d)，step代表ML算子中 的步进值，该值可以根据图像大小和纹理尺度进行选取。对于视差线索数据，使用传统的基 于多视几何的三维结构恢复方法获得深度线索。
[0053]定义光场重聚焦的两幅不同视角图像当中一对图像点Ia(x，y)和Ib(x，y+d)的匹配 度量为
[0055]式中，d代表待匹配像素的视差：
[0060]其中和代表图像均值。本发明在匹配问题求解过程中，将考虑所 有相机图像与参考相机图像的匹配关系，以均值作为视差法的匹配关系的代价函数。因此， 相机阵列中N-1台相机与参考相机的视差匹配计算公式为
[0062] S2、深度估计
[0063] 本发明采用模糊线索与视差线索融合的方法获取场景的高精度深度图。对于模糊 线索与视差线索融合。
[0064] Depth(x,y,d)=(l-a)Fuse(x,y,d)+aParallax(x,y,d)
[0065] 当图像点附近梯度较大时侧重聚焦线索，图像附近梯度较小侧重视差线索，故融 合权重可由下式计算
[0069] 其中VlreKxj)为梯度算子，ix和iy分别为经典垂直于水平方向的sobel算子。采 用目前受到广泛关注的基于Lm范数的凸优化方法计算代价函数的全局最优解，最终获得 场景的深度。
[0070] S3,基于深度的角度超分辨光场数据重建
[0071] 进一步地，建立场景深度与角度信号关联性的关系模型是本发明的一个重点。在 深度与角度关系模型的基础上，本发明实现了基于深度的角度超分辨率重建方法，以实现 提升光场信号角度分辨率的目标。超角度分辨率光场数据重建路线的步骤如下：
[0072] S3.1，深度与角度信号关系模型。本发明在四维光场采样空间研究同源角度采样 的高维分布特性。由于通常目标场景中同源角度采样点较符合高斯分布，而异源角度采样 点则表现出更强的随机分布特性。因此，本发明采用混合高斯模型结合场景深度对角度信 号的关联性进行建模。
[0073] S3.2，基于深度的角度超分辨方法。
[0074] 本发明依据的角度超分辨重建公式为
[0075] //t (u. r..v./) = /'(x,>?. d) 〇!l(u, -v -~(^)) ? AM1' v，' -v'1 j
[0076] (u，v)，（s，t)分别是光场双平面模型下光线的角度和位置坐标，它通过对传感器 上获取的数据进行解离获得;f(x，y，d)表示场景的深度信息;H是上采样函数，由对任意角 度采样点关联性贝叶斯概率模型和采样因子r(r是大于1的整数或有理数)构成。因此，以原 始光场信号A〇为基础，通过求解上述重建公式可获得更高角度分辨率的光场信号A T。与传统 基于EPI采样分析的方法不同，采样函数H同时考虑水平、垂直视差因素。本发明基于光场角 度分布特性及场景深度信息，得到四维光场采样空间中同源角度采样的分布约束条件，构 建全局的角度超分辨能量函数，采用基于Lm的凸优化方法对其求解，获得高质量的超角度 分辨率重建结果。
[0077] S4,高质量光场图像生成。
[0078] 进一步地，本发明采用二维光场采样空间分析方法探寻图像质量降低的本质原 因，缓解混叠问题，在不改变光场空-频域特征前提下提升光场图像质量。高质量光场图像 生成步骤如下：
[0079] S4.1，建立光场角度欠采样与图像混叠的关系模型。本发明提出用降采样倍率Dr 描述光场图象混叠与角度欠采样的关系：
[0080] Dr = f (Er，Sr，d) =d*(Er/Sr)
[0081 ]其中，d是场景深度、Er是预期米样率，Sr是实际米样率。进一步的，预期米样率由下 式决定：
[0082] E,, = , 1 /(2Ai!), 1 /(2t>V))
[0083] 其中岑为场景频率上限，A v为相机分辨率，SV为光场图像分辨率。本发明通过f (Er，Sr，d)的求解获得光场角度欠采样与图像混叠的关系。
[0084] S4.2,图像混叠的检测。本发明采用随机采样点的混叠特征无穷范数作为混叠程 度的判别标准：
[0085] |MP| |?=max( |MPo| , |MPi| , |Mp2| . . . |Mpi| )>Ta
[0086] 其中|MPi I =g(u,v)[Iif(u,v,s,t)*Rand(mask) 1]，依据混叠特征描述子的具体形式，实 现光场图像混叠区域的检测。
[0087] S5,图像混叠的去除。在图像混叠检测结果的基础上，首先利用多尺度理论建立高 斯光场图像金字塔，对目标区域的混叠特征进行分离。然后选择适当尺度的图像梯度特征 进行泊松方程求解，实现对于光场图像混叠的有效去除。由于图像混叠只存在于图像的非 聚焦区域，因此多尺度光场图像其实是降低空间分辨率S V，从而使得降采样倍率Dr减小，实 现保留非聚焦区域低频去除混叠高频的目的。由于不同尺度光场图像存在梯度空间一阶不 连续特性，因此我们拟采用求解线性泊松方程的方法实现不同尺度光场图像的融合：
[0088] 呼 1 ]]」▽/'-.rf.vi./L = /1卿
[0089] 其中Q为不同尺度图像叠交的边界。
[0090] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨 的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【主权项】
1. 一种高角度分辨率光场获取装置，包括沿光线传递路径依次排列的主透镜、编码孔 径、微透镜阵列和传感器，其特征在于:所述的主透镜汇聚空间中的光线，所述的编码孔径 对经过主透镜后的光线进行调制，得到光场信号，所述的微透镜阵列对光场信号中的角度 信息和位置信息进行分离，分别由传感器进行采集。2. 根据权利要求1所述高角度分辨率光场获取装置的图像生成方法，其特征在于包括 下述步骤： 步骤1，提取编码孔径调制后经任一传感器获取图像中的图像模糊Fuse(x，y，d)作为参 考光场图像，以参考光场图像和其他视角光场图像之间的视差ParallaX(X，y，d)作为深度 线索，其中x，y表示参考光场图像的坐标，d表示参考图像和其他视角图像之间的视差； 步骤2,获取场景深度Depth(x，y，d) = (l_a)Fuse(x，y，d)+aParallax(x，y，d)，其中α是 权重因子，取值范围为[〇，1]; 步骤3,采用混合高斯模型对场景深度与角度信号关联性的关系进行建模，构建角度超 分辨能量函数其中 (u，v)和(s，t)是双平面光场模型下光线的角度位置和空间位置，r是上采样因子，H是相应 的上采样函数，Ao是原始光场信号，gx(d)和gy(d)分别是水平、垂直视差因素;采用优化方法 对角度超分辨能量函数求解获得超角度分辨率光场数据； 步骤4,建立角度欠采样倍率与图像像素混叠范围的关系模型，提取离散采样空间下的 光场图像聚焦特征4=心,爲=1?111(乾，1/(2~).1/(2力))，其中1^为采样系数，疋为场景频 率上限，A v为相机分辨率，δν为光场图像分辨率，f为双平面距离，hd=l/Zmin-l/Z max，Zmin是 前景深，Zmax是后景深;采用多次随机孔径采样方法对图像混叠范围大于给定阈值的区域进 行检测； 步骤5,利用多尺度理论建立高斯光场图像金字塔，对目标区域的混叠特征进行分离， 选择图像梯度特征进行泊松方程求解，实现对于光场图像混叠的去除，最终获得高质量的 光场图像。
【文档编号】G06T7/00GK105931190SQ201610416379
【公开日】2016年9月7日
【申请日】2016年6月14日
【发明人】周果清, 瞿婉新, 王庆, 肖照林
【申请人】西北工业大学