一种光场相机及成像方法

1.本发明涉及光学成像技术领域，具体涉及一种光场相机及成像方法。


背景技术：

2.光场相机能够同时获取光场的二维强度分布信息、角度信息和颜色信息，以实现对场景的三维彩色成像，具有免机械调节的优点，已应用于许多领域。
3.已有的光场相机需要在传统成像系统中增加一个微透镜阵列，利用一个二维阵列探测器同时记录光场的二维强度分布信息、角度信息和颜色信息。设置微透镜阵列的方式主要包括两种：第一种是将微透镜阵列放置在传统成像系统的像面的位置(r.ng,m.levoy,m.br
é
dif,et al.“light field photography with a hand
‑
held plenoptic camera,”stanford university,(2005))；另一种在传统成像系统中增加一个透镜，该透镜的焦面与像面重合，再将微透镜阵列放置在该透镜的后焦面处(scrofani g,sola
‑
pikabea j,llavador a,et al.“fimic:design for ultimate 3d
‑
integral microscopy of in
‑
vivo biological samples,”biomedical optics express,9(1):335
‑
346(2018))。由于受单个二维阵列探测器的空间带宽积限制，只利用一个二维阵列探测器实现对光场的二维强度分布信息、角度信息和颜色信息同时采样，导致成像的空间分辨率、角度分辨率和颜色分辨率之间存在一个相互制约的权衡关系；另外微透镜存在严重色差，导致光场相机重建图像颜色失真。
4.总之，现有的两类光场相机，分别存在以下缺陷：1)只使用一个二维阵列探测器，导致重建三维图像的分辨率受限于单个二维阵列探测器的空间带宽积，空间分辨率和角度分辨率存在相互制约。2)由于使用了微透镜阵列，导致重建图像色差较大、颜色失真。


技术实现要素：

5.本发明的目的在于提供一种光场相机及成像方法，旨在解决现有光场相机存在的缺陷：重建图像的分辨率受限于单个二维阵列探测器的空间带宽积，空间分辨率和角度分辨率存在相互制约问题；使用了微透镜阵列，导致重建图像色差较大、颜色失真问题。
6.本发明的第一个目的可以通过采取如下技术方案达到：
7.一种光场相机，所述光场相机包括透镜组1、空间光调制器2、透镜3、二维图像探测器4和计算机5，所述空间光调制器2设置在透镜组1和透镜3之间的目标物体的像面处，二维图像探测器4的光敏面设置在透镜3的后焦面。目标物体发出的光束经透镜组1在空间光调制器2的调制平面处形成图像；计算机5生成一系列调制图案，控制空间光调制器2对目标物体的图像进行调制；调制后的光束再经过透镜3进行傅里叶变换，在透镜3的后焦面形成傅里叶谱图；计算机5控制二维图像探测器4拍摄傅里叶谱图，并存储到计算机5内。
8.进一步地，所述透镜组1带有对焦装置，将目标物体成像到空间光调制器2的调制平面处。
9.进一步地，所述空间光调制器2为液晶显示屏lcd(liquid crystal display)或数
字微镜器件dmd(digital micromirror device)。
10.进一步地，所述透镜3为傅里叶变换透镜。
11.进一步地，所述二维图像探测器4为一带有拜耳滤色片(bayer filter)的彩色二维图像探测器。
12.本发明的第二个目的可以通过采取如下技术方案达到：
13.一种光场相机的成像方法，所述成像方法包含以下步骤：
14.步骤s1、计算机5生成一系列l幅不同的图案：p1(m
s
，n
s
)、p2(m
s
，n
s
)、
…
、px(m
s
，n
s
)、
…
、p
l
(m
s
，n
s
)，依次加载到空间光调制器2对目标物体的图像进行调制；每加载一个图案，二维图像探测器4拍摄一个傅里叶谱图，获得一系列傅里叶谱图i1(m
c
，n
c
)、i2(m
c
，n
c
)、
…
、i
i
(m
c
，n
c
)、
…
、i
l
(m
c
，n
c
)，其对应有红绿蓝三个通道的傅里叶谱图，红色通道系列傅里叶谱图为绿色通道系列傅里叶谱图为蓝色通道系列傅里叶谱图为列傅里叶谱图为确定傅里叶谱图的中心像元o的位置坐标，设为其中，i＝1，
…
，l表示序号，l为整数；(m
s
，n
s
)为空间光调制器2的调制单元坐标，m
s
＝1，
…
，m
s
、n
s
＝1，
…
，n
s
为整数；(m
c
，n
c
)为二维图像探测器4的光敏像元坐标，m
c
＝1，
…
，m
c
、n
c
＝1，
…
，n
c
为整数，二维图像探测器4的光敏面共有m
c
×
n
c
个像元；
15.步骤s2、对二维图像探测器4的m
c
×
n
c
个像元进行重组，将相邻的每k个像元组合为一个宏像元，得到q个宏像元，每个宏像元的中心o
q
的位置坐标设为对步骤s1获得的系列傅里叶谱图中的每个宏像元中的k个像元值相加，得到三个颜色通道的一系列由宏像元构成的傅里叶谱图，其中，k和q分别为大于或等于1的整数，k
×
q≤m
c
×
n
c
，q＝1，2，
…
，q表示序号；
16.步骤s3、将每个宏像元作为一个单像素探测器，每个颜色通道分别按单像素成像的图像重建方法重建图像：对步骤s2获得的三个颜色通道的由宏像元构成的傅里叶谱图，提取每个颜色通道系列图像中具有相同宏像元坐标的光强值，每一个单像素探测器获得一个一维光强序列；对每一个一维光强序列，采用单像素成像的图像重建方法，重建一幅目标物体图像，q个单像素探测器共重建获得q幅不同视角的目标物体图像，重建的红色通道的目标物体图像为目标物体图像为绿色通道的目标物体图像为色通道的目标物体图像为蓝色通道的目标物体图像为蓝色通道的目标物体图像为其中q＝1，2，
…
，q表示序号；
17.步骤s4、根据空间光调制器2与透镜组1之间的距离d
sl
以及透镜组1的焦距f1，计算
得到空间光调制器2关于透镜组1的物像共轭平面与透镜组1之间的距离d：
18.步骤s5、以空间光调制器2关于透镜组1的物像共轭平面为基准面，重聚焦不同深度的场景，若重聚焦深度为δz的场景，即重聚焦的位置与该基准面的距离为δz，则根据步骤四计算得到空间光调制器2关于透镜组1的物像共轭平面与透镜组1之间的距离d，计算得到该深度的场景所成的像与空间光调制器2之间的距离δz
image
：
19.步骤s6、根据步骤s5中δz深度的场景的像与空间光调制器2之间的距离δz
image
，得到每个宏像元单像素探测器重建的目标物体图像在两个正交方向需要平移的像素数：其中，δ
p
为空间光调制器2的像元尺寸，f2为透镜3的焦距；
20.步骤s7、根据得到每个宏像元单像素探测器重建的目标物体图像需要平移的像素数和按以下公式计算得到平移后的三个颜色通道的目标物体图像，其中，
21.红色通道的目标物体图像为
22.绿色通道的目标物体图像为
23.蓝色通道的目标物体图像为
24.其中表示逆傅里叶变换，表示傅里叶变换，j为虚数单位，u和v为傅里叶变换频域坐标分量；
25.步骤s8、将相同颜色通道的每个宏像元单像素探测器重建的目标物体图像平移后的图像进行强度叠加，得到三个颜色通道场景深度为δz的图像，红色通道场景深度为δz
的图像为绿色通道场景深度为δz的图像为蓝色通道场景深度为δz的图像为
26.步骤s9、根据步骤s8得到的红、绿、蓝三个颜色通道场景深度为δz的图像和将三幅图像合成场景深度为δz的彩色图像i
δz
(m
s
，n
s
)。
27.进一步地，所述步骤s1中计算机5生成一系列l幅不同的图案，其中，所述图案为傅里叶变换(fourier transform)基底图案、哈达玛变换(hadamard transform)基底图案或随机分布图案中的任意一种。
28.进一步地，所述步骤s2中对二维图像探测器4的m
c
×
n
c
个像元进行重组，重组的具体过程为：每个宏像元的形状都为圆形且大小相同，圆形半径为r
q
个像元，将傅里叶谱图的中心像元o设置为其中一个宏像元的中心，所有宏像元以o为中心按等间距环形分布排列，宏像元之间的中心距为b
q
个像元，其中r
q
≥1为整数，b
q
≥1为整数。
29.进一步地，所述步骤s2中对二维图像探测器4的m
c
×
n
c
个像元进行重组，重组的具体方法为：每个宏像元的形状都为方形且大小相同，方形的边长为a
q
个像元；将傅里叶谱图的中心像元o设置为其中一个宏像元的中心，所有宏像元按行列式等间距排列，宏像元之间的中心距为b
q
个像元。其中a
q
≥1为奇整数，b
q
≥1为整数。
30.本发明相对于现有技术具有如下的优点及效果：
31.(1)本发明将空间信息和角度信息分开采样，提高了成像系统的空间带宽积，有利于提高成像分辨率；
32.(2)本发明无需微透镜阵列装置，可实现消色差光场成像。
附图说明
33.图1是本发明实施例中公开的光场相机的组成结构及光路图；
34.图2为本发明实施例中最左、最上、最右、最下四个宏像元的具体位置及对应重建的视角图，其中，图2(a1)是最左的宏像元具体位置示意图，图2(b1)是最上的宏像元具体位置示意图，图2(c1)是最右的宏像元具体位置示意图，图2(d1)是最下的宏像元具体位置示意图，图2(a2)是对应图2(a1)的宏像元重建的红色通道的视角图，图2(b2)是对应图2(b1)的宏像元重建的红色通道的视角图，图2(c2)是对应图2(c1)的宏像元重建的红色通道的视角图，图2(d2)是对应图2(d1)的红色通道的宏像元重建的红色通道的视角图，图2(a3)是对应图2(a1)的宏像元重建的绿色通道的视角图，图2(b3)是对应图2(b1)的宏像元重建的绿色通道的视角图，图2(c3)是对应图2(c1)的宏像元重建的绿色通道的视角图，图2(d3)是对应图2(d1)的宏像元重建的绿色通道的视角图，图2(a4)是对应图2(a1)的宏像元重建的蓝
色通道的视角图，图2(b4)是对应图2(b1)的宏像元重建的蓝色通道的视角图，图2(c4)是对应图2(c1)的宏像元重建的蓝色通道的视角图，图2(d4)是对应图2(d1)的宏像元重建的蓝色通道的视角图；
35.图3为本发明实施例中数字重聚焦不同深度目标物体的三个颜色通道结果示意图，其中，图3(a1)是红色通道重聚焦到独角兽灯带的结果图，图3(b1)是红色通道重聚焦到椰树灯带的结果图，图3(c1)是红色通道重聚焦到闪电灯带的结果图，图3(a2)是绿色通道重聚焦到独角兽灯带的结果图，图3(b2)是绿色通道重聚焦到椰树灯带的结果图，图3(c2)是绿色通道重聚焦到闪电灯带的结果图，图3(a3)是蓝色通道重聚焦到独角兽灯带的结果图，图3(b3)是蓝色通道重聚焦到椰树灯带的结果图，图3(c3)是蓝色通道重聚焦到闪电灯带的结果图；
36.图4为本发明实施例中数字重聚焦不同深度目标物体的彩色结果示意图，其中，图4(a)是重聚焦到独角兽灯带的彩色结果图，图4(b)是重聚焦到椰树灯带的彩色结果图，图4(c)是重聚焦到闪电灯带的彩色结果图。
具体实施方式
37.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.实施例
39.如图1所示，本实施例公开了一种光场相机，包括透镜组1、空间光调制器2、透镜3、二维图像探测器4和计算机5。所用透镜组1为焦距f1＝50mm的相机镜头，空间光调制器2为像元尺寸47.25μm的液晶显示屏，透镜3焦距为f2＝15mm，二维图像探测器4为像元尺寸4.54μm的ccd相机，计算机5为台式计算机。空间光调制器2的调制平面设置在透镜3的前焦面，二维图像探测器4的光敏面设置在透镜3的后焦面。目标物体为设置在不同深度的独角兽灯带、椰树灯带、闪电灯带组成。
40.目标物体发出的光束经透镜组1在空间光调制器2的调制平面处形成图像；计算机5生成一系列调制图案，控制空间光调制器2对目标物体的图像进行调制；调制后的光束再经过透镜3进行傅里叶变换，在透镜3的后焦面形成傅里叶谱图；计算机5控制二维图像探测器4拍摄傅里叶谱图，并存储到计算机5内。
41.首先利用计算机生成33028幅不同的哈达玛变换基底图案：p1(m
s
，n
s
)、p2(m
s
，n
s
)、
…
、p
i
(m
s
，n
s
)、
…
、p
l
(m
s
，n
s
)，(m
s
，n
s
)为空间光调制器2的调制单元坐标，其中，i＝1，
…
，l，l为33028；m
s
＝1，
…
，128、n
s
＝1，
…
，128。接着，将这些不同空间频率的图案依次加载到空间光调制器2对目标物体的图像进行调制；每加载一个图案，二维图像探测器4拍摄一个傅里叶谱图，获得一系列傅里叶谱图：i1(m
c
，n
c
)、i2(m
c
，n
c
)、
…
、i
i
(m
c
，n
c
)、
…
、i
l
(m
c
，n
c
)，其中，(m
c
，n
c
)二维图像探测器4的光敏像元坐标，m
c
＝1，
…
，2736、n
c
＝1，
…
，2196，二维图像探测器4的光敏面共有2736
×
2196个像元。确定傅里叶谱图的中心像元o的位置坐标为(1351.9，1119.6)。
42.将二维图像探测器4的像元进行重组成73个宏像元单像素探测器，重组的具体过
程为：每个宏像元的形状都为圆形且大小相同，圆形半径为50个像元，将傅里叶谱图的中心像元o设置为其中一个宏像元的中心，所有宏像元以o为中心按等间距环形分布排列。这里给出73个宏像元单像素探测器中，中间、最左、最上、最右、最下五个宏像元的中心位置坐标(1351.9,1119.6)、(1920.6,1119.6)、(1351.9,542.2)、(1119.6,783.1)和(1351.9,1697.1)。利用上述73个宏像元，将二维图像探测器拍摄得到的一系列傅里叶谱图中每个宏像元的像元值，得到三个颜色通道的由宏像元构成的一系列傅里叶谱图。
43.接着由于每个宏像元都可以认为是一个单像素探测器，利用哈达玛单像素成像图像重建方法进行图像重建，每个颜色通道的73个宏像元单像素探测器可以重建得到73张不同视角的目标物体图像，三个颜色通道可以得到三组不同视角的目标物体图像，共219张。
44.图2为本发明实施例中最左、最上、最右、最下四个宏像元的具体位置及对应重建的视角图，其中，图2(a1)是最左的宏像元具体位置示意图，图2(b1)是最上的宏像元具体位置示意图，图2(c1)是最右的宏像元具体位置示意图，图2(d1)是最下的宏像元具体位置示意图，图2(a2)是对应图2(a1)的宏像元重建的红色通道的视角图，图2(b2)是对应图2(b1)的宏像元重建的红色通道的视角图，图2(c2)是对应图2(c1)的宏像元重建的红色通道的视角图，图2(d2)是对应图2(d1)的红色通道的宏像元重建的红色通道的视角图，图2(a3)是对应图2(a1)的宏像元重建的绿色通道的视角图，图2(b3)是对应图2(b1)的宏像元重建的绿色通道的视角图，图2(c3)是对应图2(c1)的宏像元重建的绿色通道的视角图，图2(d3)是对应图2(d1)的宏像元重建的绿色通道的视角图，图2(a4)是对应图2(a1)的宏像元重建的蓝色通道的视角图，图2(b4)是对应图2(b1)的宏像元重建的蓝色通道的视角图，图2(c4)是对应图2(c1)的宏像元重建的蓝色通道的视角图，图2(d4)是对应图2(d1)的宏像元重建的蓝色通道的视角图。
45.从图2(a2)和图2(d2)、图2(a3)和图2(d3)以及图2(a4)和图2(d4)三组图像的比较可以看出，利用本发明所提方法每个宏像元重建得到的不同视角的目标物体图像中，不同深度的目标物体在不同视角的目标物体图像中具有不同的偏移。
46.本实施例中，空间光调制器2与透镜组1之间的距离为d
sl
＝51mm，可以计算得到空间光调制器2关于透镜组1的物像共轭平面与透镜组1的距离为d＝2550mm。
47.以空间光调制器2关于透镜组1的物像共轭平面为基准面，可以重聚焦不同深度的场景。图1所示，场景在物像共轭平面的左侧，则与物像共轭平面的距离δz
real
为正，场景在物像共轭平面的右侧，则与物像共轭平面的距离δz
real
为负。类似的，场景所成的像在空间光调制器的左侧，则像与空间光调制器的距离δz
image
为正，场景所成的像在空间光调制器的右侧，则像与空间光调制器的距离δz
image
为负。其中，重聚焦离透镜组1最近的独角兽灯带时，该灯带与物像共轭平面的距离为δz
real
＝
‑
1130mm，可以计算得到该灯带所成的像与空间光调制器2之间的距离为δz
image
＝0.82mm；重聚焦离透镜组1最远的闪电灯带时，该灯带与物像共轭平面的距离为δz
real
＝1510mm，可以计算得到该灯带所成的像与空间光调制器2之间的距离为δz
image
＝
‑
0.67mm。
48.接着分别利用每个颜色通道的不同视角的目标物体图像，可以对不同深度的目标物体进行数字重聚焦，具体过程是根据不同的深度计算每一幅视角图需要平移的平移量，接着对图像进行平移，将平移后的图像进行强度叠加即可。图3(a1)是红色通道重聚焦到独角兽灯带的结果图，图3(b1)是红色通道重聚焦到椰树灯带的结果图，图3(c1)是红色通道
重聚焦到闪电灯带的结果图，图3(a2)是绿色通道重聚焦到独角兽灯带的结果图，图3(b2)是绿色通道重聚焦到椰树灯带的结果图，图3(c2)是绿色通道重聚焦到闪电灯带的结果图，图3(a3)是蓝色通道重聚焦到独角兽灯带的结果图，图3(b3)是蓝色通道重聚焦到椰树灯带的结果图，图3(c3)是蓝色通道重聚焦到闪电灯带的结果图。
49.最后，将获得的同一深度的红绿蓝三个颜色通道的重聚焦图像进行合成，得到重聚焦的彩色图像。图4给出了利用图3重聚焦得到的三个深度三个颜色通道的图像合成的三个深度的彩色图像，图4(a)是重聚焦到独角兽灯带的彩色结果图，图4(b)是重聚焦到椰树灯带的彩色结果图，图4(c)是重聚焦到闪电灯带的彩色结果图。
50.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。