一种快照式光场-光谱成像仪及成像方法与流程

本发明涉及快照式多维成像技术领域，特别涉及一种快照式光场-光谱成像仪及成像方法。

背景技术：

自然界中的光携带九维信息，包括空间信息(x，y，z)、传播角度波长(λ)、偏振角度以及椭圆率(ψ，χ)，而传统的成像系统只捕捉了光的空间二维信息(x，y)。多维成像技术是一种不仅可以获得目标物的空间二维信息，还可以得到另外一维或多维信息的成像技术，在农业、天文、生物检测、环境监测等领域有着广泛的应用。为了获取目标物的多维信息，目前大多数的系统采用扫描的方式。但这种方式并不适用于探测动态目标。为了解决这个问题，学者们提出了使用二维探测器并行获取高维信息的方法，这种技术又被称为快照式多维成像技术。

快照式光谱成像技术是一种在探测器一次积分时间内获取目标物图像和光谱信息的成像技术，可以分为直接测量和计算成像两类。直接测量类快照式光谱成像技术的策略是将来自目标物的光按波长或空间位置分到探测器不同的位置，以实现对空间和光谱信息的并行获取。2010年，lianggao等人提出了一种图像映射光谱仪(imagemappingspectrometry)，该技术使用一块空间映射单元将图像分成条状映射到探测器不同的位置，然后经过色散棱镜将不同波长的光投射到条状图像之间，最后经过图像映射算法得到目标物的光谱立方体。图像复制成像光谱仪(image-replicatingimagingspectrometry)是由alistairgorman等人在2010年提出。该技术使用串联的双折射干涉仪将图像按波长分成多份投影到探测器上。另外，基于光场的成像光谱仪(imagingspectrometryusingalightfieldarchitecture)、基于滤波器组的成像光谱仪(imagingspectrometryusingsfilterstack)等也属于直接测量类快照式光谱成像技术。计算成像类快照式光谱成像技术一般先获取目标光线的干涉信息，然后再经过计算得到光谱信息。在上世纪九十年代由日本学者akikohirai首次提出一种基于迈克尔逊干涉仪的快照式成像光谱系统，但该系统体积比较庞大，抗干扰能力差。此后，美国亚利桑那大学的michaelw.kudenov等人提出了一种基于微透镜阵列和诺马斯基棱镜的小型化的快照式成像光谱仪，其中微透镜阵列用于将目标图像分成一系列的子图，诺马斯基棱镜可以产生随空间位置变化的光程差。将配准并排列好的子图进行傅里叶变换即可得到目标光谱立方体。另外，计算全息式成像光谱仪(computedtomographyimagingspectrometry)以及基于萨格奈克干涉仪的多光谱成像仪等均属于计算类光谱成像技术。

快照式光场成像技术是一种可以获取目标物图像以及深度信息的成像技术，主要分为非聚焦型和聚焦型两种。非聚焦型光场成像技术于1992年被adelson等人首次提出，此后，ng等人于2006年将其改进为便携式光场相机。其原理是由物镜将目标物成像至一个微透镜阵列，经过微透镜阵列后聚焦的光线再次分散并被探测器接收。探测器得到的原始图像中不仅包含目标物的空间信息(x，y)还包含入射光线的角度信息因此可以被排列成一个四维矩阵再经过处理即可得到目标物的图像和深度信息(x，y，z)。聚焦型光场成像技术是由lumsdaine和georgiev于2009年首次提出。该技术的原理是先由物镜将目标物成像至一个中间像面，然后再由一个微透镜阵列将该中间像成像至探测器。由于每个子透镜对中间像上某一点的视角不同，其对应的子图之间存在“视差”，通过该“视差”的大小可以得到该点的相对深度。最后找到中间像上每一点在各子图中的共轭点，并取其像素值的平均值作为该点的光强值，即可得到重建的目标物图像。

随着成像技术的发展，光谱成像技术和3d光场成像技术在显微成像、遥感、人脸识别等领域有广泛的应用。同时，在生物医学以及机器视觉等领域对成像技术提出了在探测器一次积分时间内获取目标物图像、光谱和深度四维信息的要求。

技术实现要素：

为了满足生物医学以及机器视觉领域对成像技术的要求，本发明提出了一种快照式光场-光谱成像仪及成像方法，本发明可以在探测器一次积分时间内获取目标物的图像、光谱和深度四维信息。

本发明通过如下方式实现：

一种快照式光场-光谱成像仪，包括：沿光线方向依次设置的物镜1、视场光阑2、准直镜3、微透镜阵列一4、滤光片阵列5、微透镜阵列二6以及光电探测器及信号处理部件7；

目标物的光线首先经过物镜1汇聚到视场光阑2上，经过准直镜3准直达到微透镜阵列一4；再经过滤光片阵列5并在微透镜阵列一4的后焦面上生成一系列子图像；所述子图像经过微透镜阵列二6成像到光电探测器及信号处理部件7上。

所述的快照式光场-光谱成像仪中，所述微透镜阵列一4的子透镜数量与滤光片阵列5的子滤光片阵列数量相等，且一一对应。

本发明还提出一种快照式光场-光谱成像仪的成像方法，适用于上述快照式光场-光谱成像仪，包括：

将光电探测器及信号处理部件得到的原始图像按照微透镜阵列一对应分割成不同子区域；所述各不同子区域分别代表不同波段的光场图像；

目标物的光线在微透镜阵列一的后焦面处得到的图像为中间子图；根据中间子图和子滤光片的透过波段，得到目标物各波段的光谱图像；

在光电探测器及信号处理部件的每个子区域内根据相关距离算法，计算光电探测器及信号处理部件上各相邻子图像之间的视差；

根据各相邻子图像之间的视差，计算得到中间子图上的像素点到微透镜阵列二之间的距离；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物的重建图像；

将各子区域的重建图像配准，并将目标物图像、光谱以及深度组合成四维数据。

所述的快照式光场-光谱成像仪的成像方法中，所述各中间子图上的像素点到微透镜阵列二之间的距离与目标物深度间的关系通过校准方式获得。

所述的快照式光场-光谱成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度，具体为：计算各中间子图的深度，得到各波段的深度图像，所有波段的深度图像的平均图像为最终目标物的深度图。

所述的快照式光场-光谱成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物的重建图像，具体为：根据各中间子图上像素点到微透镜阵列二的距离，得到各像素点在光电探测器及信号处理部件上的多个对应点的位置，将每一个像素点的多个对应点的探测光强计算平均值，得到各像素点的光强值，进而得到目标物的重建图像。

本发明与现有技术的不同在于，在光场-光谱成像仪的结构上，在光电探测器及信号处理部件之前设置有两片微透镜阵列和一片滤光片阵列，其中微透镜阵列一和滤光片阵列可得到不同波段的目标物图像，微透镜阵列二对不同波长的目标物图像再次成像，最终光电探测器及信号处理部件可获得目标物的图像、光谱和光场信息；在成像方法上，在不同波长的子区域内分别做目标物的图像以及深度重建，并将所有波段的目标物深度的平均深度作为最终目标物的深度。

本发明所具有的有益效果在于：第一、系统可以在探测器一次积分时间内获取目标物的图像、光谱以及深度四维信息；第二、通过平均所有波段的目标物深度，可以大幅提高目标物深度的精度，降低深度图像的噪声。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明快照式光场-光谱成像仪的结构示意图；

图2为本发明快照式光场-光谱成像仪的立体示意图；

图3为本发明实施例一中光电探测器及信号处理部件上相邻子图像示意图；

图4为本发明实施例二快照式光场-光谱成像仪的部分结构示意图；

图5本发明实施例二中光电探测器及信号处理部件上相邻子图像示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。

为了满足生物医学以及机器视觉领域对成像技术的要求，本发明提出了一种快照式光场-光谱成像仪及成像方法，本发明可以在探测器一次积分时间内获取目标物的图像、光谱和深度四维信息。

本发明通过如下方式实现：

一种快照式光场-光谱成像仪，如图1所示，包括：沿光线方向依次设置的物镜1、视场光阑2、准直镜3、微透镜阵列一4、滤光片阵列5、微透镜阵列二6以及光电探测器及信号处理部件7；

目标物的光线首先经过物镜1汇聚到视场光阑2上，经过准直镜3准直达到微透镜阵列一4；再经过滤光片阵列5并在微透镜阵列一4的后焦面上，生成一系列子图像；所述子图像经过微透镜阵列二6成像到光电探测器及信号处理部件7上。

所述的快照式光场-光谱成像仪中，所述微透镜阵列一4的子透镜数量与滤光片阵列5的子滤光片阵列数量相等，且一一对应。

本发明还提出一种快照式光场-光谱成像仪的成像方法，适用于上述快照式光场-光谱成像仪，包括：

将光电探测器及信号处理部件得到的原始图像按照微透镜阵列一对应分割成不同子区域；所述各不同子区域分别代表不同波段的光场图像；

目标物的光线在微透镜阵列一的后焦面处得到的图像为中间子图；根据中间子图和子滤光片的透过波段，得到目标物各波段的光谱图像；

在光电探测器及信号处理部件的每个子区域内根据相关距离算法，计算光电探测器及信号处理部件上各相邻子图像之间的视差；

根据各相邻子图像之间的视差，计算得到中间子图上的像素点到微透镜阵列二之间的距离；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度；

根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物的重建图像；

将各子区域的重建图像配准，并将目标物图像、光谱以及深度组合成四维数据。

所述的快照式光场-光谱成像仪的成像方法中，所述各中间子图上的像素点到微透镜阵列二之间的距离与目标物深度间的关系通过校准方式获得。

所述的快照式光场-光谱成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物深度，具体为：计算各中间子图的深度，得到各波段的深度图像，所有波段的深度图像的平均图像为最终目标物的深度图。

所述的快照式光场-光谱成像仪的成像方法中，根据各中间子图上的像素点到微透镜阵列二之间的距离，计算得到目标物的重建图像，具体为：根据各中间子图上像素点到微透镜阵列二的距离，得到各像素点在光电探测器及信号处理部件上的多个对应点的位置，将每一个像素点的多个对应点的探测光强计算平均值，得到各像素点的光强值，进而得到目标物的重建图像。

为更好理解本发明方法，结合附图对实施方式进一步说明。

如图2所示，是本发明快照式光场-光谱成像仪的立体示意图，来自目标物的光线经过物镜21汇聚在视场光阑22上，再经过准直镜23达到微透镜阵列一24。假设微透镜阵列一的子透镜个数为m×n，则经过准直的光线透过微透镜阵列一和滤光片阵列25后，将在微透镜阵列一的后焦面处汇聚成m×n个相同的中间子图，滤光片阵列子滤光片的个数为m×n，并与微透镜阵列一的子透镜一一对应。若将中间子图和子滤波片的透过波段分别记为和则ii，j为目标物λi，j波段的光谱图像。

各中间子图经过微透镜阵列二26成像至光电探测器及信号处理部件27上。由于微透镜阵列二上不同的子透镜对中间子图成像时视角不同，相应的子图像之间将产生不同的视差。通过该视差可计算得到中间子图到微透镜阵列二距离，再将该距离投影至物空间即可得到目标物的深度。

下面以图1中物点o为例详细介绍目标物深度获取的过程。如图1所示，从物点o出发的光线经过物镜1聚焦到视场光阑2上，形成中间像点o1。此后光线经过准直镜3准直后由微透镜阵列一4聚焦到m×n个中间子像点。取其中心位置的中间子像点o2为例，光线经过微透镜阵列二6成像到光电探测器及信号处理部件7上。m1、m2和m3为微透镜阵列二对中间子像点o2成的三个子图像。

如图3所示，为计算m1和m2之间的视差，首先将两子图中心对准，则视差d为两子图中对o2成的像点之间的距离。根据几何关系，可以得到：

式中，b为微透镜阵列二6与光电探测器及信号处理部件7之间的距离；d为微透镜阵列二6中相邻子透镜之间的距离。对上式进行简化得到：

目标物的深度w与a之间的关系可由校准的方式获得：使用一个点光源作为目标物，通过本发明提出的方法计算得到中间子像点到微透镜阵列二之间的距离a，并移动点光源在测量范围内进行n次测量，得到结果集合同时，通过传统测量方法得到该点光源到系统之间的距离假设w与a之间的运算关系由w＝f(a)表示，则该运算关系可由最小二乘法估计得到：

式中，χ为系统的测量范围。对各个中间子图执行以上计算过程，可以得到各个波段的深度图像目标物的光谱信息与深度信息相互独立，即各个波段的深度图像是一致的。将所有波段深度图的平均图像作为最终目标物的深度图，即：

根据各中间子图上像素点到微透镜阵列二的距离，可以得到该像素点在光电探测器及信号处理部件上对应点的位置。由于微透镜阵列的复眼成像特性，中间子图上的像素点可以在探测器上找到多个对应点。将这些对应点的探测光强平均，作为该像素点的光强值。对中间子图上的每个像素点执行此操作，即可得到各个波段的重建图像再结合上一步得到的深度图g，即可得到包含目标物图像、光谱以及深度四维信息的数据立方体。

本发明还提供了另一实施例二，如图4所示，为本发明实施例二快照式光场-光谱成像仪的部分结构示意图，其中46为微透镜阵列二，47为光电探测器及信号处理部件；其与实施例一的区别在于微透镜阵列一的中间子图位于微透镜阵列二之后。

在该具体实施例下，m1和m2之间的视差如图5所示。根据几何关系，可以得到：

式中，b为微透镜阵列二6与光电探测器及信号处理部件7之间的距离；d为微透镜阵列二6中相邻子透镜之间的距离。对上式进行简化得到：

后续步骤的计算方式可参考实施例一实现。

本发明与现有技术的不同在于，在光场-光谱成像仪的结构上，在光电探测器及信号处理部件之前设置有两片微透镜阵列和一片滤光片阵列，其中微透镜阵列一和滤光片阵列可得到不同波段的目标物图像，微透镜阵列二对不同波长的目标物图像再次成像，最终光电探测器及信号处理部件可获得目标物的图像、光谱和光场信息；在成像方法上，在不同波长的子区域内分别做目标物的图像以及深度重建，并将所有波段的目标物深度的平均深度作为最终目标物的深度。

本发明所具有的有益效果在于：第一、系统可以在探测器一次积分时间内获取目标物的图像、光谱以及深度四维信息；第二、通过平均所有波段的目标物深度，可以大幅提高目标物深度的精度，降低深度图像的噪声。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。