超快光场断层摄影

【】本技术总体涉及高速成像系统和方法，更具体地涉及光场断层摄影(lift)：一种在记录光场方面高效并且使得能够进行大规模2d时间分辨数据的快照获取以及3d和4d成像的成像方法。

背景技术

0、
背景技术：

1、时间分辨成像在包括生物学、化学和物理学的一系列科学学科中起着关键作用。尽管成像在这些应用中是重要的，但是具有皮秒分辨率的大规模2d时间分辨数据的快速获取仍然是长期存在的要解决的挑战。当前成像装置的成像速度通常受技术局限的限制，并且在许多超快应用中不可能直接检测。

2、迄今为止，超快扫描相机(streak cameras)和增强型电荷耦合器件(iccd)传感器是用于测量超快动态的选择的并行检测器。尽管这种传感器被广泛使用，但是必须在空间域(对于超快扫描相机)或时间维度(对于iccd)中执行广泛扫描以获得2d时间分辨数据，并且这是固有地耗时的过程。

3、单光子雪崩二极管(spad)是一种新兴的超快检测器，其具有优越的灵敏度，能够实现数十皮秒的时间分辨率，并且具有制造为大幅面二维阵列的潜力。然而，获得灰度级时间分辨数据仍然需要利用时间相关单光子计数器(tcspc)进行时间扫描或重复照明，这导致在给定当前制造技术的情况下2d spad传感器的较差填充因子。对扫描的需要也不期望地将这些相机的适用范围限制为严格可重复的事件。

4、过去十年也已经见证了能够利用单次快照进行2d时间分辨成像的若干不同超快相机的发展。然而，即使考虑主动方法，这些方法中也没有一个获得(超过1000的)深序列和皮秒时间分辨率的挑战性组合。例如，使用专用照明，顺序定时全光映射摄影(stamp)可以实现200fs的时间分辨率，但是仅可获得相当有限的序列深度(＜50)。在另一个极端，串行时间编码放大成像(steam)可以连续地流式传输2d图像，同时其时间分辨率被限制为几纳秒。

5、压缩超快摄影(cup)已经是唯一的被动相机，其在单次快照中提供超过100*100*100的三维数据立方体(x,y,t)并且达到亚皮秒分辨率。不幸的是，对于较大尺度测量进一步缩放它是具有挑战性的，除了其在空间分辨率与序列深度之间的固有折衷之外，cup相机的大压缩因子和时空串扰直接限制了瞬态成像中可实现的时空分辨率。

6、然而，现有的超快相机对于非视线成像不足，这需要提供长序列的时间分辨数据的高分辨率、二维超快相机。因此，当前的非视线(non-line-of-sight)实施方案需要在空间和/或时间维度上执行扫描，这将获取时间延长到秒或更长的水平，从而即使在图像分辨率受损时也限制了对静态或缓慢移动的物进行成像的方法。

7、缺乏用于大规模2d时间分辨数据的单次拍照获取的通用工具以及不能应对扩展的3d场景不仅限制了在直视中的瞬态现象的可视化，而且损害了在遮挡周围观看或非视线(nlos)成像的能力。尽管透过直视观察在如导航、监视、甚至医学成像的领域中找到了广泛的应用，但是当前nlos成像器在实现视频速率成像方面仍然远远落后于它们的视线配对件，尽管最近的工作已经打开了将视线成像方法系统地传递到nlos领域的途径。计算密集型重建通过更快的反演算法和并行计算仍不能克服的主要瓶颈是对大规模时间分辨数据的缓慢获取。尽管边缘分辨瞬态成像(edge-resolved transient imaging,erti)对nlos成像使用少得多的扫描，但它仅产生2.5d(而不是完整的3d)重建，并且其差分测量仍然导致在各个扫描位置处的长曝光时间(＞10s)。更快的扫描也可以以若干其他方式实现，包括缩短传感器曝光时间、降低空间扫描密度或使获取并行化。然而，扫描机制的缺陷仍然存在，并且来自较短曝光的所得较小光子计数通常需要通过使用较高激光功率和/或回射目标来补偿。不能应对扩展的3d场景也妨碍了可现场部署的nlos成像，其需要适应非平面的或者甚至断开的表面。这些障碍使得nlos成像可论证地成为超快相机的最具挑战性的应用之一。

技术实现思路

0、
技术实现要素：

1、提供了用于超快光场断层摄影(lift)的系统和方法，其解决了常规非视线成像中的缺陷并且实现了许多重要的适应性。现有的超快相机不能应对扩展的三维场景，并且对于需要长序列的时间分辨二维数据的非视线成像不足。因此，当前非视线成像器需要在空间和/或时间维度上执行广泛扫描，这将其使用限制于仅对静态或缓慢移动的物进行成像。

2、本技术利用被称为超快光场断层摄影的瞬态成像策略来解决这些长期存在的挑战。光场断层摄影提供了在记录光场方面非常高效并且使得能够对大规模2d时间分辨数据进行快照获取的装置和成像方法。这是通过将一维1d传感器变换为2d光场相机来实现的，利用了常规光场获取是高度冗余的事实，因为除了视差提示之外子孔径图像大部分是相同的。1d传感器的快得多的帧速率也有利于高速成像的lift。虽然现有技术的超快相机在阻止光场获取的像素分辨率方面受到严重限制，但是lift提供了一种打破这种限制的方式。与超快扫描相机相结合，lift可以在单次快照中捕获完整的四维时空空间，并且可以提供超过120*120的具有超过1000的序列深度的图像分辨率，从而实现空前的超快成像能力，包括使用低功率激光的视频速率nlos成像。

3、所例示的lift方法提供超过1000的时间序列，并且实现高效的光场获取，从而允许完整的四维空间和时间的快照获取。利用lift过程，已经演示了具有＜10皮秒的分辨率的飞光现象中的三维成像和以30hz视频速率进行的非视线成像。此外，lift处理可以受益于用于改进和加速的图像形成的深度学习技术。lift还可以便于在各种学科中广泛采用时间分辨方法。

4、典型的lift系统提供超快扫描相机或其它用于测量光脉冲中的光强度随时间的变化的仪器、以及柱面透镜、道威棱镜阵列、柱面小透镜阵列、可选的狭缝阵列以及成像光学器件和成像传感器。柱面小透镜阵列紧密地固定到超快扫描相机的入口狭缝。利用这种配置，可以将物空间中的三点源变换成图像平面上的平行线，从而产生投影图像。使用以不同角度定向的小透镜从不同视角获取这样的投影图像自然地对3d场景的光场进行采样。通过对针孔图像和线形点扩散函数(psf)的卷积结果进行采样来获得1d投影数据。随着时间记录这样的1d数据将产生时间分辨的测量。

5、lift的核心思想是通过使用柱面透镜获取物的正面(en-face)平行束投影，来将摄影重新形成为计算机断层摄影(ct)问题。通常，光场断层摄影的优选实施方案开始于通过柱面透镜将物空间中的点源变换成图像平面中的平行线。图像空间中的线方向平行于柱面透镜的不变轴(即，没有光焦度的轴线)。

6、场景的这种光学变换可以被人为分解为两个步骤。第一步是针孔图像形成，第二步是利用平行于柱面透镜的不变轴的线形点扩散函数的卷积。线形psf允许单个相机像素沿着该线来对图像进行积分。利用位于图像空间中心的1d传感器，沿着不变轴方向获取图像的平行束投影。

7、通过相对于1d传感器旋转柱面小透镜可记录不同角度的投影。通过使用以不同角度定向的柱面小透镜的阵列，可以同时获得足够的投影以用单次快照恢复图像。此外，因为各个小透镜从不同的视角观察相同的场景，所以场景的光场在投影数据中自然地以等于小透镜的数量的角分辨率被采样。这种断层摄影光场记录比常规方法高效几个数量级。这赋予lift成熟的光场成像能力，包括深度检索、捕获后重新聚焦和扩展的景深。

8、例如，lift还允许制造具有用于超快或合成孔径成像的1d传感器的2d相机阵列，其特征在于比常规方法小几个数量级的数据负载。相机阵列中的较大基线和集光率还将实现大得多的光通过量，从而使得有可能看穿遮挡。

9、给定lift对大规模时间分辨光场数据的独特快照获取，lift还可以找到之前被延长的时域测量所阻碍的广泛应用，诸如经由时域扩散光学断层摄影成像到散射介质中或通过散射介质成像。这些方法还可以容易地扩展到除了时间之外的光学维度，诸如通过使用成像光谱仪作为1d传感器并从而使得能够进行快照光场高光谱成像的谱域。在光谱编码是主动超快相机的基础的情况下，谱域lift可以将现有的成像光谱仪转变成具有100fs以下时间分辨率和超过1000的序列深度的超快相机，只要适当的照明是可用的。例如，lift系统和处理方法的功能被例示为具有诸如高光谱成像、光检测和测距(lidar)和非视线(nlos)成像的应用。

10、根据本技术的一个方面，提供了用于执行超快光场断层摄影的设备和系统，即使当物处于快速运动中并且在聚焦场之外时，超快光场断层摄影也表现出优越的分辨率。

11、本技术的另外方面是提供稳定的光场成像平台，其并入了提高图像质量并显著加速图像形成的深度学习策略。

12、本技术的另一方面是提供通过在单次快照中捕获完整的四维空间(x,y,z和时间)来实现视频质量nlos成像的设备和系统。

13、在说明书的以下部分中将公布本文描述的技术的另外方面，其中，详细描述是为了完全公开本技术的优选实施例而不对其施加限制的目的。