基于时序延迟和强度调制的超分辨率非视域成像系统及方法

本发明属于非视域成像，涉及一种基于时序延迟和强度调制的超分辨率非视域成像系统及方法。

背景技术：

1、对视域以外的物体或场景进行成像，称作非视域（non-line-of-sight, nlos）成像。nlos成像技术在自动驾驶、医疗成像和公共安全方面有广泛应用。近年来，科研人员们提出了许多不同的方法来解决nlos问题，如散斑相关、基于遮挡物的成像、费马路径、声学回波、基于强度的成像和瞬态技术。

2、在这些方法中，瞬态技术由于能够恢复隐藏物体的三维形状引起了研究学者的注意。在瞬态nlos成像技术中，经过三次反射剩余的光子很少且是稀疏的，因此提出了许多方法从光子受限的数据中解耦更多的信息。最早根据采集的瞬态图重建nlos目标的方法是反向投影算法（back-projection algorithm）。之后，一些工作为了提高成像分辨率，在反向投影算法的基础上增加了特征提取和帧对帧连接。2018年，将瞬态图的形成过程简化为三维卷积模型。随后，在解卷积模型的基础上联合隐藏目标反射率和表面法线进行建模，以获得更精确的表面重建结果。除几何光学模型外，波传播模型也被用于重建nlos目标。2019年，提出频率-波数迁移（frequency-wavenumber migration, fk）通过对波场的时空域变换实现场景重建。同年，提出了基于瑞利-索默菲尔德衍射(rayleigh sommerfelddiffraction, rsd)的虚拟波相量场成像方法。由于基于时空的光学建模的精度高，波传播算法的重建质量显著提升。最近，transformer被用于捕捉三维nlos测量中局部和总体的时空相关性。上述方法利用瞬态图的时空特征有效地提高了nlos成像的效果。然而，这些方法的实现需要一个具有超快时间分辨能力的探测器来记录反射回的光子。

3、压缩感知（compressed sensing, cs）能充分利用场景稀疏性，与nlos成像任务是适配的。一些方法利用数字微镜器件(digital micro-mirror device, dmd)压缩调制来提高探测器的空间分辨率。虽然高空间分辨率的探测器提高了采样率，但nlos成像的成像分辨率仍然由系统的时间分辨率决定。系统的时间分辨率由系统的时间抖动和单光子计时分辨率（single-photon timing resolution，sptr）两者权衡决定。已经有方法可以将时间抖动减小到几皮秒。然而，受时间-数字转换器（time-to-digital converter，tdc）制作工艺的限制，时间分辨探测器的sptr是固定的，很难与时间抖动为几皮秒的系统相匹配。在这种情况下，nlos的成像分辨率不再取决于系统的时间抖动，而是取决于探测器的sptr。有研究人员提出用单点的单光子雪崩二极管(single-photon avalanche diode, spad)代替阵列spad与dmd组合进行nlos成像，采用sptr更高的单点spad来补偿阵列spad计时分辨率低的缺点。然而，这些方法的分辨率仍然受到单点spad的sptr的限制。也有一些方法引入sub-bin的时间延迟来提升探测器的sptr，但是这种方法需要对目标进行重复采样。因此，我们致力于利用瞬态图的空间时间相关性和稀疏先验来高效地降低成像对高时间分辨能力探测器的依赖。

4、因此，需要一种新的超分辨率非视域成像系统以解决上述问题。

技术实现思路

1、为了解决背景技术提出的问题，本发明提供一种基于时序延迟和强度调制的超分辨率非视域成像系统。

2、一种基于时序延迟和强度调制的超分辨率非视域成像系统，包括脉冲激光器和探测器，所述探测器包括镜头、掺铒光纤放大器edfa、mz强度调制器和单光子雪崩二极管spad，所述镜头、掺铒光纤放大器edfa、mz强度调制器和单光子雪崩二极管spad依次连接，所述脉冲激光器对中继墙进行扫描，所述镜头接收中继墙的反射回的光，所述掺铒光纤放大器edfa对所述镜头接收的光进行放大，所述mz强度调制器对不同位置接收到的光进行随机延时和强度调制，所述单光子雪崩二极管spad对所述mz强度调制器调制后的光进行采集。

3、更进一步的，还包括时间相关单光子计数模块tcspc，所述时间相关单光子计数模块tcspc连接所述单光子雪崩二极管spad，所述时间相关单光子计数模块tcspc以sptr为精度记录光子从目标表面反射回来的飞行时间，其中，sptr为时间bin的宽度。

4、更进一步的，还包括扫描振镜，所述脉冲激光器通过所述扫描振镜对中继墙进行扫描。

5、有益效果：本发明的基于时序延迟和强度调制的超分辨率非视域成像系统，通过控制高带宽调制器在探测器前随机延时和强度调制来实现高分辨率的目标重建。在低时间抖动的系统上，相比于探测器直接探测，本发明能降低非视域成像对系统硬件高时间精度的要求，并且对错误编码具有鲁棒性。

6、本发明还公开了一种基于时序延迟和强度调制的超分辨率非视域成像方法，采用如上所述的基于时序延迟和强度调制的超分辨率非视域成像系统，包括以下步骤：

7、步骤一、所述脉冲激光器对中继墙进行扫描，所述mz强度调制器对不同位置接收到的光进行随机延时和强度调制，所述单光子雪崩二极管spad对所述mz强度调制器随机延时和强度调制后的光进行采集，得到光子直方图；

8、步骤二、利用步骤一得到的光子直方图采用广义交替投影方法对每个时间bin采集到的瞬态图进行恢复；

9、步骤三、采用光锥变换算法对步骤二得到的瞬态图进行目标重建。

10、步骤一中所述脉冲激光器对中继墙的每个位置进行逐点扫描。

11、更进一步的，步骤一中所述单光子雪崩二极管spad一共采集个点，每个位置探测的光子直方图包括n个时间bin，所述时间bin的宽度为。

12、更进一步的，步骤一中当脉冲激光在某一位置多次照明时，所述单光子雪崩二极管spad在每个时间bin内接收到的曝光量通过下式表示：

13、 ，

14、式中，n为时间bin的索引，为时间bin的宽度，为入射辐射量，为时间-空间调制函数。

15、更进一步的，步骤二中瞬态图采用广义交替投影方法得到，所述广义交替投影方法通过下式表示：

16、 ，其中,

17、式中，为全局变量范数，y为光子直方图，x为瞬态图，为编码矩阵。

18、更进一步的，步骤三中采用光锥变换算法利用步骤二得到的瞬态图进行目标重建。

19、更进一步的，步骤三中，利用下式对目标重建结果进行评价：

20、 ,

21、式中，a和b为两幅图像，和是a和b的平均值，和分别是a和b的方差，是a和b的协方差，和是稳定性常数。

22、有益效果：本发明的基于时序延迟和强度调制的超分辨率非视域成像方法利用瞬态图之间的时空相关性，通过控制高带宽调制器在探测器前随机时延和强度调制来实现高分辨率的目标重建。本发明的方法将探测器的计时分辨率提高至少16倍。在低时间抖动的系统上，相比于探测器直接探测，本发明能降低非视域成像对系统硬件高时间精度的要求，并且对错误编码具有鲁棒性。