一种基于单光子成像的单光子距离像拼接系统及方法

本发明涉及一种单光子距离像拼接系统及方法，更具体一点说，涉及一种基于单光子成像的单光子距离像拼接系统及方法，属于光学成像。

背景技术：

1、单光子成像是一种主动光成像技术，利用首光子来构建图像。其与传统的成像技术不同，主要在于单光子成像依赖于可以检测单个光子级别信号的高灵敏度探测器，这种方法通过收集大量的单个光子，然后在图像平面上记录它们的位置，从而解算出目标的图像。单光子成像利用了光子的量子性质，对环境的要求更低，允许在非常低光水平下工作，甚至可以探测到只有一个光子的情况。由于单光子成像具有抗干扰性强、高灵敏度、高时间分辨率等特点，使其在遥感、激光雷达等领域具有重要的应用潜力。

2、目前，因为单光子成像硬件设施的限制，再利用单光子成像设备进行成像时，成像分空间分辨率普遍较低。为了提高单光子成像的成像空间分辨率，过往的研究者们通常关注设备本身，采取增加扫描式激光雷达的采用密度、增加阵列式单光子激光雷达的探测阵密度等方法来提高空间分辨率。但受硬件技术的限制，在设备上采取一系列提升空间分辨率的操作会一定程度上影响成像时间和系统功耗。

技术实现思路

1、为了解决上述现有技术问题，本发明提供具有能够在稳定成像时间和系统功耗的情况下提升最终成像的空间分辨率等技术特点的一种基于单光子成像的单光子距离像拼接系统及方法。

2、为了实现上述目的，本发明是通过以下技术方案实现的：

3、本发明一种基于单光子成像的单光子距离像拼接方法，其特征在于该方法包括如下步骤：

4、步骤1)：利用单光子探测器对目标场景进行探测(进行数据采集)，扭转risley棱镜，得到一对存在视差场景的三维图像数据(spad三维数据)，输送给计算机；

5、步骤2)：通过计算机对三维数据进行重构(送入单光子重构网络中)，得到二维待拼接图像单光子二维强度像与距离像(标场景的二维距离像和强度像)；

6、步骤3)：将一对单光子二维强度像送入网络(存在视场差的一对强度像送入单应性矩阵估计网络)，得到先验信息对距离像进行扭曲对齐，得到扭曲后的距离像(利用强度像先验信息，估计得到单应性矩阵h，将该矩阵作用在与强度像对应的单光子重构距离像上，得到一对对齐后的距离像)；

7、步骤4)：将扭曲后的一对图像送入神经网络重构，得到高分辨率的重构拼接目标图像(即将一对对齐后的距离像送入融合网络进行拼接重构，最终得到高分辨率、大视场的单光子距离拼接图像)。

8、优选的，计算机通过单光子图像重构网络实现将三维数据重构为二维待拼接图像。

9、优选的，步骤3)中一对单光子二维强度像为两张重构后待对齐的单通道图像。

10、优选的，图像对齐阶段采用特征金字塔网络fpn以用于图像特征提取和特征融合配准。

11、优选的，图像对齐具体步骤为：

12、首先对图像不断进行卷积和下采样，最终将图像变为原来的1/16大小，并将通道数放大为512通道，对下采样得到的不同尺度的特征进行1×1卷积改变通道，以便与1/16特征图上采样得到的相同尺度的特征图进行特征融合，通过将自顶向下和自底向上的特征图进行融合来实现特征金字塔网络fpn操作，通过特征金字塔网络fpn提升对多尺度特征的检测能力；

13、在提取完特征后进行特征相关性计算，并引入由三个卷积和两个全连接层组成的回归网络实现预测扭曲过程中对应的坐标偏移；

14、最后，通过dlt算法将偏移量转换为相应的单应性矩阵h，并将其作用在待拼接图像上，实现图像的扭曲对齐。

15、优选的，步骤4)中采用编解码结构、密集残差连接网络结构，其中，所述编解码结构用于图像低分辨率重建，在特征上对已经对齐后的图像进行融合重建，所述密集残差连接网络结构用于对重构后的低分辨率图像进行高分辨率优化，消除伪影。

16、优选的，所述编解码结构包括解码器和编码器，其操作步骤具体为：

17、首先将对齐得到的图像下采样到128×128分辨率，将其堆叠融合后，通过卷积层和最大池化层提取融合后的结构特征信息，编码器在下采样的过程中产生了512通道、16×16分辨率的特征图，解码器通过上采样恢复特征映射，再通过卷积层生成输出，其中卷积核大小为3x3，padding大小为1，步幅为1。

18、优选的，对于额外的跳连接层能够连接编码器和解码器对应的层，以恢复更多细节，提高信息流动和重建效果。

19、优选的，密集残差连接网络结构包括卷积和三个残差密集块，其操作步骤具体为：

20、首先将低分辨重构阶段重构的低分辨率图像与对齐阶段得到的两张图像堆叠融合，组成三通道的高分辨率待重构图像，经过卷积核大小为3×3的卷积提取浅层特征，送入残差密集块中，每个残差密集块中包含卷积密集连接和局部残差学习，对应的卷积通道数为64+32(n-1)，n为第几个残差密集块，每个残差密集块中包含局部特征融合，稳定输出的通道数为64，以避免经过多层残差密集块后特征维度灾难性增长。

21、本发明一种基于单光子成像的单光子距离像拼接系统，包括激光器、光束扩展器、risley棱镜、目标场景、单光子探测器、计算机，所述激光器、光束扩展器、risley棱镜、目标场景、单光子探测器、计算机间依次连接。

22、有益效果：能够在低分辨率下实现高质量图像拼接重构，能够实现在稳定单光子成像系统功耗和体积的情况下提升成像的空间分辨率，利用卷积网络强大的特征提取能力，根据强度像先验对齐距离像，使低空间分辨率下单光子距离像的图像扭曲对齐成为可能，为扩展单光子成像空间分辨率创造了条件，通过改进的编解码器结构和引入残差密集网络，在低分辨率的情况下能够获得更高质量的图像拼接重构结果，有效消除了伪影和接缝，提升了拼接后图像细节和清晰度；能够推动单光子成像技术的发展与应用，促进成像领域的进步和创新。

技术特征：

1.一种基于单光子成像的单光子距离像拼接方法，其特征在于该方法包括如下步骤：

2.根据权利要求1所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：计算机(6)通过单光子图像重构网络实现将三维数据重构为二维待拼接图像。

3.根据权利要求1或2所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：步骤3)中一对单光子二维强度像为两张重构后待对齐的单通道图像。

4.根据权利要求1所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：图像对齐阶段采用特征金字塔网络fpn以用于图像特征提取和特征融合配准。

5.根据权利要求4所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：图像对齐具体步骤为：

6.根据权利要求1所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：步骤4)中采用编解码结构、密集残差连接网络结构，其中，所述编解码结构用于图像低分辨率重建，在特征上对已经对齐后的图像进行融合重建，所述密集残差连接网络结构用于对重构后的低分辨率图像进行高分辨率优化，消除伪影。

7.根据权利要求6所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：

8.根据权利要求7所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：对于额外的跳连接层能够连接编码器和解码器对应的层，以恢复更多细节，提高信息流动和重建效果。

9.根据权利要求6或7所述的一种基于单光子成像的单光子距离像拼接方法，其特征在于：密集残差连接网络结构包括卷积和三个残差密集块，其操作步骤具体为：

10.一种基于单光子成像的单光子距离像拼接系统，其特征在于：包括激光器(1)、光束扩展器(2)、risley棱镜(3)、目标场景(4)、单光子探测器(5)、计算机(6)，所述激光器(1)、光束扩展器(2)、risley棱镜(3)、目标场景(4)、单光子探测器(5)、计算机(6)间依次连接。

技术总结
本发明公开的是一种基于单光子成像的单光子距离像拼接系统及方法，包括激光器、光束扩展器、Risley棱镜、目标场景、单光子探测器、计算机；利用单光子探测器对目标场景进行探测，扭转Risley棱镜，得到一对存在视差场景的三维图像数据，输送给计算机；对三维数据进行重构，得到二维待拼接图像单光子二维强度像与距离像；将一对单光子二维强度像送入网络，得到先验信息对距离像进行扭曲对齐，得到扭曲后的距离像；将扭曲后的一对图像送入神经网络重构，得到高分辨率的重构拼接目标图像，能够在低分辨率下实现高质量图像拼接重构。

技术研发人员：杨旭,肖绍俊,蒋鹏飞,吴龙,张勇,张建隆
受保护的技术使用者：浙江理工大学
技术研发日：
技术公布日：2024/3/4