基于神经网络的单像素三维成像方法和系统

本申请涉及三维成像，尤其涉及一种基于神经网络的单像素三维成像方法和系统。

背景技术：

1、三维成像系统能够反映事物的深度信息，在工业生产、宇宙开发、海洋探测、医学诊断、生物工程等多个领域有着广阔的应用前景。

2、三维成像的方法通常有三种：结构光法、双目立体成像法和飞行时间法。其中，飞行时间法虽然有测量精度高、测量速度快和测量范围广等优点，但也具有面阵传感器制造困难，无法扩展到红外光谱等缺点。结构光法、双目立体成像法和飞行时间法，都需要使用特殊的结构照明、面阵传感器或者单像素加扫描机构来获取物体横向的空间信息，这些方法构成的成像系统结构复杂，成像速度慢。

3、于是，无扫描、无特殊照明结构的单像素成像方法被提出，该方法记录整个场景的时间数据，然后利用ann人工神经网络对一维数据进行反演，最终得到三维图像。但是该方法仅使用单点的单光子探测器进行飞行时间探测，会产生对称模糊的问题，即以单点探测器为圆心的中心对称场景会出现相同的测量值。

技术实现思路

1、本申请提供了一种基于神经网络的单像素三维成像方法及系统，以解决现有三维成像系统结构复杂、成像速度慢，以及单像素成像方法产生对称模糊的技术问题，能够获得结构简单、适应恶劣天气需求、成像速度快和抗干扰能力强的三维成像系统。

2、为解决上述技术问题，第一方面，本申请提供了一种基于神经网络的单像素三维成像方法，所述方法包括：

3、采用激光照射训练场景，并记录激光发出时间；采用单光子探测器探测经所述训练场景中目标反射回来的激光光子，并记录激光光子接收时间；根据所述激光发出时间和所述激光光子接收时间生成第一时间直方图；

4、采用毫米波雷达采集所述训练场景中目标的一维距离像；

5、将所述第一时间直方图和所述一维距离像进行融合得到融合直方图；

6、采用深度相机采集所述训练场景中目标的三维图像，所述三维图像以深度图的形式保存；

7、构建单像素三维成像模型，并将所述融合直方图和所述三维图像分别作为输入和输出数据，对所述单像素三维成像模型进行训练；

8、将待检测场景的融合直方图输入所述训练完成的单像素三维成像模型，得到所述待检测场景的三维图像。

9、优选的，所述采用激光照射训练场景，包括：

10、采用1550mm脉冲激光器产生脉冲激光；

11、采用伽利略式扩束透镜将所述脉冲激光散射为大型球面波。

12、优选的，所述采用单光子探测器探测经所述训练场景中目标反射回来的激光光子，包括：

13、采用透镜聚焦经所述训练场景中目标反射回来的激光光子，以形成平行激光光子束；

14、采用光纤准直器接收所述平行激光光子束，并将所述平行激光光子束传输至单光子探测器。

15、优选的，所述采用毫米波雷达采集所述训练场景中目标的一维距离像，包括;

16、将所述毫米波雷达放置在所述单光子探测器特定距离范围内，以使所述毫米波雷达和所述单光子探测器与所述训练场景中目标之间产生的夹角小于等于特定角度。

17、优选的，所述将所述第一时间直方图和所述一维距离像进行融合得到融合直方图，包括：

18、将所述一维距离像转换成第二时间直方图；

19、将所述第一时间直方图和第二时间直方图的图形进行拼接，得到融合直方图。

20、优选的，所述将所述融合直方图和所述三维图像分别作为输入和输出数据，对所述单像素三维成像模型进行训练，包括：

21、改变所述训练场景中目标的姿态，获取多组所述融合直方图和所述三维图像；

22、将同一姿态的融合直方图和三维图像组成数据对：

23、将多组所述数据对中融合直方图作为输入数据，三维图像作为输出数据，依次输入所述单像素三维成像模型中进行训练。

24、优选的，所述对所述单像素三维成像模型进行训练，包括：

25、设定所述单像素三维成像模型的损失函数，经过训练得到所述融合直方图和所述三维图像的映射关系。

26、第二方面，本申请还提供了一种基于神经网络的单像素三维成像系统，所述系统包括：

27、脉冲激光器：用于发射激光照射训练场景；

28、单光子探测器：用于探测经所述训练场景中目标反射回来的激光光子；

29、时间间隔计数器：用于记录激光发出时间，以及激光光子接收时间；

30、毫米波雷达：用于采集所述训练场景中目标的一维距离像；

31、深度相机：用于采集所述训练场景中目标的三维图像，所述三维图像以深度图的形式保存；

32、数据获取模块：用于获取所述激光发出时间、所述激光光子接收时间、所述一维距离像和所述三维图像；

33、数据处理模块：用于根据所述激光发出时间和所述激光光子接收时间生成第一时间直方图；以及将所述第一时间直方图和所述一维距离像进行融合得到融合直方图；

34、模型构建模块：用于构建单像素三维成像模型，并将所述融合直方图和所述三维图像分别作为输入和输出数据，对所述单像素三维成像模型进行训练；

35、三维成像模块：用于将待检测场景的融合直方图输入所述训练完成的单像素三维成像模型，得到所述待检测场景的三维图像。

36、优选的，所述脉冲激光器为1550mm脉冲激光器，并在所述脉冲激光器的输出端安装伽利略式扩束透镜；

37、所述伽利略式扩束透镜，用于将所述脉冲激光散射为大型球面波。

38、优选的，在所述单光子探测器的输入端安装有透镜和光纤准直器；

39、所述透镜，用于聚焦经所述训练场景中目标反射回来的激光光子，以形成平行激光光子束；

40、所述光纤准直器，用于接收所述平行激光光子束，并将所述平行激光光子束传输至单光子探测器。

41、本申请提供了一种基于神经网络的单像素三维成像方法及系统。所述方法利用脉冲激光器发出的激光和单光子探测器，对训练场景照亮以及获取激光经训练场景中目标反射的飞行时间，生成第一时间直方图。采用毫米波雷达采集所述训练场景中目标的一维距离像，将第一时间直方图和一维距离像进行融合得到融合直方图。深度相机采集所述训练场景中目标的三维图像，将融合直方图和三维图像分别作为输入和输出数据对构建的单像素三维成像模型进行训练，将待检测场景的融合直方图输入所述单像素三维成像模型，以对待检测场景进行三维成像。本申请提供的基于神经网络的单像素三维成像方法结构简单，不需要复杂的配套设配，能够满足恶劣环境的需求，成像快速，以及抗干扰能力强。

技术特征：

1.一种基于神经网络的单像素三维成像方法，其特征在于，所述方法包括：

2.如权利要求1所述的基于神经网络的单像素三维成像方法，其特征在于，所述采用激光照射训练场景，包括：

3.如权利要求1所述的基于神经网络的单像素三维成像方法，其特征在于，所述采用单光子探测器探测经所述训练场景中目标反射回来的激光光子，包括：

4.如权利要求1所述的基于神经网络的单像素三维成像方法，其特征在于，所述采用毫米波雷达采集所述训练场景中目标的一维距离像，包括;

5.如权利要求1所述的基于神经网络的单像素三维成像方法，其特征在于，所述将所述第一时间直方图和所述一维距离像进行融合得到融合直方图，包括：

6.如权利要求1所述的基于神经网络的单像素三维成像方法，其特征在于，所述将所述融合直方图和所述三维图像分别作为输入和输出数据，对所述单像素三维成像模型进行训练，包括：

7.如权利要求6所述的基于神经网络的单像素三维成像方法，其特征在于，所述对所述单像素三维成像模型进行训练，包括：

8.一种基于神经网络的单像素三维成像系统，其特征在于，所述系统包括：

9.如权利要求8所述的基于神经网络的单像素三维成像系统，其特征在于，所述脉冲激光器为1550mm脉冲激光器，并在所述脉冲激光器的输出端安装伽利略式扩束透镜；

10.如权利要求8所述的基于神经网络的单像素三维成像系统，其特征在于，在所述单光子探测器的输入端安装有透镜和光纤准直器；

技术总结
本申请公开了一种基于神经网络的单像素三维成像方法及系统，所述方法利用脉冲激光器发出的激光和单光子探测器，对训练场景照亮以及获取激光经训练场景中目标反射的飞行时间，生成第一时间直方图。采用毫米波雷达采集训练场景中目标的一维距离像，将第一时间直方图和一维距离像进行融合得到融合直方图。深度相机采集训练场景中目标的三维图像，将融合直方图和三维图像分别作为输入和输出数据对构建的单像素三维成像模型进行训练，将待检测场景的融合直方图输入单像素三维成像模型，以对待检测场景进行三维成像。本申请提供的三维成像方法和系统结构简单，不需要复杂的配套设配，能够满足恶劣环境的需求，成像快速，且抗干扰能力强。

技术研发人员：孙仕海,赖廷钦,梁晓琳,吴欣怡,廖联烨
受保护的技术使用者：中山大学
技术研发日：
技术公布日：2024/1/16