一种凝视型无镜头激光三维成像装置及成像方法与流程

本发明属于三维成像技术领域，特别涉及一种凝视型无镜头激光三维成像装置及成像方法。

背景技术：

在智能化、自动化、信息化的社会，二维图像信息已经不能满足人们的需求，在生产与生活中，人们对真实场景的三维图像获取需求不断增长。

基于光学传感的三维成像技术具有非接触、成像效率高等优点，在工业制造、科学研究、文化生活等领域具有广泛的应用。

现有的传统三维成像技术主要有双目视觉法和激光主动探测法。双目视觉法即采用相机在不同方位坐标上获得同一目标的不同维度信息，再经过后期数据处理重建得到被测目标的三维图像；激光主动探测法即采用激光入射目标获取某点的距离信息，通过扫描装置或者阵列探测器获取目标不同部位的距离信息，再经过后期信号处理重建出目标三维图像。

基于上述方法的传统三维成像装置都必须采用光学镜头将目标反射的光波耦合至相机或者是耦合至探测器，这使得成像装置体积较大，成本较高，限制了这些三维成像装置的应用。

另外，在物联网图像数据采集，可穿戴设备，嵌入式成像，识别跟踪组件中通常需要成像装置满足紧凑的外形、轻质量、低功耗、低成本等要求。传统三维成像装置由于透镜的数量与厚度，透镜前后需要保留的距离空间，法兰距等因素使得成像装置的厚度不能进一步缩小。

技术实现要素：

为解决传统三维成像装置体积较大，成本较高的问题，本发明提供了一种凝视型无镜头激光三维成像装置及成像方法。

本发明的技术解决方案是：

一种凝视型无镜头激光三维成像装置，其特殊之处在于：包括脉冲激光器、光束整形器、光调制器、阵列探测器和信号处理单元；

脉冲激光器用于产生脉冲激光；

光束整形器用于对所述脉冲激光进行整形，使激光脉冲能够均匀入射到待测目标表面；

光调制器用于对待测目标反射回来的回波脉冲光信号进行调制；

阵列探测器用于接收经光调制器调制后的回波脉冲光信号；

信号处理单元同时与脉冲激光器和阵列探测器电连接；

阵列探测器产生的信号输入至信号处理单元，由信号处理单元将阵列探测器输出的数据进行处理，重建待测目标的三维图像。

进一步地，所述光调制器为具有滤波功能的光调制器。

进一步地，所述光调制器为采用具有滤光作用材料制成的编码掩模光调制器，掩模图案采用二维可分离编码图案。

进一步地，所述光调制器为不具有滤波功能的光调制器，光调制器前加设滤波片。

进一步地，所述光调制器与阵列探测器集成贴放在一起，或者所述光调制器设置在阵列探测器前方。

进一步地，若所述光调制器设置在阵列探测器前方，光调制器应距离阵列探测器的光敏面1-2mm处。

进一步地，所述脉冲激光器为小型激光器。

本发明同时提供了利用凝视型无镜头激光三维成像装置的成像方法，其特殊之处在于，包括以下步骤：

步骤1，获取待测目标的强度图像；

步骤2，获取待测目标的距离图像；

步骤3，将待测目标的距离图像与强度图像进行数据处理融合，重建出待测目标的三维图像。

进一步地，所述步骤1获取待测目标的强度图像的方法为：

首先，确定光调制器的调制作用φ；

然后，由阵列探测器获取待测目标的测量结果y；

最后，根据y＝φ·x+e重建出待测目标的强度图像；

上式中，x是一个表示待测目标场景的矩阵；y是一个表示阵列探测器测量结果的矩阵；φ是一个表示光调制器调制作用的矩阵，也即光调制器的离散点扩散函数；e表示成像装置的噪声项。

进一步地，所述步骤2是采用距离门控时间切片方法获取待测目标的距离图像:

首先，通过对阵列探测器进行延迟触发获取n幅待测目标的测量图像序列；

其次，通过步骤1所述的强度图像获取方法获取由n幅待测目标的强度图像构成的强度图像序列{i1(x,y),i2(x,y),…,in(x,y)}；

然后，通过强度图像序列{i1(x,y),i2(x,y),…,in(x,y)}计算出待测目标与阵列探测上像素(x,y)之间的往返飞行时间

最后，获得待测目标与阵列探测上像素(x,y)之间的距离也即获取了待测目标的距离图像；

上式中，ii(x,y)表示待测目标的强度图像，i＝1,2,…,n表示获取的强度图像个数，表示这一系列强度图像的强度叠加，ti表示每个强度图像发射到阵列探测器上的时间。

本发明具有的有益效果是：

1)本发明的三维成像装置与现有技术相比，省去了光学镜头，因此，装置体积较小、成本低。

2)本发明的三维成像装置中，光调制器靠近阵列探测器设置，优选的，距离阵列探测器的光敏面1-2mm，极大的减少了成像装置的厚度、体积与重量。

3)本发明的三维成像装置中光调制器与阵列探测器在制造工艺允许的情况下，具有可集成贴放在阵列探测器前方，一体化加工制造的潜力。

4)本发明的三维成像装置中，脉冲激光器采用小型激光器，进一步减小了装置的体积。

5)本发明成像方法简单，便于实现。

附图说明

图1为本发明的凝视型无镜头激光三维成像装置的结构示意图。

图2为本发明的凝视型无镜头激光三维成像装置的工作原理图。

图3a为编码掩模光调制器示意图。

图3b为图3a的编码掩模光调制器采用的一种二维可分离编码图案。

图4为标定图案示例。

图5为本发明的凝视型无镜头激光三维成像装置训练过程示意图。

图6为利用时间切片技术获取的强度图像序列。

图7为距离图像获取原理图。

图8为本发明的三维成像流程图。

附图标记说明：10-脉冲激光器，11-光束整形器，12-光调制器，13-阵列探测器，14-信号处理单元，15-待测目标。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步描述。

如图1所示，本发明所提供的凝视型无镜头激光三维成像装置，包括脉冲激光器10、光束整形器11、光调制器12、阵列探测器13和信号处理单元14。

脉冲激光器10用于发射激光脉冲，优选小型激光器；脉冲激光器10的波长根据阵列探测器选取：硅基的面阵探测器，其响应波段一般为300nm至1000nm，此时脉冲激光器10的激光波长可采用可见光波段，具体可以是532nm、632.8nm等等；对于基于ingaas的面阵探测器时，激光器波长则需选取1000-1600nm波段，比如1064nm、1550nm。

光束整形器11用于调整脉冲激光器发射出的激光脉冲的光斑大小、光斑能量分布等，使激光脉冲能够均匀入射到待测目标表面；光束整形器11优选工程漫反射体，发射图样为圆形图样，透射效率达90％以上。

光调制器12用于调制待测目标反射回来的回波光；光调制器12可采用带滤波功能的光调制器，也可采用不带滤波功能的光调制器，而在光调制器前加滤波片。本发明优选具有滤光作用材料(只允许激光器发射的激光反射回波通过)制成的编码掩模光调制器，掩模图案采用二维可分离编码图案，该编码掩模光调制器具有简单且成本较低的优点。

阵列探测器13，用于接收经光调制器12调制后的待测目标的回波信号，优选硅基的面阵探测器，其响应波段为300nm至1000nm。

光调制器12与阵列探测器13以适当距离靠近放置在一起，优选的，光调制器设置在距离阵列探测器的光敏面1-2mm处。在一定条件下，光调制器12与阵列探测器13两者可集成在一起，一体化制造。

信号处理单元14是一个芯片模块，与脉冲激光器10和阵列探测器13电连接，用于控制脉冲激光器10的输出与阵列探测器13的延迟与读出，记录阵列探测器13上的响应数据，将获取信息进行数据处理、重建出待测目标的三维图像。信号处理单元14可采用xilinx公司vertex-7系列fpga编写，型号为xc7vx415t的芯片模块，其逻辑单元数412,160个，i/o引脚数600个，片上ram大小为31,680kb。

本发明工作原理图如图2所示，图中实线表示电信号，虚线表示光信号。信号处理单元控制脉冲激光器发射激光脉冲，并记录脉冲的发射时刻；信号处理单元同时控制阵列探测器在一个延迟时间后开始工作，同时使探测器只在一个小的时间内响应。激光脉冲经过光束整形器后均匀入射到待测目标，在待测目标表面，激光脉冲发生漫反射，经光调制器调制后入射到阵列探测器；阵列探测器发生响应，记录经光调制器调制后的回波强度信息，阵列探测器将数据输入至信号处理单元，经过信号处理单元处理数据后，得到一幅测量图像；给延迟时间设定一个递增步长，改变延迟时间，重复以上步骤n-1次，直到获取n幅测量图像；信号处理单元将所获取信息处理，重建出待测目标的三维图像并输出。

以下具体阐述本发明的成像过程：

一、获取待测目标的强度图像。

强度图像的获取原理与过程如下所述：

给定一个光调制器，则阵列探测器上的测量图像可以表示为:y＝φ·x+e。

上式中，x是一个表示待测目标场景的矩阵；y是一个表示阵列探测器测量结果的矩阵；φ是一个表示光调制器调制作用的矩阵，也即光调制器的离散点扩散函数(pointspreadfunction：psf)；e表示成像装置的噪声项。

因此，先通过一系列的训练实验确定光调制器调制作用φ，然后由阵列探测器获取的待测目标测量结果y，即可重建出待测目标场景x。这里的一系列实验即利用本发明三维成像装置对一系列已知图案成像，从而对本发明进行训练(或标定)。

本发明三维成像装置出厂前，训练过程已经在实验中(或原理样机上)完成，实际应用时可以直接对一定范围内的目标成像。

以下以光调制器调制作用矩阵φ是由两个一维序列φl,φr构成时为例，说明φl,φr的获取方法：

当光调制器调制作用矩阵φ是由两个一维序列φl,φr构成时，则由阵列探测器获得的测量图像可以表示为：

上式中，x是一个表示待测目标场景的矩阵，y是一个表示阵列探测器测量结果的矩阵，φl,φr分别是表示光调制器对待测目标场景的行和列起调制作用的矩阵。

选择合适的训练图像h(也即标定图案)，同时要求训练图像h(h表示关于训练图像的矩阵)的大小与最终重建出的强度图像的像素大小的维度相匹配(如果强度图像为512pix×512pix，则该矩阵大小为512×512)。选择的训练图像可以是具有特定规律的一系列点图案、线图案或块图案。

分别采集n个对应于训练图像{h1,h2…hn-1,hn}的测量图像{y1,y2…yn-1,yn}，计算出φl,φr。

计算原理如以下所示：

我们以求解φl为例：利用n个可分离标定图案{h1,h2…hn-1,hn}与经过本发明三维成像装置后得到的对应测量图像{y1,y2…yn-1,yn}进行求解。因为{h1,h2…hn-1,hn}是我们基于哈达玛矩阵生成的条纹图案，因此可表示为hk＝hk1^t，其中hk∈rⁿ是大小为m×m的正交哈达玛矩阵h的一列，同时1是长度为m的全1向量。因为哈达玛矩阵中仅包含±1两个数值，因此我们对每个标定图案记录两个图像：hk1^t与-hk1^t。为了在显示器上显示该图案，我们将-1值设置为零。在阵列探测器上hk1^t与-hk1^t的对应测量图像相减即对应于hk的测量图像，利用奇异值分解(svd分解)获得测量值yk的秩为1的近似值(uk表示在奇异值分解中在秩为1时的一个左奇异向量，v表示一个右奇异向量)。因此有：

h＝hk1^t

所以，

v＝φr1

uk≈φlhk

[u1,u2…un]＝φl[h1,h2…hn]＝φlh

φl＝[u1,u2…un]h^-1

同理，令可以推导出：φr＝[v1,v2…vn]h^-1。

通过以上计算原理可以求解出φl,φr。

如果光调制器调制作用矩阵φ不是由两个一维序列构成，强度图像依然是采用上述方法获取，依据原理是y＝φ·x+e，通过做一系列实验可以求解出φ，但是这个φ用矩阵表示很大，求解的复杂度较高，对计算机的性能要求也高。本实施例光调制器调制作用矩阵φ采用两个一维序列构成，就是为了降低φ的求解复杂度。

将本发明三维成像装置运用到待测目标场景，采集待测目标的测量图像数据，重建出待测目标的强度图像。

已知阵列探测器测量结果y与经过训练后的三维成像装置的调制作用矩阵φl,φr，则待测目标x的估计值可以由下式给定：

针对上述的估计值会受到噪声放大和解振荡的影响，可以在上式中添加范数约束项，即：

上式中τ是一个正则化参数，控制残差范数与约束条件之间的权重。

由上式即可得出待测目标的强度图像。

二、获取待测目标的距离图像。

距离图像的获取原理与过程如下所述：

采用距离门控时间切片技术获取待测目标15与阵列探测器13之间的距离。

首先，由信号处理单元控制脉冲激光器发射激光脉冲，脉冲激光器发射的主波信号经待测目标漫发射后，回波信号经光调制器后入射到阵列探测器。同时信号处理单元经一定的延迟时间t0后控制阵列探测器开始工作，同时控制阵列探测器接收时间(门控时间)为tgate。这时阵列探测器接收到一组测量信息(待测目标的测量图像)输入至信号处理单元，采用强度图像的获取方法处理该测量图像，得到待测目标一幅强度图像i1(x,y)，(x,y)表示阵列探测器上的某像素。

其次，将延迟时间t0改为ti，ti由式ti＝t0+(i-1)tstep(i＝1,2,…,n)确定，同时这里tstep是我们设定的一个很小的时间延迟步长，tgate不变。重复第一步过程，获取待测目标的一系列强度图像{i1(x,y)，i2(x,y)，…，in(x,y)}。

通过一系列强度图像{i1(x,y)，i2(x,y)，…，in(x,y)}求解出待测目标与阵列探测器之间的往返飞行时间<t(x,y)>，进一步通过往返飞行时间求解出待测目标与阵列探测上像素(x,y)之间的距离<r(x,y)>。

具体求解原理如下所述：

在脉冲激光器选定的情况下，则已知该脉冲激光器的峰值功率为p0，脉冲重复频率为f，激光脉冲的脉宽为σpulse，因此该激光脉冲可表达为

信号处理单元控制阵列探测器开始工作后的接收时间为tgate，在该时间内阵列探测器响应，其他时间内阵列探测器不响应。因此阵列探测器的时间门控作用可表示为：

因此在门控时间内,阵列探测器上的强度图像可由ii(x,y)＝∫p(t-2r/c)g(t-ti)dt表示。同时，这一系列i＝1,2,…,n的强度图像的总和(强度叠加)可以表示为

当我们将时间延迟步长tstep设定为小于激光脉冲宽度与阵列探测器的门控时间tgate时，求和可用积分代替，即由以上关系，我们进一步得到

因此，待测目标与阵列探测器之间的往返飞行时间<t(x,y)>可由式确定，待测目标与阵列探测器之间的距离<r(x,y)>可由式(c表示该探测环境下的光速)。

三、图像融合

信号处理单元将待测目标的距离图像与强度图像进行数据处理融合，重建出待测目标的三维图像。该过程具体是建立统一坐标系将距离图像与强度图像一一对应，即可重建出待测目标的三维图像。

实施例：

本实施例的光调制器采用编码掩模光调制器，如图3a所示。图3b所示是图3a采用的一种二维可分离编码图案，黑色部分表示不透光，白色部分表示透光，只允许特定波长的回波透过。

二维可分离编码图案我们采用两个相同的长度为255的一维m序列(m序列是最长线性移位寄存器序列的简称，是一种伪随机序列、伪噪声(pn)码或伪随机码，m序列是目前广泛应用的一种伪随机序列)，计算它们的外积，得到一个255×255的外积矩阵。这个外积矩阵由±1构成，我们用0替换外积矩阵中所有的-1，这样就得到了一个由0和1构成的二元矩阵，其中矩阵中1表示透光，0表示不透光。

利用cad软件将上述二元矩阵画成图案，其中每个0或者1都对应一个30μm×30μm的区域。

在特定的基底材料(如苏打玻璃或者石英玻璃)上，在所有0所在的区域涂覆不透光膜层(如金属铬膜)，在所有1所在的区域涂覆滤光膜，这样就得到了我们所需的编码掩模光调制器。

采用标定模板对三维成像装置进行训练。标定模板为一系列已知的图案，通过训练该三维成像装置，获得编码掩模的光调制的点扩散函数，用于后期强度图像的重建。

一种可行的标定模板是利用哈达玛(hadamard)编码产生标定图案，将与测量矩阵维度相匹配的哈达玛矩阵中的所有-1用0替换，即可产生如图4所示的黑白条纹图案。

具体过程如下：

1、将编码掩模光调制器贴放在阵列探测器前方，在三维成像装置正前方放置一显示屏，用来显示标定模板。

2、使用十字叉丝校准阵列探测器与标定图案的中心。

3、依次记录标定图案对应的测量图像。

4、已知标定模板{h1,h2…hn-1,hn}与对应的测量图像{y1,y2…yn-1,yn}，经过后期数据处理，求解出参数φl,φr。

5、利用该三维成像装置测量待测目标。

6、当待测目标经阵列探测器测量后，获得待测目标在阵列探测器上的一系列测量值y。

7、训练示意图如图5所示，我们通过训练实验计算得到的φl,φr，根据式即可求解出如图6所示的待测目标的一系列强度图像{i1(x,y)，i2(x,y)，…，in(x,y)}。

8、通过步骤7所得到的强度图像序列，求解出待测目标与阵列探测器之间的往返飞行时间<t(x,y)>，再通过如图7所示的原理求解出待测目标的距离<r(x,y)>，也即得出了待测目标的距离图像。

9、经过信号处理单元，将上述步骤得到的待测目标的距离图像与强度图像进行图像融合，重建出待测目标的三维图像。整个装置的成像方法流程如图8所示。

本发明的上述实施例仅仅是为清楚说明本发明所作的举例，而非是对本发明实施方法的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有实施方式予以穷举。凡是在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。