一种基于计算成像的光学不可视场景三维信息获取方法与流程

本发明涉及三维信息获取技术，特别涉及一种基于计算成像的光学不可视场景三维信息获取方法。

背景技术：

三维信息获取技术可以同时得到被测场景的三维坐标，在实物仿形、工业检测、虚拟现实、机器视觉和智能交互等领域有着重要的实用意义和广阔的应用前景。传统三维信息获取技术针对的被测场景是光学可视场景，基于摄影测量原理，利用被动三维传感方法或主动三维传感方法，获取被测场景的三维坐标信息。但在实际工业检测、火灾救援等环境中，被测场景多被遮挡或掩盖，也即为光学不可视场景。传统三维信息重建技术无法应用在光学不可视场景中，得到此类被测场景的三维坐标信息。计算成像是一种间接成像技术，传感器本身不旨在直接获得被测场景光学透镜成像的信息，而是获得与被测场景关联的相关信息，利用获取的相关信息，通过关联计算，可以得到被测场景的透镜成像效果。传统的计算成像可以实现光学不可视场景信息的提取，但是该方法仅能得到被测场景的二维信息，无法实现被测场景三维信息的获取，而这也恰恰限制了计算成像在实际应用中的推广。

技术实现要素：

本发明旨在实现一种高精度、装置简单、突破遮挡或覆盖的被测场景三维信息获取方法。为了达到上述目的，本发明提出一种基于计算成像的光学不可视场景三维信息获取方法，该方法结合计算成像技术和主动三维传感方法，无需立体匹配等复杂运算。该方法包括投影结构光条纹的生成、载波变形条纹的计算重建和被测场景三维坐标信息的获取三个过程。

本发明所提方法可以由数字投影仪、摄像机和光学不可视场景实现，如附图1所示，在本发明中，被测场景前放置静止的毛玻璃以模拟光学不可视场景；数字投影仪与摄像机经过精确同步，在获取过程中，数字投影仪在被测场景表面投影结构光条纹，摄像机同步获取毛玻璃上的光强信息。

本发明利用数字投影仪投影多帧具有特殊结构的结构光条纹，经被测场景反射与毛玻璃散射，在已同步的摄像机上形成相应的光强信息；结合傅里叶分析理论，重建变形条纹的傅里叶频谱，进而得到变形条纹的空域表达形式；利用计算重建的变形条纹，基于主动三维传感方法的原理，便可以高精度地获取光学不可视场景的三维信息。本发明所提方法的流程如附图2所示。

所述投影结构光条纹的生成过程，根据预设的被测场景三维信息分辨率M×N，确定投影结构光条纹的分辨率也为M×N，投影结构光条纹用P(x, y, f_x, f_y, δ, δ⁰)表示：

（1）

投影结构光条纹为双频条纹，其中，为信号波，表示载波，且两者分别满足：

（2）

（3）

其中，x和y为投影结构光条纹的像素坐标，x∈[0, M-1]的整数，y∈[0, N-1]的整数；f_x和f_y为投影结构光条纹信号波在x轴方向和y轴方向的频率分量，f_x∈[0, M-1]的整数，f_y∈[0, N-1]的整数；A为投影结构光条纹信号波背景强度，B为投影结构光条纹信号波对比度；和为投影结构光条纹载波在x轴方向和y轴方向的频率分量，为确定的常量；A⁰为投影结构光条纹载波背景强度，B⁰为投影结构光条纹载波对比度；δ和δ⁰分别为投影结构光条纹信号波和载波相位偏移量，分别在集合{0, π/2, π, 3π/2}中取值。本发明中生成的不同参数的投影结构光条纹如图3所示。

所述载波变形条纹的计算重建过程，利用数字投影仪在被测场景表面投影结构光条纹，假设被测场景表面反射率为R(x, y)，则反射条纹E(x, y, f_x, f_y, δ, δ⁰)可以表示为：

（4）

反射条纹E(x, y, f_x, f_y, δ, δ⁰)经过毛玻璃的散射作用，摄像机同步得到被测场景光强信息D(f_x, f_y, δ, δ⁰)，该光强信息可以用反射条纹E(x, y, f_x, f_y, δ, δ⁰)的积分来表示：

（5）

其中，Ω是反射条纹E(x, y, f_x, f_y, δ, δ⁰)的积分区域，在本发明中为毛玻璃在摄像机上成像的像素坐标区域。根据公式（1）-（5）可知：

（6）

假设投影结构光条纹载波经被测场景反射得到载波变形条纹C(x, y)，则载波变形条纹C(x, y)满足：

（7）

根据傅里叶分析理论，由公式（7）可以得到：

（8）

其中，C(f_x, f_y)表示载波变形条纹C(x, y)的傅里叶频谱，FFT(*)表示对*的傅里叶变换函数。

本发明中，当投影结构光条纹P(x, y, f_x, f_y, δ, δ⁰)中f_x遍历[0, M-1]的所有整数，f_y遍历[0, N-1]的所有整数后，便可以得到完整的载波变形条纹傅里叶频谱C(f_x, f_y)。由傅里叶逆变换性质，可以重建投影结构光条纹载波经被测场景反射得到的载波变形条纹C(x, y)：

（9）

其中IFFT(*)表示对*的傅里叶逆变换函数。当投影结构光条纹载波的相位偏移量δ⁰取值为0，π/2，π和3π/2时，计算重建得到的载波变形条纹记为C₀(x, y)、C_π/2(x, y)、C_π(x, y)和C_3π/2(x, y)，如附图4所示。

所述被测场景三维坐标信息的获取过程，首先，利用计算重建的载波变形条纹C₀(x, y)、C_π/2(x, y)、C_π(x, y)和C_3π/2(x, y)，根据4步相移法，可以求得载波变形条纹的相位函数φ(x, y)：

（10）

然后，根据截断相位动态规划展开算法，将得到的相位函数φ(x, y)展开成为连续相位函数Φ(x, y)。在本发明中，被测场景的高度值H(x, y)与展开的连续相位函数Φ(x, y)成正比关系，可以表示为：

（11）

其中，K为比例因子，可以由系统标定得到。本发明可以得到被测场景的三维坐标信息，其与被测场景真实三维坐标信息的对比如附图5所示。

本发明提出一种基于计算成像的光学不可视场景三维信息获取方法，该方法结合计算成像技术和主动三维传感方法，无需立体匹配等复杂运算，通过计算重建载波变形条纹的傅里叶频谱，进而获取被测场景的三维信息。该方法具有精度高、装置简单、突破遮挡或覆盖等优点，可以实现对光学不可视场景的三维信息获取。

附图说明

附图1为一种基于计算成像的光学不可视场景三维信息获取方法的实现系统图

附图2为本发明所提方法的流程图

附图3为本发明中生成的不同参数的投影结构光条纹

附图4为本发明中计算重建得到的载波变形条纹

附图5为被测场景（a）真实三维坐标信息与（b）本发明获取三维坐标信息对比图

上述附图中的图示标号为：

1数字投影仪，2摄像机，3毛玻璃，4被测场景。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细说明本发明的一种基于计算成像的光学不可视场景三维信息获取方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明提出一种基于计算成像的光学不可视场景三维信息获取方法。该方法包括投影结构光条纹的生成、载波变形条纹的计算重建和被测场景三维坐标信息的获取三个过程。

本发明所提方法可以由数字投影仪、摄像机和光学不可视场景实现，如附图1所示，在本实施例中，被测场景前放置静止的毛玻璃以模拟光学不可视场景；数字投影仪与摄像机经过精确同步，在获取过程中，数字投影仪在被测场景表面投影结构光条纹，摄像机同步获取毛玻璃上的光强信息。

本实施例利用数字投影仪投影多帧具有特殊结构的结构光条纹，经被测场景反射与毛玻璃散射，在已同步的摄像机上形成相应的光强信息；结合傅里叶分析理论，重建变形条纹的傅里叶频谱，进而得到变形条纹的空域表达形式；利用计算重建的变形条纹，基于主动三维传感方法的原理，便可以高精度地获取光学不可视场景的三维信息。本实施例的流程如附图2所示。

所述投影结构光条纹的生成过程，根据预设的被测场景三维信息分辨率M×N = 500×500，确定投影结构光条纹的分辨率也为M×N = 500×500，投影结构光条纹用P(x, y, f_x, f_y, δ, δ⁰)表示：

（1）

投影结构光条纹为双频条纹，其中，为信号波，表示载波，且两者分别满足：

（2）

（3）

其中，x和y为投影结构光条纹的像素坐标，x∈[0, 499]的整数，y∈[0, 499]的整数；f_x和f_y为投影结构光条纹信号波在x轴方向和y轴方向的频率分量，f_x∈[0, 499]的整数，f_y∈[0, 499]的整数；A为投影结构光条纹信号波背景强度，B为投影结构光条纹信号波对比度，在本实施例中，A = 127.5， B = 127.5；和为投影结构光条纹载波在x轴方向和y轴方向的频率分量，为确定的常量，在本实施例中 = 200， = 0；A⁰为投影结构光条纹载波背景强度，B⁰为投影结构光条纹载波对比度，在本实施例中，A⁰ = 127.5， B⁰ = 127.5；δ和δ⁰分别为投影结构光条纹信号波和载波相位偏移量，分别在集合{0, π/2, π, 3π/2}中取值。本实施例中生成的不同参数的投影结构光条纹如图3所示。

所述载波变形条纹的计算重建过程，利用数字投影仪在被测场景表面投影结构光条纹，假设被测场景表面反射率为R(x, y)，则反射条纹E(x, y, f_x, f_y, δ, δ⁰)可以表示为：

（4）

反射条纹E(x, y, f_x, f_y, δ, δ⁰)经过毛玻璃的散射作用，摄像机同步得到被测场景光强信息D(f_x, f_y, δ, δ⁰)，该光强信息可以用反射条纹E(x, y, f_x, f_y, δ, δ⁰)的积分来表示：

（5）

其中，Ω是反射条纹E(x, y, f_x, f_y, δ, δ⁰)的积分区域，在本实施例中为毛玻璃在摄像机上成像的像素坐标区域。根据公式（1）-（5）可知：

（6）

假设投影结构光条纹载波经被测场景反射得到载波变形条纹C(x, y)，则载波变形条纹C(x, y)满足：

（7）

根据傅里叶分析理论，由公式（7）可以得到：

（8）

其中，C(f_x, f_y)表示载波变形条纹C(x, y)的傅里叶频谱，FFT(*)表示对*的傅里叶变换函数。

本实施例中，当投影结构光条纹P(x, y, f_x, f_y, δ, δ⁰)中f_x遍历[0, 499]的所有整数，f_y遍历[0, 499]的所有整数后，便可以得到完整的载波变形条纹傅里叶频谱C(f_x, f_y)。由傅里叶逆变换性质，可以重建投影结构光条纹载波经被测场景反射得到的载波变形条纹C(x, y)：

（9）

其中IFFT(*)表示对*的傅里叶逆变换函数。当投影结构光条纹载波的相位偏移量δ⁰取值为0，π/2，π和3π/2时，计算重建得到的载波变形条纹记为C₀(x, y)、C_π/2(x, y)、C_π(x, y)和C_3π/2(x, y)，如附图4所示。

所述被测场景三维坐标信息的获取过程，首先，利用计算重建的载波变形条纹C₀(x, y)、C_π/2(x, y)、C_π(x, y)和C_3π/2(x, y)，根据4步相移法，可以求得载波变形条纹的相位函数φ(x, y)：

（10）

然后，根据截断相位动态规划展开算法，将得到的相位函数φ(x, y)展开成为连续相位函数Φ(x, y)。在实施例中，被测场景的高度值H(x, y)与展开的连续相位函数Φ(x, y)成正比关系，可以表示为：

（11）

其中，K为比例因子，可以由系统标定得到。本实施例可以得到被测场景的三维坐标信息，其与被测场景真实三维坐标信息的对比如附图5所示。