一种基于TOF深度相机的边缘反射像素校正方法与流程

本发明涉及边缘像素校正，具体涉及一种基于tof深度相机的边缘反射像素校正方法。

背景技术：

tof是飞行时间(timeofflight)技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的色度图方式呈现出来。tof深度相机是一种使用tof技术的深度视觉成像装置，tof深度相机通过图像传感器获得红外图像之后经过深度解算，得到含有每个像素在场景中距离值的深度图。在使用tof深度相机对物体进行深度图捕捉过程中，通常会获得稠密的深度图，但也正是由于tof深度相机拍摄得到稠密深度图，场景中有前景和背景的存在导致在目标边缘个别像素的位置上，既拍到了前景的部分内容又拍到了背景的部分内容，最后解算出一个介于前景和背景的深度值，即在场景的边缘区域出现边缘像素。这种边缘点像素也被称为离群点，使得本来的前景和背景图像区块之间产生一个渐变的过度。它不是真实存在的渐变目标深度图，而是由于拍摄中引入的深度图噪声点，目前还没有一种对此类边缘像素的处理方法。

技术实现要素：

本发明的目的在于克服现有技术存在的以上问题，提供一种基于tof深度相机的边缘反射像素校正方法。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于tof深度相机的边缘反射像素校正方法，包括以下步骤：

建立视线深度图，获取深度相机拍摄坐标原点，建立坐标原点与深度图各像素点的视角连线作为视线；

解算深度图中像素法向量，得到深度图中单个像素点单位法向量；

建立边缘置信度图，结合单个像素视线与单位法向量求解单个像素点的视线与法向量夹角，结合角度容差机制生成深度图中像素点置信度图；

边缘像素判定，设定角度阈值，像素点视线与法向量夹角大于所述的角度阈值则判定为边缘像素点；

边缘像素插补，获取边缘像素点信息，结合灰度图采用邻域插补对边缘像素点进行修复。

进一步的，还包括步骤估值反射系数，所述的步骤估值反射系数位于步骤边缘像素插补之前，结合灰度图的相位信息与强度信息估值边缘像素点的反射系数。

进一步的，还包括步骤获取深度图信息，利用深度相机获取深度图信息与红外灰度图信息，所述的深度图信息用于获取几何特征，红外灰度图信息用于获取纹理特征。

进一步的，所述的步骤解算深度图中像素法向量采用3×3邻域的局部向量法求解深度图中像素点的单位法向量。

进一步的，所述的角度阈值为50°～90°

进一步的，所述的邻域插补采用n×n邻域插值补偿，公式为其中ωi为对应领域像素点的权因子。

进一步的，所述的n的取值范围为3～12。

进一步的，所述的n值为5，公式为本发明的有益效果是:本发明提供一种基于tof深度相机的边缘反射像素校正方法，包括步骤建立视线深度图、解算深度图中像素法向量、建立边缘置信度图、边缘像素判定、边缘像素插补；本发明通过设定角度阈值判定边缘像素，并通过插补的方式修复边缘像素点，最终将边缘像素点的空洞修补，实现对深度图的边缘反射像素的校正。本发明快速解决深度图边缘像素的去噪问题，方法稳定高效，深度图修复效果极佳。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的一种基于tof深度相机的边缘反射像素校正方法流程示意图；

图2是本发明的一种基于tof深度相机的平面深度示意图；

图3是本发明的一种基于tof深度相机的边缘反射像素校正方法原理示意图；

图4是本发明的像素法向量求解原理示意图；

图5是本发明的5×5邻域插补原理示意图；

图6是未经本发明的处理的深度图；

图7是经本发明一种基于tof深度相机的边缘反射像素校正方法处理后的深度图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

参照图1-7所示，一种基于tof深度相机的边缘反射像素校正方法，如图1所示，包括以下步骤：

获取深度图信息，利用深度相机获取深度图信息与红外灰度图信息，深度图信息用于获取算法所需的几何特征，红外灰度图信息用于获取算法所需的纹理特征；如图2所示，为基于tof深度相机平面深度示意图，边缘像素为圈中所示，一般的，无法保证绝对垂直拍摄，但对拍摄图像作纵截面处理，得到垂直tof深度相机中心视线的纵截面深度图，即为图2所示情况，应当理解，获取图像信息为tof相机拍摄过程或直接采用已有深度图像。

建立视线深度图，如图3所示，获取深度相机拍摄坐标原点，建立坐标原点与深度图各像素点的视角连线作为视线。

解算深度图中像素法向量，得到深度图中单个像素点单位法向量，具体采用3×3邻域的局部向量法求解深度图中像素点的单位法向量，如图4所示，i5为中心像素点,公式如下：

其中，即为i5单位法向量，求解法向量的3x3邻域运算仅为求解法向量中的一种，求取法向量具有平滑的效果，有一定的抗噪声的效果。应当理解，建立视线深度图与解算深度图中像素法向量为独立步骤，并不涉及步骤具体顺序，图1中表述仅为一实施例，不作步骤顺序限定。

建立边缘置信度图，如图4所示，结合单个像素视线与单位法向量求解单个像素点的视线与法向量夹角，由于像素点密度不同，计算出的法向量与视线仅为一较真的估计值，都存在一定的置信度，结合角度容差机制生成深度图中像素点置信度图；

边缘像素判定，结合3所示，设定角度阈值α，一般的角度阈值α取值范围为50°～90°，像素点视线与法向量夹角大于所述的角度阈值则判定为边缘像素点，即得到p1、p2、p3、p4判定，

在一实施例中，α＝70°，即得p1、p2、p3、p4为边缘像素点。

估值反射系数，结合灰度图的相位信息与强度信息估值边缘像素点的反射系数ε，反射系数隐式公式为

ε＝f(θ,am,depth)

式中，am强度信息，θ、depth为相位信息。

边缘像素插补，获取边缘像素点信息，结合灰度图采用邻域插补对边缘像素点进行修复，公式为：

其中n为邻域点数量，ωi为对应领域像素点的权因子，一般的n值的取值范围为3～13。在一实施例中，如图5所示，邻域插补采用5×5邻域插值补偿，在5×5的零像素点为中心的邻域内，中心零像素点与邻域内的像素点有5种距离关系，如图5所示，,令像素点的尺寸为p，在最邻近中心零像素点的8个像素中，有四个像素点与中心零像素点的距离权重为ω1＝p，记为第一组像素点；另外四个对角相邻像素点与中心零像素点的连线距离权重为记为第二组像素点。相对稍远的16个像素点又可分为3种距离关系，即四个像素点与中心零像素点的连线距离权重为ω3＝2p，记为第三组像素点；8个像素点与中心零像素点的连线距离权重为记为第四组像素点，另外四个像素点与中心零像素点的连线距离权重为记为第五组像素点，最后得到

应当理解，5×5邻域插值补偿仅为n×n中的一种，不应局限本发明的范围。

本发明提供一种基于tof深度相机的边缘反射像素校正方法，包括步骤建立视线深度图、解算深度图中像素法向量、建立边缘置信度图、边缘像素判定、边缘像素插补；本发明通过设定角度阈值判定边缘像素，并通过插补的方式修复边缘像素点，最终将边缘像素点的空洞修补，实现对深度图的边缘反射像素的校正。本发明快速解决深度图边缘像素的去噪问题，方法稳定高效，深度图修复效果极佳。如图6所示，为一未经本发明的处理的深度图，边缘像素的过渡点噪声像素较多，采用本发明一种基于tof深度相机的边缘反射像素校正方法处理后，如图7所示，边缘像素修复后，深度图整体效果显著提升。

以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。