基于散斑结构光的深度图像获取方法及系统与流程

本发明涉及计算机视觉技术领域，具体地涉及一种基于散斑结构光的深度图像获取方法及系统。

背景技术：

随着科技的不断发展，立体视觉匹配(stereomatching)作为三维重建、非接触测距和视觉导航等关键技术，被广泛应用于自动化流水线、无人驾驶和智能机器人控制等领域。

但是，在图像立体匹配过程中，由于受到噪声、亮度、对比度、镜面反射和低纹理等的影响，会使得图像在进行立体匹配时，出现误匹配较多或者匹配场景信息不连续等问题，将会直接影响后期图像三维重建的质量。

因此，如何通过立体视觉匹配得到效果较佳的深度图像是目前业界亟待解决的技术难题。

技术实现要素：

本发明实施例的目的是提供一种基于散斑结构光的深度图像获取方法及系统，用以解决现有技术中无法通过立体视觉匹配得到效果较佳的深度图像的技术问题。

为了实现上述目的，本发明实施例一方面提供一种基于散斑结构光的深度图像获取方法，包括：获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。

本发明实施例另一方面提供一种基于散斑结构光的深度图像获取系统，包括：散斑图像获取单元，用于获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；纹理图像转换单元，用于对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；视差图像输出单元，用于基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及深度图像优化单元，用于对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。

通过上述技术方案，提出了对输入的散斑参考图像和散斑场景图像同时进行椭圆lbp特征提取得出对应的特征纹理图像，并对所得到的特征纹理图像进行立体匹配，进而通过优化处理得到深度图像。由此，选择椭圆lbp算子对输入散斑图像进行特征纹理提取，不仅有效提高了匹配质量，避免了受到噪声和光线的影响，进而对特征纹理图像进行立体匹配，有效解决了散斑图像匹配的结果中存在场景信息过度不连续，误匹配较多等问题，从而提高了所获得的深度图像的整体效果。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的基于散斑结构光的深度图像获取方法的流程图；

图2是本发明一实施例的基于散斑结构光的深度图像获取方法中s31的具体执行原理流程图；

图3是本发明一实施例的三角测量法的原理示意图；

图4是本发明一实施例的散斑结构光相机用于标定目标的原理图；

图5是本发明一实施例的基于散斑结构光的深度图像获取方法的原理流程图；

图6a是本发明一实施例的散斑参考图像的示例；

图6b是本发明一实施例的散斑场景图像的示例；

图7a是本发明一实施例的第一特征纹理图像的示例；

图7b是本发明一实施例的第二特征纹理图像的示例；

图8是本发明一实施例的基于散斑结构光的深度图像获取系统的结构框图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

如图1所示，本发明一实施例的基于散斑结构光的深度图像获取方法，包括：

s11、获取散斑参考图像和散斑场景图像，其中散斑参考图像与预设定的参考平面相关，以及散斑场景图像与目标物平面相关。

如图3所示，其描述了目标物平面和预设定的参考平面，以及散斑结构光相机内的成像平面和透镜平面，故可以通过散斑结构光相机采集散斑参考图像和散斑场景图像。作为示例，可以是采集一幅场景深度为1.2m的散斑图像作为参考图像并保存备用。

优选的，在采集散斑参考图像和散斑场景图像之前可以是预先对相机进行标定和畸变校正。作为示例，可以是对散斑结构光相机的内部参数和外部参数进行标定，具体包括：如图4所示，对空间中的点通过世界坐标系转换到相机坐标系，最后转换到图像的物理坐标系。作为示例，可以是将世界坐标系[xw,yw,zw]^t的点通过平移矩阵t和旋转矩阵r转换到相机坐标系[xc,yc,zc]^t，最后通过计算相机坐标与像素之间物理尺寸得到图像坐标[x,y,1]^t，由此实现对结构光相机的标定和畸变校正。

s12、对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像。

其中，利用椭圆lbp特征算子，完成对散斑场景图像和散斑参考图像的特征纹理提取。具体，可以将检测窗口划分为多个等分小区域，例如n*n个(其中n均小于图像宽和高)；然后，依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小，其中，若边缘像素的灰度值大于中心像素的灰度值，则该边缘像素的位置被编码为1，以及，若边缘像素的灰度值小于或等于中心像素的灰度值，则该边缘像素的位置被编码为0。

因此，3*3邻域大小的8个点经过比较可产生一个8位的二进制数，用该值作为窗口中心像素点的lbp特征值；最后，遍历整幅图像，得到散斑图像的椭圆lbp特征图像。进一步将检测窗口扩展到任意邻域，计算公式为：

elbpp,r＝min{rotate(elbpp,r,i)|i＝0,1,…,p-1}

其中，rotate(elbpp,r，i)表示沿时钟方向将半径为r处的p点移动i次，得到i个lbp特征值，这里取其中最小的值作为当前像素位置的lbp特征。

如图6a和6b分别示出的是散斑参考图像和散斑场景图像，如图7a和7b是应用本发明实施例的技术方案之后所输出的椭圆lbp特征纹理图像。由此，避免了噪声和光线的影响。

s13、基于第一特征纹理图像和第二特征纹理图像，在散斑参考图像和散斑场景图像之间进行立体匹配，以输出相应的视差图像。

其中，对椭圆lpb特征纹理图像进行局部代价匹配，并采用改进的jaccard距离计算匹配代价，进而遍历整幅图像，以输出视差图像。具体包括如图2所示的操作：s131、选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景图像的场景图像匹配窗口，其中该参考图像匹配窗口和场景图像匹配窗口的大小相同；s132、计算用于图像的参考图像匹配窗口与场景图像匹配窗口之间的jaccard距离；s133、基于所计算的jaccard距离，确定对应第一特征纹理图像和第二特征纹理图像的视差图像。

关于s131中的匹配窗口的大小，还可以是选用自适应切换预设窗口进行匹配，从而降低匹配时间，提高匹配质量。具体的，可以是设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；以所设置的多种窗口大小(例如11*11，17*17和35*35)分别按照预设步长多次移动(从左到右移动128步)匹配窗口和待匹配窗口(相应地得到128组匹配窗口和待匹配窗口)，对该窗口大小内的图像进行sobel边缘检测；统计对应各次预设步长移动下散斑参考特征图像的窗口内被编码为1的第一像素个数，并统计散斑场景特征图像的窗口内被编码为1的第二像素个数；计算多种窗口大小下的第一像素个数与所述第二像素个数之间的差值，差值越小说明窗口大小越适宜，并根据该差值从多种窗口大小中确定参考图像匹配窗口和场景图像匹配窗口的窗口大小(例如对应差值为零或最小时的窗口大小)；优选的，还可以是选择居中的窗口大小先进行比较，例如以17*17大小作为初始化窗口，对该窗口大小图像进行sobel边缘检测，并统计当前窗口内像素值为1的个数，若参考图像上窗口内1的个数大于场景图像上窗口内1的个数，则窗口大小按照11*11进行匹配，若二者相等，则窗口大小按照17*17进行匹配，若小于，则窗口大小按照35*35进行匹配。

在本实施例中，通过jaccard距离或改进的jaccard距离计算两个匹配窗口内像素的相似度，可有效提高匹配局部细节信息。

其中，可以按照如下的计算公式来计算两个匹配窗口像素的jaccard距离：

式中，iref表示参考图像匹配窗口的像素，iinf表示场景图像匹配窗口的像素，m00表示窗口iref和窗口iinf的值都是0，m01表示窗口iref的值是0而窗口iinf的值是1，m10表示窗口iref的值是1而窗口iinf的值是0，m11表示窗口iref和窗口iinf的值都是1。统计dj的大小，距离越大越不相似，反之，距离越相似，即越匹配。

需要说明的是，上述jaccard距离的计算公式是属于改进型的计算公式，避免了分母为零的状况的发生。其中具体改进之处在于：

jaccard距离的一般计算如下：

其中，iref⊙iinf＝m00+m11，在本发明实施例中，为了防止分母为零，则将分母改为

也就是改进型的jaccard距离的计算公式等价于下式：

关于s133，其中可以是通过以下步骤来完成的：

统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个jaccard距离，例如可以是依次计算128个窗口的dj值。基于三角测量法处理在jaccard距离取值最小时的步长位置(最小的dj表示最佳的匹配)所对应的窗口中心的像素灰度值，得到当前位置的深度值，然后基于该当前位置的深度值确定视差图像。如图3所示出的三角测量法的原理，深度值的具体计算公式为：

经过变形得到深度公式为：

其中，z为场景中待测目标点到相机透镜平面的距离，r为参考平面到透镜平面的距离，测量视差为d(沿着x轴正方向为正视差，沿着x轴负方向为负视差)，红外相机焦距为f，红外发射器与红外摄像头透视中心的连线长度为b(基线)。需要说明的是，上述参数均为相机内部参数，可通过调校确定。

s14、对视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。

其中，可以利用亚像素插值法填充上述视差图像中出现的空洞，并利用加权中值滤波对该视差图像的边缘进行细化处理。具体包括：

首先，从相机坐标系将视差转化为图像像素空间，具体转化关系为：

其中，ρ表示cmos图像传感器的像元尺寸，p表示测量像素视差。进一步对测量视差进行亚像素插值，插值公式为：s＝m(p+c)，其中，s表示经过亚像素插值后的亚像素视差，m表示亚像素插值系数，c表示参考平面对应的常数像素视差。则待测目标点深度值与测量亚像素视差的关系：

然后，对插值后的深度图像加权中值滤波处理，以深度图像当前像素为中心，选取一个3*3的窗口，对窗口内的各个像素乘以权值wi，并进行排序，取中间值作为当前像素的灰度值。该处权值计算如下：

其中，h(i,f)＝#{q∈r(p)|i(q)＝ii,f(q)＝ff}表示3*3窗口内图像的灰度值和特征值的联合直方图，即为灰度值为i，特征值为f的个数。这里，#运算符表示符合条件的元素个数，i(q)表示图像的灰度，f(q)表示图像的特征；g(ff,f(p))表示特征为f的像素与中心像素f(p)的权值。

在本实施例中，通过上述技术方案的实施，能够解决受到噪声，亮度，对比度，镜面反射和低纹理等问题，输出质量较高是深度图像。

如图5所示，本发明一实施例的基于散斑结构光的深度图像获取方法的原理流程，具体包括：

第一步：对相机的内部参数和外部参数进行标定，采集图像进行立体校正和畸变校正；

第二步：采集一幅场景深度为1.2m的散斑图像作为参考图像并保存备用；

第三步：采集散斑场景图像与散斑参考图像分别进行椭圆lbp特征纹理提取；

第四步：对椭圆lpb特征纹理图像进行局部代价匹配，采用改进的jaccard距离计算匹配代价，并遍历整幅图像，输出视差图像；

第五步：利用亚像素插值方法填充视差图像中出现的空洞，利用加权中值滤波对边缘进行细化处理，利用三角测量法以及相机的内部参数，输出最终深度图像。

给定一幅散斑参考图像和一幅散斑场景图像，为了获取纹理特征图像，分别进行椭圆lbp处理：首先将检测窗口划分为n*n(n均小于图像宽和高)的小区域；然后比较每个小区域的边缘像素与中心像素灰度值的大小，计算公式为：

t＝t(ic,ii)，(i＝0,1,…,p)

若周围像素的灰度值ii大于中心像素的灰度值ic，则该像素点的位置被编码为1，否则为0。因此，3*3邻域大小的8个点经过比较可产生一个8位的二进制数，即可得到该窗口中心像素点的lbp特征值；最后，遍历整幅图像，得到散斑图像的椭圆lbp特征图像。进一步将检测窗口扩展到任意邻域，利用椭圆形窗口代替矩形窗口，计算公式为：

elbpp,r＝min{rotate(elbpp,r,i)|i＝0,1,…,p-1}

其中，rotate(elbpp,r，i)表示沿时钟方向将半径为r处的p点移动i次，得到i个lbp特征值，这里取最小的值作为当前像素位置的lbp特征。

对椭圆lbp特征图像进行立体匹配。首先将散斑参考特征图像作为基准，选择三种预设窗口，其大小依次为11*11，17*17和35*35，作为匹配窗口，同样散斑场景特征图像也选择相同的三种大小窗口，作为待匹配的匹配窗口，并以步长为1，从左到右移动128步，得到128个匹配窗口；然后以17*17大小作为初始化窗口，对该窗口大小图像进行sobel边缘检测，统计当前窗口内像素值为1的个数，若参考图像上窗口的统计值大于场景图像上窗口的统计值，则窗口大小按照11*11进行匹配，若二者相等，则窗口大小按照17*17进行匹配，否则，窗口大小按照35*35进行匹配；最后，计算两个匹配窗口像素的jaccard距离，计算公式为：

其中，iref表示参考图像匹配窗口的像素，iinf表示场景图像匹配窗口的像素，m00表示窗口iref和窗口iinf的值都是0，m01表示窗口iref的值是0而窗口iinf的值是1，m10表示窗口iref的值是1而窗口iinf的值是0，m11表示窗口iref和窗口iinf的值都是1。统计dj的大小，距离越大越不相似，反之，距离越相似，即越匹配。改进的jaccard距离，计算公式为：

其中，iref⊙iinf＝m00+m11，为了防止分母为零，则分母改为

依次计算128个窗口的dj值，比较它们的大小，得到最小的dj值，对应窗口中心的像素值为经过三角测量法计算得到当前位置的深度值，具体计算公式为：

经过变形得到深度公式为：

其中，z为场景中待测目标点到相机透镜平面的距离，r为参考平面到透镜平面的距离，测量视差为d(沿着x轴正方向为正视差，沿着x轴负方向为负视差)，红外相机焦距为f，红外发射器与红外摄像头透视中心的连线长度为b(基线)，上述参数均为相机内部参数，可通过调校确定。

利用第五步填充视差图像中出现的空洞，并对边缘进行细化处理。首先从相机坐标系将视差转化为图像像素空间，具体转化关系为：

其中，ρ是cmos图像传感器的像元尺寸，p是测量像素视差。进一步对测量视差进行亚像素插值，插值公式为：s＝m(p+c)，其中，s是经过亚像素插值后的亚像素视差，m是亚像素插值系数，c是参考平面对应的常数像素视差。则待测目标点深度值与测量亚像素视差的关系：

然后，对插值后的深度图像加权中值滤波处理，以深度图像当前像素为中心，选取一个3*3的窗口，对窗口内的各个像素乘以权值wi，并进行排序，取中间值作为当前像素的灰度值。该权值计算如下：

其中，h(i,f)＝#{q∈r(p)|i(q)＝ii,f(q)＝ff}表示3*3窗口内图像的灰度值和特征值的联合直方图，即为灰度值为i，特征值为f的个数。这里，#运算符表示符合条件的元素个数，i(q)为图像的灰度，f(q)为图像的特征；g(ff,f(p))表示特征为f的像素与中心像素f(p)的权值。

在本发明实施例中，公开了基于散斑结构光的深度图像获取方法，通过上述方式能够消除噪声、亮度、对比度对输出深度图像的影响，有效提高了深度图像的精度，进而提高了鲁棒性。具体的，对输入的散斑参考图像和散斑场景图像同时进行椭圆lbp特征提取，利用特征图像进行立体匹配。匹配时，通过计算匹配窗口的sobel代价，自适应切换预设窗口进行匹配，可以降低匹配时间，提高匹配质量。通过改进的jaccard距离计算两个匹配窗口内像素的相似度，可有效提高匹配局部细节信息。为了进一步提高输出深度图像的效果，采用亚像素插值丰富细节信息，同时，通过加权中值滤波填充深度图像中存在的空洞，又可以很好地保持深度图像的原始面貌。

在本发明实施例中，选择椭圆lbp算子对输入散斑图像进行特征纹理提取，不仅有效提高了匹配质量，避免了受到噪声和光线的影响。选择自适应匹配窗口和改进的jaccard匹配代价，提高了匹配的鲁棒性。选择亚像素插值和加权中值滤波，较好地保留深度图像的纹理信息，又填充了空洞，使深度图像的整体效果更佳。

如图8所示，本发明一实施例的基于散斑结构光的深度图像获取系统80，包括：

散斑图像获取单元801，用于获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；

纹理图像转换单元802，用于对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；

视差图像输出单元803，用于基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及

深度图像优化单元804，用于对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。

在一些实施方式中，该系统还包括：相机参数标定校正单元(未示出)，用于在获取散斑参考图像和散斑场景图像之前，对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：对空间中的点通过世界坐标系转换到相机坐标系，以及将所述相机坐标系转换到图像的物理坐标系。

在一些实施方式中，所述纹理图像转换单元802包括：等分模块，用于将检测窗口划分为多个等分小区域；比较模块，用于依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；编码模块，用于若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。

在一些实施方式中，所述视差图像输出单元803包括：窗口选取模块，用于选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；jaccard距离计算模块，用于计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的jaccard距离；视差图像确定模块，用于基于所计算的jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。

在一些实施方式中，所述窗口选取模块包括：窗口设置组件，用于设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；边缘检测组件，用于以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行sobel边缘检测；特征像素统计组件，用于统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；窗口大小确定组件，用于计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。

在一些实施方式中，所述视差图像确定模块包括：jaccard距离统计组件，用于统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个jaccard距离；深度值获得组件，用于基于三角测量法处理在jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；视差图像确定组件，用于基于所述当前位置的深度值，确定所述视差图像。

在一些实施方式中，所述深度图像优化单元用于利用亚像素插值法填充所述视差图像中出现的空洞，以及利用加权中值滤波对所述视差图像的边缘进行细化处理。

关于本发明实施例的基于散斑结构光的深度图像获取系统更多的细节，可以参照上文关于方法实施例的描述，并能取得与上述的方法实施例相同或相对应的效果，故在此便不再赘述。

所述基于散斑结构光的深度图像获取系统包括处理器和存储器，上述散斑图像获取单元801、纹理图像转换单元802、视差图像输出单元803和深度图像优化单元804等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来选择椭圆lbp算子对输入散斑图像进行特征纹理提取，不仅有效提高了匹配质量，避免了受到噪声和光线的影响，进而对特征纹理图像进行立体匹配，有效解决了散斑图像匹配的结果中存在场景信息过度不连续，误匹配较多等问题，从而提高了所获得的深度图像的整体效果。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述基于散斑结构光的深度图像获取方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于散斑结构光的深度图像获取方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

一种基于散斑结构光的深度图像获取方法，包括：

获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；

对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；

基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及

对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。

在一些实施方式中，在获取散斑参考图像和散斑场景图像之前，该方法还包括：对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：对空间中的点通过世界坐标系转换到相机坐标系，以及将所述相机坐标系转换到图像的物理坐标系。

在一些实施方式中，所述对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取包括：将检测窗口划分为多个等分小区域；依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。

在一些实施方式中，所述基于所述第一特征纹理图像和所述第二特征纹理图像在所述散斑参考图像和所述散斑场景图像之间进行立体匹配以输出相应的视差图像包括：选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的jaccard距离；基于所计算的jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。

在一些实施方式中，所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小是包括通过以下方式来确定的：设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行sobel边缘检测；统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。

在一些实施方式中，，所述基于所计算的jaccard距离确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像包括：统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个jaccard距离；基于三角测量法处理在jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；以及基于所述当前位置的深度值，确定所述视差图像。

在一些实施方式中，所述对所述视差图像进行优化处理以确定对应的深度图像包括：利用亚像素插值法填充所述视差图像中出现的空洞；利用加权中值滤波对所述视差图像的边缘进行细化处理。

本文中的设备可以是服务器、pc、pad、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

一种基于散斑结构光的深度图像获取方法，包括：

获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；

对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；

基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及

对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。

在一些实施方式中，在获取散斑参考图像和散斑场景图像之前，该方法还包括：对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：对空间中的点通过世界坐标系转换到相机坐标系，以及将所述相机坐标系转换到图像的物理坐标系。

在一些实施方式中，所述对所获取的散斑参考图像和散斑场景图像分别进行椭圆lbp特征提取包括：将检测窗口划分为多个等分小区域；依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。

在一些实施方式中，所述基于所述第一特征纹理图像和所述第二特征纹理图像在所述散斑参考图像和所述散斑场景图像之间进行立体匹配以输出相应的视差图像包括：选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的jaccard距离；基于所计算的jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。

在一些实施方式中，所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小是包括通过以下方式来确定的：设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行sobel边缘检测；统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。

在一些实施方式中，，所述基于所计算的jaccard距离确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像包括：统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个jaccard距离；基于三角测量法处理在jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；以及基于所述当前位置的深度值，确定所述视差图像。

在一些实施方式中，所述对所述视差图像进行优化处理以确定对应的深度图像包括：利用亚像素插值法填充所述视差图像中出现的空洞；利用加权中值滤波对所述视差图像的边缘进行细化处理。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。