本发明涉及光场成像、图像处理和计算机视觉等
技术领域：
，特别是涉及一种基于光场的深度图像处理方法。
背景技术：
：目前，随着人类科学技术的不断发展，在计算机视觉系统中，三维场景信息为图像分割、目标检测、物体跟踪等计算机视觉应用提供了更多的可能性，与二维图像相比，深度图像具有物体的三维特征信息，即深度信息，深度图像因此也作为一种普遍的三维场景信息表达方式得到了广泛的应用。因此，利用同时能捕获颜色和深度信息的成像装置，实现三维物体的检测和识别，必将成为计算机视觉领域的一个新的热点，其中深度图像的获取是其中的关键技术。在计算机视觉系统中，获取深度图像的方法可以分为两类：被动式和主动式。其中，被动式获取深度图像的方法主要利用周围环境条件成像，常用的方法是双目立体视觉，光场成像作为一种新兴的被动式成像方式目前在深度估计方面的应用也受到越来越多的关注。光场成像是计算成像领域的一个重要分支。光场是空间中同时包含位置和方向信息的光辐射场，相比只记录二维数据的传统成像方式，光场成像能够获得更加丰富的图像信息。因此，光场成像技术为计算成像提供了许多新的发展方向。目前，光场成像利用其特殊的成像结构，获取四维的光场数据，不仅包括亮度信息，还包括光线的方向信息，同时以其强大的后处理能力，在立体显示、扩大成像景深、深度估计等领域应用广泛。光场成像主要有三种形式：微透镜阵列、相机阵列和掩膜。其中微透镜阵列形式通过放置在主透镜和传感器之间的微透镜阵列来获取光场数据，是目前最常用的光场成像方式。此外，伴随着深度相机的快速发展，高精度3D形状建模变得更具有实用性和挑战性。但是，主动立体成像技术(如激光、结构光、Kinect)通常价格昂贵、分辨率低、室内成像环境，而被动立体成像技术(如双目立体视觉、多视角重建MVS)的算法复杂度非常高、耗时长，因此，3D形状建模很难达到高分辨率、高精度、实时、实用性和普遍性。商业化的光场相机(Lytro、Ratrix)的问世，为3D立体显示、形状建模带来了新的发展。目前，商业化的Lytro光场相机空间分辨率较低，一般根据拍摄过程中的参数设定进行对应白图像的匹配，实现微透镜图像的解码，得到4D光场数据，再进行深度估计、重聚焦、立体显示等算法处理。光场相机作为一种被动成像技术，基于多张2D图像进行深度估计，计算的深度图精确度较低。与Kinect等主动深度获取技术不同，Kinect得到的深度图是全局平滑，深度值偏差小，而基于4D光场估计的深度值对纹理细节描述的很好，对无纹理、重复纹理或纹理少的形状表面无法得到深度估计值，且噪声深度值与真实值偏差很大。阴影重建(SFS)、多视角立体重建(MVS)、光度立体重建(PS)是三种经典的被动立体成像技术。阴影重建SFS技术，从一张亮度图像的阴影线索重建形状，但是，有些场景下无法确定物体亮度的变化是由于几何形状改变还是反射属性不同引起的，因此阴影重建SFS算法在应用中通常假设朗伯反射体、统一反射率、远距离点光源等成像条件。多视角立体重建MVS技术从多张已经标定、不同视角拍摄的2D图像来重建形状，通过对相邻视角的多张图像进行特征提取、匹配、生成初始深度图或稀疏3D点云，最后再优化生成高精度的形状模型，因此，MVS算法复杂度高，耗时长，特征提取和匹配对纹理、遮挡、光照、反射属性的变化非常敏感，大部分算法都无法适用于所有场景。而光度立体重建PS算法需要在可控的室内光照环境下，设置多个光源，拍摄多张图像，精确计算光源方向，由多张图像的亮度变化计算物体表面法向场，对形状进行建模。因此，鉴于光场成像的特殊结构和获取的4D数据，决定了无法直接应用传统的被动立体成像技术来进行深度估计。因此，目前迫切需要开发出一种技术，其可以基于4D光场，重建所拍摄目标的形状，实现对所拍摄目标进行光场成像立体显示，获得高质量的深度图像，并且保证成像的质量，有助于扩大光场成像的普及应用范围。技术实现要素：有鉴于此，本发明的目的是提供一种基于光场的深度图像处理方法，其可以基于4D光场，重建所拍摄目标的形状，实现对所拍摄目标进行光场成像立体显示，获得高质量的深度图像，并且保证成像的质量，有助于扩大光场成像的普及应用范围，促进光场成像应用发展，有利于提高用户的产品使用感受，具有重大的生产实践意义。为此，本发明提供了一种基于光场的深度图像处理方法，包括步骤：第一步：利用光场采集设备拍摄获得预设拍摄目标的初始4D光场彩色图像和初始深度图像；第二步：对所获得的预设拍摄目标的初始4D光场彩色图像和初始深度图像进行预处理，获得预设拍摄目标的初始3D网格模型和对应的初始法向场；第三步：根据所述预设拍摄目标的初始彩色图像和初始法向场，分析并计算获得所述预设拍摄目标的表面反射率；第四步：根据所述预设拍摄目标对应的初始法向场和表面反射率，对所述预设拍摄目标对应的光场图像进行建模，获得所述预设拍摄目标具有的光照模型以及该光照模型具有的光照参数；第五步：根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，对所述预设拍摄目标对应的初始法向场进行优化；第六步：根据优化获得的法向场，对预设拍摄目标的初始深度图像进行深度增强，获得经过深度增强的初始深度图像；第七步：根据经过深度增强的初始深度图像，投影到3D空间中，重建预设拍摄目标的3D网格模型。其中，所述第二步包括以下子步骤：对所述初始4D光场彩色图像和初始深度图像建立蒙板，去除其中的背景干扰；对深度图像进行预处理，投影到3D空间中，获得预设拍摄目标的初始3D网格模型；基于所述预设拍摄目标的初始3D网格模型，获得预设拍摄目标对应的初始法向场。其中，所述第三步包括以下子步骤：对所述预设拍摄目标的初始彩色图像进行处理，获得对应的色度图；对所述色度图通过阀值分割，提取所述色度图具有的边缘点信息；根据所述色度图具有的边缘点信息或者色度值，对所述色度图包括的全部表面区域进行反射率划分，并且对具有不同反射率的表面区域建立不同的标记；对每个具有不同反射率的表面区域，分别计算获得其色度均值，并通过判断该色度均值与预设色度值之间的色度差异是否达到预设阈值，来判断其是否为歧义像素区域，如果是，则定义为歧义像素区域，并基于欧式距离，滤波消除作为歧义像素区域的表面区域；计算经过滤波后色度图中所有表面区域的反射率，最终获得所述预设拍摄目标的表面反射率。其中，根据所述色度图具有的边缘点信息，对所述色度图全部表面区域进行反射率划分的操作具体包括以下步骤：对于所述色度图中的任意两个像素点，判断它们的连线上是否存在边缘点，如果是，定义它们属于具有不同反射率的表面区域，并设置不同的标记。其中，根据所述色度图具有的色度值，对所述色度图包括的全部表面区域进行反射率划分的操作具体包括以下步骤：对于所述色度图中的任意两个表面区域，判断它们之间的色度差异是否达到预设值，如果是，定义它们为具有不同反射率的表面区域，并标记不同的标记。其中，在所述第四步中，根据所述预设拍摄目标对应的初始法向场和表面反射率，采用预设的关于法向和反射率的二次函数对所述预设拍摄目标的光场图像进行建模，获得所述预设拍摄目标具有的光照模型以及该光照模型具有的光照参数；所述二次函数的公式为：I＝s(η)＝ηTAη+bTη+c；ηx，y＝ρx，y·nx，y；其中，ηx，y是反射率ρx，y和单位法向ηx，y的乘积，A，b，c是光照模型的光照参数，通过线性最小二乘优化算法计算得到光照参数。其中，所述第五步包括以下子步骤：根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，运用预设能量函数，包括彩色图像亮度约束、局部法向平滑约束、法向先验约束及单位向量约束，对初始法向场进行优化；利用非线性最小二乘优化LM算法，对所述预设能量函数进行优化求解，获得优化后的法向场。由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种基于光场的深度图像处理方法，其可以基于4D光场，重建所拍摄目标的形状，实现对所拍摄目标进行光场成像立体显示，获得高质量的深度图像，并且保证成像的质量，有助于扩大光场成像的普及应用范围，促进光场成像应用发展，有利于提高用户的产品使用感受，具有重大的生产实践意义。附图说明图1为本发明提供的一种基于光场的深度图像处理方法的流程图；图2为本发明提供的一种基于光场的深度图像处理方法中，预设拍摄目标的初始彩色图像；图3为本发明提供的一种基于光场的深度图像处理方法中，预设拍摄目标的初始深度图像；图4为本发明提供的一种基于光场的深度图像处理方法中，对深度图像进行平滑和去噪处理而获得的预设拍摄目标的初始3D网格模型示意图；图5为图4所示本发明提供的一种基于光场的深度图像处理方法中，对深度图像进行平滑和去噪处理而获得的预设拍摄目标的初始3D网格模型的局部放大示意图；图6为本发明提供的一种基于光场的深度图像处理方法中，基于所述预设拍摄目标的初始3D网格模型，获得预设拍摄目标对应的法向场示意图；图7为图6所示本发明提供的一种基于光场的深度图像处理方法中，基于所述预设拍摄目标的初始3D网格模型，获得预设拍摄目标的法向场的法向贴图；图8为本发明提供的一种基于光场的深度图像处理方法中，对所述预设拍摄目标的初始彩色图像进行处理所获得的色度图；图9为本发明提供的一种基于光场的深度图像处理方法中，所述预设拍摄目标具有的光照模型图；图10为本发明提供的一种基于光场的深度图像处理方法中，预设拍摄目标的经过优化后的法向场示意图；图11为本发明提供的一种基于光场的深度图像处理方法中，预设拍摄目标的经过优化后的法向场的法向贴图；图12为本发明提供的一种基于光场的深度图像处理方法最终获得的预设拍摄目标的三维3D网格模型示意图；图13为图12所示I部分的放大示意图；图14为图12所示II部分的放大示意图。具体实施方式为了使本
技术领域：
的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。图1为本发明提供的一种基于光场的深度图像处理方法的流程图；参见图1，本发明提供的一种基于光场的深度图像处理方法，包括以下步骤：步骤S101：利用光场采集设备拍摄获得预设拍摄目标的初始4D光场彩色图像和初始深度图像；参见图2、图3，图2、图3分别为通过彩色图像传感器等光场采集设备，拍摄获得预设拍摄目标的初始4D光场彩色图像和初始深度图像。需要说明的，目前的商用手持式光场相机主要是Lytro相机和Raytrix相机，Lytro相机包括Lytro1.0和LytroIllum相机，Raytrix相机包括R5、R12、R29、R42等型号，可以用来进行真实场景的光场图像采集、深度估计、重对焦、三维成像等。同时，也可以用机械臂配合普通相机，模拟光场成像方式，通过微小运动，进行光场采集。步骤S102：对所获得的预设拍摄目标的初始4D光场彩色图像和初始深度图像进行预处理，获得预设拍摄目标的初始3D网格模型和对应的初始法向场；在本发明中，所述步骤S102具体包括以下子步骤：步骤S1021：对所述初始4D光场彩色图像和初始深度图像建立蒙板(mask)，去除其中的背景干扰(可以由用户用人工方式去除)；在本发明中，具体实现上，可以基于颜色差异进行图像的显著性检测和分割，从而对目标对象(即初始4D光场彩色图像和初始深度图像)建立蒙板，删除背景信息，只对目标物体进行操作。步骤S1022：对初始深度图像进行平滑和去噪处理，投影到3D空间中，获得预设拍摄目标的初始3D网格模型(如图4、图5所示)；在本发明中，具体实现上对初始深度图像通过均值滤波和双边滤波进行平滑和去噪处理。具体实现上，需要说明的是，通常认为深度图像是2.5D，即将三维坐标(x，y，z)的深度值z投影到二维空间，用0-255的灰度值表达。若已知相机(如光场相机LytroIllum)的参数，可根据相机的投影模型将深度信息投影到三维空间，得到目标的(x，y，z)坐标；若无法获取相机的参数，则根据物体的尺寸和图像的大小，将深度值按预设比例缩放到空间z值，近似表达目标物体的三维形状。需要说明的，对于光场相机LytroIllum以及其他光场相机，相机参数需要通过相机标定输出，按照传统相机标定方法，拍摄不同角度的多张棋盘格图像(10-20张)，计算相机的内外参数。步骤S1023：基于所述预设拍摄目标的初始3D网格模型，获得预设拍摄目标对应的初始法向场(即初始表面法向，如图6、图7所示，法向量图7表示颜色值形成的法向贴图)。在本发明中，需要说明的是，在三维网格模型中，每个空间点p(X，Y，Z)，垂直于该点所在网格曲面的切平面的、具有方向的向量称为法向量，用表达，通过像素点p的所有网格计算该点所在的切平面，然后得到该点的法向量，最终生成能够表达目标物体三维形状的法向场。步骤S103：根据所述预设拍摄目标的初始彩色图像和初始法向场，分析并计算获得所述预设拍摄目标的表面反射率(反射率在消除大部分歧义点后，能够准确地表达预设拍摄目标的表面像素的反射属性)；在本发明中，所述步骤S103具体包括以下子步骤：步骤S1031：对所述预设拍摄目标的初始彩色图像(如图2所示)进行处理，获得对应的色度图(如图8所示)；在本发明中，需要说明的是，通过色度图可以发现，由遮挡和相互反射造成的阴影区域的像素色度值出现歧义性，无法正确表达预设拍摄目标的反射属性。通过对色度图进行现有的K-means算法的聚类处理，可以发现存在歧义像素区域，即可获得遮挡和相互反射的造成的亮度值变化区域(即初始彩色图像对应的色度图)；步骤S1032：对所述色度图通过阀值分割，提取所述色度图具有的边缘点信息(这是由于遮挡和相互反射造成的阴影区域的色度值存在歧义性，无法表达物体的反射属性)；在本发明中，需要说明的是，对所述色度图通过阈值分割，具体为：利用边缘检测算子(如现有Canny或Sobel等边缘检测算法)，对该色度图进行边缘检测，提取色度图中的边缘像素点，同时还可以对离散边缘点通过扩张优化，以尽可能提取所有的边缘像素点。步骤S1033：根据所述色度图具有的边缘点信息或者色度值，对所述色度图包括的全部表面区域进行反射率划分，并且对具有不同反射率(即不同反射属性)的表面区域建立不同的标记；对于本发明，根据所述色度图具有的色度值，对所述色度图包括的全部表面区域进行反射率划分的操作具体包括以下步骤：对于所述色度图中的任意两个表面区域，判断它们之间的色度差异是否达到预设值，如果是，定义它们为具有不同反射率(即不同反射属性)的表面区域，并标记不同的标记。需要说明的是，所述标记可以是任何可以区分两个表面区域的标记，例如可以为A或B等字母标记，以及1和2等数字标记，当然还可以为其他标记。还需要说明的是，具体实现上，根据色度图具有的边缘点信息，对所述色度图包括的全部表面区域进行反射率划分的操作具体包括以下步骤：对于色度图中的任意两个像素点p和q之间的连线上是否还存在其他的边缘点(即匹配所述色度图具有的边缘点信息的边缘点)，如果是，定义它们为具有不同反射率(即不同反射属性)的表面区域，并标记不同的标记，因为这同样可以说明它们为具有不同反射率(即不同反射属性)的表面区域。在本发明中，根据色度图具有的边缘点信息或者色度值，对所述色度图包括的全部表面区域进行反射率划分，因此，对于色度图中的任意两个表面区域，判断这两个区域的任意像素点p和q，如果他们的连线上存在其他的边缘点，则说明他们所在的两个表面区域具有不同的反射属性。步骤S1034：对每个具有不同反射率(即不同反射属性)的表面区域，分别计算获得其色度均值，并通过判断该色度均值与预设色度值之间的色度差异是否达到预设阈值，来判断其是否为歧义像素区域(即歧义像素点)，如果是，则定义为歧义像素区域，并基于欧式距离，滤波消除作为歧义像素区域的表面区域；需要说明的是，对于每个具有不同反射率的表面区域，求它的色度均值若则是歧义点。在本发明中，需要说明的是，是平均色度值。对于其中的Chp是任意一点p的色度值，τ是截断阈值，本发明的用户可以通过实验预先设置τ的取值。具体实现上，对于本发明，基于欧式距离和色度差异进行滤波的具体计算方法如下：ωd=exp(-||dp-dq||22σd2);]]>其中，是像素点p的局部邻域，Ip是像素点p的颜色亮度值，γ是归一化系数项，ωd是像素点p和其邻域像素点q的空间距离权重，即欧氏距离，是像素点p和其邻域像素点q的色度差异权重，dp、dq是像素点p和q的空间位置(坐标值)，Chp、Chq是像素点p和q的色度值。对于根据该色度均值与预设色度值之间的色度差异，如果一个表面区域的色度差异大于预设色度阈值，则判断该表面区域为由于阴影和相互反射引起的歧义像素点。具体实现上，对于本发明，滤波消除阴影和相互反射造成的歧义像素点，即通过局部邻域像素点的色度值，利用均值滤波，计算歧义点的正确色度值，从而达到消除阴影和相互反射的影响。步骤S1035：计算经过滤波后色度图中所有表面区域的反射率，最终获得所述预设拍摄目标的表面反射率。需要说明的是，对于本发明，具体可以利用公知的、预设的算法(QifengChenandVladlenKoltun,“Asimplemodelforintrinsicimagedecompositionwithdepthcues,”inComputerVision(ICCV),IEEEInternationalConferenceon,2013的算法)来计算经过滤波后色度图中所有表面区域的反射率，从而最终获得所述预设拍摄目标的表面反射率。在本发明中，需要说明的是，输入数据是光场中心视角子图像及其对应的初始深度图，由初始深度图通过步骤S102得到初始法向场，由光场中心视角子图像经过步骤S103得到目标表面的精确色度图。基于初始法向场和色度图，对图像进行内容属性分解，通过预设的算法(QifengChenandVladlenKoltun,“Asimplemodelforintrinsicimagedecompositionwithdepthcues,”inComputerVision(ICCV),IEEEInternationalConferenceon,2013的算法)，来提取物体表面每个像素点的反射属性Ap，建立一个包含数据项和正则项的能量函数，并利用线性最小二乘法，最终计算得到经过滤波后色度图中所有表面区域的反射率。公式为：argminX=(A,D,N,C)Edata(X)+Ereg(X);]]>Edata=Σp||Ip-Ap-Cp-Dp-Np||2;]]>Ereg＝ωAEA+ωDED+ωNEN+ωCEC；其中，Ip是像素点p的颜色亮度值，Ap是反射率，Dp是直接辐照度，Np是间接辐照度，Cp是照明颜色，wA、wD、wN、WC是对应内容属性的权重，对应内容属性的正则项能量函数EA、ED、EN、EC定义为：ED=Σ{p,q}∈RD(dp-dq)2;]]>EA=Σ{p,q}∈RAαp,q||ap-aq||2;]]>EN=Σ{p,q}∈RN(np-nq)2+np2;]]>EC=Σ{p,q}∈RCβp,q||cp-cq||2;]]>其中，αp，q是局部邻域像素的色度差异权重，ap是像素点p的反射率，dp是像素点p的空间位置(坐标值)，Chp是像素点p的色度值，np是像素点p的法向量。步骤S104：根据所述预设拍摄目标对应的初始法向场和表面反射率，对所述预设拍摄目标对应的光场图像进行建模，获得所述预设拍摄目标具有的光照模型(如图9所示)以及该光照模型具有的光照参数；在本发明中，具体实现上，根据所述预设拍摄目标对应的初始法向场和表面反射率，对所述预设拍摄目标进行光照建模，由于光场图像的采集是在连续变化的自然光照条件下，测量光照属性是很困难的，因此，采用一个预设的关于法向和反射率的二次函数对所述预设拍摄目标对应的光场图像(即光场亮度图像)进行建模，获得所述预设拍摄目标具有的光照模型以及该光照模型具有的光照参数，该二次函数的公式为：I＝s(η)＝ηTAη+bTη+c；ηx，y＝ρx，y·nx，y；其中，ηx，y是反射率ρx，y和单位法向nx，y的乘积，A，b，c是光照模型的光照参数，通过线性最小二乘优化算法计算得到光照参数，基于全局光照模型可以获得全局平滑的预设拍摄目标表面(如图9所示)。步骤S105：根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，对所述预设拍摄目标对应的初始法向场进行优化，恢复物体表面的几何细节；需要说明的是，加入光照参数对法向场进行优化，可以使得最终构建的预设拍摄目标的三维3D立体形状图像的表面形状平滑。在本发明中，具体实现上，根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，对所述预设拍摄目标对应的初始法向场进行优化。需要说明的是，预设拍摄目标的表面反射率和光照模型是基于初始法向场进行计算优化的，但是初始法向场是从初始深度图生成，存在很多噪声和歧义值。预设拍摄目标表面包含很多的高频局部几何细节，每个点的法向是唯一的，精确的法向场是三维重建必不可少的因素，因此，恢复目标表面的局部几何细节，必须进行法向场的优化重建。根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，通过表征光照一致性、局部平滑性、初始先验知识、单位向量的约束项，建立最小化能量函数，对所述预设拍摄目标对应的初始法向场进行优化对于本发明，所述步骤S105具体包括以下步骤：步骤S1051：根据所述预设拍摄目标的表面反射率和光照模型具有的光照参数，运用预设能量函数，对预设拍摄目标表面每个像素的法向进行优化，即对初始法向场进行优化(如图10、图11所示)；步骤S1052：利用非线性最小二乘优化LM算法，对所述预设能量函数进行优化求解，获得优化后的法向场(如图12、图13所示)。对于本发明，需要说明的是，光场图像的采集是在自然光照条件下，测量光照属性是很困难的，而且光照环境是变化的，本发明采用一个关于法向和反射率ρ的二次shading函数对光场亮度图像进行建模；用最小二乘优化LM算法乘解出估计的全局光照参数；具体通过最小化以反射率ρ和光照模型参数为输入的能量函数，来优化物体表面每个像素的法向其中，所述预设能量函数E(n)包括图像亮度约束Ei(n)、局部法向平滑约束Esh(n)、初始法向约束Er(n)及单位向量约束Eu(n)，所述预设能量函数的具体计算方法如下：E(n)＝λiEi(n)+λshEsh(n)+λrEr(n)+λuEu(n)；Ei(n)=Σp||Ip-s(ηp)||2;]]>Esh(n)=ΣpΣq∈Φ(p)||np-nq||2;]]>Er(n)=Σp||1-np·np0||2;]]>Eu(n)=Σp||1-npT·np||2;]]>需要说明的是，其中，Ip是像素点p的颜色亮度值，s(ηp)是像素点p的光照模型输出的亮度值，Ei(n)是对光照模型输出的图像亮度和真实亮度值的一致性约束；np是像素点p的法向量，Esh(n)是对预设拍摄目标表面局部邻域的平滑约束；是像素点p的初始法向量，Er(n)是对优化后的法向与初始法向的一致性约束，是像素p的法向的转置，Eu(n)是对优化的法向量必须是单位向量的约束。步骤S106：根据优化获得的法向场，对预设拍摄目标的初始深度图像进行深度增强，获得最终的经过深度增强的初始深度图像(即本发明利用高精度的优化法向对初始深度图进行了增强)；在本发明中，具体实现上，可以基于优化的法向，对初始深度图进行增强，从而得到高质量的深度图，再进行几何形状的三维网格重建，利用预设的算法(DiegoNehab,SzymonRusinkiewicz,JamesDavis,andRaviRamamoorthi,“Efficientlycombiningpositionsandnormalsforprecise3dgeometry”inACMTransactionsonGraphics(TOG),2005的算法)进行深度增强，具体算法为：通过空间坐标及局部信息与法向场的相互联合增强，利用加权最小二乘法对能量函数进行计算，得到高精度的深度图，公式定义为：argminZλEp+(1-λ)En;]]>Ep=Σi||Pi-Pim||2;]]>En=Σi[Tx(Pi)·Nic]2+[Ty(Pi)·Nic]2;]]>Tx=∂P∂x=-1fx(x∂Z∂x+Z)-1fyy∂Z∂x∂Z∂xT;]]>Ty=∂P∂y=-1fxx∂Z∂y-1fy(y∂Z∂y+Z)∂Z∂yT;]]>P(x,y)=-xfxZ(x,y)-yfyZ(x,y)Z(x,y)T;]]>其中，Ep是空间坐标的能量函数，其中，P(x，y)是图像平面像素点(x,y)的三维空间坐标，Z(x，y)是深度值，fx、fy是相机的焦距，Pi是优化的空间坐标，是测量得到的空间坐标，通过初始深度图得到；En是法向场的能量函数，Tx、Ty是预设拍摄目标的像素点(x,y)的表面正切，是对应优化的空间坐标Pi的正确法向量。步骤S107：根据经过深度增强的初始深度图像，投影到3D空间中，重建预设拍摄目标的3D网格模型(如图14所示)。因此，本发明可以实现对预设拍摄目标进行光场成像立体显示，获得高质量的深度图像，并且保证成像的质量，有助于扩大光场成像的普及应用范围，需要说明的是，对于本发明，具体可以利用公知的算法(DiegoNehab,SzymonRusinkiewicz,JamesDavis,andRaviRamamoorthi,“Efficientlycombiningpositionsandnormalsforprecise3dgeometry”inACMTransactionsonGraphics(TOG),2005的算法)，就可以根据优化获得的法向场，对预设拍摄目标的初始深度图像进行深度增强，从而获得最终的、高质量的经过深度增强的初始深度图像。在本发明中，需要说明的是，根据二维空间到三维空间的投影模型，将经过深度增强的初始深度图像投影到3D空间，公式为：xy1=fxcxfycy1[RT]XYZ1;]]>其中，(X，Y)是预设拍摄目标的图像平面坐标，(X，Y，Z)是预设拍摄目标表面在3D空间的坐标，分别是相机的焦距和中心坐标，R和T分别是投影变换旋转和平移矩阵。综上所述，与现有技术相比较，本发明提供了一种基于光场的深度图像处理方法，其可以基于4D光场，重建所拍摄目标的形状，实现对所拍摄目标进行光场成像立体显示，获得高质量的深度图像，并且保证成像的质量，有助于扩大光场成像的普及应用范围，促进光场成像应用发展，有利于提高用户的产品使用感受，具有重大的生产实践意义。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页1 2 3