解决BRDF高度非线性问题的光度立体视觉数据驱动全局优化算法的制作方法

本发明涉及的是一种机器视觉识别领域的技术，具体是一种解决brdf高度非线性问题的光度立体视觉数据驱动全局优化(data-drivenphotometricstereo,dps)算法。

背景技术：

光度立体视觉技术难点之一在于快速有效地解决非朗伯体材料的复杂反射问题。传统光度立体视觉基于朗伯体假设来估计物体表面法向量。在该假设下，像素记录值与物体表面法向量之间存在线性关系。因此，针对某一个像素，已知三个不共面光照方向的像素记录值，就可以求取该像素对应物体表面点的法向量。但在现实世界中，满足朗伯体假设的材料很少，这就限制了光度立体视觉的应用空间。为了解决该问题，三十多年来发展出了许多算法，其中主流的解决方法可以分成两种。

第一种方法认为绝大多数像素记录值满足朗伯体假设，将高光点、投射阴影(castshadow)、附着阴影(attachshadow)等作为误差处理。然而对于一些材料，即使是去除了高光和阴影的影响，像素记录值与对应法向量之间的关系也不满足朗伯体假设。第二种方法采用更加复杂的双向反射分布函数(bidirectionalreflectancedistributionfunction,brdf)模型，或者利用brdf的某些性质来提高法向量恢复精度。但上述模型的适应性仍然有限，法向量恢复精度仍旧有提高的空间。此外，所提出的模型往往相对复杂，或者最优化迭代求解过程繁琐，计算速度慢。

技术实现要素：

本发明提出了一种解决brdf高度非线性问题的光度立体视觉数据驱动全局优化(data-drivenphotometricstereo,dps)算法，它可以更好地解决brdf高度非线性问题，而且拥有较高的计算效率。

本发明所采用的技术方案是：该方法通过高斯过程对某种材料的参照数据进行训练，得到一个合理的全局推测模型，对同一材料相同场景下的其他形状物体具有较高的法向量恢复精度，包括以下步骤：

第一，用以下公式来描述非朗伯反射现象的映射关系，该映射关系在描述反射现象的同时实现了反射现象与表面法向量的解耦：

ip＝fbrdf(l,n,v)kcistn^tl

其中，kp是相机内部的线性响应系数，d是光圈直径，f是相机焦距，α是物体表面点与对应像素点连线与光轴之间的夹角，在拍摄距离远大于物体尺寸的假设下，α≈0，f是物体表面点向相机方向反射的辐射强度与物体表面辐照强度的比值，is是光源强度，l是入射光线方向，t是曝光时间；

第二，针对所提映射关系，使用高斯过程建立了相应的连续数学模型，通过与已知数据相关的联合分布来预测的数值：

其中是n×4阶输入量，l＝(lp1,lp2,…lpn)^t，lp·为对应的入射光线方向，μ(x)是均函数方程，k(x,x)是n×n阶协方差矩阵，表达了x之间的相关性，n是训练点数量，为brdf的预测结果，i是单位矩阵，表示噪声；

第三，提出一种基于高斯过程的数据驱动光度立体视觉全局优化算法，设计采样策略保证模型的训练精度与预测速度：

其中并通过进行归一化处理。

与现有技术相比，本发明具有如下有益效果：

第一，本专利提出了一种用于描述非朗伯反射现象的映射关系，该映射关系在描述反射现象的同时实现了反射现象与表面法向量的解耦；

第二，本专利针对所提映射关系，使用高斯过程建立了相应的连续数学模型，并设计采样策略保证模型的训练精度与预测速度；

第三，本专利提出一种解决brdf高度非线性问题的光度立体视觉数据驱动全局优化(data-drivenphotometricstereo,dps)算法；

第四，基于merl(mitsubishielectricresearchlaboratories)数据库的仿真实验以及真实实验都验证了该方法的优越性。该方法在大批量单一材料表面的缺陷检测方面有较好的应用前景。

附图说明

图1为本发明算法总流程；

图2为本发明实施例球与兔子部分材料渲染图；

图3为本发明实施例五种材料法向量恢复图(从上到下：alum-bronze、color-changing-paint2、ipswich-pine-221、pvc和ss440)；

图4为本发明实施例五种材料误差图(从上到下：alum-bronze、color-changing-paint2、ipswich-pine-221、pvc和ss440)；

图5本发明实施例标准法向量图和实际照片；

图6为本发明实施例法向量恢复图与误差图(从上往下：ls、cbr、dps)。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

在本发明的描述中需要理解的是，术语“上”“下”“左”“右”指示的方位或位置关系为基于附图所示的方位和位置关系，仅仅是为了方便描述本发明的结构和操作方式，而不是指示或者暗示所指的部分必须具有特定的方位、以特定的方位操作，因而不能理解为对本发明的限制。

实施例

下面结合附图对本发明进一步说明：

通常，非朗伯体材料的brdf是高度非线性的，而且不同材料的brdf不一样。因此，用某种材料的稠密测量数据去表示该材料的brdf，比统一解析模型更合适。本发明的基本思想就是根据某种材料的测量数据库得到合理的数学模型，紧接着根据该数据模型对相应材料数据库中的数据进行推断。具体来说，本发明建立了入射方向l、观测方向v、像素记录值ip与brdf之间的映射模型，并根据该映射模型进行数据推断。

为了实现上述思想，本发明利用高斯过程建立数学模型。高斯过程是一种贝叶斯推理模型，是一种处理高度非线性问题的强大数学工具。在拍摄距离远大于物体尺寸的假设下，观测方向v可以认为是常向量(0,0,1)^t，因此推导过程中，v不作为输入量。这样高斯过程就建立了入射光线方向l、像素记录值与之间的映射关系，如式(1)所示。为了保证同一像素不同光照方向下像素记录值的变化只是由brdf和光线入射方向不同引起的，因此需要消除标定入射光线强度kcist对像素记录值ip的影响。该模型就使用了消除标定入射光线强度影响的像素记录值为了方便后面法向量求解，该模型使用了brdf的倒数记做

gp(x)～n(μ(x),k(x,x))(1)

其中是n×4阶输入量，l＝(lp1,lp2,…lpn)^t，lp·为对应的入射光线方向，μ(x)是均函数方程，k(x,x)是n×n阶协方差矩阵，表达了x之间的相关性，其中n是训练点数量。

建立模型时，由于不知道任何先验信息，所以均函数方程认为是零均值函数。对于任一想要预测的数值可以通过与已知数据相关的联合分布预测得到，其中为brdf预测结果，具体表达式如式(2)所示。

为了证明该方法的有效性和训练模型的扩展性，本文分别生成了球与兔子两种形状的渲染图片。因为cbr算法需要300张图片才能得到比较好的实验结果，所以为了更好地与cbr算法比较，本文渲染了300张图片。其中球渲染图片的分辨率为，兔子渲染图片的分辨率为256×256。图2展示了5种材料的渲染图片，为了清楚地展示渲染图片，每种材料的渲染数据均进行了同倍数增大。

本发明采用了与大多数法向量估计图，即让彩色图片的三个通道r、g、b分别代表单位法向量的三个分量，其取值范围均为[-1,1]。为了方便显示，将这三个分量归一化至[0,1]区间，即其中ishow是展示法向量估计图，itrue是真实法向量估计图。为了清晰地表示法向量的估计误差，实验中生成了相应的误差图，即图3，该误差图是估计法向量与真值法向量夹角的分布图。图中颜色越偏蓝，夹角越小，误差越小，颜色越偏红，夹角越大，误差越大。

本发明搭建了一个光度立体视觉实验平台。该平台保证暗室环境，并用46盏20w的点光源照射拍摄距离为1.8米的物体，拍摄物体是100mm*100mm的铝合金抛物面。相机型号为大恒相机水星系列mer-502-79u3c工业相机，图片分辨率为2448*2048。本发明假设该抛物面的加工误差很小，抛物面的真值法向量可以通过相应数学模型计算得到。在自动生成掩模图后，通过插值就可以得到标准法向量图，图4展示了标准法向量图和其中一张真实照片。

在场景中放入镀铬钢球标定光源入射方向，随后放入标准白板，进行光源强度标定。由于本实验用的是彩色相机，所以实验中得到的是r、g、b三个通道的光源强度值。准备训练数据时，每个通道的像素记录值除以该通道的光源强度值以消除光源强度的影响，再对每个通道进行中值滤波，随后将彩色图片转为黑白图片。选择训练点时，先均匀采10个像素点，然后对每个像素点均匀选5个非零像素记录值。按照上述数据训练并预测，得到法向量估计图和误差图如图5所示。从图中可以看出，dps算法的误差比ls和cbr要小。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。