一种基于图像融合来执行三维表面形貌测量的方法与流程

本发明属于三维表面形貌测量相关技术领域，更具体地，涉及一种基于图像融合来执行三维表面形貌测量的方法。

背景技术：

近年来，具有功能性表面的产品在摩擦学、热传导、流体动力学、光学、太阳能、医学植入、仿生学、仿生电子学和微电子学等科学研究和工程应用中引起了广泛的关注。这些功能表面包括一系列工程产品中的的微纳米结构。这些高动态范围(hdr)表面几何特征的测量对先进测量设备提出了一系列测量要求。

更具体而言，这些测量要求之一首先在于需要具备高分辨率的横向测量能力。传统的机械式探针和3d远场光学测量系统分别由其尖端几何形状和光学传递特性决定了他们的物理横向分辨率的极限，因此传统的测量方式对于横向尺寸小于1um的精细结构的测量比较困难。为了解决此技术问题，目前已经开发了譬如随机光学重建显微镜(storm)、受激发射损耗荧光显微镜(sted)、光敏定位显微镜(plam)、结构光照明显微镜(sim)等一系列超分辨技术。然而，这些超分辨率技术仍面临着一些局限，如必需对样品进行额外的预处理、测量范围偏小(通常为几微米到几十微米)等问题。

此外，为了提高测量范围和视域，研究者们已经基于局部高分辨率测量数据的拼接，提出了一些hdr测量技术，如z.lei等人提出了一种基于相干扫描干涉测量(csi)系统进行大面积表面测量的采样抗噪拼接技术。m.y.liu等人开发了一种基于高斯建模的拼接和融合方法，可用于大面积测量，同时提供更高的拼接精度。但这些拼接技术需要在每个子区域上重复大量高分辨率的测量，相应要求对每个子区域测量重复设置操作，并且完整的拼接过程可能由于大量测量数据而导致耗时过多，成本过高等问题。

高动态范围表面几何特征的另一个重要要求在于提高测量效率。为此，现有技术中已提出了一些解决方案，如preibisch开发了一种基于傅里叶变换定理的生物体图像快速拼接与融合技术；yu和peng开发了一种基于多尺度配准的高速拼接技术，用于在千兆字节级别上进行三维生物体数据的拼接，等等。然而，以上方案通常需要复杂的附加操作，并且需要在每个局部测量中重复调整样品并进行表面搜索，因此实用性有限。相应地，本领域亟需寻找针对性的解决方案，以便更好地满足实际生产实践中所面临的以上方面的技术需求。

技术实现要素：

针对现有技术的以上不足或改进需求，本发明提供了一种基于图像融合来执行三维表面形貌测量的方法，其中通过紧密结合高动态范围三维表面形貌测量工艺在高分辨率横向测量能力和高测量效率这两个重要方面的技术问题，引入了基于本征图像分解的优化照明模型，同时采用阴影形状技术(sfs)来进行图像融合，相应与现有技术相比不仅可获得更高分辨率的表面形貌测量结果，而且具备高效率、便于操控和误差率低等优点，因而尤其适用于各类高动态范围表面几何特征的在线高精度高速测量应用场合。

为实现上述目的，按照本发明，提供了一种基于图像融合来执行三维表面形貌测量的方法，其特征在于，该方法包括下列步骤：

(a)图像采集步骤

针对待测量对象，采用表面形貌测量设备对其进行扫描，获得具备第一分辨率的初始表面形貌图像；同时采用视觉相机获得与此初始表面形貌图像保持对应且具备第二分辨率的灰度原图，其中该视觉相机具备达到需求标准的较高分辨率，也即该第二分辨率被设定为大于该第一分辨率；

(b)照明估计步骤

对步骤(a)所获得的灰度原图进行基于本征图像分解的照明估计，该步骤具体包含下列子步骤：

(b1)针对所述灰度原图，首先依照下列表达式来执行全局照明估计以获得优化后的全局照明条件，然后采用该全局照明条件对该灰度原图进行补偿处理：

其中，表示优化后的全局照明条件，也即所述灰度原图在自然光照条件下与表面法线相关的全局朗伯阴影，它可采用低阶球谐函数或二次函数近似得到；表示所述灰度原图在自然光照条件下的谐波系数列向量；并表示的增广法向量，其中为所述初始表面形貌图像的表面法线矢量，t表示对的矩阵转置；

(b2)依照下列公式来执行局部照明估计以获得优化后的局部照明条件，然后采用该局部照明条件继续对该灰度原图进行补偿处理，由此得到新的更接近真实照明的优化后灰度图像：

其中，i表示所述灰度原图，其用各像素点的灰度值来表示；α表示所有因素造成的总的局部照明变化；表示通过步骤(b1)所获得的全局朗伯阴影；||||表示对i和做差之后各分量的平方和的开根号也即范数；μα表示预设的用于控制局部照明估计精度与平滑度之间的权衡系数；ωα表示α的邻域；wk表示预设的用于表示强度相似度的加权系数；αk则表示α邻域中第k个的局部照明变量；

(c)图像融合步骤

将通过步骤(a)获得的初始表面形貌图像与通过步骤(b)得到的优化后灰度图进行融合，生成分辨率获得增强的优化后表面形貌图像，由此完成整体的三维表面形貌测量过程。

作为进一步优选地，在步骤(a)中，在采用表面形貌测量设备扫描获得初始表面形貌图像之后，优选执行delaunay线性插值来使得其与所述灰度原图具备同样本尺寸。

作为进一步优选地，在步骤(b)中，优选首先建立如下的本征图像照明模型，并通过该模型来逼近包括自然照明、远点照明、近点照明、朗伯阴影、镜面反射、相互反射以及与材料相关的反照率变化这些阴影因子：

其中，r表示图像强度也即图像灰度值；α表示所有因素造成的总的局部照明变化；表示所述灰度原图在自然光照条件下与表面法线相关的全局朗伯阴影。

作为进一步优选地，在步骤(c)中，优选采用sfs技术也即阴影形状恢复技术来将所述初始表面形貌图像与所述优化后灰度图进行融合。

作为进一步优选地，在步骤(c)中，优选采用以下函数式f(z)来将所述初始表面形貌图像与所述优化后灰度图进行融合：

其中，z表示融合之后所生成的分辨率获得增强的优化后表面形貌图像；i表示所述灰度原图，其用各像素点的灰度值来表示；表示通过照明估计新生成的灰度图像；||||表示对i和做差之后各分量的平方和的开根号也即范数；μz1和μz2分别是预设的用于重建保真度和平滑度控制的调节参数；z0表示所述初始表面形貌图像；而δ表示拉普拉斯算子。

作为进一步优选地，在步骤(c)之后，优选还可以包括对所述优化后表面形貌图像和所述初始表面形貌图像进行精度评估的步骤(d)。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下优点：

1、本发明通过基于本征图像的全局照明估计和局部照明估计，表面形貌可以与其对应的灰度图像相联系，生成高分辨率的表面形貌图；

2、可以通过将全局大面积低分辨率高度图与在不同局部区域的多个子孔径强度图像融合来代替一般的子区域3d表面拼接，这种新方法能够比子区域拼接更快速；

3、本发明还进一步利用一阶变分问题来逼近任意真实光照环境，由此有效克服sfs表面形貌恢复中的不确定最小二乘优化问题的模糊性；

4、按照本发明的方法整体准确度更高，时间计算成本低，可以很容易地与高动态范围表面的在线高速测量集成在一起，因而尤其适用于各类高动态范围表面几何特征的在线高精度高速测量应用场合。

附图说明

图1是按照本发明优选实施方式所构建的基于图像融合来执行三维表面形貌测量的整体工艺流程示意图；

图2a示范性显示了本发明中所输入的低分辨率表面形貌图；

图2b示范性显示了本发明中所输入的高分辨率灰度原图；

图3示范性显示了本发明中基于本征图像照明估计的优化后灰度图像；

图4是示范性显示了本发明中所输出的分辨率获得增强的优化后表面形貌图像；

图5是用于显示本发明中低分辨率表面形貌图与高分辨率表面形貌图两者截图的对比示意图；

图6是用于显示本发明中低分辨率表面形貌图与高分辨率表面形貌图两者截图的傅里叶分析图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是按照本发明优选实施方式所构建的基于图像融合来执行三维表面形貌测量的整体工艺流程示意图。如图1中所示，该工艺主要包括下列流程步骤：

步骤一：图像采集步骤

针对待测量对象，采用表面形貌测量设备对其进行扫描，获得具备第一分辨率的初始表面形貌图像；同时采用视觉相机获得与此初始表面形貌图像保持对应且具备第二分辨率的灰度原图，其中该视觉相机具备达到需求标准的较高分辨率，也即该第二分辨率被设定为大于该第一分辨率。

更具体地，如图2a和2b所示，在本实验中，一元硬币表面譬如可用一个直径为1mm的触摸探针和一个带有部分环形照明的视觉相机来测量。接触时探针提供低分辨率高度图输入，而视觉系统提供高分辨率灰度图像输入。

在本实验中，首先捕获具有444×444像素的硬币表面i的高分辨率强度图像，如图2b所示。对于低分辨率高度数据，在与高分辨率图像相同的测量区域中捕获50×50网格样本数据集。为了使低分辨率数据的数据分辨率与高分辨率图像相匹配，优选还可以进行delaunay线性插值，得到与高分辨率图像具有相同样本尺寸的低分辨率高度图z0。

步骤二：照明估计步骤

对前面所获得的灰度原图进行基于本征图像分解的照明估计，该步骤具体包含下列子步骤：首先，针对所述灰度原图，首先依照下列表达式来执行全局照明估计以获得优化后的全局照明条件，然后采用该全局照明条件对该灰度原图进行补偿处理：

其中，表示优化后的全局照明条件，也即所述灰度原图在自然光照条件下与表面法线相关的全局朗伯阴影，它可采用低阶球谐函数或二次函数近似得到；表示所述灰度原图在自然光照条件下的谐波系数列向量；并表示的增广法向量，其中为所述初始表面形貌图像的表面法线矢量，t表示对的矩阵转置；

接着，依照下列公式来执行局部照明估计以获得优化后的局部照明条件，然后采用该局部照明条件继续对该灰度原图进行补偿处理，由此得到新的更接近真实照明的优化后灰度图像：

其中，i表示所述灰度原图，其用各像素点的灰度值来表示；α表示所有因素造成的总的局部照明变化；表示通过步骤(b1)所获得的全局朗伯阴影；||‖表示对i和做差之后各分量的平方和的开根号也即范数；μα表示预设的用于控制局部照明估计精度与平滑度之间的权衡系数；ωα表示α的邻域；wk表示预设的用于表示强度相似度的加权系数；αk则表示α邻域中第k个的局部照明变量。

步骤三：图像融合步骤

将前面所获得的初始表面形貌图像与优化后灰度图进行融合，生成分辨率获得增强的优化后表面形貌图像，由此完成整体的三维表面形貌测量过程。

更具体而言，该图像融合过程优选可采用sfs技术也即阴影形状恢复技术来将所述初始表面形貌图像与所述优化后灰度图进行融合。按照本发明的另一优选实施方式，优选采用以下函数式f(z)来将所述初始表面形貌图像与所述优化后灰度图进行融合：

其中，z表示融合之后所生成的分辨率获得增强的优化后表面形貌图像；i表示所述灰度原图，其用各像素点的灰度值来表示；表示通过照明估计新生成的灰度图像；||‖表示对i和做差之后各分量的平方和的开根号也即范数；μz1和μz2分别是预设的用于重建保真度和平滑度控制的调节参数；z0表示所述初始表面形貌图像；而δ表示拉普拉斯算子。

如图3和图4所示，譬如可通过指定融合参数τ＝0.05，σ²＝0.05²，μα＝0.1，μz1＝0.0018和μz2＝0.05，然后进行基于本征图像的照明估计和融合计算，可以得到精细的高分辨率高度图。通过将融合结果与来自接触式触针表面形貌测量仪器的融合结果进行比较来评估准确度。通过将融合结果与接触式触针表面形貌测量仪进行比较，评价了精度。通过使用基于比例不变特征变换(sift)的粗匹配将cmm数据与触针数据匹配，然后进行迭代最近点(icp)细匹配，即sift-icp算法，对触针数据之间对应点的高度差和cmm数据进行了计算。它们的均方根高度误差表明，融合输出结果将测量误差降低了约4.4％。

图5和图6分别显示了本发明中低分辨率表面形貌图与高分辨率表面形貌图两者截图的对比示意图和傅里叶分析图。从中可以清楚地看通过使用所提出的分辨率增强算法，消除了由低采样率和线性插值引起的低分辨率高度图的表面不连续性。输出的高分辨率地图显示了表面连续性和细节细化的均匀分布。此外，图6中的fft分析表明，在低空间频率区域，输入低分辨率图和输出高分辨率图具有相同的空间频率分量；但在高空间频率区域，分辨率增强的高度图比低分辨率图具有更多的信息。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。