测量物体纹理及三维形貌的3.5D相机的测量方法

本发明属于光学设备，具体是一种测量物体纹理及三维形貌的3.5d相机的测量方法。

背景技术：

1、国内的工业自动化水平不断提高，基于机器视觉技术的工业产品形貌检测需求日益旺盛。传统的机器视觉技术主要针对平面二维成像，其利用计算机图形处理算法实现对物体纹理、形状、色彩等诸多参数的快速检测，已被广泛应用于工业自动化检测的各个领域。然而，传统的二维视觉检测技术只能结合二维图像和经验算法来估计出物体的三维形状信息，检测精度低，易出现一些由于拍摄角度和光照问题产生的误判，因此并不适用于三维形貌信息检测。

2、为解决上述问题，三维机器视觉技术被提出并被广泛应用于工业检测。其中，激光线扫三维检测相机的应用最为广泛，其通过探测相机获取被物体调制后的线性激光图像来解算物体上各点的高度值，并由此得出物体的三维信息，该技术的扫描精度高，但检测速度较慢，严重影响工作效率。与激光线扫三维检测相机工作原理不同，光场三维相机利用微镜阵列对测量光的光场进行解析，然后利用图像空间频谱原理反演物体三维形貌，该技术的算法复杂度高，执行效率低，严重影响工业检测的实时性。此外，激光线扫三维检测相机和光场三维相机受成像机理的影响，对被测物体的表面质量有着非常高的要求，无法满足不同物体的三维成像需求。

3、在工业实践中，通常需要同时获取物体的表面纹理信息和三维形貌信息。传统的二维机器视觉技术仅能获取物体表面的纹理信息，且所获取的表面纹理信息在成像离焦的情况下会出现模糊的情况。已出现的三维机器视觉技术可以对物体的三维信息进行采集，但是损失了物体的表面纹理信息，限制了不少应用场景，并且物体表面质量的不一致对测量结果的影响也比较大。

技术实现思路

1、本发明的目的是为了解决上述现有技术中存在的问题，而提供一种测量物体纹理及三维形貌的3.5d相机的测量方法。

2、本发明是通过如下技术方案实现的：

3、一种测量物体纹理及三维形貌的3.5d相机的测量方法，3.5d相机包括一体化底座，一体化底座上沿光入射的方向依次安装有物镜、筒镜和图像传感器，其中，物镜设置在物镜平移台，物镜平移台与一体化底座滑动连接。

4、3.5d相机的测量方法包括如下步骤：

5、s1.3.5d相机的物镜置于初始位置，待测物体置于3.5d相机视场范围内，调节照明亮度和3.5d相机的曝光参数，使待测物体全貌可初步被3.5d相机捕捉。

6、s2.3.5d相机的物镜通过物镜平移台的带动而沿光轴方向移动，每隔一定距离对待测物体的各个特征区域进行扫描，进而改变图像传感器感光面所对应的物平面，随着物镜沿光轴方向移动，依次利用图像传感器记录不同物平面所对应的图像。

7、基于这种物镜移动扫描的工作方式，3.5d相机实现了两种功能：

8、第一种是快速自动对焦功能，该功能实现了对待测物体某个指定区域的快速对焦。

9、第二种是测量功能，该功能实现了融合待测物体纹理信息和三维形貌信息的同步检测；测量功能包括如下步骤：1)根据检测需求设置物镜扫描的起止位置和图像传感器的拍摄间隔；2)物镜通过物镜平移台的带动而沿光轴方向移动到起始位置；3)物镜自起始位置出发，根据拍摄间隔对待测物体的各个特征区域进行扫描，进而改变图像传感器感光面所对应的物平面，随着物镜沿光轴方向移动，依次利用图像传感器记录不同物平面所对应的图像，并在终止位置停止运动和拍摄；4)对于不同位置获取的图像和位置信息，最终通过纹理信息及三维形貌信息处理算法对物体进行纹理信息和三维形貌信息的计算。

10、进一步地，3.5d相机中，一体化底座上安装有驱动电机，驱动电机的输出端连接有丝杠，物镜平移台安装在丝杠上。

11、进一步地，3.5d相机中，图像传感器采用灰度或彩色图像传感器。

12、进一步地，3.5d相机的测量方法中，步骤s1中，调节照明亮度是指调节对待测物体进行主动照明的亮度，进而提高图像的采集效果，对待测物体进行主动照明的方法包括：1)环形照明：在物镜上安装环形光源；2)同轴照明：在物镜和筒镜的中间加入一个分光镜，并在分光镜的反射方向上加入同轴照明系统。

13、进一步地，3.5d相机的测量方法中，步骤s2中，3.5d相机实时读取物镜的移动距离，物镜每移动单位步长，就触发图像传感器执行一次拍摄，且在每次拍摄后，都会对图像与物镜位置进行配对，并通过显著度评价函数对各个高度上的图像进行实时评价。

14、进一步地，3.5d相机的测量方法中，快速自动对焦功能包括如下步骤：

15、1)在图像传感器的实时对焦窗口中选取需要对焦的位置(x0，y0)。

16、2)通过物镜平移台将物镜移动到初始位置，然后沿着指定方向进行扫描移动，同时图像传感器按时间间隔采集该时刻物镜所对应物平面的图像信息。

17、3)每次图像传感器采集得到图像信息后，快速的对图像在位置(x0，y0)处的信息进行处理后得到该位置处的显著度评价函数值fsal(·)，将显著度评价函数值fsal(·)和物镜平移台所处的位置信息z一起存储下来。

18、4)根据不同位置z处的显著度评价函数值fsal(·)，快速得到显著度评价函数值fsal(·)极值位置所对应的位置z0，该位置即为物镜在指定(x0，y0)位置处对焦时的位置值。

19、5)快速将物镜通过物镜平移台移动到z0位置，完成系统对位置(x0，y0)的快速对焦。

20、6)在z0位置附近设置初始位置和终止位置，提高物镜平移台的移动分辨率，对z0位置附近的图像信息进行更精细的扫描，然后重复步骤4)，即实现了更高精度的对焦。

21、进一步地，3.5d相机的测量方法中，显著度评价函数通过如下方式实现：

22、1)基于信息统计的对于大小为m×n的图像f(x,y)，灰度方差函数variance的表达式为：

23、

24、其中，μ是图像灰度值的均值：

25、

26、2)基于频域信息的

27、对于大小为m×n的图像f(x,y)，空间频率函数sf的表达式为：

28、

29、其中，rf和cf分别是行频率和列频率：

30、

31、

32、3)基于空域的对于大小为n×n的窗口大小，修正拉普拉斯和函数sml的表达式为：

33、

34、其中，t是判别阈值，n是窗口大小，为修正拉普拉斯算子ml的离散近似表达式：

35、

36、进一步地，3.5d相机的测量方法中，步骤s2中，对于测量功能中的纹理信息的处理方法如下：

37、1)设图像的尺寸为h×w，通过特征空间变换函数ftrans(·)，对图像进行特征分解；对物镜等间隔扫描得到的原始图像序列中的每一张图in，其中进行多尺度分解，分解为分别包含不同频率分量的子图像其中n＝1,2,...,n为图像序号，c∈[2,c]为分量标号，c为分解层次。

38、2)通过显著度评价函数fsal(·)，对各图像分量进行评价，评价结果为并依据显著度水平评价结果构建融合权重图其中且

39、3)通过滤波函数，对融合权重图中相关程度高、位置毗邻的权重值进行交叉优化，从而提高融合权重图的整体信噪比snroverall以及各子区域的信噪比snrlocal。

40、4)利用权重对多尺度分解的图像序列进行加权融合；具体来说，对于每一个子图像和其对应的权重图融合分量是通过在相同位置的像素值进行加权平均得到的：

41、

42、其中，(x,y)是像素位置，wi,j(x,y)是位置(x,y)处图像分量i,j的融合权重，ii,j(x,y)是位置(x,y)处图像分量i,j的像素值；这样，每个位置(x,y)的融合像素值就是其在所有图像序列和频率分量上的加权平均值。

43、通过特征空间变换函数ftrans(·)的逆变换可以将这些融合分量重组，得到全局清晰的融合纹理图像

44、进一步地，3.5d相机的测量方法中，步骤s2中，对于测量功能中的三维形貌信息的处理方法如下：

45、1)设原始图像序列所构成的图像立方体为其中h、w分别代表图像的高和宽，n表示图像序列的数量；通过显著度评价函数fsal(·)，对corig进行像素级或窗口级显著度评价，得到初始显著度评价立方体其中

46、2)采用纹理信息处理得到的融合纹理图为提供颜色、形状、距离上的先验知识，应用边缘保持的引导式滤波方法，对进行优化，从而得到修正显著度评价立方体

47、3)考虑的每个像素(i,j)，从该像素在n个图像序列中提取显著度评价值形成集合{v1,v2,...,vn}；对该集合进行处理，建立显著度评价曲线curveij(k)＝vk，其中k∈[1,n]；然后，利用高阶多项式p(k)进行拟合curveij，并在该曲线上标记最大显著度值对应的位置；这些标记的位置对应于立方体corig在沿光轴方向上的深度，从而形成初始深度图dinit。

48、4)采用显著度评价值及其与dinit的相关性，构建初始地形图置信度信息，这种信息被编码为一个二值蒙版m；利用作为特征图，并依据m指定待处理区域，对dinit进行加权中值滤波处理，从而区分并处理强纹理区域与弱纹理区域，得到最终修正的地形图dfinal。

49、综上所述，本发明技术方案的主要创新点大概总结如下：

50、1)本发明公开了一种融合物体纹理信息及三维形貌信息同时测量的3.5d相机的结构组成。

51、2)本发明公开了通过移动物镜2进行不同高度扫描，进而实现三维成像的检测方式。

52、3)本发明公开了可同步测量待测物体表面纹理信息和三维形貌信息的功能。

53、4)本发明公开了显著度评价函数、物体的纹理信息处理方法以及三维形貌信息的处理方法。

54、与现有技术相比，本发明方法的有益效果如下：

55、1)本发明中的3.5d相机结构简单，体积小巧，使其能够在一些空间受限的环境中进行检测工作，适用性强。

56、2)本发明中的测量方法可同步测量待测物体的表面纹理信息和三维形貌信息，包括彩色纹理信息、2d形貌信息、3d形貌信息。

57、3)本发明对于待测物体的表面质量分布无严格要求，可适配更多的检测场景。

58、4)本发明提出的对于物体表面纹理信息以及三维形貌信息的检测方法更加全面，评价手段更加合理，计算速度更快，计算精度更高。

59、总之，本发明可将被测物体表面纹理信息和三维形貌信息进行精准的信息匹配，降低了对被测物体表面质量的依赖，解决了机器视觉在工业检测应用中的瓶颈问题。