一种视觉的平面孔测量方法

1.本发明属于计算机视觉技术领域，具体涉及一种平面孔测量方法。


背景技术：

2.目前在飞机工业的生产制造环节中，圆孔类零件的使用非常广泛，小至垫片，大至带有圆孔的加筋壁板，都需要对其生产质量及装配精度严格把控。现阶段针对圆孔类零件的质量检验过程中，一般采用接触式测量的方式进行圆孔孔径测量，采用的量具有数显卡尺、塞规等；针对圆孔类零件人工装配过程中的尺寸测量，也是采用接触式测量的方式；针对飞机某些精密制造的圆孔类零部件，一般采用接触式三坐标测量机进行尺寸测量，或者是采用非接触的视觉测量进行尺寸测量。
3.在上述各类孔径测量环节涉及到的测量方法中，精度最高的是三坐标测量，但是由于其设备制造及维护成本较高，且测量过程与工业生产脱节，所以不具有普遍适用性。


技术实现要素：

4.为了克服现有技术的不足，本发明提供了一种视觉的平面孔测量方法，首先采用霍夫圆检测得到粗定位圆心坐标和粗定位直径；再以粗定位圆心为中心获取待检测圆孔周围的图像，再通过双边滤波和canny边缘检测获取粗定位圆心周围的图像轮廓；然后利用最小二乘法将图像轮廓拟合为椭圆；计算椭圆长轴像素长度作为待检测圆孔的像素直径，通过相机的环境感知摄像头和深度摄像头进行空间映射，获取环境mesh网格，再利用环境mesh网格作为碰撞层，通过光标点与网格地图发生碰撞，得到待检测圆环的圆心与相机坐标系原点的距离；最终得到最终待检测圆孔的孔径w
d
。本发明测量周期短，操作简单，有效提高工作效率。
5.本发明解决其技术问题所采用的技术方案包括如下步骤：
6.步骤1：采用霍夫圆检测对vr眼镜获取的包含待检测圆孔的图像进行粗定位，得到像素坐标系下的待检测圆孔的粗定位圆心坐标和粗定位直径；
7.待检测圆孔在斜视时为椭圆，椭圆方程表示为式(1)：
[0008][0009]
其中，x0、y0分别表示两焦点中点的横坐标和纵坐标，θ表示长轴与x轴夹角，a、b分别表示椭圆长轴和短轴；
[0010]
步骤2：再以粗定位圆心为中心，以式(1)所述椭圆两倍长轴为图像宽度获取待检测圆孔周围的图像，再通过双边滤波和canny边缘检测获取粗定位圆心周围的图像轮廓；
[0011]
步骤3：利用最小二乘法将步骤2获取的图像轮廓拟合为椭圆；
[0012]
步骤4：计算椭圆长轴像素长度作为待检测圆孔的像素直径e
l
，椭圆长轴和短轴的交点作为待检测圆孔的圆心像素坐标；
[0013]
步骤5：使用张正友标定法标定对vr眼镜的相机进行内参标定；
[0014]
步骤6：通过相机的环境感知摄像头和深度摄像头进行空间映射，获取环境mesh网
格，实现对环境模拟、三维重建和特征匹配，实现真实世界的模型化和数字化；
[0015]
步骤7：运用凝视功能，与vr眼镜进行人机交互，投影一个光标点在待检测圆孔所在平面；
[0016]
步骤8：利用环境mesh网格作为碰撞层，通过光标点与网格地图发生碰撞，得到待检测圆环的圆心与相机坐标系原点的距离z0；
[0017]
步骤9：得到最终待检测圆孔的孔径w
d
为：
[0018]
w
d
＝0.8766
‑
2.393z0+0.0178e
l
+1.724z
02
+1.001z0·
e
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0019]
当参数e
l
和z0确定时，即能确定唯一的圆孔直径w
d
。
[0020]
优选地，所述vr眼镜为hololens混合现实头戴式显示器。
[0021]
优选地，所述双边滤波方法具体如下：
[0022]
双边滤波是对图像的空间邻近度和像素值相似度的折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的；具体公式如下：
[0023][0024]
其中
[0025][0026]
——滤波后的图像像素值；
[0027]
p,q——模板窗口中心点与周围点的像素点坐标；
[0028]
i
p
,i
q
——模板窗口中心点与周围点的像素值；
[0029]
——滤波窗口内每个像素值的权重和；
[0030]
σs
(||p
‑
q||)——像素点的空间距离权重；
[0031]
σr
(|i
p
‑
i
q
|)——像点的像素值权重。
[0032]
本发明的有益效果如下：
[0033]
1、本发明是非接触性测量，针对表面质量要求较高的圆孔类零件，可以很好的避免测量过程中的零件损伤，具有良好的适用性；
[0034]
2、本发明方法应用于装配过程中的圆孔检测，通过佩戴vr虚拟眼镜测量圆孔尺寸，缩短了人为使用量具进行测量的时间，成功解放双手，减少了人为因素的影响，提高了工作效率。
[0035]
3、本发明测量周期短，操作简单，初始化后重复测量无需“调零”等操作，有效提高工作效率。
[0036]
4、采用vr眼镜平面孔测量模块操作简单，仅需佩戴后目视圆孔并保持相对静止即可进行测量，该模块对多视角的测量环境具有良好的适用性，降低了视觉测量对环境的要求。
附图说明
[0037]
图1为本发明流程图。
[0038]
图2为hololens平面孔测量模块框架图。
[0039]
图3为hololens视觉测量模型图。
[0040]
图4为高斯滤波、中值滤波和双边滤波对比效果图；(a)高斯滤波，(b)中值滤波，(c)双边滤波。
[0041]
图5为sobel算子、log算子和canny算子进行边缘检测对比图；其中(a)输入图像，(b)sobel算子，(c)log算子，(d)canny算子。
[0042]
图6为试验零件圆孔检测效果图，其中(a)为正视图，(b)视角偏转图1，(c)视角偏转图2和(d)视角偏转图3。
[0043]
图7为增强现实框架图。
[0044]
图8为本发明实施例hololens传感器位置分布图。
[0045]
图9为本发明实施例通过空间映射功能建立的空间mesh网格。
[0046]
图10为本发明实施例unity模拟hololens凝视射线示意图。
[0047]
图11为本发明实施例unity模拟hololens墙面光标示意图。
[0048]
图12为本发明实施例hololens模块显示。
[0049]
图13为本发明实施例测量样件。
[0050]
图14为本发明实施例测量结果图。
具体实施方式
[0051]
下面结合附图和实施例对本发明进一步说明。
[0052]
本发明针对移动式视觉测量方法进行研究，设计了可部署于vr眼镜的移动式测量模块，解决了面向平面圆孔的孔径测量问题，融合图像处理和增强现实技术提出了基于霍夫变换的平面圆孔孔径测量方法，具有较好的适用性。
[0053]
如图1和图2所示，一种视觉的平面孔测量方法，包括如下步骤：
[0054]
步骤1：采用霍夫圆检测对vr眼镜获取的包含待检测圆孔的图像进行粗定位，得到像素坐标系下的待检测圆孔的粗定位圆心坐标和粗定位直径；
[0055]
待检测圆孔在斜视时为椭圆，椭圆方程表示为式(1)：
[0056][0057]
步骤2：再以粗定位圆心为中心，以两倍粗定位直径为图像宽度获取待检测圆孔周围的图像，再通过双边滤波和canny边缘检测获取粗定位圆心周围的图像轮廓；
[0058]
步骤3：利用最小二乘法将步骤2获取的图像轮廓拟合为椭圆；
[0059]
步骤4：计算椭圆长轴像素长度作为待检测圆孔的像素直径e
l
，椭圆长轴和短轴的交点作为待检测圆孔的圆心像素坐标；
[0060]
步骤5：使用张正友标定法标定对vr眼镜的相机进行内参标定；
[0061]
步骤6：如图8所示，通过相机的环境感知摄像头和深度摄像头进行空间映射，获取环境mesh网格，实现对环境模拟、三维重建和特征匹配，实现真实世界的模型化和数字化；
[0062]
步骤7：运用凝视功能，与vr眼镜进行人机交互，投影一个光标点在待检测圆孔所在平面；
[0063]
步骤8：如图9所示，利用环境mesh网格作为碰撞层，通过光标点与网格地图发生碰撞，得到待检测圆环的圆心与相机坐标系原点的距离z0；
[0064]
步骤9：得到最终待检测圆孔的孔径w
d
为：
[0065]
w
d
＝0.8766
‑
2.393z0+0.0178e
l
+1.724z
02
+1.001z0·
e
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0066]
当参数e
l
和z0确定时，即能确定唯一的圆孔直径w
d
。
[0067]
具体实施例：
[0068]
如图7为增强现实框架图，本发明方法可以通过hololnes的增强现实功能获取所需的深度数据，结合图像处理技术即可完成测量模块的孔径计算工作。
[0069]
1、开启hololens，打开平面孔测量模块，当ui界面显示射线距离时，表示地图初始化完成，可以执行测量操作；
[0070]
2、在hololens呈现的模块功能界面中，单击“显示测量画面”按钮，开启画面显示后，在画面中调整头部位姿令测量中心点包含于待测圆孔轮廓内，开始进行圆心粗定位，当检测出圆心后，即成功获取图像轮廓数据；
[0071]
2.1对图像进行灰度化处理，减少无用信息；
[0072]
2.2采用霍夫圆检测进行圆心粗定位；
[0073]
2.3采用双边滤波去噪，如图4所示；4对比可知，双边滤波效果最好。
[0074]
2.4采用canny算子边缘检测；由图5对比可知，canny边缘检测效果最好。
[0075]
2.5采用findcontours函数进行轮廓查找，输出图像中像素的二维点集；
[0076]
2.6运用最小二乘法将这些二维点集拟合为椭圆；
[0077]
3、成功获取图像轮廓数据后，ui界面首先显示霍夫检测的圆孔直径，同时会对图像进行轮廓拟合，显示圆孔的轮廓及中心点，令测量中心点与轮廓拟合的椭圆中心点重合，保持相对静止约1s，便于后台服务器进行孔径计算；
[0078]
4、基于hololens的平面孔测量模块的设计中，采用嵌入式模块程序，将图像处理程序、增强现实程序以及孔径计算程序集成于unity3d软件中，发布为uwp(universal windows platform，windows通用平台)应用程序，并部署到hololens一代全息眼镜内，进行平面空孔径测量实验操作。
[0079]
hololens参数应用896
×
504分辨率的图像处理低功率模式，30fps(每秒传输帧数30)，视图的水平字段(h
‑
fov)48度。
[0080]
选用unity3d个人版(2019.2.8f1)，visual studio community 2019(16.7.2)。
[0081]
通过c#语言、开源的计算机视觉库opencv以及增强现实开发工具mrtk可以完成编程工作。
[0082]
4.1搭建模块框架；
[0083]
4.2模块界面设计，利用unity3d设计的ui界面以及hololens眼镜内的运行界面；
[0084]
4.3该方法程序实现，确定了hololens平面孔测量方法的框架后，利用相对应的算法，通过编写程序实现相应的功能。
[0085]
对于后台数据处理，通过c#语言编写代码文件，将代码添加到设计界面的相关组件内可以实现对应的功能。表1描述了实现各类框架程序所调用的函数或组件。
[0086]
表1实现各类框架程序所调用的函数或组件
[0087][0088]
5、当计算完成后，ui显示界面将会显示后台计算结果，测量结果将会给予保留，若不执行下一次测量操作，hololens将会持续显示本次测量数据。
[0089]
图3为hololens视觉测量模型图，图中所示的a、b、c为三类摄像机坐标系的原点，三类坐标系代表的摄像机视角包含了本发明所讲述的测量模块中使用者佩戴hololens进行圆孔测量的所有视角，默认圆孔中心过相机主光轴。其中a视角是传统模型的理想状态视角，但当观测者处于b或c视角进行观测时，观测的圆孔成像与正式投影不同，成像会变成一个有相应畸变的椭圆。相机视角不同，成像的椭圆也不同，但是所有成像的椭圆长轴都与真实的圆孔直径相等。因此在圆检测的基础上进一步进行椭圆检测。
[0090]
如图12为hololens模块显示。显示有：物体距离/m、像素坐标系直径尺寸/像素、真实计算尺寸/m、霍夫粗定位圆孔直径及测量偏转角度。
[0091]
如图13为测量样件，图6为试验零件圆孔检测效果图，其中(a)为正视图，(b)视角偏转图1，(c)视角偏转图2和(d)视角偏转图3；图14为测量结果图。
[0092]
实验步骤1：实验准备，样件为铝合金圆孔试件，游标卡尺和hololens，用游标卡尺对样件进行测量，分别采用四组圆孔直径分别为11.50mm、18.00mm、27.50mm和35.00mm。
[0093]
实验步骤2：佩戴hololens对试件进行测量实验，记录粗定位孔直径、椭圆拟合的长轴尺寸、当前测量帧的射线距离、射线与平面法线夹角以及最终计算的直径数据五项数据。结果如表2
‑
表5所示：
[0094]
表2：孔11.5mm
[0095][0096]
表3孔18.00mm
[0097][0098]
表4孔27.50mm
[0099][0100][0101]
表5孔35.00mm
[0102][0103]
由上述数据可得：
[0104]
1.多角度测量的结果趋于稳定，证明该测量模块对偏转视角具有较好适用性；
[0105]
2.hololens测量模块测出的误差均维持在1％以下，测量的误差≤0.30mm，满足在装配检测过程中的测量要求。