一种焦平面扫掠的五面成像3D重构方法与流程

本发明属于视觉成像检测，具体是涉及一种焦平面扫掠的五面成像3d重构方法。

背景技术：

1、在微小元器件生产过程中，需要对元器件的表面进行缺陷检测，以确保元器件符合使用标准。为了实现对元器件的缺陷检测，需要对元器件多个表面进行图像采集，目前的五面成像装置中存在相机使用数量多，设备占用空间大，环境光干扰的问题。

2、目前五面成像技术主要集中于通过反光棱镜的角度位置结构的调整从而获得五面成像，但在获得五面成像中，由于存自然光等环境因素的干扰，需要提取高质量的样品图片，“等光程五面视觉检测技术”（cn200910056450）虽然提出了通过偏振分管棱镜组成的结构，达到偏振改善图像，但是其结构复杂，导致成本较高。

技术实现思路

1、针对上述问题，本发明提供了一种焦平面扫掠的五面成像3d重构方法，本发明利用反射镜面折射使相机一次获取到元器件四个侧面的成像，并通过焦平面扫掠获得不同深度的元器件成像，再利用聚焦判定算法提取出良好聚焦的像素，通过拼接算法将良好像素进行拼接，最后用拼接与融合算法实现了对元器件的3d重构，通过镜面反射成像方式，只使用一个相机，减少了设备占用控件，通过焦平面扫掠确保了成像的清晰，有效提高检测效率和检测精度。克服了在环境光的干扰下得到高质量样品图像，并克服了现今工业缺陷检测体积大问题，实现工程化、小型化和轻量化，可随时随处安装。

2、本发明的技术方案是：

3、一种焦平面扫掠的五面成像3d重构方法，包括以下步骤：

4、s1、对待测目标进行正面焦平面扫掠，具体为：固定待测目标后，设置成像设备沿垂直方向由远及近靠近待测目标，完成对待测目标正面的焦平面扫掠，得到多个正面焦平面扫掠图片；

5、s2、对待测目标进行侧面焦平面扫掠，具体为：设置反射镜面，待测目标在反射镜面中形成镜面像，使成像设备沿垂直方向由远及近靠近待测目标，完成对待测目标的镜面像的焦平面扫掠，得到多个侧面焦平面扫掠图片；

6、s3、利用获得的多个正面焦平面扫掠图片和多个侧面焦平面扫掠图片进行3d重构，获得待测目标的3d图像。

7、进一步的，s1中对待测目标进行正面焦平面扫掠时，如图2所示，将焦平面与待测目标相切的位置作为正面焦平面扫掠的起始位置，以起始位置为基准，从而获得每张正面焦平面扫掠图片的位移深度。

8、进一步的，s2中对待测目标进行侧面焦平面扫掠时，如图3所示，将焦平面与镜面像相切的位置作为侧面焦平面扫掠的起始位置，以起始位置为基准，从而获得每张侧面焦平面扫掠图片的位移深度。

9、进一步的，如图5所示，s3的具体方法是：

10、利用获得的多个正面焦平面扫掠图片对待测目标进行正面3d重构，具体方法为：定义获得的正面焦平面扫掠图片分别为pf1、pf2、……、pfn，分别对n张图片通过聚焦判定算法计算纵向梯度与横向梯度获得各图片在各点的锐度值，通过锐度值判定聚焦良好的像素，获得聚焦良好像素的x，y，z位置信息，从而得到各图片所对应的位移深度处的良好聚焦像素dpf1、dpf2、……、dpfn，聚焦算法公式如下公式1：

11、(公式1）

12、公式1中：表示图像对应像素点的灰度值，为图像清晰度计算结果。

13、然后通过顶视拼接算法将良好聚焦像素通过平滑处理后，对其进行点云计算与配准，将配准后的点云数据进行融合获得重建模型，最后生成待测物体表面获得顶视3d图，顶视拼接算法如下公式2与公式3：

14、（公式2）

15、公式2中：为滑窗的大小，为图像大小，对行，列的聚焦良好像素进行求和，获取到各图片所对应的位移深度处的良好聚焦像素。

16、（公式3）

17、公式3中：其中为焦平面扫略过程中聚焦良好的像素，为聚焦良好像素的点云数据，其中为参考坐标系下聚焦良好像像素的坐标，为焦平面扫略时聚焦良好像素的时间信息。通过对找到的点云数据进行融合，生成顶视3d图。

18、利用获得的多个侧面焦平面扫掠图片对待测目标进行侧面3d重构，具体方法为：定义获得的侧面焦平面扫掠图片分别为pr1、pr2、……、prm，分别对m张图片通过聚焦判定算法计算纵向梯度与横向梯度获得各图片在各点的锐度值，通过锐度值判定聚焦良好的像素，获得聚焦良好像素的x，y，z位置信息，从而得到各图片所对应的位移深度处的良好聚焦像素dpr1、dpr2、……、dprm，聚焦算法如前述公式1。

19、然后通过侧视拼接算法将良好聚焦像素通过平滑处理后，对其进行点云计算与配准，将配准后的点云数据进行融合获得重建模型，最后生成表面获得侧视3d图，采用的公式如前述公式2和公式3，最后得到侧视3d图。

20、把顶视3d图和侧视3d图基于位移深度信息通过拼接与融合算法获得3d图像。

21、本发明的有益效果是：（1）本发明使用反射镜面组成五面成像反射镜结构，利用镜面反射原理让相机一次获得元器件四个侧面的成像，降低了生产成本，实现工程化、小型化和轻量化。（2）本发明中一种焦平面扫掠的五面成像3d重构技术，利用焦平面扫掠的方法获得不同深度的元器件成像，提取出聚焦良好的像素，再通过拼接融合完成3d重构，此技术有效地克服了在环境光的干扰下得到高质量样品图像，并可以有效提升电子元器件成像清晰度，为缺陷检测提供高品质的图像信息，从而提高缺陷检测的准确率。

技术特征：

1.一种焦平面扫掠的五面成像3d重构方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种焦平面扫掠的五面成像3d重构方法，其特征在于，s1中对待测目标进行正面焦平面扫掠时，将焦平面与待测目标相切的位置作为正面焦平面扫掠的起始位置，以起始位置为基准，从而获得每张正面焦平面扫掠图片的位移深度。

3.根据权利要求2所述的一种焦平面扫掠的五面成像3d重构方法，其特征在于，s2中对待测目标进行侧面焦平面扫掠时，将焦平面与镜面像相切的位置作为侧面焦平面扫掠的起始位置，以起始位置为基准，从而获得每张侧面焦平面扫掠图片的位移深度。

4.根据权利要求3所述的一种焦平面扫掠的五面成像3d重构方法，其特征在于，s3的具体方法是：

5.根据权利要求1所述的一种焦平面扫掠的五面成像3d重构方法，其特征在于，所述设置反射镜面具体是使用五面成像反射镜，每个反射镜与成像设备的垂直中线的夹角为45°。

技术总结
本发明属于视觉成像检测技术领域，具体是涉及一种焦平面扫掠的五面成像3D重构方法。本方法利用显微成像条件下，景深很浅的特点，在成像过程种通过5面成像显微相机一次从远及近的移动，使得焦平面完成对成像物体的5个面（成像物体的1个前面和4个侧面）进行扫掠成像，从而生成了不同位移深度的图像序列，再使用3D重构图像处理流程，实现对图像序列中的良好聚焦成像部分的提取，并结合位移深度信息，完成对成像物体5面的3D拼接与重构。本发明利用显微成像焦平面扫掠和5面成像技术的结合，基于位移深度的深度信息，可以方便的在一次扫掠成像中就完成成像物体的3D重构，为微小物体的3D成像与检测提供了一种有效的手段。

技术研发人员：彭诗雅,龚艳丽,薛峰,胡刚,高椿明
受保护的技术使用者：宏椿智能科技（苏州）有限公司
技术研发日：
技术公布日：2024/1/14