3d-aoi设备中的3d点云数据配准方法及系统的制作方法
【技术领域】
[0001] 本发明涉及AOI (Automatic Optic Inspection)设备领域，特别是涉及一种 3D-A0I设备中的3D点云数据配准方法及系统。
【背景技术】
[0002] 传统的AOI设备电路板的整板图像大多是按照理论重叠区域直接拼接而成。传统 的AOI设备中图像拼接，重叠区域的宽度为0。即传统的图像拼接是没有设置理论重叠区域 的，拼接没有融合步骤。为了保证拼接的精度，就必须采用高精度的电机和丝杆，同时对安 装的精度要求也很高。这无疑增加了设备的整体成本。
[0003] 同时，由于高精度光学3D技术的到来，且由于配置远心镜头后相机视野的限制， 为了不使图像和3D点云数据拼接的误差影响整体的检测和测量精度。传统的图像拼接方 法迫切需要的到改善。为了保证较高的检测精度，在对电路板进行整板扫描的过程中必须 不断对采集到的2D图像和计算得出的3D数据进行校正，使之在理论重叠区域完全重合。
[0004] 在传统的3D点云数据拼接算法中，大多追求对未知视角的有重叠子集的点云数 据进行配准、拼接来重构3D模型，但是在工业领域大多数数据采集方式具有一定的规律。 现有工业领域中3D点云数据拼接技术大多是采用"辅助点对"，即在被测物体表面粘贴上 Mark标签，在获得的相邻点云数据拼接时作为数据拼接时的强角点进行配准。这种方法无 法实现大批量的3D数据的采集及处理。
【发明内容】
[0005] 本发明所要解决的技术问题是，提供一种3D-A0I设备中的3D点云数据配准方法 及系统，实现3D点云数据拼接不再使用"辅助点对"。本发明是这样实现的：
[0006] -种3D-A0I设备中的3D点云数据配准方法，包括如下步骤：
[0007] 步骤A :用相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩 阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合；
[0008] 步骤B :根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像 时每次的移动间隔，并按所述移动间隔顺序地采集所述圆点标定板中的图像，直到所述圆 点标定板中所有区域的图像采集完毕，形成图像序列；
[0009] 步骤C :根据所述内参矩阵、畸变参数及旋转矩阵对所述图像序列中的每一幅图 像进行校正和旋转；
[0010] 步骤D :从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平 移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵，并 据此对所述图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件； [0011] 步骤E :根据所述配置文件及所述重叠宽度对所述图像序列中的各图像进行拼接 及融合，形成整幅图像。 CN 105118086 A 说明书 2/7 页
[0012] 进一步地，在所述步骤D中，平移矩阵为：
[0013] 其中k为加权系数，N为平移矩阵，队为X轴方向的图像的平移矩阵，N ￥为Y轴方 向的图像的平移矩阵，tx、t' x为沿X轴的平移象素距离，ty、t' y为沿Y轴的平移象素距 离。
[0014] 进一步地，所述重叠宽度小于相邻圆点中心之间的像素距离的两倍。
[0015] 进一步地，还包括如下步骤：根据所述配置文件对其他图像进行拼接及融合。
[0016] 进一步地，所述步骤D中，选择所述图像序列中的第一幅作为基准图像，对后续各 图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一 幅图像之间的平移矩阵平移各图像。
[0017] -种3D-A0I设备中的3D点云数据配准系统，包括：
[0018] 相机校正模块，用于通过相机从圆点标定板中采集一幅图像，并利用该图像计算 相机的内参矩阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆 点中心重合；
[0019] 图像序列采集模块，用于根据预设的相邻图像的重叠宽度及每一幅图像的宽度计 算相机采集图像时每次的移动间隔，并按所述移动间隔顺序地采集所述圆点标定板中的图 像，直到所述圆点标定板中所有区域的图像采集完毕，形成图像序列；
[0020] 图像校正模块，用于根据所述内参矩阵、畸变参数及旋转矩阵对所述图像序列中 的每一幅图像进行校正和旋转；
[0021] 平移参数配置模块，用于从经过校正和旋转之后的图像序列中选择一幅作为基准 图像，并将其平移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间 的平移矩阵，并据此对所述图像序列中的各图像进行平移，同时保存各图像的平移参数，形 成配置文件；
[0022] 拼接融合模块，用于根据所述配置文件及所述重叠宽度对所述图像序列中的各图 像进行拼接及融合，形成整幅图像。
[0023] 进一步地，在所述平移参数配置模块中，平移矩阵为：
[0024] 其中k为加权系数，N为平移矩阵，NxSX轴方向的图像的平移矩阵，NySY轴方 向的图像的平移矩阵，tx、t' x为沿X轴的平移象素距离，ty、t' y为沿Y轴的平移象素距 离。
[0025] 进一步地，所述重叠宽度小于相邻圆点中心之间的像素距离的两倍。
[0026] 进一步地，所述拼接融合模块还用于根据所述配置文件对其他图像进行拼接及融 合。
[0027] 进一步地，所述平移参数配置模块中，选择所述图像序列中的第一幅作为基准图 像，对后续各图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各 图像与其前一幅图像之间的平移矩阵平移各图像。
[0028] 与现有技术相比，本发明借助原本只是用来矫正相机参数的标定板，重复利用其 高精度的特点用于校正相机机械移动的误差，从而得到2D数据和3D数据拼接所需要的配 准参数，大大降低了整板图像拼接时间，提高了拼接精度。
【附图说明】
[0029] 图1 :本发明实施例提供的3D-A0I设备中的3D点云数据配准方法流程示意图；
[0030] 图2 :相机参数标定所用的灰度图像；
[0031] 图3 :单幅图像原点中心标记；
[0032] 图4 :图像平移参数计算示例；
[0033] 图5 :标定板拼接后的整板图像；
[0034] 图6 :本发明实施例提供的3D-A0I设备中的3D点云数据配准系统组成示意图。
【具体实施方式】
[0035] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。
[0036] 3D-A0I设备专用于对电路板进行3D光学检测。本发明主要目的是提供3D-A0I 设备中所用的3D点云数据的配准方法。图1所示，本发明实施例提供的3D-A0I设备中的 3D点云数据配准方法包括如下步骤：
[0037] 步骤A :用相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩 阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合。
[0038] 其中，内参矩阵
[0042] 其中q为图像中圆点中心的像素坐标，M为内参矩阵，Q为圆点世界坐标（实际坐 标），kp k2、Pp p2、k3为畸变参数。X rameted、yrameted为校正后坐标，R ζ ( Θ )为旋转矩阵，Θ
[0039] 径向畸变
[0040] 切向畸变
[0041] 旋转矩阵 为绕Z轴旋转角度。
[0043] 步骤B :根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像 时每次的移动间隔，并按移动间隔顺序地采集圆点标定板中的图像，直到圆点标定板中所 有区域的图像采集完毕，形成图像序列。
[0044] 步骤C :根据内参矩阵、畸变参数及旋转矩阵对图像序列中的每一幅图像进行校 正和旋转。
[0045] 步骤D :从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平 移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵， 并据此对图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件。所 述步骤D中，选择所述图像序列中的第一幅作为基准图像，对后续各图像进行平移；对 各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一幅图像之间的 平移矩阵平移各图像。平移矩阵为：
k*Nx+ (1-k) *NY (0〈k〈l)。其中，k为加权系数，N为平移矩阵，队为X轴方向的图像的平移矩 阵，队为￥轴方向的图像的平移矩阵，tx、t' x为沿X轴的平移象素距离，ty、t' y为沿Y轴 的平移象素距离。
[0046] 步骤E :根据配置文件及重叠宽度对图像序列中的各图像进行拼接及融合，形成 整幅图像。通过步骤A到D得到了标定板的2D图像及配置文件。在实际应用中，电路板的 2D图像可以直接按照配置文件进行校正，并进行拼接及融合，对应的3D点云数据则可以在 校正后直接计算图像序列中物理位置相邻的图像的点云数据中重叠区域的高度差均值，然 后将数据沿Z轴平移到相同高度，再将3D点云数据的重叠区域融合后进行拼接。
[0047] 以下为利用本发明进行图像拼接的一具体实施例：
[0048] 图像配准前首先校正相机的系统误差。步骤A中，为了方便设置相机标定的世界 坐标，首先采集一张圆点标定板中某个圆点中心与图像中心重合的图像，如图2所示的灰 度图即可。相机采集图像的分辨率为900*800,则相机采集的图像的中心点坐标为（450， 400)。将图像中心点设为坐标原点，将图像处理后得到的圆点中心像素坐标的坐标原点移 至中心点坐标。而圆点之间的实际距离已知，则对应圆点中心的世界坐标值为该距离对应 的像素距离（图2中为125)的整数倍。根据图2得到像素坐标35个，再加上对应的世界 坐标。通过通用的相机标定方法就可以得到相机的内参矩阵和畸变参数和旋转矩阵。
[0049] 步骤B和步骤C完成在标定或实际应用过程中单幅图片的校正。图3为单幅图像 原点中心标记。在相机移动时设定理论X、Y轴重叠宽度时就已经完成了图像数据的粗配 准。在某个型号的AOI设备上，重叠宽度必须小于相邻圆点中心之间的像素距离的两倍，这 就保证重叠区域有且只有一行或一列圆点用于得出平移矩阵。一旦选择了某个重叠宽度参 数，后续使用中这个参数是不可更改的。本示例图中X、Y轴重叠分别为100像素距离，即重 叠宽度为100个像素的宽度。步骤S4中将首张图片作为图像配准的原点，是为了给定相 机机械移动的原点和电路板整体图像采集时电路板摆放的原点。
[0050] 步骤D则是实