一种大型零件的测量方法及系统与流程

本发明涉及工业零件测量领域，尤其涉及一种大型零件的测量方法及系统。

背景技术：

目前许多零件制造业公司对产品出货的合格率尤为重视，在工业自动化的时代，尽管产品生产效率非常高，但质量检测环节还处于人工检测阶段。对于生产大批量产品的工厂来说，这种产品质量检测方式不仅增加了人力和成本，而且人工检测速度慢、易发生漏检和错检等问题。虽然市场上有许多高精度的测量仪器，如三坐标测量仪和视觉影像仪等，但这些设备都存在缺陷，难以用于测量所有零件，例如：三坐标测量仪需要通过探针多次接触零件表面来进行测量的，测量速度慢且耗时，此外，这种测量方式是接触式的，探针的磨损会对测量精度造成极大影响，在产品测量过程中也难免会对产品造成磕碰；而视觉影像仪是基于机器视觉技术进行测量的，无需触碰工件便可进行测量，精度高，但其存在视场范围与测量精度的矛盾，由于单一测量视场范围大约不超过20×20mm，视场范围被限制，因此只能应用于零件抽检，不能应用于生产线测量所有零件。若通过增加物距来增大视场范围会导致测量精度降低，若测量比较大的零件时，需要多次手动移动平移台才能测完工件所有位置的零件尺寸。

因此，现有技术还有待于改进和发展。

技术实现要素：

鉴于上述现有技术的不足，本发明的目的在于提供大型零件的测量方法及系统，旨在提高大型零件的测量精确度。

本发明的技术方案如下：

一种大型零件的测量方法，其中，包括步骤：

确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系；

针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的的第一图像；其中，所述零件图像的分辨率低于所述第一图像的分辨率；

根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像；

根据所述第二图像，确定所述零件的尺寸。

所述的大型零件的测量方法，其中，所述确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系步骤具体包括：

对所述相机阵列中的每台相机进行单独标定，得到每台相机的内部参数矩阵；

通过标定板对所述相机阵列中的相机进行联合标定，得到每台相机的外部参数矩阵；

根据所述内部参数矩阵和所述外部参数矩阵，确定每台相机的像素坐标系与世界坐标系的转换关系。

所述的大型零件的测量方法，其中，所述通过标定板对所述相机阵列中的相机进行联合标定，得到每台相机的外部参数矩阵具体包括：

选取相机阵列中的一台相机作为参考相机；

采用第一标定板，根据参考相机，对相邻的相机进行两两标定，得到每台相机的外部参数矩阵；和/或采用第二标定板，根据参考相机，对每台相机进行统一标定，得到每台相机的外部参数矩阵。

所述的大型零件的测量方法，其中，所述零件图像为零件图像序列或单幅图像。

所述的大型零件的测量方法，其中，所述零件图像为零件图像序列；所述针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的第一图像步骤具体包括：

采用两轴精密平移台平移待测零件，针对所述相机阵列中每一台相机获取该台相机对应的具有亚像素级位移差的零件图像序列；

对所述具有亚像素级位移差的零件图像序列进行超分辨率融合，得到该相机对应的第一图像。

所述的大型零件的测量方法，其中，所述亚像素级位移差为h个像素距离，其中0<h<1。

所述的大型零件的测量方法，其中，所述根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像具体包括：

根据所述每台相机的像素坐标系与世界坐标系的转换关系，将所有相机分别对应的第一图像进行配准，得到配准结果；

根据所述配准结果，将每台相机的第一图像进行融合，得到第二图像。

所述的大型零件的测量方法，其中，所述根据所述每台相机的像素坐标系与世界坐标系的转换关系，将所有相机分别对应的第一图像进行配准，得到配准结果包括：

根据所述每台相机的像素坐标系与世界坐标系的转换关系，将所述每台相机的像素坐标系变换为所述世界坐标系中z坐标为0的平面坐标系；

寻找所述平面坐标系中坐标相近的像素坐标点集，并将所述像素坐标点集作为配准结果。

所述的大型零件的测量方法，其中，所述根据所述第二图像，确定所述零件的尺寸具体包括：

对所述第二图像进行预处理，得到第三图像；

对第三图像进行边缘检测，得到零件边缘图；

对所述零件边缘图进行特征提取，得到零件特征；

根据所述零件特征，确定所述零件的尺寸。

本发明还提供一种大型零件的测量系统，其中，包括：

相机标定装置，用于确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系；

图像采集装置，用于针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的的第一图像；其中，所述零件图像的分辨率低于所述第一图像的分辨率；

图像拼接装置，用于根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像；

计算装置，用于根据所述第二图像，确定所述零件的尺寸。

有益效果：本发明通过确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系，再针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的第一图像，然后根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像，最后根据所述第二图像，确定所述零件的尺寸。所述零件图像的分辨率低于所述第一图像的分辨率。本发明的大型零件的测量方法通过相机阵列的图像拼接以及图像超分辨率技术，实现在扩大图像视场范围的同时保证图像具有高分辨率，提供了更多图像细节，从而提高大型零件的测量精确度，且可应用于生产线自动测量零件尺寸，具有较高的自动化程度。

附图说明

图1为本实施例提供的一种大型零件的测量方法的流程图。

图2为本实施例提供的单独标定的棋盘格标定板。

图3为本实施例提供的第一标定板。

图4为本实施例提供的第二标定板

图5为本实施例提供的排列方式为2×2的相机矩阵。

具体实施方式

本发明提供一种大型零件的测量方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本实施例提供了一种大型零件的测量方法，如图1所示，所述方法包括：

s10、确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系。

具体地，在图像测量过程中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，即相机的像素坐标系与世界坐标系的转换关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，求解参数的过程就是相机标定。通过相机标定，得到每台相机的像素坐标系与世界坐标系的转换关系，从而可知各相机像素坐标系之间的关系。

在一种实施方式中，所述确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系具体包括：

s11、对所述相机阵列中的每台相机进行单独标定，得到每台相机的内部参数矩阵；

s12、通过标定板对所述相机阵列中的相机进行联合标定，得到每台相机的外部参数矩阵；

s13、根据所述内部参数矩阵和所述外部参数矩阵，确定每台相机的像素坐标系与世界坐标系的转换关系。

具体地，相机的内部参数矩阵中包含其内部参数，针对每台相机，采用如图2所示的普通的棋盘格标定板进行单独标定，获取相机的内部参数矩阵。根据张氏标定法，像素坐标系(uov)与图像坐标系(xoy)的转换关系为：

其中，dx和dy分别为每个像素在图像平面x轴和y轴方向上的物理尺寸，(u0,v0)为图像坐标系原点在像素坐标系中的坐标,是像素坐标系坐标，是图像坐标系坐标。

相机坐标系(o-xcyczc)与图像坐标系(xoy)的转换关系为：

其中，s为比例因子(s不为0，标量)，f为相机的焦距(相机坐标系原点到图像平面的距离)，是相机坐标系坐标。

世界坐标系的位置可以根据实际情况自由确定，本实施例中，采用普通棋盘格标定板建立世界坐标系。

世界坐标系(o-xwywzw)与相机坐标系(o-xcyczc)的转换关系为：

其中r为3×3的旋转矩阵，t为3×1的平移矢量，是世界坐标系坐标。

世界坐标系中的某一点要投影到图像平面上时，先要将该点的世界坐标转换到相机坐标系下。物体从世界坐标系转换到相机坐标系的过程，可以通过旋转和平移来得到。世界坐标系与相机坐标系之间的相对旋转为矩阵r，相对位移为向量t，通过r与t组成的一个矩阵，将世界坐标系转换到相机坐标系下。

因此，世界坐标系(o-xwywzw)与像素坐标系(uov)的转换关系为：

其中，m为相机的内部参数矩阵，也就是n为相机单独标定的的外部参数矩阵,也就是xw为世界坐标系坐标。

内部参数矩阵中的内部参数是由相机的固定属性组成，也就是说，相机的摆放位置不影响内部参数矩阵，通过对每个相机的单独标定，可以得到准确的每台相机的内部参数矩阵。

进一步，所述通过标定板对所述相机阵列中的相机进行联合标定，得到每台相机的外部参数矩阵步骤具体包括：

s121、选取相机阵列中的一台相机作为参考相机；

s122、采用第一标定板，根据参考相机，对相邻的相机进行两两标定，得到每台相机的外部参数矩阵；和/或采用第二标定板，根据参考相机，对每台相机进行统一标定，得到每台相机的外部参数矩阵。

具体地，相机的外部参数矩阵中包含其外部参数。在零件的测量过程中，单个相机只能得到部分零件的图像，因此需要通过多台相机获取零件图像，通过拼接各个相机获取的零件图像以扩展视场范围，图像拼接的过程中，为了得到更准确的配准结果，需要知道相机阵列中相机之间的位置关系，也即相机的像素坐标系之间的关系。因此在进行联合标定后，能够获得每台相机的像素坐标系与统一世界坐标系之间转换关系，进而可知每台相机像素坐标系与参考相机像素坐标系之间的关系。

进一步，可以采用如图3所示的第一标定板，先将目标相机(需要进行标定的相机)与第1个中间相机(与目标相机相邻)进行标定，得到目标相机与第1个中间相机的关系，再将所述第1个中间相机与第2个中间相机(与第1个中间相机相邻但不与目标相机相邻)进行标定，得到第1个中间相机与第2个中间相机的关系，然后通过转换，可以得到目标相机与第2个中间相机的关系，以此类推，可得到目标相机与第n个中间相机的关系，再通过第n个中间相机(与参考相机相邻但不与第n-1个中间相机相邻)与参考相机进行标定，得到第n个中间相机与参考相机的关系，通过转换，最终可得到目标相机与参考相机的关系。例如：需要标定如图5所示排列的2×2的相机矩阵，选取相机1作为参考相机，则相机2和相机3均与相机1相邻，相机4不与相机1相邻，则相机2和相机3可分别与相机1进行标定，得到相机2和相机3与相机1的关系，再通过相机4与相机2或相机3进行标定，得到相机4与相机2或相机3的关系，从而得到相机4与相机1的关系。

进一步，还可采用第二标定板对相机阵列中的每台相机进行统一标定，得到参考相机与除参考相机外的其他相机的关系，如标定如图5所示排列的2×2的相机矩阵，采用如图4所示的标定板进行标定，取相机1作为参考相机，标定时，将棋盘格分别位于对应相机的视场中，统一标定相机2、相机3以及相机4与相机1的关系。

进一步，在相机阵列较大的情况下，当采用两两标定方式时，与参考相机距离较远的相机则需要通过多次转换才能得到与参考相机之间的关系，这样会产生叠加标定的误差，此类相机应该采用统一标定的方法进行标定。而用于统一标定的标定板面积与相机阵列中的相机数成正比，即相机阵列中相机越多，需要的标定板面积越大，大面积标定板的精度比小面积标定板的精度低，因此可协调两两标定与统一标定这两种标定方法，如标定一个3×3的相机阵列，可选取中间相机作为参考相机，采用两两标定的方法标定相邻相机(阵列四边上的相机)与参考相机的关系，采用统一标定的方法标定处于阵列四个角上的相机与参考相机的关系，可以减少标定误差，提高相机标定的精度。

进一步，在标定过程中，由于内部参数是固定的，而单独标定得到的内部参数矩阵比联合标定得到的内部参数矩阵更精确，因此，在进行联合标定后，将联合标定的内部参数矩阵替换为单独标定的内部参数矩阵。例如，以相机1作为参考相机，对相机2与相机1进行标定并替换内部参数矩阵，得到两个相机分别对于同一世界坐标系的转换关系为：

其中，和分别是相机1和相机2的像素坐标系坐标，xw为世界坐标系坐标，n1、n2分别是相机1和相机2通过单独标定的内部参数矩阵，m1、m2分别是相机1和相机2通过联合标定的外部参数矩阵。

则相机1的像素坐标系与相机2的像素坐标系之间的位置关系为：

s20、针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的的第一图像。

具体地，所述零件图像的分辨率低于所述第一图像的分辨率，对于每一台相机获取的零件图像，通过图像超分辨率技术，提高所述零件图像的分辨率，获取具有更多零件的细节信息的第一图像，能够提高零件测量的精确度。所述第一图像具有对应相机的像素坐标系与世界坐标系的转换关系，通过该转换关系，对第一图像进行配准和拼接。

在一种实施方式中，所述零件图像为零件图像序列；所述针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的第一图像具体包括：

s31、采用两轴精密平移台平移待测零件，针对所述相机阵列中每一台相机获取该台相机对应的具有亚像素级位移差的零件图像序列；

s32、对所述具有亚像素级位移差的零件图像序列进行超分辨率融合，得到该相机对应的第一图像。

具体地，将待测零件放置在两轴精密平移台上，根据预设的超分辨率倍数，确定亚像素位移差的值，通过计算像素当量来确定对应的两轴精密平移台的位移距离，根据所述位移距离平移两轴精密平移台，针对每一台相机，每移动一次，通过相机获取一张零件图像，经过多次平移后，获取到具有亚像素位移差的零件图像序列，通过插值、滤波等算法对一系列具有亚像素位移差的零件图像序列进行重建得到分辨率更大的第一图像。进一步，所述亚像素级位移差为h个像素距离，其中0<h<1。例如，需要将分辨率为540×720的图像进行4倍分辨率放大成分辨率为1080×1440的图像，可知图像序列的像素位移差为0.5个像素，并根据像素当量计算偏离0.5个像素需要将待测零件平移的距离s，首先通过分辨率为540×720的相机拍摄一张待测零件图，然后将放置有待测零件的两轴精密平移台沿相机坐标x轴正方向平移s距离，接着沿相机坐标y轴正方向平移s距离，再沿相机坐标x轴负方向平移s距离，每次移动结束后均拍摄一张待测零件图，最后经过多次平移后，获取到具有亚像素级位移差为0.5个像素位移的零件图像序列，最后将图像序列通过插值、滤波等算法融合成一张分辨率为1080×1440的图像。

s30、根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像。

具体地，通过相机阵列来扩大零件图像的视场范围，首先固定相机之间的相对位置，拍摄出的图像的重叠率不超过10％，相机阵列的排列方式可为但不限于2×2或3×3的正方形阵列，相机触发信号均设为外触发，以提高采集图像的同步性，最后通过图像拼接得到分辨率更高、视场更广的零件图像。

在一种实施方式中，所述根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像具体包括：

s31、根据所述每台相机的像素坐标系与世界坐标系的转换关系，将所有相机分别对应的第一图像进行配准，得到配准结果；

s32、根据所述配准结果，将每台相机的第一图像进行融合，得到第二图像。

具体地，本实施例中的相机拼接分为图像配准和图像融合两个步骤，图像配准是图像拼接最关键的一步，配准的精确度决定着拼接的质量。常用图像配准算法是基于特征点的配准以及基于区域的配准，但这些配准方法都需要很大的重叠面积，这会严重减少拼接后的视场范围。另外，在图像拼接前要进行图像超分辨率，而用于超分辨的图像序列中的图像之间相似点较多，这对基于特征点配准的方法会造成很大影响。考虑到相机之间的位置是固定的，因此利用标定相机的像素坐标系之间的位置关系来进行图像配准有利于减少图片重叠面积，提高拼接质量，有利于视场范围最大化。而相机之间的位置关系是根据每台相机的像素坐标系与世界坐标系的转换关系得到的，因此可直接根据每台相机的像素坐标系与世界坐标系的转换关系将所有相机获得的图像进行拼接。最后通过得到的配准结果将图像进行融合，得到一幅具有高分辨率和大视场范围的图像。

进一步，所述根据所述每台相机的像素坐标系与世界坐标系的转换关系，将所有相机分别对应的第一图像进行配准，得到配准结果包括：

s311、根据所述每台相机的像素坐标系与世界坐标系的转换关系，将所述每台相机的像素坐标系变换为所述世界坐标系中z坐标为0的平面坐标系；

s312、寻找所述平面坐标系中坐标相近的像素坐标点集，并将所述像素坐标点集作为配准结果。

具体地，通过步骤s10对相机阵列进行标定后，获得每台相机的像素坐标系与同一世界坐标系的转换关系，只需要将所有相机拍摄到的图像由像素坐标系变换为世界坐标系中z为0的平面坐标系(即世界坐标系中的xoy平面，世界坐标系中默认标定板平面为z为0的平面)。最后，在平面坐标系中寻找像素坐标比较接近的点集作为配准结果。

s40、根据所述第二图像，确定所述零件的尺寸。

具体地，通过上述步骤得到一幅高质量的图像，根据该图像对待测零件进行机器视觉测量，首先采用3×3小窗口的掩码进行滤波去噪，降低噪声对边缘轮廓的影响，得到第三图像，有利于检测到更精确的边缘；然后采用基于局部区域效应的亚像素边缘检测算法更精确地提取零件边缘轮廓，得到零件边缘图；接着对所述零件边缘图进行特征归纳、分类，得到零件特征，例如将同属一个圆孔的亚像素边缘点归纳到同一个数组，同属一条直线的边缘点归纳到另一个数组，并用适当的符号命名数组；最后根据所述零件特征，采用最小二乘法拟合零件并计算零件各部分尺寸，如圆孔的像素半径、直线像素距离等，再乘上像素当量，得到零件的实际尺寸大小。

本实施例采用4个500万像素的工业相机，组成如图5所示排列的2×2相机阵列，结合重复定位精度为0.5μm的精密平移台以及亚像素边缘检测算法，测量尺寸大小为240×100mm的零件时，精度可达±2μm。

本实施例还提供一种大型零件的测量系统，其中，包括：

相机标定装置，用于确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系；

图像采集装置，用于针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的的第一图像；其中，所述零件图像的分辨率低于所述第一图像的分辨率；

图像拼接装置，用于根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像；

计算装置，用于根据所述第二图像，确定所述零件的尺寸。

所述大型零件的测量系统，其中，所述相机标定装置包括：

单独标定单元，用于对所述相机阵列中的每台相机进行单独标定，得到每台相机的内部参数矩阵；

联合标定单元，用于通过标定板对所述相机阵列中的相机进行联合标定，得到每台相机的外部参数矩阵；

转换关系确定单元，用于根据所述内部参数矩阵和所述外部参数矩阵，确定每台相机的像素坐标系与世界坐标系的转换关系。

所述大型零件的测量系统，其中，所述图像采集装置包括：

图像序列采集单元，用于采用两轴精密平移台平移待测零件，针对所述相机阵列中每一台相机，获取该台相机对应的具有亚像素级位移差的零件图像序列；

超分辨率图像融合单元，用于对所述具有亚像素级位移差的零件图像序列进行超分辨率融合，得到该相机对应的第一图像。

所述大型零件的测量系统，其中，所述图像拼接装置包括：

图像配准单元，用于根据所述每台相机的像素坐标系与世界坐标系的转换关系，将所有相机分别对应的第一图像进行配准，得到配准结果；

图像融合单元，用于根据所述配准结果，将每台相机的第一图像进行融合，得到第二图像。

所述大型零件的测量系统，其中，所述图像配准单元包括：

坐标系转换模块，用于据所述每台相机的像素坐标系与世界坐标系的转换关系，将所述每台相机的像素坐标系变换为所述世界坐标系中z坐标为0的平面坐标系；

坐标匹配模块，用于寻找所述平面坐标系中坐标相近的像素坐标点集，并将所述像素坐标点集作为配准结果。

所述大型零件的测量系统，其中，所述计算装置包括：

预处理单元，用于对所述第二图像进行预处理，得到第三图像；

边缘检测单元，用于对第三图像进行边缘检测，得到零件边缘图；

特征提取单元，用于对所述零件边缘图进行特征提取，得到零件特征；

尺寸计算单元，用于根据所述零件特征，确定所述零件的尺寸。

综上所述，本发明通过确定相机阵列中每台相机的像素坐标系与世界坐标系的转换关系，再针对所述相机阵列中的每一台相机，获取该台相机对应的零件图像，根据所述零件图像，确定该相机对应的第一图像，然后根据所述每台相机的像素坐标系与世界坐标系的转换关系，对所有相机分别对应的第一图像进行拼接，得到第二图像，最后根据所述第二图像，确定所述零件的尺寸。所述零件图像的分辨率低于所述第一图像的分辨率，所述第一图像具有对应相机的像素坐标系与世界坐标系的转换关系。本发明的大型零件的测量方法通过相机阵列的图像拼接以及图像超分辨率技术，实现在扩大图像视场范围的同时保证图像具有高分辨率，提供了更多图像细节，从而提高大型零件的测量精确度，且可应用于生产线自动测量零件尺寸，具有较高的自动化程度。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。