专利名称：一种臂架挠度的测量方法、装置及系统的制作方法
技术领域：
本发明涉及数据处理技术领域，尤指一种臂架挠度的测量方法、装置及系统。
背景技术：
工程机械的臂架系统在工作时，在承受自重载荷、工作载荷、风载等作用下，臂架会像鱼竿一样发生弯曲变形，如果变形量过大就有折臂的危险，因此实时测量出工程机械臂架系统挠度变形量十分重要。现有对臂架挠度的测量方法有多种，例如采用在臂架的多节臂上分别安装传感器和电缆，测量时，分别测量各节伸缩臂的伸长量，将各节伸缩臂的伸长量与臂架的初始长度 叠加，从而得到伸长后臂架的总长，这种方式需要预先在臂架的多节臂上安装电缆和传感器，布置传感器和电缆的工作量较大，测量成本较高，如果传感器和电缆发生故障，查错困难，可靠性不高的问题。还有一种方法是使用激光器射出的激光打向臂架上的目标靶，目标靶将部分激光回射到激光器中的成像器上，成像器并将目标象送到线阵探测器中，线阵探测器将光信号转换成信号后，经数据采集器，以及联接的传输电缆输入计算机中，计算机进行两次位置差的计算，就得到主梁下挠变形量，并显示及预报起重机主梁下挠度，测量方式比较复杂，如果激光不能正常反射到线阵探测器上，则不能保证测量的精度。
发明内容
本发明提供一种工程臂架扰度的测量方法、装置及系统，用以实现工程臂架扰度的非接触式测量，从而避免现有测量方式中布置电缆、传感器的工作量较大，测量成本较高，以及测量准确度较低的问题。本发明臂架挠度的测量方法，包括以下步骤 不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一巾贞图像；使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。本发明实施例提供的臂架挠度的测量设备，包括获取模块，用于不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像；三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；拼接模块，用于根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；标记点跟踪模块，用于使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；挠度计算模块，用于根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。本发明实施例提供的臂架挠度的测量系统，包括至少两个相机，用于分别对多节臂架上设置的标记点进行拍摄；臂架挠度测量设备，用于不断获取所述至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记 点的三维坐标；根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。本发明实施例的有益效果包括本发明实施例提供的臂架挠度的测量方法、装置及系统，使用至少两个相机对多节臂架上的标记点进行拍摄，并获取至少两个相机对多节臂架上标记点拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，将至少两个相机同一时刻拍摄的图像拼接为一帧图像；这样，在拼接后的各图像中使用粒子滤波跟踪的方法不断跟踪标记点，根据各标记点在各拼接后的图像中的三维坐标的变化，可实现对臂架系统中各节臂架挠度的测量。本发明实施例使用非接触测量的方式，不需要在臂架上安装额外的测量仪器和设备，就能够实现对体积较大的臂架的挠度的测量，利用对臂架上标记点的图像进行跟踪分析的方法获取其三维坐标的变化，测量方式简单、方便，测量精度较高，并且，由于可以实时获取相机拍摄的图像，并对图像进行处理获取臂架的运动参数，这种测量方式，实时性很好，可以及时快速地测量出臂架的挠度。避免了现有测量方式所带来的布置传感器的工作量较大、实时性不够好以及测量方式准确度较低的问题。
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中图I为本发明实施例提供的臂架挠度的测量方法的流程图；图2为本发明实施例提供的相机标定过程中图像坐标和世界坐标系的示意图；图3为本发明实施例提供的臂架挠度的测量设备的结构示意图；图4为本发明实施例提供的臂架挠度的测量系统的结构示意图之一；图5为本发明实施例提供的测量结果传输装置的结构示意图；图6为本发明实施例提供的工程机械臂架系统工作幅度的测量系统的结构示意图之二 ；图7为本发明实施例提供的测量结果传输装置与远端PC交互的示意图；图8为本发明实施例提供的嵌入式系统模块与无线传输模块接口电路的示意图9为本发明实施例提供的远端PC机中设置的无线传输模块与PC机串口之间的接口电路的不意图。
具体实施例方式下面结合说明书附图，对本发明实施例提供的一种臂架挠度的测量方法、装置及系统的具体实施方式
进行说明。本发明实施例提供的臂架挠度的测量方法，如图I所示，包括如下步骤S101、不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像并分别确定各图像中像素点在世界坐标系中的三维坐标；S102、根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；
S103、使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；S104、根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。下面分别对上述各步骤分别进行详细说明。本发明实施例提供的臂架挠度的测量方法中的步骤SlOl中，可以在各节臂架需要测量的位置上，设置标记点，标记点可以是任意形状的标记例如常见的十字丝、圆形、对角圆等，由于臂架系统体积庞大，为了测量的方便，需要使用至少两个相机分别对多节臂架进行拍摄，然后将拍摄的图像拼接起来，实现对整个臂架扰度的非接触性测量。因此，上述步骤SlOl中，由于至少两个相机分别对工程臂架系统上的标记点进行同时拍摄，需要不断获取至少两个相机在相同时刻拍摄的图像，并在步骤S102中，需要将至少两个相机拍摄的图像进行拼接，从而得到包含臂架系统上多个标记点的图像。上述步骤SlOl中，可以通过下述方式确定各像素点的三维坐标根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。其中，图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，可以预先通过相机标定过程来确定。相机标定过程可采用非接触式测量中的相机标定方法，非接触式测量是基于双目立体视觉测量原理，该原理是基于视差，根据三角法原理进行三维信息的获取，由两个相机的图像平面和标定物之间构成一个三角形。首先以标定物为参照物，标定出一个相机的内外参数，然后以该相机和标定物为参照物，标定出另一个相机的内外参数。以两个相机为例，具体标定过程如下(I)设置标定物，具体包括打印一张模板，模板以固定间距组成的若干个十字丝组成，并将该模板并贴在一个平板上，将贴有模板的平板放置到两个相机的共同视场中，其位置信息已知。(2)两个相机从不同角度拍摄若干张(大于或等于3张)模板图像；(3)检测每幅图像中的目标点(例如十字丝中心)；
(4)根据标定公式，分别获得两个相机的内部参数以及外部参数；一般来说，相机的内外参数包括比例系数、有效焦距、主点、平移矩阵和旋转矩阵。在相机标定方法中，可先根据标定物，利用标定公式，标定一个相机，然后根据标定物，以及该相机来标定另一个相机。其中，标定公式即计算上述内外参数的过程，具体来说包括
Wi IItx
下述四个方面(I)旋转矩阵72= W6平移矩阵r= ty的计算，具体计算过程属于现有
JWl」t
5\_ Z _
技术，在此不再赘述；(2)确定图像采集设备主点，主点是图像的中心，可以近似为图像的中心坐标值；(3)图像采集设备比例系数的标定以十字形状标记为例，事先用尺量好十字标记的长和宽，然后在计算机上计算十字图像长和宽所占的像素点，最后换算成一个像素·点代表多大的实际物理尺寸；(4)有效焦距的计算根据成像原理，当物距远大于相距的时候，焦距F =物距V(可以近似为镜头到物体的距离)，在相机放置时候，该数值用卷尺可以量出。(5)根据旋转矩阵和平移转换矢量，获得两个相机共同视场中某个点的三维坐标的表达式，该表达式表征了目标点在图像中的二维坐标与该目标点的三维坐标之间的转换关系。如图2所示，假设o-XYZ是左相机的世界坐标系，Ol-X1Y1为左相机的图像坐标系，f为左相机的有效焦距；0r-Xr YrZr为右相机的世界坐标系，fr为右相机的有效焦距。由现有的相机透视变换模型可以得到
_叫 w rw/,Tx'yr =MRT Y = rAr5r6ty j (公式 I)
_ZrJ Lz」L,VW」LZ_
I K上式中，MRT= [R T] ；RR= r4r5r6 T=、分别为 0_x y z 坐标系与 0r_xr yrzr
1W9 t7
*--1 ,L. Z _
坐标系之间的旋转矩阵和平移矩阵。其中，T1 = cos Ay cos Az_sin Ay sin Ax sin AzT2 = cos As sin Azr3 = sin Ay cos Az+sin Ay sin Ax sin Azr4 = -cos Ay sin Az_sin Ay sin Ax cos Azr5 = cos Ax cos Azr6 = -sin Ay sin Az+cos Ay sin Ax cos AzT1 = -sin Ay cos Axr8 = -sin Axr9 = cos Ay cos Ax上述公式中的Ax，Ay，Az分别为在世界三维坐标系下，Ax为标定过程中拍摄的目标点相对于X轴的倾斜角，Ay为该目标点相对于Y轴的倾斜角；AZ为该目标点相对于Z轴的倾斜角。这三个角度可以通过安装在固定相机的平台上的角度传感器测得。
较佳地，在本发明实施例中，由于所需求得的臂架的挠度是相对量而不是绝对量(臂架挠度通过臂架上同一个标记点在臂架工作过程中三维坐标的相对变化量确定)，而平移矩阵的意义是计算世界坐标系原点移动至图像坐标系原点的平移量，相当于是做坐标平移，因此，在具体标定过程中，可以不需要按照现有平移矩阵的计算方式来计算出平移矩
阵的具体数值，而将其整体直接作为零值考虑，即r二 iy =0。将了= ty =0代入上述公式
1，变为
xrX r\rih xyr =MRT Y = r4/V； v
3」」Lr-7K」U _在本发明实施例中，由于相机成像时不一定是水平正对着臂架的，所以会有相对 于臂架的姿态角Ax，Ay, Az，因此较重要是需要在标定过程中把目标点的姿态角反算成水平状态下的坐标。而平移矩阵只是坐标系的平移，坐标原点不同而已，在本发明实施例计算工程机械吊钩的运动变化量这种相对量时可以不需完成平移矩阵具体数值的计算，直接将其设置为0即可。由此可以计算出像素点的三维坐标(x，y，x)表达式，即图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系为X = ZX1/f:y = ZY1Zf1^---1———-
((r7X, + # + ./I * /;,) - ./； (/; * X, + r' * F1 + / * r3)其中，该像素点可为标记点上的一个像素点，以左相机采集到的一幅图片为例，在图像中有一个标记点，即可为该标记点上的一个像素点，在左相机中的二维坐标为(XnY1)。如果像素点在右相机中的二维坐标为(Xr, Yr),那么上式中X = zXr/fr ；y = zYr/fr, z的计算公式与上式相同。本发明实施例并不限于使用上述标定方法，还可以使用现有技术中其他类似的基于双目立体视觉测量原理的相机标定方法来确定图像中的二维坐标与该目标点三维坐标之间的转换关系。在上述步骤S102中，根据各图像中各像素点的三维坐标，将至少两个相机同时拍摄的图像拼接为一帧图像，拼接过程中，需要将两幅图像中具有相同三维坐标的像素点作为两幅图像重合部分，将两帧图像拼接到一起，依次类推，依次将多幅图像拼接到一起。具体的拼接过程包括下述步骤对至少两个相机同时拍摄的图像分别进行几何校正；对几何校正后的各图像进行图像配准；将图像配准后的各图像进行融合，消除拼接痕迹；输出拼接完成的图像。图像校正主要是针对图像有变形或者模糊的情况，对图像进行复原的技术，图像配准是指在图像拼接过程中，针对两个相机拍摄的同一个点的图像，寻找最佳空间变化关系和灰度变换关系，实现两帧图像在拼接时的最大对准。
具体实施方式
与现有技术相同，在此不再赘述。对图像进行几何校正和图像配准以及图像融合的方法属于现有技术的范畴，在此不再详述。在上述步骤S103中，使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标。在不同时刻的图像中识别出了标记点后，可以根据该标记点的三维坐标在拼接后的各帧图像中的三维坐标点的位置变化，测量出标记点在X、y和Z方向上的位移(Ax =x2-xl ； Ay = y2-yl ; Az = z2_zl, xl、yl和zl为上一巾贞拼接后的图像中标记点的三维坐标，x2、y2和z2为当前巾贞拼接后的图像中标记点的三维坐标，Ax、Ay和Az是标记点在三个方向上的位移)，从而可以实现对标记点所在的臂架的挠度进行测量。 本发明实施例提供臂架挠度的测量方法中，采用现有技术中的粒子跟踪方式实现图像中标记点的识别。采用粒子跟踪的方式是因为工程机械整个臂架在工作状态下，伸出的长度很大，尤其是大吨位工程机械，臂架完全伸展常常是百米以上，而且作业现场环境复杂，不仅会有遮挡现象，而且随着臂架的大角度转动，贴在上面的标记点在成像时会发生放大缩小、扭转等变化；相机可能会直接对着强烈阳光等复杂情况成像等，这些情况下，由于图像成像的原因，多目标跟踪可能会出现丢失、遮挡以及因为目标点图像变形而产生跟踪误差，这种误差会传递到测量结果上，加大测量误差。所以针对臂架的复杂工况，本发明实施例采用粒子滤波的跟踪算法，该跟踪算法具有对边缘遮挡、目标旋转、变形以及光照变化不敏感等优点，这样就可对图像中的标记点进行准确追踪。为了更好地说明本发明实施例提供的臂架挠度的测量方法，下面对现有技术中粒子滤波的跟踪算法进行简单说明。该算法包括如下步骤(I)样本初始化。在初始帧中通过运动目标识别算法确定目标区域，并计算目标模板的颜色概率分布；每一幅图片中臂架做为运动目标的初始参数为其质心位置(xinit，yjnit)，该参数确定为根据每个相机拍摄的标记点图像，然后根据质心公式计算运动目标质心。创建N个粒子(粒子即要找的可能的运动目标，由于我们事先粘贴了标记点，知道个数，因此我们创建的个数为粘贴标记点的个数，因为运动目标最大数就是粘贴标记点的个数，粒子参数为(Si, Sp，粒子权值&为1，每个粒子代表一个可能的运动目标。Xi = XiniJb1 I，Yi = yinit+b2 \，其中，I为[_1，1]内的随机数，bl、b2是常数。搜索的位移的步长由B决定，B也为设计参数，在跟踪过程中B取[1，10]，具体数据根据图像清晰度确定，越清晰数值越小。当由于强光、光照不均匀等情况导致标记点成像模糊、图像变形等情况导致，当目标丢失，B取[20，40]，即在一个较大范围找到目标，该数值由算法自动调节，首先从20开始取，如果没有没有搜索到标记点图像，则根据步长加I的方式一步步增加，其大小正比于之前若干时刻目标的平均状态变化，根据经验数据一般B取到40都能找到标记点目标，(2)系统观测观察每个粒子所代表的目标可能状态和目标理想状态之间的相似程度，接近目标理想状态的粒子赋予较大的权值，反之权值较小。取最小平均绝对差值函数为衡量相似程度的工具，即对每个粒子可以计算一个相似值mad，根据相似值计算各粒子的权值Wi，系统初始的权数是1/N(粒子数)，权值的范围为[1/N，I]，I表示完全吻合。(3)后验概率计算t时刻的后验概率，也就是目标跟踪中所期望的目标参数(xt，yt)由于各个粒子的加权和计算得到
权利要求
1.一种臂架挠度的测量方法，其特征在于，包括以下步骤 不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标； 根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像； 使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标； 根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。
2.如权利要求I所述的方法，其特征在于，分别确定各图像中像素点的三维坐标，包括 根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。
3.如权利要求2所述的方法，其特征在于，所述图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，通过下述方式确定 对布置在所述臂架上同个标记点前方的至少两个相机分别进行标定，获取各相机的内外参数； 根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。
4.如权利要求I所述的方法，其特征在于，将至少两个相机同时拍摄的图像拼接为同一中贞图像，包括 对至少两个相机同时拍摄的图像分别进行几何校正； 对几何校正后的各图像进行图像配准； 将图像配准后的各图像进行融合，消除拼接痕迹； 输出拼接完成的图像。
5.如权利要求1-4任一项所述的方法，其特征在于，还包括 当连续多帧拼接后的图像使用粒子跟踪方法无法识别出标记点时，确定所述标记点发生遮挡； 使用卡尔曼滤波算法，根据最近的识别成功的拼接后的图像中标记点的三维坐标，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标； 根据预测出的三维坐标，继续对所述臂架的挠度进行测量。
6.如权利要求1-4任一项所述的方法，其特征在于，还包括 根据远端PC机的指令，将臂架扰度的测量结果通过无线传输方式发送给所述远端PC机，并在发送结束后，向所述远端PC机发送发送完毕的指令。
7.一种臂架挠度的测量设备，其特征在于，包括 获取模块，用于不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像； 三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；拼接模块，用于根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像； 标记点跟踪模块，用于使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标； 挠度计算模块，用于根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。
8.如权利要求7所述的设备，其特征在于，所述三维坐标确定模块，具体用于根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。
9.如权利要求8所述的设备，其特征在于，还包括 标定模块，用于对布置在所述臂架上同个标记点前方的至少两个相机分别进行标定，获取各相机的内外参数；根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。
10.如权利要求7所述的设备，其特征在于，所述拼接模块，具体用于对至少两个相机同时拍摄的图像分别进行几何校正；对几何校正后的各图像进行图像配准；将图像配准后的各图像进行融合，消除拼接痕迹；输出拼接完成的图像。
11.如权利要求7-10任一项所述的设备，其特征在于，还包括 卡尔曼滤波处理模块，用于当连续多帧拼接后的图像使用粒子跟踪方法无法识别出标记点时，确定所述标记点发生遮挡；使用卡尔曼滤波算法，根据最近的识别成功的拼接后的图像中标记点的三维坐标，依次预测出发生遮挡的多帧拼接后的图像中标记点的三维坐标；根据预测出的三维坐标，继续对所述臂架的挠度进行测量。
12.一种臂架挠度的测量系统，其特征在于，包括 至少两个相机，用于分别对多节臂架上设置的标记点进行拍摄； 臂架挠度测量设备，用于不断获取所述至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。
13.如权利要求12所述的系统，其特征在于，还包括测量结果传输装置，用于根据远端PC机的指令，将臂架扰度的测量结果通过无线传输方式发送给所述远端PC机，并在发送结束后，向所述远端PC机返回发送完毕的指令； 远端PC机，用于通过无线方式接收所述测量结果传输装置传输过来的臂架脑入的测量结果。
14.如权利要求13所述的系统，其特征在于，所述测量结果传输装置，具体包括 数据采集模块，用于采集所述臂架挠度测量设备得到臂架扰度的测量结果； 嵌入式系统模块，用于将无线传输模块设置为处于接收状态，以及通过串口中断来识别由远端PC机通过无线信道传送过来的指令，当确定接收到远端PC机发送的传输数据的指令时，将无线传输模块由接收状态修改为发送状态，并将臂架挠度测量设备得到的挠度测量结果传递给无线传输模块；以及在无线传输模块传输完毕后，向所述远端PC机返回发送完毕的指令；并将无线传输模块由发送状态再次修改为接收状态； 无线传输模块，用于将 挠度测量结果通过无线信道传输给远端PC机。
全文摘要
本发明公开了一种臂架挠度的测量方法、装置及系统，该方法包括不断获取至少两个相机对多节臂架上分别设置的标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；使用粒子滤波跟踪方法，识别出每个拼接后图像中多节臂架上设置的标记点，并确定各标记点的三维坐标；根据每个拼接后图像中各标记点的三维坐标，对臂架扰度进行计算得到臂架扰度的测量结果。本发明使用非接触测量的方式，测量方式简单、方便，测量精度较高，实时性很好，可以及时快速地测量出臂架的挠度。
文档编号G01B11/16GK102798350SQ201210237400
公开日2012年11月28日 申请日期2012年7月10日 优先权日2012年7月10日
发明者涂宏斌, 付玲, 任会礼, 钟懿 申请人:中联重科股份有限公司