专利名称：一种工程机械吊钩姿态的测量方法、装置及系统的制作方法
技术领域：
本发明涉及工程测量技术领域，尤指一种工程机械吊钩姿态的测量方法、装置及系统。
背景技术：
在工程机械的起吊作业过程中，吊钩不仅要发生垂直方向的移动，还有横向的移动，由于惯性或者外力作用，通过钢丝绳悬挂在起重机臂上部的吊钩及货物会形成相应的摆动，因此吊钩的运动是三维运动轨迹。现有对吊钩姿态的测量方法有多种，例如对待测量的吊钩分别建立第一坐标系和第二坐标系，其中第二坐标系与吊钩的运动相关，第一坐标系与吊钩的运动无关，从而使将·吊钩的姿态参数的改变反映在两个坐标系之间位置关系的改变上，然后再用角度测量仪测得两个坐标系坐标轴之间的角度关系，用加速度测量计获得吊钩在第二坐标系预定方向的加速度，根据角度关系与加速度获得吊钩在第一坐标系相应坐标轴上的加速度；最后根据吊钩在第一坐标系坐标轴上的加速度获得吊钩在第一坐标系中的姿态参数。这种方式由于针对每个待测量的吊钩，都需要分别布置一套角速度测量仪和加速度测量仪，布置传感器的工作量较大，测量成本较高的问题。例如还有一种方式是在工程机械的底部安装一个摄像机和标志杠，在吊钩上设置一标识物，摄像机连接有图像处理器，摄像机采集标识物信息，图像处理器对摄像机采集的标识物的信息进行处理并计算出标识物的具体位置，进而得到吊钩的位置。这种方式还是一种二维测量方式，在吊钩同时发生横向、垂直方向的运动时，这种测量方式准确度较低。
发明内容
本发明提供一种工程机械吊钩姿态的测量方法、装置及系统，用以实现对工程机械的吊钩进行非接触式测量，从而避免现有测量方式中布置传感器的工作量较大，测量成本较高，以及测量方式准确度较低的问题。本发明实施例提供的工程机械吊钩姿态的测量方法，包括不断获取至少两个相机对工程机械吊钩上标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一巾贞图像；针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含所述标记点的图像；对仅包含所述标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出所述标记点的运动状态参数；根据测算出的所述标记点运动状态参数的变化，对吊钩姿态进行测量。本发明实施例提供的工程机械吊钩姿态的测量设备，包括
获取模块，用于不断获取至少两个相机对工程机械吊钩上标记点同时拍摄的各图像；三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标；拼接模块，用于根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；提取模块，用于针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含所述标记点的图像；测量模块，用于对仅包含所述标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出所述标记点的运动状态参数；根据测算出的所述标记点运动状态参数的变化，对吊钩姿态进行测量。本发明实施例提供一种工程机械吊钩姿态的测量系统，包括
·
至少两个相机，用于对工程机械吊钩上标记点同时进行拍摄；工程机械吊钩姿态的测量设备，用于不断获取所述至少两个相机对工程机械吊钩上标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含所述标记点的图像；对仅包含所述标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出所述标记点的运动状态参数；根据测算出的所述标记点运动状态参数的变化，对吊钩姿态进行测量。本发明实施例的有益效果包括本发明实施例提供的工程机械吊钩姿态的测量方法、装置及系统，使用至少两个相机对工程机械吊钩上的标记点进行拍摄，并获取至少两个相机对吊钩上的标记点拍摄的各图像，分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，将至少两个相机同时拍摄的图像拼接成一帧图像，这样，在拼接后的各图像中提取出标记点的图像，根据标记点的运动状态参数，实现对工程机械吊钩姿态的测量。本发明实施例使用非接触测量的方式，不需要在吊钩上安装任何测量仪器和设备，就能够实现对吊钩姿态的测量，并且，利用吊钩上标记点图像分析的方法获取吊钩的运动参数，测量方式简单、方便，且测量精度较高，另外，由于可以实时获取相机拍摄的图像，并对图像进行处理获取吊钩上标记点的运动参数，这种测量方式，实时性很好，可以及时快速地获知吊钩的工作姿态变化情况。
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中图I为本发明实施例提供的工程机械吊钩姿态的测量方法的流程图；图2为本发明实施例提供的相机标定过程中图像坐标和世界坐标系的示意图；图3为本发明实施例提供的工程机械吊钩姿态的测量设备的结构示意图；图4为本发明实施例提供的工程机械吊钩姿态的测量系统的结构示意图之一；图5为本发明实施例提供的工程机械吊钩姿态的测量系统的结构示意图之二。
具体实施例方式下面结合说明书附图，对本发明实施例提供的一种工程机械吊钩姿态的测量方法、装置及系统的具体实施方式
进行说明。本发明实施例提供的工程机械吊钩姿态的测量方法，如图I所示，包括如下步骤S101、不断获取至少两个相机对工程机 械吊钩上标记点同时拍摄的图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；S102、根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；S103、针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含标记点的图像；S104、对仅包含标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出所述标记点的运动状态参数；S105、根据测算出的标记点运动状态参数的变化，对吊钩姿态进行测量。下面分别对上述各步骤分别进行详细说明。上述步骤SlOl中，由于吊钩上的各标记点的运动情况能够反映整个吊钩的姿态变化情况，为了方便对吊钩的姿态进行测量，可以通过对吊钩的各个标记点的运动参数进行测量的方式来实现对吊钩姿态的测量，又由于吊钩的体积较大，在具体实施时，需要使用至少两个相机分别对吊钩上的各标记点进行拍摄，然后将拍摄的图像拼接起来，实现对整个吊钩姿态的非接触性测量。上述步骤SlOl中，由于至少两个相机分别对吊钩的标记点进行同时拍摄，因此需要不断获取至少两个相机在相同时刻拍摄的图像，并且在步骤S102中，需要将至少两个相机拍摄的图像进行拼接，从而得到整个吊钩的图像。本发明实施例提供的工程机械吊钩姿态的测量方法中，可根据实际测量的需要，在吊钩上的相应位置设置对应的标记点，标记点的数量可以是I个或多个，吊钩上的各标记点可采用十字丝、圆形、对角圆等各种形状的标记点。上述步骤SlOl中，可以通过下述方式确定各像素点的三维坐标根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。其中，图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，可以预先通过相机标定过程来确定。相机标定过程可采用非接触式测量中的相机标定方法，非接触式测量是基于双目立体视觉测量原理，该原理是基于视差，根据三角法原理进行三维信息的获取，由两个相机的图像平面和标定物之间构成一个三角形。首先以标定物为参照物，标定出一个相机的内外参数，然后以该相机和标定物为参照物，标定出另一个相机的内外参数。以两个相机为例，具体标定过程如下(I)设置标定物，具体包括打印一张模板，模板以固定间距组成的若干个十字丝组成，并将该模板并贴在一个平板上，将贴有模板的平板放置到两个相机的共同视场中，其位置信息已知。(2)两个相机从不同角度拍摄若干张(大于或等于3张)模板图像；(3)检测每幅图像中的目标点(例如十字丝中心)；(4)根据标定公式，分别获得两个相机的内部参数以及外部参数；一般来说，相机的内外参数包括比例系数、有效焦距、主点、平移矩阵和旋转矩阵。在相机标定方法中，可先根据标定物，利用标定公式，标定一个相机，然后根据标定物，以及该相机来标定另一个相机。其中，标定公式即计算上述内外参数的过程，具体来说包括
下述四个方面(1)旋转矩阵
权利要求
1.一种工程机械吊钩姿态的测量方法，其特征在于，包括以下步骤 不断获取至少两个相机对工程机械吊钩上标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标； 根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像； 针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含所述标记点的图像； 对仅包含所述标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出所述标记点的运动状态参数； 根据测算出的所述标记点运动状态参数的变化，对吊钩姿态进行测量。
2.如权利要求I所述的方法，其特征在于，分别确定各图像中像素点的三维坐标，包括 根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。
3.如权利要求2所述的方法，其特征在于，所述图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，通过下述方式确定 对布置在所述吊钩上标记点前方的至少两个相机分别进行标定，获取各相机的内外参数； 根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。
4.如权利要求I所述的方法，其特征在于，将至少两个相机同时拍摄的图像拼接为同一中贞图像，包括 对至少两个相机同时拍摄的图像分别进行几何校正； 对几何校正后的各图像进行图像配准； 将图像配准后的各图像进行融合，消除拼接痕迹； 输出拼接完成的图像。
5.如权利要求I所述的方法，其特征在于，从拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含所述标记点的图像，包括 使用灰度聚类方法，根据拼接后的图像中吊钩标记点与图像背景之间的灰度差异，将拼接后的图像中的吊钩标记点的图像数据对象进行聚类； 根据将聚类后的吊钩标记点的图像数据对象，生成仅包含各吊钩标记点的图像。
6.如权利要求1-5任一项所述的方法，其特征在于，所述标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出所述标记点的运动状态参数，包括 对所述仅包含所述标记点的图像，计算光流场，得到所述标记点在吊钩运动过程中的速度和角度； 根据计算出的速度和角度，得出所述标记点的平移运动速度矢量和绕轴旋转速度矢量，根据所述标记点的三维坐标、所述平移运动速度矢量和绕轴旋转速度矢量，计算所述标记点在振动过程中的运动矢量。
7.如权利要求1-5任一项所述的方法，其特征在于，还包括 若连续多个拼接后的图像，提取出吊钩上的标记点失败，则确定所述标记点发生遮挡； 使用卡尔曼滤波算法，根据最近的提取成功的拼接后的图像中标记点所在的位置，依次预测出发生遮挡的多个拼接后的图像中标记点的三维坐标； 根据预测出的三维坐标，继续对吊钩姿态进行测量。
8.—种工程机械吊钩姿态的测量设备，其特征在于，包括 获取模块，用于不断获取至少两个相机对工程机械吊钩上标记点同时拍摄的各图像； 三维坐标确定模块，用于分别确定各图像中像素点在世界坐标系中的三维坐标； 拼接模块，用于根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像； 提取模块，用于针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含所述标记点的图像； 测量模块，用于对仅包含所述标记点的各图像中标记点的三维坐标，使用光流跟踪算法,测算出所述标记点的运动状态参数；根据测算出的所述标记点运动状态参数的变化，对吊钩姿态进行测量。
9.如权利要求8所述的设备，其特征在于，所述三维坐标确定模块，具体用于根据各图像中的像素点在图像坐标系的二维坐标，以及预先确定的图像坐标系下二维坐标与世界坐标系下的三维坐标的转换关系，分别将各图像中像素点的二维坐标转换为对应的三维坐标。
10.如权利要求8所述的设备，其特征在于，还包括 标定模块，用于对布置在所述吊钩上标记点前方的至少两个相机分别进行标定，获取各相机的内外参数；根据各相机的内外参数中的旋转矩阵和平移转换矢量，确定图像坐标系下二维坐标转换成世界坐标系下三维坐标的表达式。
11.如权利要求9所述的设备，其特征在于，所述拼接模块，具体用于对至少两个相机同时拍摄的图像分别进行几何校正；对几何校正后的各图像进行图像配准；将图像配准后的各图像进行融合，消除拼接痕迹；输出拼接完成的图像。
12.如权利要求9所述的设备，其特征在于，所述提取模块，具体用于使用灰度聚类方法，根据拼接后的图像中吊钩标记点与图像背景之间的灰度差异，将拼接后的图像中的吊钩标记点的图像数据对象进行聚类；根据将聚类后的吊钩标记点的图像数据对象，生成仅包含各吊钩标记点的图像。
13.如权利要求8-12任一项所述的设备，其特征在于，所述测量模块，具体用于对所述仅包含所述标记点的图像，计算光流场，得到所述标记点在吊钩运动过程中的速度和角度；根据计算出的速度和角度，得出所述标记点的平移运动速度矢量和绕轴旋转速度矢量，根据所述标记点的三维坐标、所述平移运动速度矢量和绕轴旋转速度矢量，计算所述标记点在振动过程中的运动矢量。
14.一种工程机械吊钩姿态的测量系统，其特征在于，包括 至少两个相机，用于对工程机械吊钩上标记点同时进行拍摄； 工程机械吊钩姿态的测量设备，用于不断获取所述至少两个相机对工程机械吊钩上标记点同时拍摄的各图像，并分别确定各图像中像素点在世界坐标系中的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含所述标记点的图像；对仅包含所述标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出 所述标记点的运动状态参数；根据测算出的所述标记点运动状态参数的变化，对吊钩姿态进行测量。
全文摘要
本发明公开了一种工程机械吊钩姿态的测量方法、设备及系统，该方法包括不断获取至少两个相机对吊钩上标记点同时拍摄的各图像，分别确定各图像中像素点的三维坐标；根据各图像中各像素点的三维坐标，不断地将至少两个相机同时拍摄的图像拼接为一帧图像；针对拼接后的每帧图像，从该拼接后的图像中，识别并提取出吊钩上的标记点，生成仅包含标记点的图像；对仅包含标记点的各图像中标记点的三维坐标，使用光流跟踪算法，测算出标记点的运动状态参数；根据测算出的所述标记点运动状态参数的变化，对吊钩姿态进行测量。本发明不需要在吊钩上安装任何测量仪器和设备，就能够实现对吊钩姿态的测量，测量方式简单、方便、实时性较好且测量精度较高。
文档编号G01P3/38GK102788572SQ201210236819
公开日2012年11月21日 申请日期2012年7月10日 优先权日2012年7月10日
发明者付玲, 任会礼, 涂宏斌 申请人:中联重科股份有限公司