基于视觉测量的非接触式挖掘机工作装置姿态测量方法
【专利摘要】一种基于视觉测量的非接触式挖掘机工作装置姿态测量方法，它通过在工作装置上粘贴具有明显图像鞍点特征的圆形片作为标记特征点，然后用驾驶室机架上的工业摄相机摄取挖掘机工作装置图像，再应用鞍点检测方法在线实时检测出工作装置图像上包括特征片中心点在内的所有图像鞍点，并通过特征片间的距离将非特征片中心点的图像鞍点过滤掉，进而通过特征片中心点之间的连线倾角得出工作装置各部件的倾角，从而测出工作装置的姿态。该种测量方法能动态测量出挖掘机工作装置的姿态，它在工作装置上不安装任何易损、精密件，使挖掘机测控的可靠性提高，维护成本降低。且其检测结果准确，计算步骤少、方法简单，测量的动态响应速度快，实时性好。
【专利说明】基于视觉测量的非接触式挖掘机工作装置姿态测量方法
【技术领域】
[0001]本发明涉及视觉测量方法，尤其涉及一种基于视觉测量的挖掘机工作装置姿态测
量方法。
技术背景
[0002]液压挖掘机是功能最典型、结构最复杂、用途最广泛的工程机械之一。作为工程机械的主流产品，它在工业与民用建筑、交通运输、水利电力工程、矿山采掘以及军事工程等施工中起着极为重要的作用。
[0003]典型的单斗液压挖掘机由工作装置、回转平台和行走装置三大部分组成。工作装置是直接完成挖掘任务的部件，由动臂、斗杆、铲斗等三部分铰接而成，且在回转平台与动臂、动臂与斗杆、铲斗与斗杆之间分别铰接有动臂液压缸、斗杆液压缸、铲斗液压缸。挖掘机的操作是:通过对回转平台的液压马达和三个液压缸的联合操作控制将挖掘机铲斗定位在挖掘点，然后通过对铲斗液压缸与斗杆液压缸为主的联合操作进行挖掘或刨平动作，在将铲斗装满物料后，再通过对回转平台的液压马达和三个液压缸的联合操作将铲斗转到卸料点并进行卸料动作，最后铲斗重新转到挖掘点进行下一次的挖掘操作。总之，挖掘机的操作过程复杂，通常需要对回转平台的液压马达和动臂液压缸、斗杆液压缸、铲斗液压缸同时进行联合操作，并需要根据视觉和经验观察判断动臂、斗杆、铲斗的位置和角度。可见，挖掘机对操作人员的技术要求高，需经过专业的培训才能上岗，且其劳动强度大、工作环境恶劣；对各种工程的施工效率、成本及质量造成严重的制约，亟需通过实现挖掘机的作业自动化来解决如上问题。
[0004]近几十年来，国内外部分工程机械主干企业和高校对挖掘机的作业自动化做了大量的研究工作。例如国外有:日本小松公司、美国凯斯公司、英国兰卡斯特大学等；国内有同济大学、浙江大学、山河智能公司等。已研制成的自动化挖掘机:操作人员只需发出指令，给出挖掘点及其挖掘任务(类型)，控制系统根据实时反馈的机体定位信息、工作装置的姿态信息，控制回转平台的液压马达和三个液压缸的动作自动实现相应的挖掘操作。其机体定位信息通常由GPS导航系统完成。而对工作装置的姿态信息的获取，多采用在工作装置的动臂、斗杆和铲斗的铰点处安装倾角传感器或光电编码器来实现。其姿态信息获取方式存在的问题是:挖掘机挖掘作业过程中，工作装置不可避免地会与土壤、岩石，或其他物体发生碰撞，产生剧烈振动，极易造成安装在其上的传感器损坏，最终导致整个自动化控制系统无法正常运行。系统的可靠性低，维护成本高。
【发明内容】
[0005]本发明针对现有的自动化挖掘机工作装置姿态测量系统的严重不足，提出一种非接触式挖掘机工作装置姿态测量方法，该种测量方法能动态测量出挖掘机工作装置的姿态信息，它在工作装置上不安装任何易损、精密件，使挖掘机测控的可靠性提高，维护成本降低。且其检测结果准确，计算步骤少、方法简单，测量的动态响应速度快，实时性好。[0006]本发明解决其技术问题所采用的技术方案是:一种基于视觉测量的非接触式挖掘机工作装置姿态测量方法，包括以下步骤:
[0007]A、摄相机与特征片的布置:
[0008]将工业摄相机安装在挖掘机驾驶室机架上，工业摄相机视场从一侧覆盖挖掘机的工作装置，工业摄相机的USB接口与挖掘机的自动控制系统相连；
[0009]同时，在挖掘机动臂、斗杆和铲斗面向工业摄相机的侧面均粘贴两个圆形特征片，特征片的表面分割为四个90度扇形区，其中相对的两个扇形区为黑色区，另两个相对的扇形区为白色区，使特征片的中心点在图像的鞍点检测中能被检测为鞍点；
[0010]动臂上的两个特征片的中心点连线与动臂上两个杆件铰点的连线平行；斗杆上的两个特征片的中心点连线与斗杆上两个杆件铰点的连线平行；铲斗上的两个特征片的中心点连线与铲斗的杆件铰点和铲尖的连线平行；
[0011]所述的动臂上的两个特征片的中心点距离为I1，斗杆上的两个特征片的中心点距离为I2，铲斗上的两个特征片的中心点距离为I3，且I1 ^ I2^ I3, I1^l3;
[0012]B、图像获取:当挖掘机工作时,工业摄相机每隔60~80ms摄取一幅数字图像，并通过USB接口将数字图像传递给自动控制系统；
[0013]C、鞍点检测:
[0014]初次检测时，自动控制系统通过鞍点搜索算法在整个数字图像中检测出鞍点i，得到鞍点i的图像坐标系坐标P’ ^ri, Ci),其中，i为鞍点的序号、i=l, 2，…n, r为鞍点的行坐标，c为鞍点的列坐标；
[0015]初次以后的检测，自动控制系统则通过鞍点搜索算法在前次检测的步骤F确定的矩形检测区域中检测出鞍点i，得到鞍点i的图像坐标系坐标P’Jri, Ci),其中，i为鞍点的序号、i=l, 2，…n, r为鞍点的行坐标，c为鞍点的列坐标；
[0016]D、坐标变换:将鞍点i的图像坐标系坐标P’Jr，c)转换为以动臂(I)、斗杆(2)和铲斗(3)的被摄侧面为x-y平面的世界坐标系(WCS)的坐标Pi (Xi YilO)；
[0017]E、鞍点过滤与倾角测量:计算任意两鞍点在世界坐标系中的相互距离即鞍点距离ajk，得到距离矩阵L:
【权利要求】
1.一种基于视觉测量的非接触式工作装置姿态测量方法，包括以下步骤: A、摄相机与特征片的布置: 将工业摄相机(4 )安装在挖掘机驾驶室机架(5 )上，工业摄相机(4 )视场从一侧覆盖挖掘机的工作装置，工业摄相机(4)的USB接口与挖掘机的自动控制系统相连； 同时，在挖掘机动臂(I)、斗杆(2)和铲斗(3)面向工业摄相机(4)的侧面均粘贴两个圆形特征片(6)，特征片(6)的表面分割为四个90度扇形区，其中相对的两个扇形区为黑色区(6a)，另两个相对的扇形区为白色区(6b)，使特征片(6)的中心点在图像的鞍点检测中能被检测为鞍点； 动臂(I)上的两个特征片(6)的中心点连线与动臂(I)上两个杆件铰点的连线平行；斗杆(2)上的两个特征片(6)的中心点连线与斗杆(2)上两个杆件铰点的连线平行；铲斗(3)上的两个特征片(6)的中心点连线与铲斗(3)的杆件铰点和铲尖的连线平行； 所述的动臂(I)上的两个特征片(6)的中心点距离为I1,斗杆(2)上的两个特征片(6)的中心点距离为I2，铲斗(3)上的两个特征片(6)的中心点距离为13，且Ii ^ I2 ^ I3, Ii ^ I3 ； B、图像获取:当挖掘机工作时，工业摄相机(4)每隔60~80ms摄取一幅数字图像，并通过USB接口将数字图像传递给自动控制系统； C、鞍点检测: 初次检测时，自动控制系统通过鞍点搜索算法在整个数字图像中检测出鞍点i，得到鞍点i的图像坐标系坐标P’ Jri, Ci),其中，i为鞍点的序号、i=l, 2，."n, r为鞍点的行坐标，c为鞍点的列坐标； 初次以后的检测，自动控制系统则通过鞍点搜索算法在前次检测的步骤F确定的矩形检测区域中检测出鞍点i，得到鞍点i的图像坐标系坐标P’Jri, Ci)，其中，i为鞍点的序号、i=l, 2，…n, r为鞍点的行坐标，c为鞍点的列坐标； D、坐标变换:将鞍点i的图像坐标系坐标P’Jr，c)转换为以动臂(I)、斗杆(2)和铲斗(3)的被摄侧面为x-y平面的世界坐标系(WCS)的坐标Pi (Xi YilO)； E、鞍点过滤与倾角测量:计算任意两鞍点在世界坐标系中的相互距离即鞍点距离ajk，得到距离矩阵L:
O ?Λ2 3...aIn O “23...U2fi L —O U2^ _O _ 式中:a#表示第i=j个鞍点与第i=k点个鞍点之间的距离，L为对称矩阵； 计算所有鞍点距离与动臂(I)上两个特征片(6)的鞍点距离I1的差值的绝对值Bjk-111，若I S^d-111的值为最小，则判定对应的两个鞍点jl和kl即为动臂上的两个特征片(6)的中心点；两中心点连线的倾角为α I:
【文档编号】G01B11/26GK103900497SQ201410079270
【公开日】2014年7月2日 申请日期:2014年3月6日 优先权日:2014年3月6日
【发明者】王海波, 邹海龙, 张如照 申请人:西南交通大学