应用于轨道吊吊具位姿检测的相机外参数标定系统及方法与流程

本发明涉及相机外参数的标定系统及方法，更具体地说，涉及一种应用于集装箱轨道吊吊具位姿检测的相机外参数标定系统及方法。

背景技术：

集装箱是具有一定强度、刚度、规格，且专供转运使用的大型装货容器，其转运过程是货物运输的重要环节。通常，在每个港口都有大量的集装箱需要卸载、转运到临时堆场，而后再装载到各种形式的运输工具上，其装卸过程需要投入大量的时间和人工成本。全自动化码头不仅可以提高生产效率，降低人工成本，还能够改善工人的工作环境，降低劳动强度，提高港口的综合竞争力，所以建设全自动化码头已成为国内外众多集装箱码头发展的必然趋势。

全自动化码头设备主要包括岸边集装箱起重机(QC)，轨道式集装箱门式起重机(RMG)，自动导航小车(AGV)等设备。其中，轨道式集装箱门式起重机，又称为轨道吊(以下都称为轨道吊)，是专门用来装卸集装箱的一种起重机，在码头的集装箱堆场区域内作业。轨道吊是采用大车和小车编码器来进行位置定位的，使吊具粗定位于目标集装箱上方。但是，在吊具下降对准目标集装箱的作业过程中，起重机承重梁存在形变，大车轨道弯曲导致起重机位置偏斜，编码器存在定位误差等原因将使吊具位姿发生不可预期的变化，从而增加了吊具与目标集装箱对位失败的风险。因此，吊具位姿检测是实现轨道吊全自动化的一个关键技术环节，针对该技术环节，本发明提出了一种应用于起重机吊具位姿检测的相机外参数标定系统及方法。

机器视觉是一个多学科交叉的领域，它综合了光学工程、电子信号处理、模式识别、人工智能、机械工程和软件工程等多领域知识。机器视觉系统一般由光源、镜头、摄像器件、图像存储体、监视器以及计算机系统 等设备组成。光源为视觉系统提供足够的照度；镜头将被测场景中的目标成像到视觉传感器(即摄像器件)的成像面上；图像存储体负责将电信号转变为数字图像，即把每像素点的亮度转变为灰度级数据，并存储一幅或多幅图像；计算机系统负责对图像进行处理、分析、判断和识别，最终给出检测结果。

电子全站仪是一种同时可以进行角度(水平角，垂直角)测量和距离(斜距，平距，高差)测量，由机械，光学，电子元件组合而成的测量仪器。只要一次安置，仪器便可以完成在该测站上所有的测量工作，故称为“全站仪”。广泛用于控制测量，细部测量，施工放样，变形观测等方面的测量工作。

技术实现要素：

针对现有技术中存在的相机外参数标定过程复杂且精确度低的问题，本发明的目的是提供一种应用于起重机吊具位姿检测的相机外参数标定系统及方法。

为实现上述目的，本发明采用如下技术方案：

一种应用于起重机吊具位姿检测的相机外参数标定系统，包括大车、小车、相机、标定装置。小车设置于大车上，小车的运动方向垂直于大车的运动方向，相机设置于小车的下表面，标定装置设置于地面，且标定装置的物理尺寸预先设定。

根据本发明的一实施例，标定装置包括标定板、支架、抬升机构。标定板为一水平设置的平面，其外围一圈设有矩形标识，且标定板的表面设有水平气泡。支架设置于标定板的下表面，且支架上设有抬升机构，抬升机构能够调节标定板至水平状态。

根据本发明的一实施例，特征点选择为矩形标识的四个外顶点，或者矩形标识的所有顶点。

根据本发明的一实施例，小车下表面的中心处设有小车坐标系的坐标原点，相机的镜头光心处设有相机坐标系的坐标原点。

根据本发明的一实施例，相机获取标定装置上特征点的坐标位置，并 根据特征点计算出相机坐标系与小车坐标系之间的转换关系。

为实现上述目的，本发明还采用如下技术方案：

一种应用于起重机吊具位姿检测的相机外参数标定方法，包括以下步骤：建立小车坐标系；建立相机坐标系；获取标定装置的灰度图像；根据灰度图像计算特征点在相机坐标系下的坐标值；获取特征点在小车坐标系下的坐标值；计算小车坐标系和相机坐标系之间的转换关系。

根据本发明的一实施例，本发明还包括以下步骤：调节支架上的抬升机构，使标定装置表面处于水平状态；通过标定装置表面的水平气泡判断标定装置的水平程度。

在上述技术方案中，本发明的应用于起重机吊具位姿检测的相机外参数标定系统及方法能够使标定结果更加精确，并且标定过程更加简便。

附图说明

图1是本发明的系统原理流程图；

图2是堆场区域及坐标系信息示意图；

图3a～3c是相机外参数标定装置结构示意图；

图4是相机外参数标定原理示意图；

图5是相机外参数标定的算法流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

本发明针对轨道吊吊具位姿检测中的关键技术之一：相机外参数标定，提出了一种基于机器视觉的解决方案，并设计了本发明系统的标定装置，完成系统功能代码编写。

本发明系统应用于集装箱轨道吊吊具位姿检测，从而有利于把吊具位姿信息实时地反馈至轨道吊控制单元，进而实现轨道吊控制单元对吊具的闭环控制，更准确地完成吊具对准目标集装箱位置的任务。

本发明的系统结构图如附图1所示。安装在轨道吊小车平台上的一个工业相机，通过TCP/IP网络协议，把采集到的图像数据(包含标识)传输 给工业计算机。在工业计算机中运行的标定程序，通过对图像数据的处理来获得相机的外参数。

本发明的标定系统主要包括大车10、小车20、标定装置30和相机40，如图2、图3和图4所示。小车20设置于大车10上，小车20的运动方向垂直于大车10的运动方向，相机40设置于小车20的下表面。标定装置30设置于地面，且标定装置30的物理尺寸预先设定。

作为本发明的一种实施方式，相机可以是工业相机、工业摄像机等各种图像获取设备，下面以最常用的工业相机40为例，但本发明的相机并不以此为限。

本发明系统在堆场区域定义了两个坐标系统，如图2和图4所示，在小车20的下表面中心21处建立小车坐标系，相机40的镜头光心处建立相机坐标系。具体来说，坐标系O_lX_lY_lZ_l为轨道吊小车坐标系，其中O_lX_l轴指向大车10前进方向，O_lY_l轴指向小车20前进方向，O_lZ_l轴由右手定则确定；坐标系O_cX_cY_cZ_c为工业相机坐标系，其中O_cX_c轴为相机成像平面的行方向，O_cY_c轴为相机成像平面的列方向，O_cZ_c轴按右手定则来确定。

本发明专利系统的目的是获得相机坐标系O_cX_cY_cZ_c与小车坐标系O_lX_lY_lZ_l之间的转换关系T_c→l，进而由某点P在相机坐标下的坐标值(x_cp,y_cp,z_cp)和转换关系T_c→l就可以计算出点P在小车坐标系下的坐标值(x_lp,y_lp,z_lp)。

Leica徕卡(电子)全站仪坐标系的建立与小车坐标系保持一致，其测量结果即为小车坐标系下的坐标值。

本发明系统设计了一种标定装置30，如图3a～3c所示。标定装置30包括水平设置的矩形标定板、支架34、抬升机构33。标定装置30安装在集装箱的堆场区域，如图2所示，占用一个集装箱的作业区。

具体来说，标定板为一水平设置的平面，其外围一圈设有标识31，即标定装置30的上表面具有标识31(阴影区)，标定板表面设有水平气泡32用以判断标定装置30的水平程度。支架34设置于标定板的下表面，即标定装置30的底部安装有四个支架34。支架34上设有抬升机构33，抬升机构33配合水平气泡32可以调节标定装置30至水平状态。

在作业开始之前，标定装置30有一个水平调整的流程，具体操作为：调节支架34上的抬升机构33，使标定装置30表面处于大致水平状态；然后再通过水平气泡32来判断标定装置30的倾斜程度，进而再调节支架34；结合水平气泡32不断调节支架34，直到标定装置30处于水平状态为止。

本发明系统的相机外参数标定原理示意图，如图4所示。标识31的物理尺寸预先已知，本系统选取标识31的四个外顶点(1，2，3，4)作为特征点。本发明系统首先将轨道吊大车10和小车20移动至标定位置，获取标定装置在工业相机40中灰度图像，然后计算4个特征点在相机坐标系下的坐标值{(x_ci,y_ci,z_ci)}(i＝1,2,3,4)，同时记录它们在小车坐标系(徕卡坐标系)下的坐标值{(x_li,y_li,z_li)}(i＝1,2,3,4)；再后利用{(x_ci,y_ci,z_ci)}(i＝1,2,3,4)和{(x_li,y_li,z_li)}(i＝1,2,3,4)计算相机坐标系与小车坐标系之间的转换关系T_c→l，最后把标定结果存储在工业计算机中，用于以后的吊具位姿信息计算。相机外参数标定算法的流程如图5所示，可以概括为以下步骤：

建立小车坐标系；

建立相机坐标系；

获取标定装置30的灰度图像；

根据灰度图像计算特征点在相机坐标系下的坐标值；

获取特征点在小车坐标系下的坐标值；

计算小车坐标系和相机坐标系的转换关系。

下面通过具体的实施例来进一步说明上述技术方案。

为了使本发明的技术手段和创作特征能够达成目的与功效,又易于了解，下面结合具体实施例示，进一步阐述。本发明应用于轨道吊自动化过程中，包括以下步骤：

相机外参数标定装置30的安装和调试。标定装置30在出厂时，必须严格保证标识31的加工精度。标定装置30安装在集装箱堆场区，占用一个集装箱安装区，如附图2中所示。安装完成后，调节支架上的抬升机构33，使得标定装置30处于大致水平。

搭建本发明的硬件系统。本例示采用分辨率为656×494的工业相机40，选择焦距为16mm的镜头，并安装滤光片，消除干扰。调整镜头参数，保 证目标物成像在成像平面的中心区域，且能够清晰成像。工业相机40的内部参数在安装前已经获知。工业计算机安装在轨道吊电气房，程序开发运行环境为WinXP+Visual Studio2010，其中还可使用第三方图像处理库OpenCV2.20。

相机外参数标定。架设Lecia徕卡坐标系(小车坐标系)，测量标识31特征点在小车坐标系下的坐标值{(x_li,y_li,z_li)}(i＝1,2,3,4)。标定算法根据标识31在工业相机中的成像，计算出标识31的特征点在相机坐标系下的坐标值{(x_ci,y_ci,z_ci)}(i＝1,2,3,4)，然后结合{(x_li,y_li,z_li)}(i＝1,2,3,4)和{(x_ci,y_ci,z_ci)}(i＝1,2,3,4)计算出小车坐标系与相机坐标系之间的转换关系T_c→l，最后把标定结果T_c→l存储在工业计算机中。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。