专利名称：集装箱起重机高效装卸作业自动控制系统的制作方法
技术领域：
本发明涉及集装箱起重机的作业生产技术领域，特别是对起重机吊具的控制技术领域。
背景技术：
随着全球经济的发展，集装箱运输在全球范围内迅速增长，集装箱起重运输机械在现代物流、国民生产各领域中发挥着极其重要的作用。集装箱起重机装卸过程中，调整吊具到合适位置以便能抓取集装箱这一过程是集装箱起重机驾驶员最费时最累的过程。新的驾驶员往往要多次调整起重机大车、小车，才能使吊具抓住集装箱。即使熟练的司机也需要几次调整吊具来抓取集装箱。在这一过程中，驾驶员是从起重机驾驶室低头向下看。这很容易使驾驶员产生疲劳。另一方面，随着集装箱运输业的快速发展，集装箱装卸作业的量也越来越大。尤其在海运港口等一些繁忙的地方，要求集装箱能高效的完成装卸作业。按照传统的集装箱起重机驾驶员来调整吊具与集装箱的相对位置，这就很难达到高效准确的要求。随着变频传动技术及计算机控制技术的发展，大量新技术、新产品及新工艺应用于现代起重机，使起重机朝着机电一体化、信息智能化、大型化节能化、高效化的方向发展。集装箱起重机驾驶操作、集装箱各种数据的管理相对于传统起重机及管理模式已经发生了巨大的改变，对集装箱起重机控制系统提出了更高的技术要求。
为了提高集装箱装卸的工作效率，一些先进的技术被不断被采用。利用有限元等先进的起重机金属结构设计方法合理改善起重机机构，实现起重机的轻量化。利用交流变频技术，实现了起重机的速度连续控制。一些自动控制理论及技术也用于起重机上。这些技术都取得了很好的效果。随着科学技术的不断发展，一些新兴的控制方式也逐步应用到了集装箱起重机的自动装卸作业上。日本提出了一种在吊具上安装超声波检测装置，用来探测吊具与集装箱的相对位置。在国内，也有高校采用机器视觉的方式来处理双集装箱的定位问题，采用图像处理方法，定位两个集装箱的相对偏差，来控制集装箱吊具运动，这也取得了不错的效果。
随着机器视觉的理论不断的成熟，以及相关配套的硬件设备、软件业日益丰富，机器视觉技术在越来越多的领域得到了运用。传统的集装箱起重机驾驶员容易产生疲劳并且效率不高，采用机器视觉的先进智能技术，实现集装箱的自动装卸是起重机发展的一个前沿课题。发明内容
本发明的目的是利用机器视觉和图像识别定位技术，提出一种集装箱起重机高效装卸作业自动控制系统，以提高集装箱起重机作业的工作效率。
本发明包括大车、大车运行轨道、小车运行轨道，起重机大车可移动式配合在大车运行轨道上，小车运行轨道固定在起重机大车上方，在所述小车运行轨道上可移动式配合小车，在小车下方通过防摇钢丝绳连接吊具；其特征在于还包括大车运行轨迹条码定位器、小车运行轨迹条码定位器和吊具起升运行轨迹条码定位器，在所述吊具的四角分别固定安装CCD相机，所述CCD相机具有获取吊具所在的三维空间位置和获取被装卸集装箱所在的三维空间位置图像的机构，CCD相机具有判断吊具与被装卸集装箱距离的模块，CCD相机具有将吊具与被装卸集装箱距离的信号进行无线信号发送的装置；与所述无线信号发送的装置配合的无线信号接收装置连接在一 PLC控制中心的输入端，所述PLC控制中心具有控制大车运行的输出模块、控制小车运行的输出模块、控制吊具起升运行的输出模块，所述PLC 控制中心的输出端设置大车运行控制机构输出端、小车运行运行控制机构输出端和吊具起升运行控制机构输出端。
本发明工作原理是吊具上安装的CCD摄像头，实时采集吊具下方集装箱的图像信息，将被摄取目标转换成图像信号，传送给专用的图像处理系统。使用计算机图像处理技术，根据像素分布和亮度、颜色等信息，转变成数字化信号，对图像进行分割、提取集装箱图像中的角孔及边线，图像系统对这些信号进行各种运算来抽取目标的特征，由于集装箱大小尺寸已知，可以实现高准确度的匹配，主要是通过上述几步得到数据，利用双目测距原理算出起重机吊具和被装卸集装箱的相对位置值，并将得到的结果传送给起重机控制系统。 同时，建立集装箱货场信息数据库，记录各个集装箱的三维坐标位置值。用WINCC编写工控机控制人机交互界面。通过工控机也可以远程控制起重机的运动。起重机控制系统接受到控制信号后，在条码定位系统的位置闭环反馈作用下，精确运动到给定位置，实现集装箱的高效自动装卸作业。
本发明除了传统的联动台控制、遥控控制外，增加了工控机控制模式以及基于机器视觉的集装箱定位自动装卸控制模式。本系统采用机器视觉、图像识别定位技术，计算起重机吊具与被装卸集装箱的三维相对位置值，将PLC控制中心计算的结果传送给大车运行控制机构、小车运行运行控制机构和吊具起升运行控制机构，各控制机构根据接收到的数据信息自动驱动起重机大车运行机构、小车运行机构以及起升机构运动。本发明大车运行轨迹条码定位器、小车运行轨迹条码定位器和吊具起升运行轨迹条码定位器实时反馈吊具和被装卸集装箱的三维位置坐标，形成一个闭环反馈控制系统，减轻集装箱起重机驾驶员的劳动强度，从而实现集装箱起重机自动装卸高效作业的目的。
大车运行控制机构、小车运行运行控制机构和吊具起升运行控制机构精确控制吊具上的CCD相机做平面运动，同时可以通过借助大车运行轨迹条码定位器、小车运行轨迹条码定位器和吊具起升运行轨迹条码定位器测量CXD相机在平面中的运动值，再利用已知相机的运动信息对CCD相机进行标定。
本发明在传统的起重机货场中，在起重机大、小车轨道附近添加了条码定位系统， 通过高速计数器模块就可以精确定位起重机大车及小车的实际位置。一方面，吊具起升运行轨迹条码定位器可以精确测量吊具的运动位置，为CXD相机的摄像机内部参数标定提供重要的保障。另一方面，当起重机内部程序自动控制吊具按设定参数位置运动时，条码定位系统就形成了一个重要的位置反馈，使起重机吊具能够精确的运动到指定的位置。
另，本发明PLC控制中心的所述判断吊具与被装卸集装箱距离的模块包括先采用基于CCD相机的主动视觉的方法标定相机后获得CCD相机内部参数，然后用标定后的CCD 相机采集集装箱的图像，对采集到的图像进行预处理、基于RGB值、灰度值以及直线检测方法的图像分割，再从获取到的图像中获得集装箱角孔的信息，然后进行角孔匹配、采用双目视觉原理计算起重机吊具与集装箱的相对位置值的子模块。
受控的吊具上的CXD相机随吊具做平面运动，同时可以通过借助大车运行轨迹条码定位器、小车运行轨迹条码定位器和吊具起升运行轨迹条码定位器测量CXD相机在平面中的运动值，再利用已知相机的运动信息对相机进行标定。该方法不需要标定物，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单， 往往能够获得线性解，故鲁棒性较高。
本发明所述大车运行轨迹条码定位器包括第一绝对值条码和用于读取第一绝对值条码的第一高速计数模块，所述第一绝对值条码固定在大车运行轨道一侧，且平行于大车运行轨道，所述第一高速计数模块固定在大车的下方。
本发明所述小车运行轨迹条码定位器包括第二对值条码和用于读取第二绝对值条码的第二高速计数模块，所述第二绝对值条码固定在小车运行轨道一侧，且平行于小车运行轨道，所述第二高速计数模块固定在小车上。
图I为本发明装置的整体结构原理图。
图2为本发明中机器视觉处理的原理步骤图。
图3为本发明的组成框架图。
图4为本发明集装箱吊具控制定位原理图。
具体实施方式
以下，参照附图详细说明本发明的集装箱起重机高效作业自动控制系统的具体实施方法。
如图I所示，本发明的整体构成有起重机大车13、大车运行轨道2、小车运行轨道 I，起重机大车13在大车运行控制机构的控制下沿着大车轨道2作直线运动，小车运行轨道 I固定在起重机大车13上方，在小车运行轨道I上配合小车10，小车10在小车运行运行控制机构的控制下沿着小车运行轨道I在集装箱起重机主梁上作直线运动，在小车10下方通过防摇钢丝绳8吊具7，防摇钢丝绳8连接在吊具起升运行控制机构的输出端。
在大车运行轨道2的一侧，固定有平行于大车运行轨道2的第一绝对值条码3，在大车下方安装用于读取第一绝对值条码3数值的第一高速计数模块4。在小车运行轨道I 的一侧，固定有平行于小车运行轨道I的第二绝对值条码12，在小车10上安装用于读取第二绝对值条码12数值的第二高速计数模块11。吊具7在大、小车轨道方向上能到达很高的水平位置的定位精度。
在吊具7的四角分别固定安装一台C⑶相机5，四台CXD相机5分别具有获取吊具 7所在的实时三维空间位置和获取被装卸集装箱6所在的实时三维空间位置图像的机构， 并具有判断吊具与被装卸集装箱距离的模块，CCD相机还具有将吊具与被装卸集装箱距离的信号进行无线信号发送的装置。
在PLC控制中心9上设置有与上述无线信号发送的装置配合的无线信号接收装置，无线信号接收装置将接收到的信息连接在PLC控制中心9的输入端。
PLC控制中心9可安装在小车10上，PLC控制中心9具有控制大车运行的输出模块、控制小车运行的输出模块、控制吊具起升运行的输出模块，PLC控制中心9的输出端设置大车运行控制机构输出端、小车运行运行控制机构输出端和吊具起升运行控制机构输出端。
如图2所示，C⑶相机5具有机器视觉模块、图像分割模块、特征匹配模块和定位计算模块；所述图像分割模块设有RGB值特征提取模块、灰度值特征提取模块和直线特征提取模块；所述图像分割模块设有角孔尺寸匹配模块、边线位置匹配模块和集装箱尺寸匹配模块；所述定位计算模块设有相机参数标定模块、逻辑位置判断模块和双目视觉定位模块。
通过四台C⑶相机5来获取的被装卸集装箱6的照片信息，通过相机的标定、图像的预处理、目标分割、特征点匹配、目标定位计算等步骤，计算出吊具7与被装卸集装箱6的相对位置。然后将计算结果通过网络通讯的方式传送到PLC控制中心9，控制系统控制起重机大车运行机构、小车运行机构、起升机构等运动，完成自动装卸集装箱作业。
本发明中机器视觉处理的原理步骤如图2所示该部分主要包括图像特征分割、 特征点匹配以及定位计算三部分。图像分割是从相机获取到的图像中分割出重要的特征点。由于起重机吊具在装卸过程中，是吊具的四个旋锁插入到集装箱的四个角孔中，并且角孔在所成的像中，灰度值很低。因此以集装箱角孔为主要特征。同时，由于集装箱是长方体， 有较多平行的边线，所以集装箱的边线也是重要的特征。在实施过程中，充分考虑了集装箱货场中集装箱的颜色与背景颜色相差较大的实际情况。通过实验测出，集装箱图像对红色比较敏感。分析图像的的R值，将集装箱与背景初步分开，得到图像J1。然后采用阀值法， 从J1图像中提取灰度值较低的部分。但天气的变化以及集装箱之间的遮挡等因素会使得集装箱角孔的灰度值发生变化，采用多门限的方法，可以解决这一问题。对于得到的低灰度值图像J2，然后根据集装箱角孔的形状进行筛选，踢出不符合角孔的尺寸及形状的部分，最终从图像中分割出集装箱角孔。采用Hough变换，从J1中提取集装箱的边线，做为辅助判断条件。根据提取出的特征，根据角孔尺寸大小、集装箱边线的位置关系、集装箱整体尺寸进行两个相机中图像的特征匹配。本系统是采用基于主动视觉的方法的相机标定。起重机精确控制吊具上相机做平面运动，同时可以通过借助轨道附近的条码定位系统测量相机在平面中的运动值，再利用已知相机的运动信息对相机进行标定。定位起重机吊具与被装卸集装箱的相对位置是采用双目视觉定位原理，通过两个相机中匹配的特征点，以及相机标定的结果来计算集装箱角孔与吊具的相对位置。
图3是本发明整个系统组成框架图。在技术层主要通过机器视觉、图像处理的技术来实现被装卸集装箱的定位，同时，通过起重机“PLC+变频器”控制系统在条码定位系统的闭环反馈作用下，实现起重机吊具的精确定位。在数据层，通过建立货场集装箱数据库， 存储集装箱的三维坐标位置及箱号等信息。控制系统可以直接从数据库中读取被装卸集装箱的位置，控制大、小车运行机构及起升机构运动到相应的位置，完成自动抓箱工作。另一方面，当某个集装箱从吊具上放在货场的某个位置时，系统通过条码定位系统，读取到该箱子的三维坐标位置，并实时的把数据写入到数据库中。系统采用WINCC编写了工控机场景交互界面，提供一个人性化、操作方便的界面，实现人机交互。综合上面的各种技术，最终形成集装箱起重机高效作业自动控制系统，该系统由条码定位系统作为闭环反馈控制，实现吊具三维位置的精确运动。同时，系统采用机器视觉、图像处理的方法，定位集装箱吊具与被装卸集装箱的相对位置，将相对位置值传递给起重机控制系统，也可以通过工控机给起重机控制系统发送集装箱三维位置值，起重机控制系统根据接收到的运动位置值，在条码定位系统的反馈下，完成集装箱的自动装卸。
图4为本发明集装箱吊具控制定位原理图。起重机控制系统以两种方式接收到运动位置信息①工控机通过网络通讯的方式。②机器视觉系统传送给控制系统的相对位置值。这也是本系统的两种主要控制模式。起重机控制系统接收到运动信号后，PLC内部程序自动计算出大、小车运行机构及起升机构的运动位置值，并给变频器相应的速度信号，使各个机构朝给定值运动。条码定位系统实时检测起重机大、小车机构的位置值，并将测量结果反馈给起重机控制系统。控制系统根据测量值与给定值的误差，来调整各个机构的运动， 从而使各个机构准确运动到给定的位置。这是集装箱起重机高效作业自动控制系统的重要组成部分。
权利要求
1.集装箱起重机高效装卸作业自动控制系统，包括大车、大车运行轨道、小车运行轨道，起重机大车可移动式配合在大车运行轨道上，小车运行轨道固定在起重机大车上方，在所述小车运行轨道上可移动式配合小车，在小车下方通过防摇钢丝绳连接吊具；其特征在于还包括大车运行轨迹条码定位器、小车运行轨迹条码定位器和吊具起升运行轨迹条码定位器，在所述吊具的四角分别固定安装CCD相机，所述CCD相机具有获取吊具所在的三维空间位置和获取被装卸集装箱所在的三维空间位置图像的机构，CCD相机具有判断吊具与被装卸集装箱距离的模块，CCD相机具有将吊具与被装卸集装箱距离的信号进行无线信号发送的装置；与所述无线信号发送的装置配合的无线信号接收装置连接在一 PLC控制中心的输入端，所述PLC控制中心具有控制大车运行的输出模块、控制小车运行的输出模块、控制吊具起升运行的输出模块，所述PLC控制中心的输出端设置大车运行控制机构输出端、小车运行运行控制机构输出端和吊具起升运行控制机构输出端。
2.根据权利要求I所述的集装箱起重机高效装卸作业自动控制系统，其特征在于PLC控制中心的所述判断吊具与被装卸集装箱距离的模块包括先采用基于CCD相机的主动视觉的方法标定相机后获得CCD相机内部参数，然后用标定后的CCD相机采集集装箱的图像，对采集到的图像进行预处理、基于RGB值、灰度值以及直线检测方法的图像分割，再从获取到的图像中获得集装箱角孔的信息，然后进行角孔匹配、采用双目视觉原理计算起重机吊具与集装箱的相对位置值的子模块。
3.根据权利要求I或2所述的集装箱起重机高效装卸作业自动控制系统，其特征在于所述大车运行轨迹条码定位器包括第一绝对值条码和用于读取第一绝对值条码的第一高速计数模块，所述第一绝对值条码固定在大车运行轨道一侧，且平行于大车运行轨道，所述第一高速计数模块固定在大车的下方。
4.根据权利要求I或2所述的集装箱起重机高效装卸作业自动控制系统，其特征在于所述小车运行轨迹条码定位器包括第二对值条码和用于读取第二绝对值条码的第二高速计数模块，所述第二绝对值条码固定在小车运行轨道一侧，且平行于小车运行轨道，所述第二高速计数模块固定在小车上。
全文摘要
集装箱起重机高效装卸作业自动控制系统，涉及集装箱起重机的作业生产技术领域，利用机器视觉、图像识别定位技术定位集装箱与吊具的相对位置，将图像处理结果传递给起重机控制系统，通过在起重机大小车轨道附件安装条码定位系统，准确定位起重机吊具的位置，形成位置闭环反馈控制系统，实现集装箱起重机图像识别定位方法及装置、集装箱起重机吊具运动闭环控制方法、起重机吊具自动抓取集装箱方法及装置。
文档编号B66C13/48GK102923578SQ20121045219
公开日2013年2月13日 申请日期2012年11月13日 优先权日2012年11月13日
发明者胡安星, 徐宝华, 朱新华 申请人:扬州华泰特种设备有限公司