基于机器视觉的起重机大车方向精确定位系统及方法与流程

本发明涉及集装箱码头或堆场的集装箱起重机大车定位技术领域，尤其涉及基于机器视觉的起重机大车方向精确定位系统及方法。

背景技术：

机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标物的特征，进而识别测量目标物坐标，根据其实时坐标与理论基准坐标比较的结果，来控制设备相应机构动作，实现设备自动精确定位、对位。

集装箱码头或堆场作业时，集装箱起重机在实现大车精确定位过程中，司机通常是坐在司机室弯着腰，低着头操作设备；操作时设备本身晃动就比较大，加上一直弯腰低头，司机很容易疲劳，且容易患腰椎或颈椎损伤等方面的职业病。如果能够实现设备的自动定位将大大降低起重机司机的劳动强度。

当集装箱起重机大车上吊具中心点在大车行进方向与需对位的目标物（待吊箱或待放列为顶部集装箱或集卡车板或地面箱位标识线）的中心在地球绝对坐标系里完全重合时，起重机能准确抓放箱，此时从相机坐标系测得的目标物在大车行进方向的坐标值为理论基准坐标值，集装箱起重大车方向精确定位的目标是实现需对位的成组目标物实测值与理论基准值一致。

目前龙门式起重机大车方向定位通常是通过在堆场上安装定位用磁钉、磁条、格雷母线等通过编码的方式来实现，也有通过dgps技术实现。格雷母线、磁钉、磁条定位直线精度可保证，即装磁钉、磁条或格雷母线一侧的位置精度可以保证。但这些定位方法由于磁条、磁钉、格雷母线及配套的读写器硬件成本本身就高昂，加上磁钉、磁条预埋、格雷母线架设施工成本。总体成本十分高昂。且这些方案还存在定位精度无法满足使用要求，需其他机构辅助进一步定位。例如使用磁条、格雷母线，起重机与集卡车道跑偏夹角无法测量，而rtg跑偏量较大，夹角很大，此误差会导致rtg在该贝位作业时，起重机吊具中心点与该贝位上待吊的各列箱的中心点前后方向的偏差超过堆箱的国际标准(38mm)。对于吊具在无大车方向无防摇机构及微动机构的起重机而言，大车方向定位不准，在抓放箱时，需点动大车来消除这个定位偏差，而大车点动，意味着要牺牲效率。

桥式起重机大车方向目前尚无自动定位解决方案，基本依靠起重机司机的经验人工进行，定位经常不准，需要司机手动点动微调，进而导致吊具摇晃，影响整条船的装卸效率。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的现状，提供基于机器视觉的起重机大车方向精确定位系统及方法，其利用机器视觉技术，对需对位的分别起重机及地面(或船面上)的一组目标物的实时位置进行比较后发出定位指令，设备简单，成本低廉，维护方便，大大提高了起重机大车方向的定位效率。

本发明解决上述技术问题所采用的技术方案为：

基于机器视觉的起重机大车方向精确定位系统，包括有主控机，主控机与摄像设备以及起重机大车系统的plc控制器信号连接，摄像设备安装于起重机上，摄像设备用于拍摄需对位的成组目标物的现场实时画面，并将其传输至主控机上，成组目标物包括设置于操作场地上的目标物a以及设置于起重机上的目标物b，主控机采用图像识别软件分别获取目标物a和目标物b的实时位置，得出目标物a与目标物b之间的坐标差，再由plc控制器根据该坐标差控制大车行走机构或吊具横移机构沿大车方向横向移动相应的距离，完成起重机大车方向的精确定位。

优化的技术措施还包括：

上述的摄像设备为单目摄像设备或者双目摄像设备，双目摄像设备为双镜头的主动摄像设备或者成对的单镜头主动摄像设备。

上述的主控机与服务器信号连接，服务器用于存储存含贝位号及集装箱箱号信息的生产作业指令系统，主控机根据所述摄像设备摄取的贝位号、集装箱箱号与从所述服务器获取的正确作业的贝位号以及集装箱箱号进行对比。

上述的主控机与所述服务器之间通过数据i/o接口连接配合。

上述的成组目标物:当目标物a为铺设或者树立于大车跑道附近的标识板时，对应的目标物b为设置于小车车架或者鞍梁上指向标识板的箭头对位板；当目标物a为作业列位堆在顶部的集装箱或者地面箱位画线时，对应的目标物b吊具上架、吊具或者吊具下悬吊的集装箱。

上述的大车行走机构包括大车变频器、马达、译码器、联轴器、减速箱以及大车车轮。

上述的吊具横移机构包括吊具上架、横移滑轨或悬垂臂以及推杆，推杆连接于所述吊具上架和吊具之间。

上述的摄像设备为工业相机或者监控相机，摄像设备上设置有补光装置；主控机为工业电脑或者单片机。

基于机器视觉的起重机大车方向精确定位系统的定位方法，包括以下步骤：

步骤一、起重机接到作业指令，大车向目标贝位移动完成粗定位，使目标物进入摄像设备的拍摄范围内；

步骤二、摄像设备启动进行实时拍摄，并将含有目标物的实时画面传输至主控机；

步骤三、主控机用图像处理软件根据目标物的目标特征分别识别目标物a和目标物b的实时位置，推算出目标物中心点的实时坐标，并根据目标物a和目标物b中心点的实时坐标相对比，得出两者中心点在大车行进方向的坐标差，并将该坐标差传输至plc控制器；

步骤四、plc控制器根据所获得的坐标差控制大车行走机构或者吊具横移机构沿大车行进方向移动相应距离，完成大车方向的精确定位。

作为改进，基于机器视觉的起重机大车方向精确定位系统的定位方法，包括以下步骤：

步骤一、起重机接到作业指令，大车向目标贝位移动完成粗定位，使成组目标物进入摄像设备的拍摄范围内；

步骤二、摄像设备启动进行实时拍摄，并将含有成组目标物的实时画面传输至主控机；

步骤三、主控机通过字符识别软件识别画面中目标物a上的贝位号或者集装箱箱号，与服务器上作业指令中正确的贝位号或者集装箱箱号进行对比，错误操作停止，正确操作继续；

步骤四、主控机用图像处理软件根据目标物的目标特征分别识别目标物a和目标物b的实时位置，推算出目标物中心点的实时坐标，并根据目标物a和目标物b中心点的实时坐标相对比，得出两者中心点在大车行进方向的坐标差，并将该坐标差传输至plc控制器；

步骤五、plc控制器根据所获得的坐标差控制大车行走机构或者吊具横移机构进行位置调整，调整后重复步骤四，得到新的坐标差；

步骤六、将步骤五中的坐标差与设定的误差允许值进行比较，大于误差允许值则重复步骤五，小于或者等于误差允许值则停止循环，完成起重机大车方向精确定位。

本发明的基于机器视觉的起重机大车方向精确定位系统，利用机器视觉技术，由摄像设备拍摄实时图像并传输至主控机，由主控机内安装的图像识别软件根据目标特征获取成组目标物的实时位置，对比目标物a与和目标物b的实时位置，得出目标物a与目标物b之间的坐标差，plc控制器根据坐标差控制大车行走机构或者吊具横移机构完成精确定位；其设备简单，成本低廉，维护方便，能够大大提高了起重机大车方向的定位效率。

另外，由主控机内安装的数字识别软件对目标物上的贝位号、集装箱箱号进行识别，将识别得到的贝位号、集装箱箱号与从服务器中获得的正确的贝位号、集装箱箱号进行对比验证，确认正确后再进行后续操作；通过贝位号、集装箱箱号的验证，保证了操作的正确性。

附图说明

图1是本发明的框架示意图；

图2是本发明的定位系统完成起重机大车方向定位的流程图；

图3是本发明的装置安装示意图；

图4是图3中i部放大后的左视图；

图5是图3的俯视图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

其中的附图标记为：目标物a、目标物b、主控机1、摄像设备2、补光装置21、plc控制器3、大车行走机构4、集装箱5、起重机大梁6、服务器7、数据i/o接口71、吊具横移机构8、吊具上架81、悬垂臂82、推杆83、吊具84。

实施例一、基于机器视觉的起重机大车方向精确定位系统，包括有主控机1，主控机1与摄像设备2以及起重机大车系统的plc控制器3信号连接，摄像设备2安装于起重机上，摄像设备2用于拍摄成组目标物的现场实时画面，并将其传输至主控机1上，成组目标物包括设置于操作场地上的目标物a以及设置于起重机上的目标物b，主控机1采用图像识别软件分别获取目标物a和目标物b的实时位置，得出目标物a与目标物b之间的坐标差，再由plc控制器3根据该坐标差控制大车行走机构4或吊具横移机构8沿大车方向横向移动相应的距离，完成起重机大车方向的精确定位。

实施例中，摄像设备2为单目摄像设备或者双目摄像设备，双目摄像设备为双镜头的主动摄像设备或者成对的单镜头主动摄像设备。

摄像设备2可以安装在起重机大梁6上，起重机的鞍梁上，也可以安装在小车车架上，只要保证摄像设备2能够拍摄到目标物即可。

基于机器视觉的起重机大车方向精确定位系统的定位方法，包括以下步骤：

步骤一、起重机接到作业指令，大车向目标贝位移动完成粗定位，使目标物进入摄像设备2的拍摄范围内；

步骤二、摄像设备2启动进行实时拍摄，并将含有目标物的实时画面传输至主控机1；

步骤三、主控机1用图像处理软件根据目标物的目标特征分别识别目标物a和目标物b，并测量得到二者的实时位置，推算出目标物中心点的实时坐标，并根据目标物a和目标物b中心点的实时坐标相对比，得出两者中心点在大车行进方向的坐标差，并将该坐标差传输至plc控制器3；

步骤四、plc控制器3根据所获得的坐标差控制大车行走机构4或者吊具横移机构8沿大车行进方向移动相应距离，完成大车方向的精确定位。

实施例中，大车行走机构4包括大车变频器、马达、译码器、联轴器、减速箱以及大车车轮。

实施例中，吊具横移机构8包括吊具上架81、横移滑轨或悬垂臂82以及推杆83，推杆83连接于所述吊具上架81和吊具84之间。悬垂臂82为连杆或者吊链，通过横移滑轨或悬垂臂82的连接，使吊具84与吊具上架81之间能够完成横向移动，移动时通过推杆83的作用完成。

由于大车的移动会引起吊具的晃动，因此在小范围内移动时，如起重机中安装有吊具横移机构8，尽可能选择吊具横移机构8完成精确定位。

本起重机大车方向精确定位系统，其目标物成组出现，通过对比目标物a与目标物b中心点实时坐标完成起重机大车方向的精确定位。

所述的成组目标物:当目标物a为铺设或者树立于大车跑道附近的标识板时，对应的目标物b为设置于小车车架或者鞍梁上指向标识板的箭头对位板；当目标物a为作业列位堆在顶部的集装箱或者地面箱位画线(作业列位上未堆放集装箱)时，对应的目标物b吊具上架81、吊具84或者吊具84下悬吊的集装箱。

标志板为矩形结构，矩形的标志板由白色背景板以及黑色的贝位号构成。

标识板可采用其它形式，如由沿对角线分开的白色三角形和黑色三角形构成；标识板也可以采用外方内圆的结构，内部的圆内切于外部的正方形，内部的圆为黑色，外部的正方形为白色；或者将内外的黑白色相调换；标识板还可以采用外圆内方的结构，外部的圆外切于内部的正方形，外部的圆为黑色，内部的正方形为白色；或者将内外的黑白色相调换；标识板亦可以采用由黑白间隔的圆形或者四边形图案、条形码及二维码等易于进行图像识别的图案构成。

标识板采用黑白色图块构成，反差明显，易于识别，能提高摄像设备2获取的效率。标识板只要易于摄像设备2识别即可，图案的构成可以自行设计、选择。

无论以标识板作为对比目标物，还是以作业列位作为对比目标物，虽然目标物不同，但是其原理和定位方法相同。

由于目标物均为标准尺寸(标志板人为设置，其尺寸规格可自行设置；而集装箱的尺寸规格则有国际标准；吊具84、吊具上架81的尺寸规格也是一定的)，所以目标物上目标特征与目标物的中心点距离存在着一一对应关系，测得目标特征坐标值，即可推算出目标物中心的坐标值。

在具体实施过程中，标志板以及作业列位可以同时作为对比目标物，两者相互辅助、应证。当以标志板为主要对比目标物时，作业列位上的集装箱或者地面箱位画线即为辅助对比目标物，相反当作业列位上的集装箱或者地面箱位画线为主要目标物时，标志板即为辅助对比目标物。

实施例中，摄像设备2为工业相机或者监控相机，摄像设备2上设置有补光装置21；主控机1为工业电脑或者单片机。

实施例二、在上述起重机大车精确定位系统的基础上，进行改进和拓展：

实施例中，主控机1与服务器7信号连接，服务器7用于存储存含贝位号及集装箱箱号信息的生产作业指令系统，主控机1根据所述摄像设备2摄取的贝位号、集装箱箱号与从所述服务器7获取的正确作业的贝位号以及集装箱箱号进行对比。

实施例中，主控机1与所述服务器7之间通过数据i/o接口71连接配合。

如图2所示的流程图，基于机器视觉的起重机大车方向精确定位系统的定位方法，包括以下步骤：

步骤一、起重机接到作业指令，大车向目标贝位移动完成粗定位，使目标物进入摄像设备2的拍摄范围内；

步骤二、摄像设备2启动进行实时拍摄，并将含有目标物的实时画面传输至主控机1；

步骤三、主控机1通过字符识别软件识别画面中目标物a上的贝位号或者集装箱箱号，与服务器7上作业指令中正确的贝位号或者集装箱箱号进行对比，错误操作停止，正确操作继续；

步骤四、主控机1用图像处理软件根据目标物的目标特征分别识别目标物a和目标物b的实时位置，推算出目标物中心点的实时坐标，并根据目标物a和目标物b中心点的实时坐标相对比，得出两者中心点在大车行进方向的坐标差，并将该坐标差传输至plc控制器3；

步骤五、plc控制器3根据所获得的坐标差控制大车行走机构4或者吊具横移机构8进行调整，调整后重复步骤四，得到新的坐标差；

步骤六、将步骤五中的坐标差与设定的误差允许值进行比较，大于误差允许值则重复步骤五，小于或者等于误差允许值则停止循环，完成起重机大车方向精确定位。

本实施例中的定位方法在完成精确定位前，增加了对贝位号、集装箱箱号的对比确认过程，保证了抓放集装箱5操作的准确性，避免了误操作。

本起重机大车方向精确定位系统不仅适用于龙门式起重机，也适用于桥式起重机。应用于桥式起重机时，目标物a可以铺设或树立于船舷附近。

本发明的最佳实施例已阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。