一种基于直线拟合的集装箱轮廓定位方法
【专利摘要】本发明涉及一种基于直线拟合的集装箱轮廓识别方法，它用安装在吊具上的摄像头采集下方集装箱相对两侧的图像，利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域，并采用图割算法分离前景与背景，得到上下锁孔的二值化轮廓图像，二值化轮廓图像设置两个矩形区域等步骤，最后利用基于双目视觉技术将C1,C2,C3,C4点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将这四个世界坐标点按逆时针或顺时针排序，四个点构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。本发明通过采用上述技术，有效地解决锁孔图像在边缘提取存在干扰点、Hough直线效果不佳等不足。
【专利说明】
一种基于直线拟合的集装箱轮廓定位方法
技术领域
[0001] 本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于直线拟合的 集装箱轮廓定位方法。
【背景技术】
[0002] 随着集装箱运输的发展，使得集装箱船舶越来越大，货物集装箱化的比例不断提 高，集装箱运量不断上升。从航次经济核算分析，通过缩短集装箱船舶的停泊时间可以降低 停泊成本，提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势，提高经 济效益。传统的手动控制抓取集装箱已经极大地影响了生产效率和装卸速度。一台桥吊把 集装箱从货轮装到拖车上，过程要求操作精度高，劳动强度大，是比较耗时的一个环节，其 中，在桥吊司机将抓具对准集装箱锁孔这一环节花费的时间占主要部分。提高装卸自动化 的程度是提高集装箱效率的有效途径，其关键内容就是减少桥吊司机对集装箱锁孔的定位 时间并且提升定位的准确性。
[0003] 为了解决集装箱锁孔定位的问题，国内外学术界、工业界提出了很多方案，其中与 本发明较为接近的技术方案包括:梁晓波，程文明（基于双目视觉的集装箱自动识别定位系 统的设计[J].西南交通大学，2015)使用安装在集装箱吊具上的高清相机采集下方集装箱 锁孔的图像，然后识别图像中吊孔的位置。这种方法存在的问题是相机需要调整到相对理 想的位置才能拍摄到清晰的锁孔图像，比较耗时，同时由于吊具锁头的制造偏差以及磨损， 近似椭圆形的吊孔坐标并不能很好地和锁头坐标重合。陈丹(集装箱图像识别与定位系统 研究与实现[D].西南交通大学，2013)将集装箱锁孔当作角点，采用基于SVM的方法提取出 集装箱的顶点集合，并且通过条件判断识别出属于集装箱顶部的顶点，以此定位集装箱轮 廓。文中将识别到的顶点作为集装箱锁孔的外侧角点，然而锁孔实际上是有一定尺寸的，无 法判断提取到的顶点就是锁孔的外侧角点，通过这种方法得到的集装箱顶部轮廓降低了识 别的准确性。发明专利（申请号：201410078600. X，名称:集装箱起重机吊具对箱引导系统） 中利用集装箱边缘直线上的点空间坐标等约束锁孔的位置，同时用闭运算和边缘提取方法 获得锁孔目标框。但是由于长时间的装卸作业以及雨水等液体的腐蚀和污染，集装箱锁孔 表面通常都会非常旧，闭运算和边缘提取对于这类集装箱并不能取得很好的效果。
[0004] 综上所述，既要实现集装箱锁孔的准确定位，又要能很好地适应新旧集装箱是集 装箱锁孔定位的难点，当前方法存在如下不足：（1)近似椭圆形的吊孔中心坐标不能准确代 表集装箱顶点的位置(2)识别出的顶点坐标不能很好代表锁孔外侧角点（3)对磨损的锁孔 效果不好、光线不足条件下识别率低等等。本发明针对这些问题提出了一种基于直线拟合 的集装箱轮廓定位方法。
【发明内容】
[0005] 为解决上述问题，本发明的目的在于提供了一种基于直线拟合的集装箱轮廓识别 方法。
[0006] 所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于包括如下步骤：
[0007] 步骤1:首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像；
[0008] 步骤2:然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定 位区域，该粗定位区域图像的高度为height，宽度为width，单位为像素；
[0009] 步骤3:对粗定位的上下锁孔区域图像采用图割算法分离前景与背景，分别得到上 下锁孔的二值化轮廓图像Ii，12;
[0010] 步骤4:对1^12分别设置两个矩形区域，其中设置上侧矩形区域ri和左侧矩形区 域r2，l2设置下侧矩形区域r 3和左侧矩形区域r4，ri和r3的高度和宽度分别为h和d，r2和r 4高 度和宽度分别为d和h，单位为像素；
[0011]步骤5:对于IlL·，只对矩形区域内的部分进行操作，分别得到4个点集Pl，p2，p 3及 P4 ;将得到的4组点集合并为3组，其中点集pl为一组gl，点集P3为一组g2，点集p 2、P4合并为一 组g3;
[0012]步骤6:使用最小二乘法对步骤5中获得的点集gk，k=l，2,3分别进行直线拟合，得 至1」3条直线11^1^+1^+〇1{=0，1^=1，2,3，根据式（1)、（2)"3)计算距离方差(7[,/ 1; = 1,2,3:
[0016]式中，（xik，yik)表示点集gk中的第i个点的坐标，A k、Bk和&表示直线lk的参数，Nk表 示点集gk中点的个数，dik表示点（xik，yik)到直线lk的垂直距离，4表示点集取中所有dik的 平均值；
[0017]步骤7:找到每个点集gk内到对应直线lk距离最大的点Pk，将该点从点集g k中排除， 再按照步骤6重新计算每个点集gk的距离方差U,3，最后计算方差值的变化率：
[0019] 式中，σΑ2表示排除点Pk之前的距离方差，Δ表示方差变化率；
[0020] 步骤8:若Δ彡T，重复步骤6、7，T表示方差变化率的阈值；否则，经过步骤7之后得 到最终的3条直线l k，k=l，2,3,求得ljPl3的的交点记为&，12和13的交点记为C 2;
[0021] 步骤9:用安装在吊具上的摄像头采集下方集装箱另一侧的图像，然后重复步骤2 ~8,获得另一侧的交点C3和C4;
[0022] 步骤10:利用基于双目视觉技术将&，(：2，(：3，(：4点的像素坐标转换为以吊具为参照 物建立的坐标系下的世界坐标，然后将这四个世界坐标点按逆时针或顺时针排序，四个点 构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。
[0023] 所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于步骤4中h、d的范围 为:0〈h〈height且0〈h〈width，0〈d〈height且0〈d〈width保证选取的4个矩形区域rk内的图像 都包含一条锁孔的边，k= 1，2，3，4。
[0024]所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于步骤5中的4个点集 取得方法如下:首先对^内的图像，从左到右按列扫描，取每列最靠上的非零像素点得到一 个点集P1，其次对^内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集p 2; 然后对r3内的图像，从左到右按列扫描，取每列最靠下的非零像素点得到点集p3,最后对r 4 内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集P4。
[0025]本发明的优点是:本发明能有效地解决锁孔图像在边缘提取存在干扰点、Hough直 线效果不佳等不足。
【附图说明】
[0026]图1为本发明实施例步骤1采集的集装箱图像；
[0027]图2a为本发明实施例步骤2得到的上锁孔粗定位区域图像；
[0028]图2b为本发明实施例步骤2得到的下锁孔粗定位区域图像；
[0029]图3a为本发明实施例经过步骤3处理的上锁孔粗定位区域图像；
[0030]图3b为本发明实施例经过步骤3处理的下锁孔粗定位区域图像；
[0031]图4a为本发明实施例图3a经过步骤4设置的矩形区域；
[0032]图4b为本发明实施例图3b经过步骤4设置的矩形区域；
[0033]图5a为本发明实施例步骤8得到的锁孔拐点图像；
[0034]图5b为本发明实施例步骤8得到的锁孔拐点图像；
[0035] 图中：1_上侧矩形区域n，2_左侧矩形区域r2,3_下侧矩形区域r3,4_左侧矩形区域 Γ4, 5_交点&，6_交点C2。
【具体实施方式】
[0036] 下面结合实施例来详细阐述本发明集装箱轮廓定位方法的【具体实施方式】。
[0037]步骤1:首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像;在本实施例 中，如图1;
[0038]步骤2:然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定 位区域，该粗定位区域图像的高度为height，宽度为width，单位为像素;在本实施例中，上 锁孔图像如附图2a、下锁孔如图2b，height = 140，width=135;所述的集装箱锁孔粗定位和 跟踪方法在申请号为201610273182.9的文件中已公开，在此不再详述；
[0039]步骤3:对粗定位的上下锁孔区域图像采用图割算法分离前景与背景，得到上下锁 孔的二值化轮廓图像11，12;在本实施例中，如附图3a、图3b;
[0040] 步骤4:对分别设置两个矩形区域，其中h设置上侧矩形区域η 1和左侧矩形 区域Γ2 2，12设置下侧矩形区域r3 3和左侧矩形区域r4 4，ri和r3高度和宽度分别为h和d，r2 和Γ4高度和宽度分别为d和h，单位为像素;要求满足:0〈h〈height且0〈h〈width，0〈d〈height 且0〈d〈width，保证选取的4个矩形区域rk内的图像都包含一条锁孔的边，k = 1，2，3，4;本实 施例中，如附图4a和图4b，h = 80，d = 60;
[0041] 步骤5:对于1^12,只对矩形区域内的部分进行操作;首先对^内的图像，从左到右 按列扫描，取每列最靠上的非零像素点得到一个点集口:，其次对^内的图像，从上到下按行 扫描，取每行最靠左的非零像素点得到点集P2;然后对r3内的图像，从左到右按列扫描，取每 列最靠下的非零像素点得到点集P3,最后对r4内的图像，从上到下按行扫描，取每行最靠左 的非零像素点得到点集P4;将得到的4组点集合并为3组，其中点集 P1为一组gl，点集p3为一 组g2，点集P2、P4合并为一组g3 ;
[0042]步骤6:使用最小二乘法对步骤5中获得的点集gk，k=l，2,3分别进行直线拟合，得 至1J3条直线lk: Akx+Bky+Ck=0，k = 1，2，3，根据式（1)、（ 2)、⑶计算距离方差fj/, =丨,2,3 :
[0046] 式中，（xik,yik)表示点集gk中的第i个点的坐标，（Ak,Bk,Ck)表示直线lk的参数，Nk 表示点集gk中点的个数，dik表示点（xik，yik)到直线lk的垂直距离，?/,表示点集gk中所有dik 的平均值；在本实施例中，1ι:〇· 1031x+0.9947y-683.1388 = 0、l2:0.0596x-0.9982y+ 1758 · 4850 = 0、13:0.9999x-0.0144y-1520.1214 = 0;
[0047] 步骤7:找到每个点集gk内到对应直线lk距离最大的点Pk，将该点从点集g k中排除， 再按照步骤6重新计算每个点集gk的距离方差€,? =U3，最后计算方差值的变化率：
[0049] 式中，4表示排除点Pk之前的距离方差，Δ表示方差的变化率；
[0050] 步骤8:若Δ多T，重复步骤6、7，T表示方差变化率的阈值;否
[0051] 则，经过
[0052] 步骤7之后得到最终的3条直线lk，k=l，2,3,求得UP13的交点& 5，12和13的交点 C2 6;在本实施例中，如附图5a，图5b，T=10%;
[0053] 步骤9:用安装在吊具上的摄像头采集下方集装箱另一侧的图像，然后重复步骤2 ~8,获得另一侧的交点C3和C4;
[0054] 步骤10:利用基于双目视觉技术将&，(：2，(：3，(：4点的像素坐标转换为以吊具为参照 物建立的坐标系下的世界坐标，然后将这四个世界坐标点按逆时针或顺时针排序，四个点 构成一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。
[0055]本发明的优点是:本发明能有效地解决锁孔图像在边缘提取存在干扰点、Hough直 线效果不佳等不足。
【主权项】
1. 一种基于直线拟合的集装箱轮廓识别方法，其特征在于包括如下步骤： 步骤1:首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像； 步骤2:然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区 域，该粗定位区域图像的高度为height，宽度为wi化h，单位为像素； 步骤3:对粗定位的上下锁孔区域图像采用图割算法分离前景与背景，分别得到上下锁 孔的二值化轮廓图像II，12; 步骤4:对Ii，l2分别设置两个矩形区域，其中Ii设置上侧矩形区域ri和左侧矩形区域η， Ι2设置下侧矩形区域η和左侧矩形区域r4，ri和η的高度和宽度分别为h和cUn和Γ4高度和 宽度分别为d和h，单位为像素； 步骤5:对于Il，l2,只对矩形区域内的部分进行操作，分别得至?μ个点集P1，P2，P3及P4;将 得到的4组点集合并为3组，其中点集P1为一组gl，点集P3为一组g2，点集P2、P4合并为一组邑3 ; 步骤6:使用最小二乘法对步骤5中获得的点集gk，k=l，2,3分别进行直线拟合，得到3条 直线lk:Akx+Bky+Ck=0，k=l，2,3,根据式（1)、（2)、（3)计算距离方差口^，k=l，2,3:式中，（xik，yik)表示点集gk中的第i个点的坐标，Ak、Bk和Ck表示直线Ik的参数，Nk表示点 集gk中点的个数，dik表示点（xik，yik)到直线Ik的垂直距离，4表示点集阱中所有cUk的平均 值； 步骤7:找到每个点集gk内到对应直线Ik距离最大的点Pk，将该点从点集gk中排除，再按 照步骤6重新计算每个点集gk的距离方差ci2，k= 1，2，3，最后计算方差值的变化率：(4) 式中，表示排除点Pk之前的距离方差，Δ表示方差变化率； 步骤8:若Δ >T，重复步骤6、7，T表示方差变化率的阔值;否则，经过步骤7之后得到最 终的3条直线lk，k=l，2,3,求得h和13的的交点记为Ci，b和13的交点记为C2; 步骤9:用安装在吊具上的摄像头采集下方集装箱另一侧的图像，然后重复步骤2~8， 获得另一侧的交点C3和C4; 步骤10:利用基于双目视觉技术将Cl, C2，C3，C4点的像素坐标转换为W吊具为参照物建 立的坐标系下的世界坐标，然后将运四个世界坐标点按逆时针或顺时针排序，四个点构成 一个四边形即为集装箱轮廓，由此实现集装箱轮廓的定位。2. 根据权利要求1所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于步骤4 中h、d的范围为：0<h<hei曲t且0<h<width，0<d<height且0<d<width保证选取的4个矩形区 域rk内的图像都包含一条锁孔的边，k=l，2,3,4。3.根据权利要求1所述的一种基于直线拟合的集装箱轮廓识别方法，其特征在于步骤5 中的4个点集取得方法如下：首先对ri内的图像，从左到右按列扫描，取每列最靠上的非零 像素点得到一个点集P1，其次对η内的图像，从上到下按行扫描，取每行最靠左的非零像素 点得到点集Ρ2;然后对η内的图像，从左到右按列扫描，取每列最靠下的非零像素点得到点 集Ρ3,最后对r4内的图像，从上到下按行扫描，取每行最靠左的非零像素点得到点集Ρ4。
【文档编号】G01B11/00GK106096606SQ201610403840
【公开日】2016年11月9日
【申请日】2016年6月7日
【发明人】高飞, 李定谢尔, 汪韬, 葛粟, 葛一粟, 徐云静, 卢书芳, 肖刚
【申请人】浙江工业大学