一种集装箱锁孔粗定位和跟踪方法
【专利摘要】本发明公开了一种集装箱锁孔粗定位和跟踪方法，该方法包括使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，手动提取部分集装箱图像中的正负样本，对正负样本图像归一化，使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，计算近似锁孔图像区域的面积，并将图像按照面积大小排序，计算图像区域，根据锁孔图像区域，更新检测区域，重复上述步骤实现集装箱锁孔位置的跟踪检测。本发明的优点是：通过采用本发明限定的方法，用于集装箱锁孔的粗定位和跟踪，可以快速识别和跟踪锁孔的位置便于小车司机随时调整吊具的位置，同时准确地保留锁孔完整的图像，解决环境中干扰的光线、干扰点以及Hough直线效果不佳等不足。
【专利说明】
-种集装箱锁孔粗定位和跟踪方法
技术领域
[0001] 本发明属于计算机视觉技术和图像处理技术领域，具体设及一种集装箱锁孔粗定 位和跟踪方法。
【背景技术】
[0002] 自我国加入WTOW来，出口贸易量快速增长，集装箱运输作为国际通用运输方式， 需求量呈急剧上升趋势，国际贸易逐渐进入了集装箱时代。集装箱运输商品具有成本低、安 全性高、运输速度快、便于管理等优点，因而在国际贸易中得到了普遍应用。在如今的运输 贸易中，由于产品包装材料及技术的快速发展，大部分商品几乎都已经开始采用集装箱运 输，而集装箱在贸易运输中的比重也得到了明显提升。随着自动化运输系统的开发及应用， 集装箱运输环节效率得到大大提高，但装卸作业部分仍处于人工操作阶段，而贸易的不断 增长对集装箱装卸作业的效率提出更高要求。在装卸作业中，起吊阶段的锁孔与吊具能否 快速高效地对准连接往往起着至关重要的作用。如何实现锁孔与吊具的快速高效对准连 接，关键是快速准确的对锁孔进行定位。
[0003] 为了解决集装箱定位的问题，国内外学术界、工业界提出了很多方案，其中与本发 明较为接近的技术方案包括:马蕾(基于双目立体视觉的集装箱识别与定位技术研究[D]. 西南交通大学，2013)将原始图片经过平均灰度和中值滤波处理得到质量较好的图片，再使 用化nny算子边缘检测算法将图像进行分割，提取部分感兴趣的区域。由此可知不同的图片 需要应用不同预处理方法，得到的效果也不好控制。然后该文使用了模板匹配算法从图中 获得集装箱的区域，再用化U曲变换提取圆形锁孔。由此可知，模板匹配算法运行速度较慢 无疑是降低了自动化效率，同时由于相机角度的问题锁孔并不会呈圆形，使用化U曲变换检 测圆并不能很好的识别锁孔。谢下龙(基于计算机视觉的集装箱定位系统的研究[D].天津 科技大学，2006)通过将摄像机拍摄的图像轮廓化再采用最小二乘法对轮廓边线进行拟合， 计算出轮廓对象的尺寸，对目标对象进行识别、定位。但是由于光照和噪声的影响，实际轮 廓并不会运么理想。而且该文采用的是模拟环境，并不能真实反映集装箱的具体情况，更接 近于理论研究。发明专利（申请号：201510447232.6，名称:集装箱锁孔自动辨识定位方法和 系统）中提出利用双目摄像机采集图像，和摄像系统相连的锁孔识别模块从图像中识别出 锁孔所在位置，再利用图像坐标获得模块获取锁孔的图像坐标，设备坐标转换模块和图像 坐标获得模块连接，将图像坐标转换成抓取设备的设备坐标，控制器基于设备坐标对抓取 设备进行定位操作，但是该方法更多的是对集装箱锁孔定位系统的描述，在锁孔识别模块 上并没有说明采用的方法，所W最后得到的效果难W评估。发明专利（申请号： 201210035473.6,名称：一种港口集装箱定位装置和方法）公开了一种港口集装箱定位装 置，在载具的水平面上同向相互平行放置两台激光测长器，利用同步连续发射激光脉冲串 获得垂直于吊具的集装箱卡车位置偏差信息，计算出在集装箱卡车上的第一激光测长器和 第二激光测长器的激光照射点和定位线的垂线的最小值，让显示屏显示集装箱卡车距定位 线最小距离值，指导集装箱卡车司机进行前进、后退、左转、右转或者停止的指令。运种集装 箱激光定位装置由于是单点扫描，获得的集装箱定位信息仅仅是几个给定着箱点位置的垂 直距离，检测点过少，精度不高，因此不能应用于自动化装卸，同时还需要卡车司机的介入， 无疑为装卸增加了难度。
[0004] 综上所述，在实现集装箱定位时，现有方法无法存在如下不足：（1)用角点代表锁 孔降低识别准确性(2)对磨损的锁孔效果不好(3)光线不足条件下识别率低等等。本发明针 对运些问题提出了一种基集装箱锁孔粗定位和跟踪方法。
【发明内容】
[0005] 为解决上述问题，本发明提供了一种集装箱锁孔粗定位和跟踪方法。
[0006] 所述的一种集装箱锁孔粗定位和跟踪方法，其特征在于具体方法如下：
[0007] 步骤1:使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，该图 像的宽度为Wo,高度为化，单位为像素，每张图片只包含集装箱的一侧，即只包含2个锁孔； [000引步骤2:手动提取部分集装箱图像中的锁孔区域作为正样本POSiQ = I, 2，.''N)，图 像其他区域为负样本negパj = l，2，…M)，正负样本图像没有重合部分，N、M表示正负样本的 数量；
[0009] 步骤3:首先对正负样本图像归一化到高度为height,宽度为width,然后提取其 HOG特征，最后使用SVM分类器训练HOG特征；
[0010] 步骤4:初始化检测区域C，（xc，y。)表示检测区域C左上角的坐标，W。和H。分别表示 该区域的宽度和高度，Xc = O, yc = 0 ,Wc=Wo,出=化；
[0011] 步骤5:使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，将检测区 域C所对应的子图像放入HOG描述子的多尺度检测函数中进行处理，得到近似锁孔图像区域 Ra(a=l，2,…n)，n表示检测到的近似锁孔图像区域的数量；
[0012] 步骤6:计算近似锁孔图像区域的面积，并将图像按照面积大小排序，获得面积最 大的前3个近似锁孔图像区域馬胃1，^=1，'2, 3;
[001引步骤7:计算图像区域巧，心1，2, 3,两两之间中屯、点在垂直方向上的距离和连 线的角度：
[0014]
[0015] (2)
[001引步骤8:根据步骤7得到的锁孔图像区域化，化，更新检测区域C:
[0019] Xc=min(xi,X2)-max(wi,W2)/2 (3)
[0020] yc=min(yi,y2)-max 化 i,h2)/2 (4)
[0021] Wc=max (xi+wi, X2+W2) -min (xi, X2) +max (wi, W2) (5)
[0022] 出=max(yi+hi,y2+h2)-min(yi,y2)+max(hi,h2) (6)
[00Z3]式中，（xi，yi)表示锁孔图像区域化左上角坐标，Wi和h康示锁孔图像区域Ri的宽度 和高度，（X2，y2)表示锁孔图像区域R2左上角坐标，W2和h2表示锁孔图像区域R2的宽度和高 度，min和max分别表不求最小值和最大值；
[0024] 步骤9:重复步骤5~8，则可实现集装箱锁孔位置的跟踪检测；否则，直接退出，最 后得到的Ri和化即为最终的集装箱锁孔位置。
[0025] 所述的一种集装箱锁孔粗定位和跟踪方法:其特征在于步骤3)中使用SVM分类器 训练HOG特征的具体步骤如下：
[0026] 步骤3.1:将正负样本图像划分成多个cell(p*p像素），统计每个cell的梯度方向 直方图，然后把q*q个cell组合成更大的block ,block内所有cell的特征为该block的HOG特 征；
[0027] 步骤3.2:设置SVM分类器，用获取的正负样本的HOG特征向量进行训练，得到分类 器的参数并W此设置册G描述子。
[0028] 本发明的优点是:通过采用本发明限定的方法，用于集装箱锁孔的粗定位和跟踪， 可W快速识别和跟踪锁孔的位置便于小车司机随时调整吊具的位置，同时准确地保留锁孔 完整的图像，解决环境中干扰的光线、干扰点W及化U曲直线效果不佳等不足。
【附图说明】
[0029] 图1为本发明实施例步骤1采集的集装箱图像；
[0030] 图2为本发明实施例步骤2提取的正负样本图像；
[0031] 图3为本发明实施例步骤4初始化的检测区域图像；
[0032] 图4为本发明实施例步骤5得到的近似锁孔图像；
[0033] 图5为本发明实施例步骤6排序后的近似锁孔图像；
[0034] 图6为本发明实施例步骤7得到的粗定位上锁孔图像和下锁孔图像；
[0035] 图7为本发明实施例步骤8更新的检测区域图像。
[0036] 图中：1-检测区域C，2-近似锁孔图像区域A，3-近似锁孔图像区域B，4-近似锁孔图 像区域C，5-集装箱锁孔A，6-集装箱锁孔B，7-更新后的检测区域。
【具体实施方式】
[0037] 下面结合实施例来详细阐述本发明基于计算机视觉的集装箱锁孔粗定位方法的
【具体实施方式】。
[003引如图1-7所示，本发明的一种集装箱锁孔粗定位和跟踪方法，具体方法如下：
[0039]步骤1:使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，该图 像的宽度为Wo,高度为化，单位为像素，每张图片只包含集装箱的一侧，即只包含2个锁孔;在 本实施例中，如附图1，Wo = 3 264，Ho = 2448;
[0040]步骤2:手动提取部分集装箱图像中的锁孔区域作为正样本POSiQ = I, 2，'''N)，图 像其他区域为负样本negj(j = l，2,…M)，N、M表示正负样本的数量，正负样本图像没有重合 部分;在本实施例中，如附图2，N=173，M=1299;
[0041 ]步骤3:首先对正负样本图像归一化到高度height,宽度为width,然后提取其HOG 特征，最后使用SVM分类器训练HOG特征，具体步骤如下：
[0042] 步骤3.1:将正负样本图像划分成多个cell(p*p像素），统计每个cell的梯度方向 直方图，然后把q*q个cell组合成更大的block ,block内所有cell的特征为该block的HOG特 征;在本实施例中，p = 3，q = 2;
[0043] 步骤3.2:设置SVM分类器，用获取的正负样本的HOG特征向量进行训练，得到分类 器的参数并W此设置HOG描述子;在本实施例中，heig = h3t0，width = 30;
[0044] 步骤4:初始化检测区域Cl，（Xe,yc)表示检测区域C左上角的坐标，Wc和He分别表示 该区域的宽度和高度，Xc = 0，yc = 0，Wc=Wo，出=化;在本实施例中，如附图3所示；
[0045] 步骤5:使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，将检测区 域C所对应的子图像放入HOG描述子的多尺度检测函数中进行处理，得到近似锁孔图像区域 尺3(曰=1，2^''11)，11表示检测到的近似锁孔图像区域的数量；在本实施例中，如附图4，11 = 18;
[0046] 步骤6:计算近似锁孔图像的面积，并将图像按照面积大小排序，获得面积最大的 前3个近似锁孔图像区域W（A=I..2,3);在本实施例中，如附图5所示，获得的3个近似锁孔 图像区域A2、近似锁孔图像区域B3和近似锁孔图像区域C4;
[0047] 步骤7:计算图像区域i?,胃f巧=1义3)两两之间中屯、点在垂直方向上的距离和连线 的角度：
[004引
[0049] (2)
[0050] 式中，（Xi，yi)，（Xj，yj)分别表示第i个和第j个图像区域中屯、点的坐标，Du表示第i 个和第j个图像区域中屯、点在垂直方向上的距离，QU表示第i个和第j个图像区域中屯、点的 连线与水平方向的夹角，i = l，2,3，j = l，2,3且i声j;
[0051] 保留满足条件化^《1'且〇1广90°|《6的两个图像区域，分别命名为化和化，若是第一 次执行步骤5到步骤7，则Ri和R2是粗定位得到的集装箱锁孔位置；否则，扣和R2是跟踪得到 的集装箱锁孔位置，其中T表示垂直距离阔值，e表示夹角阔值;在本实施例中，粗定位得到 的集装箱锁孔A 5和集装箱锁孔B6位置如附图6所示，其中T = 1200，e = 5%
[0052] 步骤8:根据步骤7得到的锁孔图像区域化，化，更新检测区域C:
[0053] Xc=min(xi,X2)-max(wi,W2)/2 (3)
[0化4] yc=min(yi,y2)-max 化 i,h2)/2 (4)
[005引 Wc=max(xi+wi,x2+w2)-min(xi,x2)+max(wi,w2) (5)
[0056]出=max(yi+hi,y2+h2)-min(yi,y2)+max(hi,h2) (6) 式中，（xi，yi)表示锁孔图像区域化左上角坐标，Wi和h康示锁孔图像区域Ri的宽度和高 度，（X2，y2)表示锁孔图像区域R2左上角坐标，W2和h2表示锁孔图像区域R2的宽度和高度，min 和max分别表示求最小值和最大值;在本实施例中，更新后的检测区域7如附图7所示；
[0057] 步骤9:重复步骤5~8，则可实现集装箱锁孔位置的跟踪检测；否则，直接退出，最 后得到的Ri和化即为最终的集装箱锁孔位置。
[0058] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护 范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技 术人员根据本发明构思所能够想到的等同技术手段。
【主权项】
1. 一种集装箱锁孔粗定位和跟踪方法，其特征在于具体方法如下： 步骤1:使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，该图像的 宽度为Wo,高度为Ho,单位为像素，每张图片只包含集装箱的一侧，即只包含2个锁孔； 步骤2:手动提取部分集装箱图像中的锁孔区域作为正样本p〇Sl(i = l，2，-_N)，图像其 他区域为负样本negj(j = l，2，··，），正负样本图像没有重合部分，N、M表示正负样本的数 量； 步骤3:首先对正负样本图像归一化到高度为height，宽度为width，然后提取其HOG特 征，最后使用SVM分类器训练HOG特征； 步骤4:初始化检测区域C，（Xc，yc；)表示检测区域C左上角的坐标具和H。分别表示该区域 的宽度和尚度，Xc = 0，yc = 0，Wc=Wo，Hc = H〇; 步骤5:使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，将检测区域C 所对应的子图像放入HOG描述子的多尺度检测函数中进行处理，得到近似锁孔图像区域Ra (a = l，2,…η)，n表示检测到的近似锁孔图像区域的数量； 步骤6:计算近似锁孔图像区域的面积，并将图像按照面积大小排序，获得面积最大的 前3个近似锁孔图像区域imaXs:，k= 1，2，3; 步骤7:计算图像区域i?niaXi，k=l，2,3,两两之间中心点在垂直方向上的距离和连线的 角度： Dij= |yi-yj (1)α) 式中，（&，71)，（^，^)分别表示第1个图像区域5_,.中心点和第」个图像区域足^中心 点的坐标，Di谏示第i个图像区域，中心点和第j个图像区域中心点在垂直方向上 的距离，(?表示第i个图像区域中心点和第j个图像区域圪《、，中心点的连线与水平方向 的夹角，i = l ,2,3, j = l ,2,3且i乒 j; 保留满足条件且|α『90° I彡ε的两个图像区域，分别命名为心和队若是第一次 执行步骤5到步骤7，则RjPR2是粗定位得到的集装箱锁孔位置;否则，RjPR2是跟踪得到的 集装箱锁孔位置，其中T表示垂直距离阈值，ε表示夹角阈值； 步骤8:根据步骤7得到的锁孔图像区域，R2，更新检测区域C: xc=min(xi ,X2)-max(wi ,W2)/2 (3) yc=min(yi，y2)_max(hi，h2)/2 (4) Wc=max(xi+wi，X2+W2)-min(xi，X2)+max(wi，W2) (5) Hc=max(yi+hi，y2+h2)-min(yi，y2)+max(hi，h2) (6) 式中，U，y〇表示锁孔图像区域Ri左上角坐标，wdniu表示锁孔图像区域h的宽度和高 度，（X2，y2)表示锁孔图像区域R2左上角坐标，W2和h2表示锁孔图像区域R2的宽度和高度，min 和max分别表示求最小值和最大值； 步骤9:重复步骤5~8,则可实现集装箱锁孔位置的跟踪检测；否则，直接退出，最后得 到的RdPR2即为最终的集装箱锁孔位置。2.根据权利要求1所述的一种集装箱锁孔粗定位和跟踪方法:其特征在于步骤3)中使 用SVM分类器训练HOG特征的具体步骤如下： 步骤3.1:将正负样本图像划分成多个cell (p*p像素），统计每个cell的梯度方向直方 图，然后把q*q个cell组合成更大的block，block内所有cell的特征为该block的HOG特征； 步骤3.2:设置SVM分类器，用获取的正负样本的HOG特征向量进行训练，得到分类器的 参数并以此设置HOG描述子。
【文档编号】G06K9/62GK105956619SQ201610273182
【公开日】2016年9月21日
【申请日】2016年4月27日
【发明人】高飞, 李定谢尔, 令狐乾锦, 童伟圆, 汪韬, 卢书芳, 肖刚
【申请人】浙江工业大学