一种集卡锁头位置识别方法与流程

本发明涉及一种集卡锁头位置识别方法，尤其是一种基于图像边缘检测技术来识别集装箱卡车用于放置集装箱的锁头位置的方法。

背景技术：

在码头，集装箱卡车(下文简称集卡)是集装箱运输重要的物流工具。通常情况下，在将集装箱从货轮运往各地之前，集卡进入码头贝位后，工作人员会利用起重机从货轮上把集装箱吊起，移动到集卡上方，由工人根据经验或视频将集装箱放置在集卡上，其中的关键就是要求将集装箱的锁孔对准集卡上的锁头位置，而这项工作常常由工人手工完成，当有大量集卡同时作业时，由于人员不足或者指挥不熟练将会大大降低集装箱放置效率。

为提高放置效率，目前有大量的研究人员提出了各种自动化方案来进行集卡的识别：论文(基于双目立体视觉的集装箱卡车定位方法研究。计算机应用与软件，2010)提到一种集卡定位引导方法，该方法通过跟踪算法得到卡车运动的实时位置，从而进行集卡定位；论文(机器视觉技术在岸边集装箱起重机下集卡对位系统中的应用。集装箱化，2009)也提到了类似的方法，但该方法并未直接识别得到集卡锁头的准确位置，只是标记了集卡的大致轮廓，后续的搬运集装箱操作还是需要相关专业人员精确指挥，并不能完全满足集装箱取放自动化的需求；发明专利(申请号：CN201410851613，名称：集装箱码头桥吊下集卡的对位及安全控制系统的方法)中提出了利用激光扫描仪对指定车道进行扫描测距，建立以车道中心线为切面的点集，从此点集中分别识别出集装箱、拖架、集卡车首，从而计算对位偏离值，判断是否准确对位，但是此方法需要较多的设备配合，对于设备位置的精度有较高要求，系统容易受干扰；发明专利(申请号：CN104528531A，名称：集装箱码头RTG、RGM下集卡的对位引导系统的方法)中提出了将激光扫描仪安置在RTG/RMG动力房或电气房上部平台栏杆上，将LED显示屏和扩音器等部件安装在RTG/RMG支腿上，解决了之前专利的设备精度问题，但是仍不可避免的需要较多设备一起配合，并且无法作用于多车道。

技术实现要素：

为了克服现有集装箱与集卡锁头对位操作效率低下的不足，本发明提供了一种集卡锁头位置识别方法。

所述的一种集卡锁头位置识别方法，其特征在于包括具体步骤如下：

步骤1：用工业相机拍摄集卡的图像，并转成灰度图像f；

步骤2：根据式(1)-(7)采用混合的形态学算法提取图像f的边缘信息：

Gmin＝min{G1,G2} (4)

Gmax＝max{G1,G2} (5)

ΔG＝Gmax-Gmin (6)

G＝G3+θΔG,0≤θ≤1 (7)

其中，b1、b2、b3都属于灰度级形态学中的结构元，b1表示一种不平坦结构元，b2、b3分别表示一种平坦结构元，G1表示了一种经由多结构元降低负噪声的边缘图像，G2表示了一种经由多结构元降低正噪声的边缘图像，G3表示了一种经由多结构元降低噪声的边缘图像，Gmin表示G1、G2叠加后的较暗边界，Gmax表示G1、G2叠加后的较亮边，θ表示一种阈值，用于控制最终结果图像G的轮廓，表示膨胀操作，Θ是腐蚀操作，是开操作，●是闭操作；

步骤3：根据图像G生成直方图

H＝{pi|pi＝ni/n，i＝0，1，…，255}，其中ni表示灰度值为i的像素个数，n表示图像G的像素总数，pi表示灰度值为i的像素个数占图像G中的像素总素的比例；

步骤4：确定阈值threshold使其满足式(8)：

其中的μ为事先选定，μ∈[0.9,1]；

步骤5：根据式(9)对图像G进行二值化得到图像Gf：

步骤6：使用标准霍夫变换提取得到二值图Gf上的直线段集L＝{li|i＝1,2,...,m}；过滤掉L集合中与水平方向夹角不大于45°的线段，得到集合Ltheta＝{li|theta(li)∈([45°,135°]∪[-135°,-45°])且i＝1,2,…,m}，theta(li)表示直线段li与水平方向的夹角；在Ltheta中找到最长的一条直线段并延伸至图像G的边界，将该直线段记为lmax；

步骤7：在图像G中，在lmax的中点处上下各截取大小为bound*bound的子图像，分别记为和其中bound表示子图像的宽度和高度，根据式(10)计算：

确定的集卡锁头位置；

步骤8：在步骤7中确定的集卡锁头位置方位选取最近的与lmax平行的直线段作为集卡锁头所在平板的另一条边缘线并延伸至图像G的边界，记该直线段为lneares；

步骤9：在图像G中截取lmax和lneares之间的区域子图，记为Gbw，使用OTSU方法确定阈值并对Gbw进行二值化，得到图像Gbwb；

步骤10：根据式(11)的开闭运算增强Gbwb中的连通区域，得到图Gbwc：

其中，

步骤11：找出Gbwc中最大的连通区域，记为Gbwd；

步骤12：使用与lmax方向垂直的线型结构对Gbwd做开运算，并剔除开运算结果后过于小的连通区域，得到目标区域二值图；

步骤13：对目标区域二值图取外接矩形，并显示在原图f上；

步骤14：通过计算外接矩形区域的中心点，得到对应集卡左右锁头中心位置，完成集卡锁头位置的识别。

所述的一种集卡锁头位置识别方法，其特征在于步骤2中θ趋向1则有更多噪声，更少的细节，更清晰的边界，反之亦反。

所述的一种集卡锁头位置识别方法，其特征在于步骤4中确定threshold的μ为事先选定，μ∈[0.9，1]，μ趋向0.9则有更多噪声，更多的细节，更连续的边界，反之亦反。

所述的一种集卡锁头位置识别方法，其特征在于步骤7中若sumup>sumdown，则说明集卡锁头位置在图像G中的上方；否则，集卡锁孔位置在图像G中的下方。

所述的一种集卡锁头位置识别方法，其特征在于步骤7中bound赋值为20-50。

所述的一种集卡锁头位置识别方法，其特征在于步骤7中bound赋值为20。

所述的一种集卡锁头位置识别方法，其特征在于步骤12中并剔除开运算结果像素数量小于1000的连通区域。

本发明的有益效果为：与传统的人员指挥相比，本发明实现了自动识别集装箱放置的锁头位置，进一步实现了码头装卸集装箱自动化，节省了大量的人力成本，另外，和使用激光扫描仪的方案相比，本发明对设备要求较低，可移植性较强。

附图说明

图1为具体实施例示例用图；

图2为使用数学形态学混合操作得到的边缘信息图像；

图3为图2经自适应阈值处理过的边缘图像；

图4为图3经自标准霍夫变换过并标记直线的图像；

图5为图4经掩膜切分后的图像；

图6为图5感兴趣区域的直方图并标记了OTSU算出的阈值；

图7为图6使用OTSU阈值处理后的二值图；

图8为图7使用开闭运算平滑后的二值图；

图9为图10去掉相对小型连通区域的二值图；

图10为图9使用线形结构开运算后的二值图；

图11为取图10连通区域轮廓所得的处理结果图像。

具体实施例

下面结合实施例来详细阐述一种集卡锁头位置识别方法的具体实施方式。

参照图1～图11，一种集卡锁头位置识别方法，本实施例中，按如下步骤进行：

步骤1：工业相机拍摄集卡的图像，参照图1，转成灰度图像f；

步骤2：根据式(1)-(7)采用混合的形态学算法提取图像f的边缘信息。

Gmin＝min{G1，G2} (4)

Gmax＝max{G1，G2} (5)

ΔG＝Gmax-Gmin (6)

G＝G3+θΔG，0≤θ≤1 (7)

其中，θ＝1；b1、b2、b3选择了不同的结构元是因为采用的结构元决定了输出图像的几何信息，不同结构元将会提取图像不同的结构信息，b1结构元从8邻接元素到4邻接元素依次增大，其目的在于增强图像边缘，b2、b3结构元的选择是为了检测不同方向上的边缘。θ选择值1是为了保留更完整的边界以便后续操作，处理后效果参照图2；

步骤3：根据图像G生成直方图

H＝{pi|pi＝ni/n，i＝0，1，…，255}，其中ni表示灰度值为i的像素个数，n表示图像G的像素总数，pi表示灰度值为i的像素个数占图像G中的像素总素的比例；

步骤4：确定阈值threshold使其满足式(8)：

其中的μ为事先选定，μ∈[0.9，1]，μ趋向0.9则有更多噪声，更多的细节，更连续的边界，反之亦反；μ的选择依据是要尽量使步骤5中的图像Gf存在较少的噪声、细节及模糊的边界,在本实施例中，选择μ为0.96；

步骤5：根据式(9)对图像G进行二值化得到图像Gf：

处理后效果参照图3。

步骤6：使用标准霍夫变换提取得到二值图Gf上的直线段集L＝{li|i＝1,2,...,m}；过滤掉L集合中与水平方向夹角不大于45°的线段，得到集合Ltheta＝{li|theta(li)∈([45°,135°]∪[-135°,-45°])且i＝1,2,…,m}，theta(li)表示直线段li与水平方向的夹角；在Ltheta中找到最长的一条直线段并延伸至图像G的边界，将该直线段记为lmax；处理结果参照图4，其中红色线段为lmax；

步骤7：在图像G中，在lmax的中点处上下各截取大小为bound*bound的子图像，分别记为和其中bound表示子图像的宽度和高度，bound赋值为20-50，在本实施例中bound赋值为20，在具体使用中务必需要选取相对较小的范围,根据式(10)计算：

计算结果sumup>sumdown，说明集卡锁孔位置在图像G中的上方；

步骤8：在步骤7中确定的集卡锁孔位置方位选取最近的与lmax平行的直线段作为集卡锁头所在平板的另一条边缘线并延伸至图像G的边界，记该直线段为lneares；

步骤9：在图像G中截取lmax和lneares之间的区域子图，记为Gbw，参考图5。之后使用OTSU方法确定阈值并对Gbw进行二值化，得到图像Gbwb，处理结果参考图6、7；

步骤10：根据式(11)的开闭运算增强Gbwb中的连通区域，得到图Gbwc：

其中，二值图像闭运算用来填补小洞与图像中狭窄和凹陷的区域，轮廓的缺口，开运算与闭运算相反，消弱狭窄的部分，去除细的突出。SE1结构元的选择相对较大是为了填补主要对象内的间隙，防止分割主要对象，处理结果参考图8；

步骤11：找出Gbwc中的连通区域，并找出最大的连通域，记为Gbwd，并去除其余连通域，处理结果参考图9；

步骤12：使用与lmax方向垂直的线形结构对Gbwd做开运算，并剔除开运算结果后小于一定值的连通区域，本发明中剔除开运算结果像素数量小于1000的连通区域，本发明将像素数量小于1000的连通区域剔除，得到目标区域二值图，处理结果参考图10；

步骤13：对目标区域二值图取外接矩形，并显示在原图f上，处理结果参考图11；

步骤14：通过计算外接矩形区域的中心点，得到对应集卡左右锁头中心位置，完成集卡锁头位置的识别。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。