一种基于机器视觉的物流平托盘破损分级系统及方法
【专利摘要】本发明涉及一种基于机器视觉的物流平托盘破损分级系统及方法，系统结构由四台工业相机、传输带、检测处理器、电气控制柜、托盘检测工位限位开关组成；本发明解决了托盘侧面图像拍摄工业相机和托盘运动方向位置冲突的问题，四台工业相机同步处理，自动化程度高、检测效率高、定量准确，为在流转物流平托盘大批量可续用性检测提供了技术手段，具有广阔的应用前景。
【专利说明】一种基于机器视觉的物流平托盘破损分级系统及方法
【技术领域】
[0001]本发明涉及一种基于机器视觉的物流平托盘破损分级系统及方法，尤其涉及对在流转物流平托盘的破损情况进行机器视觉自动检测的系统及方法，属于利用物流检测设备【技术领域】。
【背景技术】
[0002]物流平托盘是现代物流标准化的重要载体，广泛应用于货物仓储、搬运、运输等物流过程中，尤其在全自动高架立体仓储中，物流平托盘更具有效率高、安全可靠的特点。
[0003]物流平托盘作为货物搬运的载体，在日常作业过程中，叉车、堆垛机等搬运设备的反复碰撞、摩擦，很容易造成裂缝、划痕；物流平托盘承载的货物重力作用、误操作引起的侧面挤压，也会造成变形、扭曲、散架；高温、低温、高湿度环境会造成塑料托盘的老化、龟裂，木质托盘铁钉生锈、木板纹理扩大，以致散架、缺损。
[0004]所有这些破损都会造成物流平托盘机械强度下降，从而在流转过程中，出现故障，虽然物流平托盘价格便宜，但是一旦出现故障，轻者造成其承载货物损坏，重者导致全自动高架库故障，停止运行。
[0005]因此，物流平托盘的机械强度、形状参数对其在仓储系统中正常流转至关重要。目前，物流平托盘的质量检测有多个检测项目，包括:外观检测、跌落试验、堆码试验、起吊试验、尺寸偏差测试、动态载荷测试、静态载荷测试、顶铺板边缘冲击试验、抗压试验、弯曲试验、跌落试验、振动试验等，相应的检测国内外都有较详细的检定标准，例如:
标准 ISO 8611-1-2004、IS0/TS 8611-2-3005、IS0/TS 8611-3-2005 分别规定了物料处理用平托盘的试验方法、性能要求等内容；IS0 8611-1991规定了通用联运平托盘的试验方法等内容。
[0006]但是这些物流平托盘检测项目和方法都是针对新生产的物流平托盘，即对其是否质量合格，能否进入物流仓储运输流转系统的准入性检测。由于新品都是批量化生产，所用材料、模具都是相同的，新品质量也几近相同，因此，此类托盘检测都是由具有计量检定资质的专业检测机构进行抽样检测。
[0007]物流平托盘一旦进入流转循环，老化破损情况各不相同，无法通过抽检对其破损情况进行评估，需要定期对每一个物流平托盘进行普检。
[0008]目前，这种破损情况的评估只是人工肉眼判断，有经验的操作人员在使用过程中，发现物流平托盘破损严重，就将其淘汰。这种方法没有定量的标准，仅凭主观判断，随意性大。造成有的托盘过早淘汰，增加购置托盘的成本，而有的托盘淘汰不及时，造成生产事故。
【发明内容】
[0009]本发明的目的在于提供一种基于机器视觉的物流平托盘破损分级系统，系统结构由四台工业相机、传输带、检测处理器、电气控制柜、托盘检测工位限位开关组成；
所述传输带将托盘沿托盘传输方向送往检测工位，托盘到达检测工位，托盘检测工位限位开关触发，发送反馈信号，传输带停止；
所述四台工业相机分别拍摄托盘四个侧面的图像；垂直于传输带两侧的工业相机安装位置为正对托盘侧面，拍摄托盘两个侧面的正图像；平行于传输带两侧的工业相机，为了避免和托盘碰撞，安装在传输带的斜侧面，拍摄托盘另两个侧面的倾斜图像；
所述电气控制柜接收托盘检测工位限位开关的反馈信号，接收检测处理器处理完成状态信号，控制传输带的速度和启停，并向检测处理器发送检测状态信号；
所述检测处理器是机器视觉处理部件，接收电气控制柜发送的检测状态信号，在托盘到达检测工位，并停稳之后，控制四台工业相机拍摄四个侧面的图像，并进行托盘破损分级检测，检测完成之后，向电气控制柜发送处理完成状态信号。
[0010]在上述物流平托盘破损分级系统的基础上，本发明还提供了一种基于机器视觉的物流平托盘破损分级方法，具体步骤如下:
步骤1:获取四个侧面图像，包括垂直于传输带两个侧面的正图像和平行于传输带两个侧面的倾斜图像；
步骤2:倾斜图像仿射校正，四个侧面图像尺寸相同；
步骤3:取亮度分量图像，四个侧面彩色图像转换为亮度分量图像；
步骤4:取阈值分割亮度分量图像；
步骤5:二值化，获得只有黑/白两色的二值化图像；
步骤6:去噪声，对二值化图像中黑白相间的噪声黑色区域进行去噪处理，最终生成连接紧密的块状黑色区域；
步骤7:对各黑色区域标号，不同的黑色区域像素各自标上区域号码，用于区分不同的黑色区域；
步骤8:计算各黑色区域的形态参数，包括面积、长度、高度，黑色区域的面积是指黑色区域的像素总数；长度是指黑色区域在图像横向方向上所跨像素长度；高度是指黑色区域在图像纵向方向上所跨像素高度；
步骤9:去除噪声黑色区域，设置面积阈值，小于面积阈值的黑色区域判为噪声黑色区域；设置长高比阈值，计算长高比，如果黑色区域的长度大于高度，则长高比为长度除以高度，否则长高比为高度除以长度，长高比值大于长高比阈值的黑色区域判为噪声黑色区域；去除所有噪声黑色区域；
步骤10:确定破损部位，如果没有留下黑色区域，则说明没有明显破损，转步骤13 ；否则将留下的黑色区域对照托盘结构，确定破损部位，属于I级破损区域、II级破损区域或者III级破损区域；
步骤11:计算黑色区域平均色度，在原始彩色图像中，找到黑色区域对应位置，计算黑色区域对应的原始图像的平均色度，例如如果托盘是蓝色的，则计算蓝色颜色分量；
步骤12:判断表面破损/结构破损，和托盘平均色度比较，设置色度阈值，如果黑色区域平均色度和托盘平均色度的差值的绝对值小于色度阈值，说明黑色区域尚未发生结构缺失，属于表面破损；否则说明黑色区域发生了结构缺失，属于结构破损；
步骤13:评估托盘破损等级:
对每个侧面计算破损指数0取值范围CiVdOO ;
(I)至步骤10之后没有留下黑色区域，破损指数*1 = 10 ；(2)破损区域参数I，属于I级破损区域，则I= J1 ;属于II级破损区域，则2=毛、属于III级破损区域,则2 =毛，其中人》^2?毛为常数;
(3)破损类型参数<p，属于结构破损类型，则《?=吟；属于表面破损类型,则《>=--2 ,其中为常数；
(4)破损程度参数沒，.= -1ngmi*),其中这職为托盘破损区域面积， 为托盘一侧侧面总面积，>^为破损程度参数上限值，为常数；
(5)计算破损指数?/= (β? + ^)-Λ ；
(6)托盘破损分五个等级:
严重破损100 ；
结构破损:％<>7<巩;
表面破损而 <巧外;
轻微破损；
无明显破损:0<--<10 ；
其中为常数，四个侧面破损指数分别为HWMb ,总破损指数 ,严重破损和结构破损的托盘无法续用于高架库，但可以续用于
平楼库。
[0011]综上所述，本发明显著的技术效果在于:通过拍摄物流平托盘的四个侧面图像，运用机器视觉的方法，对侧面图像作仿射校正，阈值分割，二值化，去噪声处理，确定破损黑色区域，并根据破损区域的平均色度区分是结构破损还是表面破损，根据破损区域面积确定破损程度，根据破损部位确定破损对托盘机械抗压特性的影响程度，最后综合各参数加权评估托盘破损程度，并进行托盘破损分级，本发明解决了托盘侧面图像拍摄工业相机和托盘运动方向位置冲突的问题，四台工业相机同步处理，自动化程度高、检测效率高、定量准确，为在流转物流平托盘大批量可续用性检测提供了技术手段，具有广阔的应用前景。
【专利附图】
【附图说明】
[0012]图1是本发明一种基于机器视觉的物流平托盘破损分级系统的系统结构图。
[0013]图2是本发明一种基于机器视觉的物流平托盘破损分级方法的托盘斜侧面图像示意图。
[0014]图3是本发明一种基于机器视觉的物流平托盘破损分级方法的实施例一的结构破损图像处理对照图。
[0015]图4是本发明一种基于机器视觉的物流平托盘破损分级方法的实施例二的表面破损图像处理对照图。
[0016]图5是本发明一种基于机器视觉的物流平托盘破损分级方法的托盘破损等级部位示意图。[0017]图6是发明一种基于机器视觉的物流平托盘破损分级方法的流程图。
【具体实施方式】
[0018]参考附图，下面对本发明进行详细描述。
[0019]如图1所示，本发明基于机器视觉的物流平托盘破损分级系统结构图，系统结构由四台工业相机102、103、104、105、传输带101、检测处理器109、电气控制柜108、托盘检测工位限位开关107组成；
所述传输带101将托盘100沿托盘传输方向106送往检测工位，托盘100到达检测工位，托盘检测工位限位开关107触发，发送反馈信号，传输带101停止；
所述四台工业相机102、103、104、105分别拍摄托盘100四个侧面的图像；垂直于传输带101两侧的工业相机102、103安装位置为正对托盘100侧面，拍摄托盘100两个侧面的正图像；平行于传输带101两侧的工业相机104、105，为了避免和托盘100碰撞，安装在传输带101的斜侧面，拍摄托盘100另两个侧面的倾斜图像；
所述电气控制柜108接收托盘检测工位限位开关107的反馈信号，接收检测处理器109处理完成状态信号，控制传输带101的速度和启停，并向检测处理器109发送检测状态信号;
所述检测处理器109是机器视觉处理部件，接收电气控制柜108发送的检测状态信号，在托盘100到达检测工位，并停稳之后，控制四台工业相机102、103、104、105拍摄四个侧面的图像，并进行托盘100破损分级检测，检测完成之后，向电气控制柜108发送处理完成状
态信号。
[0020]如图2所示，托盘斜侧面图像示意图中，在平行于托盘传输方向106上的工业相机203所拍摄的托盘侧面图像是托盘正图像200经过仿射变换之后侧面倾斜图像205，因此图像的宽度方向上成比例缩小，但是托盘侧面的破损部位和破损程度在整个托盘侧面图像中所占的比例不变，通过仿射变换校正之后，可以获得和托盘正图像200相同的尺寸；
假想正对拍摄工业相机202虽然可以拍摄托盘正图像200，但是和垂直于托盘传输方向106的工业相机204不同,会和托盘发生碰撞。
[0021]如图3所示，托盘结构破损的实施例一中，结构破损区域301为受力立柱，侧面结构缺失，机械承压能力大幅下降；
经阈值分割二值化处理之后，结构缺失部分为大块的黑色区域302 ;但是在阈值分割二值化后的图像中，局部也残留一些噪声黑色区域303，是由于污损造成，其特点是面积较小，黑白像素相间；
如图4所示，托盘表面破损的实施例二中，表面破损区域401为一般的边沿，并非受力立柱，破损部分为表面有裂纹，尚未形成结构缺失，机械承压能力有所下降，但并不严重；经阈值分割二值化处理之后，表面破损部分为大块的黑色区域402 ;但是在阈值分割二值化后的图像中，局部残留一些噪声黑色区域403，是由于托盘圆形边缘引起亮度降低造成；噪声黑色区域404，是由于托盘底部起毛引起亮度降低造成；噪声黑色区域405，是由于托盘原有结构中存在棱状压痕造成；其特点是面积较小，黑白像素相间，且多为长条形；如图5所示，托盘破损等级部位示意图中，托盘的破损部位对托盘的机械抗压能力有不同的影响，II级破损区域502是托盘的底部边缘位置，如果发生表面破损或者结构破损，托盘承压立柱结构尚未触及，对托盘机械抗压能力影响较小；
III级破损区域501是托盘侧边立柱位置，这些位置往往是在垂直方向上起到支撑作用，或者对托盘各部分结构起到连接作用，如果发生表面破损或者结构破损，将破坏托盘的承压结构，造成托盘在该位置机械抗压能力下降，尤其是托盘上侧面中间位置，由于托盘往往是中空结构设计，该位置是托盘左右两半部分连接点，如果发生破损，托盘有可能解体为左右两半；
I级破损区域500则是除II级破损区域502和III级破损区域501之外的其他托盘表面区域，这些区域的破损较少发生，即使发生变形、破损，对托盘的机械抗压能力影响不大。
[0022]如图6所示，本发明托盘破损评估分级流程示意图。
【权利要求】
1.一种基于机器视觉的物流平托盘破损分级系统，其特征在于:系统结构由四台工业相机、传输带、检测处理器、电气控制柜、托盘检测工位限位开关组成； 所述传输带将托盘沿托盘传输方向送往检测工位，托盘到达检测工位，托盘检测工位限位开关触发，发送反馈信号，传输带停止； 所述四台工业相机分别拍摄托盘四个侧面的图像；垂直于传输带两侧的工业相机安装位置为正对托盘侧面，拍摄托盘两个侧面的正图像；平行于传输带两侧的工业相机，为了避免和托盘碰撞，安装在传输带的斜侧面，拍摄托盘另两个侧面的倾斜图像； 所述电气控制柜接收托盘检测工位限位开关的反馈信号，接收检测处理器处理完成状态信号，控制传输带的速度和启停，并向检测处理器发送检测状态信号； 所述检测处理器是机器视觉处理部件，接收电气控制柜发送的检测状态信号，在托盘到达检测工位，并停稳之后，控制四台工业相机拍摄四个侧面的图像，并进行托盘破损分级检测，检测完成之后，向电气控制柜发送处理完成状态信号。
2.一种基于机器视觉的物流平托盘破损分级方法，其特征在于:具体步骤如下: 步骤1:获取四个侧面图像，包括垂直于传输带两个侧面的正图像和平行于传输带两个侧面的倾斜图像； 步骤2:倾斜图像仿射校正，四个侧面图像尺寸相同； 步骤3:取亮度分量图像，四个侧面彩色图像转换为亮度分量图像； 步骤4:取阈值分割亮度分量图像； 步骤5:二值化，获得只有黑/白两色的二值化图像； 步骤6:去噪声，对二值化图像中黑白相间的噪声黑色区域进行去噪处理，最终生成连接紧密的块状黑色区域； 步骤7:对各黑色区域标号，不同的黑色区域像素各自标上区域号码，用于区分不同的黑色区域； 步骤8:计算各黑色区域的形态参数，包括面积、长度、高度，黑色区域的面积是指黑色区域的像素总数；长度是指黑色区域在图像横向方向上所跨像素长度；高度是指黑色区域在图像纵向方向上所跨像素高度； 步骤9:去除噪声黑色区域，设置面积阈值，小于面积阈值的黑色区域判为噪声黑色区域；设置长高比阈值，计算长高比，如果黑色区域的长度大于高度，则长高比为长度除以高度，否则长高比为高度除以长度，长高比值大于长高比阈值的黑色区域判为噪声黑色区域；去除所有噪声黑色区域； 步骤10:确定破损部位，如果没有留下黑色区域，则说明没有明显破损，转步骤13 ；否则将留下的黑色区域对照托盘结构，确定破损部位，属于I级破损区域、II级破损区域或者III级破损区域； 步骤11:计算黑色区域平均色度，在原始彩色图像中，找到黑色区域对应位置，计算黑色区域对应的原始图像的平均色度，例如如果托盘是蓝色的，则计算蓝色颜色分量； 步骤12:判断表面破损/结构破损，和托盘平均色度比较，设置色度阈值，如果黑色区域平均色度和托盘平均色度的差值的绝对值小于色度阈值，说明黑色区域尚未发生结构缺失，属于表面破损；否则说明黑色区域发生了结构缺失，属于结构破损； 步骤13:评估托盘破损等级:对每个侧面计算破损指数》f，取值范围; (1)至步骤10之后没有留下黑色区域，破损指数*1= 10 ； (2)破损区域参数Λ,属于I级破损区域，则2=矣；属于II级破损区域，则A =奂、属于III级破损区域,则2 =毛，其中人》*^3?為s为常数; (3)破损类型参数fii，属于结构破损类型，则?= ;属于表面破损类型，则?=?2，其中CiluO2为常数； (4)破损程度参数投，錢=- ^^(容賴洛-^rniS )，其中这職为托盘破损区域面积，S^mm为托盘一侧侧面总面积,^为破损程度参数上限值，为常数； (5)计算破损指数7= (? + A ； (6)托盘破损分五个等级: 严重破损^<#100: 结构破损η7<η<ηι ； 表面破损JhlSTh ； 轻微破损； 无明显破损:Oi if ?ΙΟ ；. 其中m为常数，四个侧面破损指数分别为mm*,总破损指数?7?,严重破损和结构破损的托盘无法续用于高架库，但可以续用于平楼库。
【文档编号】B07C5/342GK103464384SQ201310410442
【公开日】2013年12月25日 申请日期:2013年9月10日 优先权日:2013年9月10日
【发明者】梁启荣, 朱安定, 王毅君, 尚伟, 冯丰, 陆海良, 李钰靓 申请人:浙江中烟工业有限责任公司