一种应用于送料器的视觉选料方法与流程

本发明涉及目标检测，具体为一种应用于送料器的视觉选料方法。

背景技术：

1、送料器输送物料流程中，传统物料识别方法为两种，其一为通过传感器感应物料位置，在触发相机拍照对图片进行物料数据分析，进而识别物料；其二为相机自身触发，对物料进行定点拍摄；这两种工作模式在监测混合物料时，会造成物料的漏检测和无法实现对混合物料的多方向逻辑判断，容易造成固定的逻辑剔除，使物料的分类不能做到实时智能分类；其中，传感器触发式相机检测，较为依赖传感器对于物料的感应，但当物料存在接壤混合时，传感器易于将多种物料感应为同一物料，这会对相机造成干扰，使得相机本应对多个物料进行采集，却仅对单物料进行了图像采集；而相机自触发由于没有前置信息提示，所以仅能设置图像中的某一区域进行物料识别和判断，而这种方式存在对物料的漏识别，且相机自触发在剔除逻辑上仅能进行双方向判断，这会导致当存在两种及以上物料时，会将预设的两种物料之外的物料都进行错误剔除操作；这对送料器的物料装载进行了限制，且不利于多物料的分拣和剔除。

技术实现思路

1、本发明的目的在于提供一种应用于送料器的视觉选料方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、一种应用于送料器的视觉选料方法，该方法包括以下步骤：

4、s100、在送料器物料输送过程中设置监控装置进行物料监控，利用监控设备在物料识别区域对物料的出现时间和位置进行采集，并对物料的图像数据进行采集；

5、s200、通过对物料识别区域物料数据进行分析，预测物料出现在物料分类区域的时间和位置；对物料分类区域物料的图像数据进行分析，确定图像中目标物料的检测区域；

6、s300、根据物料检测数据，提取目标物料的特征数据，通过分析特征数据建立差异模型，通过差异模型实现对物料的分类和物料的合格情况检测；

7、s400、在物料分拣区域对物料进行分类和剔除操作并对分类剔除后的物料进行二次模型验证，判断是否存在分类或剔除不完全的情况。

8、所述s100中在送料器物料输送过程中设置监控装置进行物料监控，利用监控设备在物料识别区域对物料的出现时间和位置进行采集，并对物料的图像数据进行采集的具体步骤如下：

9、s101、在送料器物料输送过程中设置监控相机，利用监控相机对送料器输送带进行物料区域划分，其划分为物料识别区域、物料分类区域和物料分拣区域；

10、s102、当物料出现在物料识别区域时，对物料进行连续抓拍，根据图像中物料的位移sp按照比例还原物料在送料机上的实际位移sa；计算物料的输送速度，其计算公式为其中，h为监控相机抓拍的帧时间；对物料与输送带的相对位置进行标记。

11、所述s101中的所述物料识别区域处于处于送料器输送带的首部，用于对物料的初始图像数据、运动数据和位置数据采集；所述物料分类区域处于送料器输送带的中部，用于对混合物料的类别和合格程度进行判断；所述物料分拣区域处于输送带的尾部用于对物料进行分拣和剔除操作。

12、所述s200中通过对物料识别区域物料数据进行分析，预测物料出现在物料分类区域的时间和位置；对物料分类区域物料的图像数据进行分析，确定图像中目标物料的检测区域的具体步骤如下：

13、s201、所述监控相机根据物料识别区域的采集数据分析结果，依照物料与输送带的相对位置，对镜头的聚焦点进行微调；通过物料的输送速度结合物料识别区域的输送带距离，对物料出现在物料分类区域所需时间进行预测，其计算公式为其中，sc为物料识别区域所占的输送带距离；

14、s202、监控相机在物料完全出现在物料分类区域时，对物料进行抓拍；将抓拍的图像数据上传至后端分析库中；在分析库中对图像进行灰度化和降噪处理，对处理后的图像进行像素离散提取构成图像像素分布灰度直方图；根据直方图中不同灰度级别像素的分布情况，以像素数量峰值对应的灰度值区间为目标物料的灰度值区间；由于物料在输送带上为堆积状态，因此物料对应的灰度值像素数量相对图片其他区域的灰度值像素数量较为密集，且多种物料由于自身属性包括但不限于颜色、形状等因素，其灰度化后的灰度值也不同，所以图像中所要观察的目标物料可能同时存在多个灰度值。

15、以所述s202中的目标物料的灰度值区间作为阈值区间对图像做二值化处理，将整个图像进行背景区域和目标物料区域进行划分；其中背景区域为图像像素对应的灰度值不属于阈值区间，目标物料区域为图像像素对应的灰度值属于阈值区间。

16、所述s300中根据物料检测数据，提取目标物料的特征数据，通过分析特征数据建立差异模型，通过差异模型实现对物料的分类和物料的合格情况检测的具体步骤如下：

17、s301、所述分析库中包括分析端和数据库；所述分析端用于对图像数据进行分析；所述数据库中存储物料数据和图像数据，其中物料数据和图像数据包括人工上传和相机抓拍上传；

18、s302、将目标物料区域图像中的物料进行空间三维映射，利用三维坐标系获取单一物料的相对坐标，其坐标为其中x为相对横坐标，y为相对纵坐标，z为相对竖坐标，u为图像的中心横坐标，j为图像的中心纵坐标，uf为物料的图像横坐标，jf为物料的图像纵坐标，g为图像中的物料最高高度，gf为物料在图像中的高度，p为图像物料与实际物料的缩放比例；此处，物料的相对坐标为实际物料的绝对构造中心点的位置，其中构造中心点为物料形状的绝对重心；

19、s303、将图像中对应相对坐标的物料利用差异模型与实际物料进行匹配和对比，确认当前坐标对应的物料的类别和合格程度。

20、所述s303中的差异模型建立过程如下：

21、s303-1、将图像中某一物料确定为当前观察物料，并提取其接壤的物料为相邻物料，通过空间三维映射确定其对应的相邻坐标，其中观察物料坐标为(x,y,z)，相邻物料坐标集合为[(x1,y1,z1),(x2,y2,z2)，(x3,y3,z3)...(xi,yi,zi)]；提取观察物料的灰度值k、相邻物料的灰度值集合[k1,k2,k3...ki]和背景环境的灰度值集合[r1,r2,r3...rn]；其中，i∈n*，n∈n*；

22、s303-2、以物料的相对坐标为基准，在空间中对物料的空间占比框进行模拟，获取物料在空间中占比框的顶点坐标集合[(a1,b1,c1),(a2,b2,c2)...(am,bm,cm)]；其中，m∈n*通过计算观察物料与相邻物料之间空间占比和灰度值的差异程度，确定观察物料与相邻物料的类别是否一致，其计算公式为在对物料的类别差异进行计算时，通过引入图像与物料空间维度的缩放比例p，可以减小误差；其中，q为物料的空间半径比值，qi为相邻物料的空间半径比值，其计算公式为通过将物料的空间占比结构的最长半径与最短半径进行比值计算，其比值反应不同形状物料的内部空间结构的空间特征占比；其中，为中心点到顶点的最大半径，为中心点到顶点的最小半径，为背景环境的灰度均值，其计算公式为根据df的计算结果与预设阈值dfth比较，若df≤dfth，则对当前观察物料的类别临时标记为a，并将相邻一致类别的物料同样标记为a；其中，dfth为预设阈值。

23、重复步骤303-2直至物料被遍历完成差异计算，其中当存在相邻物料与已知标记物料为不同类别时，进行异类标记，直至当前图像中的所有物料完成标记；所述异类标记为集合[a1,a2,a3...ae]。

24、通过计算观察物料的特征分析输出值与真实物料的实际特征值的离散程度；分别计算观察物料与真实物料的外形特征离散程度和灰度离散程度；外形离散程度计算公式为ds＝q*log(q0)+(1-q)*log(|1-q0|)；其中，q0为真实物料的空间半径比值；灰度离散程度计算公式为dg＝k*log(k0)+(1-k)*log(|1-k0|)；其中，k0为真实物料的灰度值；综合物料与真实物料之间的外形和灰度离散程度，对观察物料与真实物料之间的综合离散度，其计算公式为dz＝λ1*ds+λ2*dg；其中，λ1，λ2为对应的影响比例系数；若dz＞dzmax,则当前观察物料为不合格物料；反之，若dz≤dzmax则当前物料为合格；其中，dzmax为预设阈值；利用观察物料的系统预测输出外形数据和灰度数据与真实物料的标准数据进行两数据之间的离散值计算，根据观察数据与标准数据相比的计算离散值，对当前观察物料的是否合格进行判断。

25、所述s400中在物料分拣区域对物料进行分类和剔除操作并对分类剔除后的物料进行二次模型验证，判断是否存在分类或剔除不完全的情况的具体步骤如下：

26、s401、在送料器输送带尾部设置有多分类分拣装置，通过该装置实现对不同标签类别的物料进行分拣，将混合物料进行分类；

27、s402、对混合物料进行分类后，通过在不同的分类输出口进行逻辑判断，将合格的物料进行输出，将不合格的物料进行剔除；

28、s403、对完成分类和剔除操作的物料进行二次差异检测，判断是否存在分类或剔除不完全的情况；若存在，则再次分类剔除；若不存在，则物料输出。

29、与现有技术相比，本发明所达到的有益效果是：本发明在实现功能上与传统的方法存在较大差异，不通过传感器触发相机图像采集，也不同于相机自触发固定区域图像捕捉；首先，本发明在相机自触发固定图像区域进行物料数据捕捉的基础上，增加了一个物料预测的前置步骤，监控相机能够在物料的出现的第一时间，对物料进行帧信息采集，为后续监控相机对物料的图像捕捉提供了时间和位置的辅助，这在相当大的程度上弥补了传统相机自触发方式对物料的图像采集区域的固定不灵活的缺点，使得相机对动态物料的出现时间和位置预测提供了前置条件，不同与传感器的位置模糊感应和潜在的物料判断错误，这样的方式能够更加精确的在不干扰监控相机的自判断情况下实现对物料的全图像采集；其次，本发明利用空间三维对图像物料信息进行拟转化获取物料的相对空间坐标，通过物料坐标和物料图像的灰度数据进行差异模型建立，通过差异模型对物料的类别进行遍历标记实现混合物料的分类，同时通过模型实现对分类后的物料与真实物料之间的离散程度计算，根据计算结果对物料是否合格进行计算；本发明旨在通过在原有设备上作出简单的改变能够实现对物料的精准分类的同时还能对物料是否合格进行判断，改善了以往的传感器漏检测问题和传统相机自触发方式剔除逻辑存在的问题。