一种抗可见光干扰的金属上料视觉分拣方法与流程

本发明涉及一种抗可见光干扰的金属上料视觉分拣方法，尤其涉及一种工业金属上料机上料过程中原料方向的检测方法，属于信息技术、机器视觉以及异常检测技术领域。

背景技术：

金属上料机在工作过程中，原料在轨道传输中会出现各种方向，在进入下一个工序之前，需要判断金属原料的方向并将方向异常的金属原料“吹”出轨道，以保证进入下一工序的原料方向一致。方向异常的原料会直接影响下一工序的正常运转，给工厂带来巨大经济损失。近年来，通过机器视觉进行金属原料方向判断的方法开始普及，即通过工业相机采集包含金属原料的图片，通过计算机处理技术分析工业相机拍摄的图片，从而判断金属原料的方向，完成金属原料的分拣。

然而，工业现实生产过程中存在很多非理想的情况，导致工业相机采集的图片质量降低。例如，图像采集过程中光照情况会随着时间发生变化，如工厂一般晚上以人工照明为主，白天以自然光结合人工照明的方式。这样会使采集到的图片明暗发生变化。对于金属上料机来说，一般地，上料轨道和原料均为金属材质，对光照十分敏感，且普遍存在反光现象。这就导致视觉检测获得的工件方向不稳定，给下一道工序带来麻烦。

考虑到工业场景中不稳定的光照环境和金属反光的问题，也有一些人放弃使用视觉检测，直接通过光的衍射、折射、反射等光学方式判断原料方向，但光的折射、衍射、反射会受到金属原料的尺寸、形状、颜色等特性影响，所以方向判断准则需要适应原料特性，一旦金属原料的任何一种属性发生变化，方向分拣的判断准则就需要随之改变，因此操作复杂、成本颇高。

本专利主要以实际工作环境和需求为背景，针对光照环境易变、金属上料机传统视觉分拣方法对光照敏感，现有常用的基于光的折射、衍射、反射特性的判断方法操作复杂、成本高，给出一种抗可见光干扰的金属上料视觉分拣方法，这一方法的突出特点是，对金属原料加热，然后使用热成像仪将成像过程中所有的光照干扰去除，对热成像仪的结果进行分析，以获得准确的原料方向。这一方法可以显著降低视觉分拣中光照环境影响导致的金属原料方向判断错误率，克服基于光的折射、反射的方法的复杂操作和高成本，提高金属上料机的工作效率和工作质量。

技术实现要素：

本发明的目的是针对现有金属上料机元件视觉分拣过程中存在金属反光特性和环境光变化时，会加剧金属反光导致视觉检测金属原料方向受限及增加错误概率，非视觉检测方法的操作复杂、高成本，提出了一种抗可见光干扰的金属上料视觉分拣方法。

所述抗可见光干扰的金属上料视觉分拣方法，包括如下步骤：

步骤s1：使用温箱对金属原料加热；

其中，加热温度的范围为38到42度；

步骤s2：使用热成像仪在指定位置采集包含金属原料的热成像仪图像，称为原图；

步骤s3：对原图进行滤波、二值化，并标记原图中的金属原料对应的像素，获取掩膜；

其中，金属原料对应的像素，表示目标，记为t，掩膜，记为m；获取掩膜，具体包括如下子步骤：

步骤s3-1：对原图进行中值滤波得到滤波后的图像；

其中，中值滤波将原图中每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，且中值滤波选取窗口大小的范围为3到5；

步骤s3-2：对滤波后图像做otsu自适应二值化，获取二值图像；

步骤s3-3：保留二值图像内最大的白色区域作为目标，其它区域均置为黑色，获得掩膜m；

步骤s4：提取掩膜m内目标t的轮廓c；

步骤s5：获取掩膜m内目标t的重心；

其中，目标的重心，记为(cx,cy)，该重心的获取，具体为：

步骤s5-1：按照公式(1)、公式(2)和公式(3)分别计算掩膜m的零阶矩m00和一阶矩m10、m01：

其中，r,l分别表示掩膜m的行数和列数，i，j分别表示掩膜m行数和列数的下标，行数下标i的取值范围为1到r，列数下标j的取值范围为1到l；

步骤s5-2：按照公式(4)和公式(5)分别计算目标的重心的横坐标cx和纵坐标cy：

cx＝m10/m00(4)

cy＝m01/m00(5)

步骤s6：根据重心(cx,cy)和轮廓c计算目标t的方向，完成视觉分拣，具体包括如下子步骤：

步骤s6-1：获得目标t的轮廓的最小外接矩形；

步骤s6-2：标记最小外接矩形距离重心(cx,cy)最远的边；

其中，距离重心(cx,cy)最远的边，记为l；

步骤s6-3：通过重心(cx,cy)做指向l且垂直于l的向量，该向量的方向就是所求目标t的方向。

有益效果

所述一种抗可见光干扰的金属上料视觉分拣方法，与现有技术相比，具有如下有益效果：

1.所述方法算法复杂度低、稳定性高，一般的包含金属的图像处理需要进行去反光处理，而去反光处理是很复杂的操作，所述方法使用热成像仪对金属材料进行成像，图像中不存在反光，无需复杂的去反光操作，加上热成像仪成像只受温度影响，成像稳定，所以得益于热成像仪的成像稳定和无反光特性，所述方法算法复杂度低、稳定性高；

2.所述方法具有良好的应用拓展性，金属上料机中金属原料的形状、尺寸发生变化，本发明专利所述的视觉分拣方法仍然有效，具体表现为：基于视觉的检测技术，无论金属原料的形状和尺寸如何变化，根据所述方法中方向的判断算法总是能计算出一个方向用于表述金属的方向，所以该方法具有良好的应用拓展性。

附图说明

图1为本发明一种抗可见光干扰的金属上料视觉分拣方法的流程图；

图2为本发明一种抗可见光干扰的金属上料视觉分拣方法实施例的算法的中间结果图。

具体实施方式

下面结合附图及实施例对本发明一种抗可见光干扰的金属上料视觉分拣方法进行详细阐述。

实施例1

本实施例阐述了依托本发明所述的一种抗可见光干扰的金属上料视觉分拣方法用于在金属上料机金属原料方向分拣中的具体实施。具体实施时，用于分拣的金属原料是钉子状(一头尖)的长条形金属，尺寸约为8mm*2mm*2mm，为保证图像包括完整的金属原料以及一定的清晰度，热成像仪的分辨率选为320×240，结合实施例中的金属尺寸，镜头选为长焦镜头。

图1步骤s1中，金属到达上料机的上料入口之前经过一个恒温箱进行加热，加热到38-42度(具体加热温度可以根据工作场景的温度进行调节，加热到高于环境温度3-4度，达到热成像仪的分辨率即可)，加热后的金属原料随着传输带到达上料入口处，热成像仪放置在金属上料机的上料入口处。

执行图1中的步骤s2，采集包含加热后的金属原料的原图，在本实施例中，原图为灰度图，如图2中a所示，温度高的金属原料灰度值更大，而背景部分温度较低，对应的原图中的灰度值更小，所以得益于热成像仪的成像特性，原图中的金属原料和背景区分明显，不需要去反光处理就可以进行本发明专利中的步骤s3以及之后的步骤。而一般的基于视觉的金属上料机的分拣方法，都需要对光学相机采集到的图片先进行去反光处理，而金属去反光的处理是很复杂的操作，且去反光的效果依赖实际图片中物体的反光程度(冯维,刘红帝,汤少靖,等.基于hdri的高反光金属表面缺陷检测方法研究[j].仪表技术与传感器,2019,(8):112-116.)，所以在工厂中，光照环境多变的情况下，普通的基于视觉的方法是非常容易受到环境影响的。与本发明专利所述方法进行比较，本发明专利具有去除光干扰的特性，从根本上解决了金属反光的影响，省去了去反光操作的步骤，且避免了由于金属去反光操作带来的不稳定性，所以本发明专利所述的方法算法复杂度低、稳定性高。

执行图1中的步骤s3，对原图做图像处理，包括中值滤波、二值化、以及目标t的筛选，最终获得白色区域代表目标、黑色区域代表背景的掩模m。具体实施时，优选的中值滤波窗口大小为5。其中，中值滤波在去除噪音的同时，能够较好地保留图像细节，尤其是轮廓相关的细节信息，在本实施例中，根据原图的分辨率320×240，中值滤波的窗口大小优选为5。二值化使用otsu方法，otsu方法可以自适应地找到分割前景和背景的阈值，相较于固定二值化阈值的方式，otsu能够很好地适应图像灰度值整体变大或者变小的情况，比固定阈值的二值化方法有更好的适应性。筛选目标，只需要保留二值图像里最大的白色区域作为目标t，其它区域灰度置为0，即得到了掩模m。本发明专利所述的方法，使用的otsu二值化方法，能够适应原图偏亮、偏暗的情况，所以无论金属原料是否为本实施例中选择的大小为8mm*2mm*2mm的钉子状原料、环境温度偏高还是偏低(如夏天和冬天的区别)，步骤s3总是能够正确分割金属原料与背景，获得类似图2中b所示的掩模。本发明专利所述的方法中，查找目标所在区域的步骤具有很好的应用拓展性。

按照图1所示流程，继续执行步骤s4和步骤s5，分别获得目标轮廓c和目标t的重心(cx,cy)。目标轮廓如图2中c所示，目标重心如图2中d所示，获取目标的重心(cx,cy)，具体计算如步骤s5-1，s5-2所示。其中，重心(cx,cy)由掩膜m的矩特征计算而来，无论金属原料是否选择的大小为8mm*2mm*2mm的钉子状原料，在获得了掩模m后，总是能够根据目标的矩特征计算出金属原料的重心。因此，本发明专利所述的方法中，计算目标重心的步骤具有很好的应用拓展性。

获得目标重心和轮廓后，执行步骤s6，分析轮廓c的最小外接矩形距离重心(cx,cy)最远的边l，通过重心做指向l且垂直于l的向量，该向量的方向就定义为该金属原料的方向，如图2中e所示箭头所指的方向。其中，获得目标轮廓和目标重心之后，无论金属原料是否为本实施例中选择的大小为8mm*2mm*2mm的钉子状原料，总是能够通过步骤s6的方法获得目标的方向，不需要随着金属原料的变化而变化。因此，本发明专利所述的方法中，判断目标方向的准则，也具有很好的应用拓展性。

步骤s3到步骤s6中提到的本发明专利良好的应用拓展性，主要体现在①目标分割中，otsu二值化可以适应不同的环境温度，②物体重心的计算不受限于金属原料的大小和形状，③方向的判断准则总是能给出一个合理的方向。而目前使用的基于光的衍射、反射、折射等特性的判断方法，光的衍射、反射、折射除了受到环境光的影响外，还会受到金属原料本身的尺寸和形状的影响，所以每当金属原料的形状发生了一次变化，相应的方向计算和方向判断准则就需要变化，因此该方法的拓展应用成本很高。与之比较，金属原料发生变化，本发明专利所述的方法的步骤也不需要调整，应用拓展性良好。

最后，在本实施中，完成步骤s1到步骤s6，获得了当前原图中金属原料的方向，还需要将获得的金属原料的方向与上料机指定的金属正方向进行比较，与指定正方向一致的金属原料可以进入下一道工序，与指定方向不一致的金属原料则被“吹”出轨道，重新回到金属原料传送带。由此，抗可见光干扰的金属上料视觉分拣完成。

综上所述，本方法针对金属上料机视觉检测方法反光严重，使用热成像仪取代普通的工业相机，彻底去除金属上料的反光问题，不需要执行去反光操作，降低了图像处理算法复杂、并提高了算法的稳定性。同时，本方法涉及的图像处理算法均无需设置参数，不受限于环境温度以及金属原料的形状和大小，因此具有良好的应用拓展性。良好的应用拓展性，简化了人工操作，能够避免不合理参数设置导致的方向判断性能下降，降低了生产成本，提高了生产效率。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。