一种基于视觉的流水线操作监控方法及装置与流程

本发明涉及流水线的视觉监控技术领域，特别是涉及一种基于视觉的流水线操作监控方法及装置。

背景技术：

在流水线上进行作业时，经常需要用户对物料进行配盘作业，即从很多物料框中提取所需的物料并将物料依次装入排料盘的各个料格内，由于人工配料过程中容易出错，因此需要对配料过程进行监控，现有的视觉监控方式主要是通过视觉辨别投放至配料盘的物料是否正确以达到监控的目的，这种视觉监控方式具有两种局限，其一，对于外形相似的物料视觉无法辨别；其二，由于需要精确识别物料，摄像头的分辨率要求较高，需要的摄像头的规格较高，成本也即较高。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种可精确监控且硬件成本低的基于视觉的流水线操作监控方法及装置。

技术方案：为实现上述目的，本发明的基于视觉的流水线操作监控方法，所述方法包括：

以设定频率获取摄像头的数据，每次获取一帧图像信息；

从所述图像信息进行图像提取识别，得到取料容器与配料盘部分的图像；

根据所述取料容器部分的图像得到所述取料容器的状态与位置；其中，所述取料容器的状态包括无料状态与有料状态两种状态；

根据所述配料盘部分的图像得到所述配料盘中各料格的状态；所述料格的状态包括空置状态与占用状态两种状态；

判断所述取料容器的状态变化与所述配料盘中各料格的状态是否符合预定规律，是则判定操作工执行了一次配料动作；其中，所述预定规律为：取料容器从无料状态变为有料状态，然后所述配料盘中有一个料格的状态由空置状态变为占用状态，然后取料容器变回无料状态；

根据所述取料容器从无料状态变为有料状态时所述取料容器所处的料区得出配料动作所配物料的种类信息。

进一步地，所述方法还包括：

判断所述配料盘中是否配置了预定数量的物料；

当所述配料盘中配置了预定数量的物料，获取所述配料盘中所有物料的清单；

判断所述清单与目标清单是否一致，并输出相应的响应信号。

进一步地，所述根据所述配料盘部分的图像得到所述配料盘中各料格的状态包括：

生成对应于所述配料盘的第一序列，所述第一序列中包含的元素的个数对应于所述配料盘的料格的个数，且第一序列中的元素与各料格的状态为一一对应关系；

扫描所述配料盘部分的图像，得到各料格处于空置状态还是占用状态；

当所述料格处于空置状态，将所述第一序列中对应于该料格的元素置0；

当所述料格处于占用状态，将所述第一序列中对应于该料格的元素置1。

进一步地，所述判断所述取料容器的状态变化与所述配料盘中各料格的状态是否符合预定规律，是则判定操作工执行了一次配料动作包括：

生成第二序列，初始状态下第一序列为空序列；

每根据一帧所述图像信息得到所述取料容器的状态与代表配料盘中各料格状态的第一序列，将其与上一帧所述图像信息得到的所述取料容器的状态与第一序列对比，判断是否产生变化；

若没有变化产生，则保持所述第二序列不变；

若所述取料容器的状态由无料状态变为有料状态，则在所述第二序列中所有元素最后新增一个值为a的元素；若所述取料容器的状态由有料状态变为无料状态，则在所述第二序列中所有元素最后新增一个值为b的元素；

若所述第一序列中有一个元素由0变为1，则在所述第二序列中所有元素最后新增一个值为c的元素；

判断所述第二序列中最新的三个元素组成的序列是否与预定序列[a，c，b]一致，是则判定操作工执行了一次配料动作。

进一步地，所述根据所述取料容器从无料状态变为有料状态时所述取料容器所处的料区得出配料动作所配物料的种类信息包括：

提取所述图像信息中物料框的边界得到边界网络，所述边界网络将所述图像信息分隔为呈方形阵列设置的若干料区；

生成第三序列，所述第三序列中元素的个数与所述料区的个数一致，且所述第三序列中元素对应于其所对应的料区内物料的种类信息；

根据所述取料容器部分的图像所在的料区查询所述第三序列得到所述种类信息。

一种基于视觉的流水线操作监控装置，其包括：

摄像头，其用于获取图像信息；

存储器，其内存储由可执行程序；及

控制器，其可执行所述存储器内的可执行程序，以实现上述的基于视觉的流水线操作监控方法。

有益效果：本发明的基于视觉的流水线操作监控方法及装置通过识别取料容器的状态变化以及配料盘中料格的状态变化以判断操作工是否向配料盘中放入物料以及识别放入了何种物料，由于只需要识别取料容器与料格的状态，不需要具体通过图像识别区分物料本身，因此需要的摄像头的规格要求不高，硬件成本大幅降低。

附图说明

附图1为基于视觉的流水线操作监控方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

此外，在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明的基于视觉的流水线操作监控方法应用于基于视觉的流水线操作监控设备，监控设备包括摄像头、存储器与处理器，摄像头用于获取图像信息，且摄像头的视野范围覆盖一个操作工所在位置的所有物料框，并且覆盖生产线上运过来的配料盘，操作工在摄像头的视野范围内用可获取物料的取料容器进行配料操作，存储器内存储由可执行程序，控制器，其可执行所述存储器内的可执行程序，以实现本发明之基于视觉的流水线操作监控方法。如附图1所示，所述方法包括如下步骤s101-s106：

步骤s101，以设定频率获取摄像头的数据，每次获取一帧图像信息；

步骤s102，从所述图像信息进行图像提取识别，得到取料容器与配料盘部分的图像；

步骤s103，根据所述取料容器部分的图像得到所述取料容器的状态与位置；其中，所述取料容器的状态包括无料状态与有料状态两种状态；

本步骤中，处理器只需要根据取料容器内的颜色变化或光线变化等情况判断其内是否有物料，当其内部的特定颜色或特定光线未被遮挡，说明其处于无料状态，反之其处于有料状态，此种非此即彼的方式可有效判断操作工是否取到物料，以及取到物料后是否将物料倒出，且算法简单，不需要高分辨率的图像，对摄像头的规格要求较低，对处理器的算力要求也低。

步骤s104，根据所述配料盘部分的图像得到所述配料盘中各料格的状态；所述料格的状态包括空置状态与占用状态两种状态；

本步骤中，判断方式同上述s103，且处理器也只要判断料格的两种状态，判断简单，对图像要求与处理器的算力要求均较低。

步骤s105，判断所述取料容器的状态变化与所述配料盘中各料格的状态是否符合预定规律，是则判定操作工执行了一次配料动作；其中，所述预定规律为：取料容器从无料状态变为有料状态，然后所述配料盘中有一个料格的状态由空置状态变为占用状态，然后取料容器变回无料状态；

本步骤中，通过设定上述预定规律，使得处理器可有效判断操作工的行为是否完成了取料→倒入配餐盘的料格的配料动作，而不是取料再倒回物料框的动作，有效减少了误检测。

步骤s106，根据所述取料容器从无料状态变为有料状态时所述取料容器所处的料区得出配料动作所配物料的种类信息。

本步骤中，当判断操作工完成了一次配料动作，处理器可通过取料容器从无料状态变为有料状态的变化发生时通过取料容器所在的位置判断用户将何种物料放入了配料盘的料格，从而后续可判断是否配对了物料，此方式获取种类信息的成本很低，不需要根据物料本身的形态对物料的种类进行识别，而只根据操作工的取料位置对物料的种类进行识别，如此不需要采集高像素图像信息进行识别，有效降低了对算力的要求与对摄像头规格的要求，也减少了传统视觉算法无法分辨外形太过相像的物料的问题。

进一步地，所述方法还包括如下步骤s201-s203：

步骤s201，判断所述配料盘中是否配置了预定数量的物料；

步骤s202，当所述配料盘中配置了预定数量的物料，获取所述配料盘中所有物料的清单；

步骤s203，判断所述清单与目标清单是否一致，并输出相应的响应信号。

本步骤中，当判断出清单与目标清单一致，说明配料完全正确，控制器可使操作工所在工位的“ok”指示灯变亮，并控制流水线对配好料的配料盘进行放行；当判断出清单与目标清单不一致，说明配料不完全正确，控制器可使操作工所在工位的“hg”指示灯变亮，并将配错的物料在交互界面上进行显示，或者直接将配错料的配料盘分流至不合格传送线上。

进一步地，步骤s104中所述根据所述配料盘部分的图像得到所述配料盘中各料格的状态包括如下步骤s301-s304：

步骤s301，生成对应于所述配料盘的第一序列，所述第一序列中包含的元素的个数对应于所述配料盘的料格的个数，且第一序列中的元素与各料格的状态为一一对应关系；

步骤s302，扫描所述配料盘部分的图像，得到各料格处于空置状态还是占用状态；

步骤s303，当所述料格处于空置状态，将所述第一序列中对应于该料格的元素置0；

步骤s304，当所述料格处于占用状态，将所述第一序列中对应于该料格的元素置1。

通过上述步骤s301-s304，通过序列方式可有效记录配料盘的料格的状态，方便查阅，且需要占用的储存空间小。

进一步地，步骤s105中所述判断所述取料容器的状态变化与所述配料盘中各料格的状态是否符合预定规律，是则判定操作工执行了一次配料动作包括如下步骤s401-s406：

步骤s401，生成第二序列，初始状态下第一序列为空序列；

步骤s402，每根据一帧所述图像信息得到所述取料容器的状态与代表配料盘中各料格状态的第一序列，将其与上一帧所述图像信息得到的所述取料容器的状态与第一序列对比，判断是否产生变化；

步骤s403，若没有变化产生，则保持所述第二序列不变；

步骤s404，若所述取料容器的状态由无料状态变为有料状态，则在所述第二序列中所有元素最后新增一个值为a的元素；若所述取料容器的状态由有料状态变为无料状态，则在所述第二序列中所有元素最后新增一个值为b的元素；

本步骤中，当取料容器的状态由无料状态变为有料状态时，除了在所述第二序列中所有元素最后新增一个值为a的元素外，可同时确定取料容器的位置并判断所取物料的类型信息的操作。

步骤s405，若所述第一序列中有一个元素由0变为1，则在所述第二序列中所有元素最后新增一个值为c的元素；

步骤s406，判断所述第二序列中最新的三个元素组成的序列是否与预定序列[a，c，b]一致，是则判定操作工执行了一次配料动作。

上述元素a、b、c可根据需要采用其他形式的值以表示状态变化，通过采用序列记录取料容器与配料盘的状态变化，可方便地进行查阅是否有符合配料动作的状态变化规律发生，使得算法规则精简，节约算力。

进一步地，步骤s106中所述根据所述取料容器从无料状态变为有料状态时所述取料容器所处的料区得出配料动作所配物料的种类信息包括如下步骤s501-s503：

步骤s501，提取所述图像信息中物料框的边界得到边界网络，所述边界网络将所述图像信息分隔为呈方形阵列设置的若干料区；

步骤s502，生成第三序列，所述第三序列中元素的个数与所述料区的个数一致，且所述第三序列中元素对应于其所对应的料区内物料的种类信息；

步骤s503，根据所述取料容器部分的图像所在的料区查询所述第三序列得到所述种类信息。

本发明的基于视觉的流水线操作监控方法及装置通过识别取料容器的状态变化以及配料盘中料格的状态变化以判断操作工是否向配料盘中放入物料以及识别放入了何种物料，由于只需要识别取料容器与料格的状态，不需要具体通过图像识别区分物料本身，因此需要的摄像头的规格要求不高，硬件成本大幅降低。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。