一种视觉检测流水线调控方法及系统与流程

本发明涉及工业视觉技术领域，尤其涉及一种视觉检测流水线调控方法及系统。

背景技术：

随着工业自动化的发展，各种运动控制装置都在向着高度集成化和智能化的方向发展，目前，伺服电机驱动器和机械臂控制器已经可以做到对受控机构的动作进行编程。同时，随着工业以太网(EtherCAT)和以太网(EtherNet)的发展，使得大部分的运动控制装置都配置了LAN接口，进而使得对运动控制装置的运动参数的配置与运动行为的控制具备了统一规划和协调的网络拓扑结构。进一步的，为了提高工业控制的自动化和可靠性，在上述运动控制装置构成的工业系统中，还设有视觉组件，构成视觉与运动控制系统。

在视觉与运动控制系统中，用来对工业产品进行检测的系统，称为机器视觉流水线。在一个机器视觉流水线中，主要包括视觉组件、运动机构和操作系统。上述机器视觉组件和运动机构协同工作，具体的，首先，运动机构将待测物品以指定的姿态和速度传输到机器视觉模块的视场范围内，然后，视觉组件对进入其视场范围内的待测物品进行图像采集、并将采集的图像发送给操作系统，操作系统对接收的图像进行图像的处理、并输出处理后的检测结果，其中，该检测结果可以用于协助质检人员进行待测物品的品质分析或者用于指导运动机构进行产品分拣。

在上述机器视觉流水线，待测物品的检测结果通常需要生成实物标签、并将该实物标签标记在待测物品上，此类实物标签需要后段质检人员人工去识别，进而增加了人工识别的成本。另外，在工业生产中，有时会抽取待测物品用作其它治具的功能测试、检测工艺段的复检，这样会使各待测物品在机器视觉流水线中的顺序发生变化，进而给检测工艺的管理带来干扰，造成生产管理成本的增加。

技术实现要素：

为克服相关技术中存在的问题，本发明提供一种视觉检测流水线调控方法及系统。

根据本发明实施例的第一方面，提一种视觉检测流水线调控系统，所述系统包括物料生产标识ID识别装置、检测控制工作站、视觉运动控制网络和路径监控网络，其中：

所述物料ID识别装置：用于获取进入所述流水线的物料对应的生产标识；

所述检测控制工作站，与所述物料ID识别装置通信连接，用于读取和保存所述生产标识，根据所述生产标识分配相应的检测状态字，以及根据来自所述视觉运动控制网络的视觉检测信息和路径监控网络的运动监测信息对所述检测状态字进行状态位数据更新；

所述视觉运动控制网络，与所述检测控制工作站通信连接，用于根据所述检测状态字，设置相应的工艺检测参数，以及根据所述工艺检测参数对所述物料进行工艺检测、得到视觉检测信息；

所述路径监控网络，与所述检测控制工作站通信连接，用于对所述物料进行运动监测，得到运动监测信息。

优选地，所述系统还包括与所述检测控制工作站通信连接的以太网通信模块和路径监控通信模块，其中：

所述以太网通信模块，分别与所述物料ID识别装置、视觉运动控制网络通信连接，用于将来自所述物料ID识别装置的生产标识和来自所述视觉运动控制网络的视觉检测信息发送给所述检测控制工作站；

所述路径监控通信模块，与所述路径监控网络通信连接，用于将来自所述路径监控网络的路径监控信息发送给所述检测控制工作站。

优选地，所述检测控制工作站，还用于对完成更新的检测状态字进行工艺解析，获得与所述物料相对应的工艺记录。

优选地，所述路径监控网络为N×M的路径监控矩阵网络，其中，N为在所述流水线中物料的传输路径数目，M为在每一条传输路径中的监测节点数目。

根据本发明实施例的第二方面，提一种视觉检测流水线调控方法，利用本发明实施例第一方面提供的系统，所述方法包括：

获取进入所述流水线的物料对应的生产标识，根据所述生产标识分配相应的检测状态字，其中，所述检测状态字中包括用于表征工艺状态的状态位数据结构；

对所述物料进行工艺检测和运动监测，分别得到视觉检测信息和运动监测信息，其中，所述工艺检测的工艺参数与所述检测状态字相对应；

根据所述视觉检测信息和运动监测信息，对所述检测状态字进行状态位数据更新。

优选地，所述检测状态字包括进料次序层、工艺代号层、工艺状态层和丢料监控四层数据结构，其中：

所述进料次序层，用于表征所述物料进入所述流水线的次序；

所述工艺代号层，用于表征所述物料的检测工艺；

所述工艺状态层，用于表征所述物料在所述流水线中的检测进程和检测结果；

所述丢料监控层，用于表征所述物料是否在所述流水线中丢失或在未进行完所有检测工艺前被移出所述流水线。

优选地，获取进入所述流水线的物料对应的生产标识之前，还包括：

对所述检测状态字的数据结构和数据含义进行定义；

将所述检测状态字的数据结构代表的工艺参数发送给视觉运动控制网络；

所述视觉运动控制网络根据所述工艺参数，对所述视觉运动控制网络中的相应模块进行工艺参数设置。

优选地，对所述物料进行工艺检测和运动监测，分别得到视觉检测信息和运动监测信息，包括：

根据与所述检测状态字对应的工艺组合参数，控制视觉运动控制网络中的图像处理模块和运动控制模块对所述物料进行工艺检测；

对所述工艺检测的检测结果进行数据分析，得到视觉检测信息；

控制路径监控网络对物料进行运动监测，其中，所述运动监测的包括物料速度监测和物料位置监测；

对所述运动检测的监测结果进行数据分析，得到运动监测信息，其中，所述运动监测信息包括丢料信息和非视觉工艺状态信息。

优选地，根据所述视觉检测信息和运动监测信息，对所述检测状态字进行状态位数据更新，包括：

根据所述视觉检测信息和所述运动检测信息中的非视觉信息，对所述检测状态字中的工艺状态层进行数据更新；

根据所述运动检测信息中的丢料信息，对所述检测状态字中的丢料监控层进行数据更新。

优选地，所述方法还包括：

判断所述物料是否完成工艺检测；

当所述物料完成工艺检测时，对所述物料对应的检测状态字进行工艺解析，获得所述物料的工艺记录。

由以上技术方案可见，本实施例提供的一种视觉检测流水线调控方法及系统，通过建立“生产标识+检测状态字”的检测信息，以及对检测状态字的设置、更新、执行和解析的信息处理操作，实现了检测工艺的配置和检测结果自动化更新和记录，使承载该系统的流水线具备了工艺的可回溯性，实现了检测信息产生、更新以及记录的自动化，进而节省人工干预和识别的成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视觉检测流水线调控系统的结构示意图；

图2为本发明实施例提供的对物料的生产标识分配相应的检测状态字的过程示意图；

图3为本发明实施例提供的视觉运动控制网络的结构示意图；

图4为本发明实施例提供的路径监控网络的结构示意图；

图5为本发明实施例提供的一种视觉检测流水线调控方法的流程示意图；

图6为本发明实施例提供的检测状态字的更新过程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在多相机的视觉检测系统中，通常有多个视觉检测点，做不同功能模块的视觉检测，常用的是ICW(Inspection Control Workstation，检测控制工作站)和IPU(Image Processing Unit，图像处理单元)的双级架构。在视觉方面，IPU主要负责采图和图像处理，得出检测结果，ICW属于上级控制端，负责IPU处理结果的分析和汇总，并调控各IPU的工作协作模式。而在本实施例提供的系统中，ICW被作为视觉检测装置和运动机构之间的调控中心，能够配置和记录检测所需要的视觉和机构运动参数，规定IPU与各运动控制模块之间的协作方式，对来料进行识别和追踪，并配合检测状态字对来料的工艺经历和检测结果进行设置、更新和记录。

图1是本发明实施例提供的觉检测流水线调控系统的结构示意图，如图1所示，所述系统包括ICW、物料ID(生产标识)识别装置201、视觉运动控制网络202和路径监控网络203，检测控制工作站100分别与物料ID识别装置201、视觉运动控制网络202以及路径监控网络203通信连接，其中：

物料ID识别装置201：用于获取进入所述流水线的物料对应的生产标识。

由于进入流水线的每一个物料一定会有一个唯一的生产标识ID(如条码、编号、二维码等形式)附在物料的外表面上，所以本实施例利用物料ID识别装置识别并记录，作为物料在流水线中唯一的标识。其中，所述物料ID识别装置可以为图像识别装置。

检测控制工作站100，用于读取和保存物料ID识别装置201获取的生产标识，然后根据生产标识分配相应的检测状态字；以及根据来自视觉运动控制网络202的视觉检测信息和路径监控网络203的运动监测信息对该检测状态字进行状态位数据更新，同时，还会保存检测状态字的最终更新结果，并解析成工艺记录保存。

本实施例中，检测状态字的内容由ICW设置，但不是任意设置的，而是有其基本的结构，在本实施例中，检测状态字包括进料次序层、工艺代号层、工艺状态层和丢料监控四层数据结构，其中，工艺代号层和工艺状态层为可变结构，而进料次序层和丢料监控层为固定结构。具体的，进料次序层，用于表征所述物料进入所述流水线的次序；工艺代号层，用于表征所述物料的检测工艺；工艺状态层，用于表征所述物料在所述流水线中的检测进程和检测结果；丢料监控层，用于表征所述物料是否在所述流水线中丢失或在未进行完所有检测工艺前被移出所述流水线。由于工艺代号层本质上是表征工艺状态的变量或bit位，所以，在变量结构体/数组或bit位含义固定的情况下，可直接将“工艺代号－工艺状态”合成一处，通过直接向bit位赋值表征工艺状态。

图2为本发明实施例提供的对物料的生产标识分配相应的检测状态字的过程示意图，具体包括：物料ID识别装置201识别进入流水线的物料的生产标识，并将获得的生产标识通过以太网通信模块101发送给ICW，作为来料的唯一标识被ICW记录成列表；同时，物料进入流水线后，便进入路径监控网络203的监控范围，路径监控网络203将对物料的运动监控数据通过路径监控通信模块102发送给ICW，ICW通过该运动监控数据获得物料进入流水线的顺序、以及判断物料在进入流水线的时刻是否发生丢料，并生成相应的检测状态字列表，该检测状态字列表和生产标识列表一一对应，合成“生产标识－检测状态字”列表。

进一步的，根据上述检测状态字，在进行检测工艺前，ICW还用于对流水线中的视觉运动控制模块202进行编程，以设置统一的检测状态字解码规则，具体的，可以通过设置其使能、检测结果输出、运行状态、通信状态以及错误表述等流程性质的参数为通信参数，通过解码后的数据赋值，设置统一的规则转换该通信参数，更新检测状态字的相关标识。

其中，对视觉运动控制模块202进行编程可以包括，将视觉运动控制模块202中的运动控制子模块的运动方向、方位点、速度、加速度以及转角等动态参数，以及视觉子模块的相机曝光时间、相机触发方式、光源光照强度、光源触发方式、镜头调焦转角以及镜头工作距离等性能参数，均设置成可系统中的通信模块可赋值的变量；另外，部分装置还可以通过指定的软件界面通过视觉运动控制模块202进行参数配置，配置相应机构的动态参数，调整相应视觉模块的性能参数，以此配置检测工艺行为。

视觉运动控制网络202，用于根据所述检测状态字，设置相应的工艺检测参数，以及根据所述工艺检测参数对所述物料进行工艺检测、得到视觉检测信息。

在检测开始前，ICW将检测状态字所代表的工艺组合参数发送给视觉运动控制网络202，通过视觉运动控制网络202所遵从的网络通信协议，对视觉运动控制网络202中需要设置具体行为参数的节点(如某一个或某几个视觉或运动子模块)进行工艺检测参数设置。

在检测开始后，运动控制网络202便通过响应上述工艺检测参数设置，来完成检测状态字的执行；同时，在响应上述工艺检测参数设置的过程中，响应上述工艺检测参数设置，运动控制网络202中的视觉组件对进入其视野范围内的物料进行采图，然后将采集的图像发送至运动控制网络202中的IPU，IPU通过对接收到的图像处理分析，获得视觉检测结果，最后将视觉检测结果发送给ICW，进而ICW便可以根据该视觉检测结果做出检测状态字中工艺状态层的视觉相关的状态位更新。

路径监控网络203，用于对所述物料进行运动监测，得到运动监测信息。

在检测开始后，路径监控网络203实时检测物料的位置和速度，根据运动监测结果，来获得物料的运动监测信息，其中，该运动监测信息包括是否丢料信息和非视觉的工艺状态信息，具体的，路径监控网络203可以按照是否到位或走位的时间上限判断是否丢料。然后，将运动监测信息发送给ICW，进而ICW便可以根据该运动监测信息做出检测状态字中丢料检测层和工艺状态层的非视觉相关的状态位更新。

由于，ICW要同时处理视觉运动控制网络202和路径监控网络203发送的数据、以及其它的工艺信息数据，故其内部也需要分布式处理以提升反应速度。根据信息传输介质的不同，本实施例将与ICW数据通信的单元划分为两个部分，即以太网通信模块101和路径监控通信模块102，需要说明的是，以太网通信模块101和路径监控通信模块102在物理设置上可以集成在ICW中。

其中，以太网通信模块101是一种硬件组合，包括EtherCAT\Ethernet两种通信端口，独立承担检测状态字的“字设置”、“字更新”和“字解析”功能，并承担上述“工艺配置”所需求的功能。

“字更新”需要实现两种高实时性的通信：一是实时读取并记录图像数据处理结果，并做出检测状态字中工艺状态层中视觉相关的工艺状态位的更新；一是实时读取运动监测结果，并做出检测状态字中丢料监控层和工艺状态层中非视觉的工艺状态位的更新。故为了保证通信的稳定和效率，图像数据传输通道由以太网通信模块101提供Giga Bit Ethernet通信，而路径监控通信模块102是用于接收路径监控网络203的运动监测信息数据。

另外，路径监控通信模块102与以太网通信模块101不同的是，其通信介质并非RJ45网络通信线，而是能够与路径监控网络203中传感器信号HUB对接的非RJ45信号线缆，例如，USB线或RS232/RS422/RS485信号线。路径监控通信模块102的信号接口为ICW常用的标准接口(USB接口或DB9接口)，其内部由ICW软件配置为多路信号逻辑端口，以匹配路径监控通信模块102中传感器矩阵数据处理的需求。

图3是本发明实施例提供的视觉运动控制网络的结构示意图。如图3所示，构成视觉运动控制网络202包含两种路径：一是由交换机作为中枢，由ICW与IPU、视觉组件群组和机器人控制器群组构成的EtherNet网络；一是由ICW与伺服电机驱动器、视觉组件群组构成的EtherCAT网络。

其中，ICW在进行“字操作”时，EtherCAT路径是串联形式，这是由于EtherCAT通信可进行级联的缘故。在ICW“字设置”进行时，ICW通过以太网通信模块101的Ethernet接口，对机器人控制器进行点对点的程序和参数设置，通过EtherCAT接口，对伺服电机驱动器、视觉组件群组(视觉姿态调整机构的控制器)进行参数设置，设置完成后，各机构便可以使能参数设置，进入“字执行”状态。

图4是本发明实施例提供的路径监控网络的结构示意图，如图4所示，路径监控网络203是根据路径数M和路径监测节点数N构成(NxM)路径监测传感器矩阵网络，即物料在流水线上的路径上从入线到出线都有N个监测节点，并有相应的传感器进行监测。所有传感器的反馈通路由传感器信号HUB集总，HUB再由路径监控通信模块102向ICW反馈传感器获取的运动监测信息。

其中，传感器信号HUB本身作为集线器，可以视接入信号的不同可有不同配置。例如，如果接入信号为CMOS电平信号，则HUB本身具备将信号处理成路径监控通信模块102可识别信息的能力，其构成为具有电平信号接收端子的定制PCB电路板；如果接入信号为标准化的差分信号(如RS485\USB\LVDS等)，则其构成为标准制式的信号HUB。

本实施例提供的，路径监控网络203的矩阵式信号处理方式，可以通过矩阵行列的设置，对路径布局和监测节点布局灵活配置，提升了路径监控的灵活配置空间。

本发明实施例提供的一种视觉检测流水线调控系统，通过建立“生产标识+检测状态字”的检测信息，以及对检测状态字的设置、更新、执行和解析的信息处理操作，实现了检测工艺的配置和检测结果自动化更新和记录，使承载该系统的流水线具备了工艺的可回溯性，实现了检测信息产生、更新以及记录的自动化，进而节省人工干预和识别的成本。同时，本实施例提供的系统中，基于工业以太网的拓扑结构构建的视觉运动控制网络，使得工艺的记录具备了连接大数据库的基础，为大数据分析的需求提供了应用基础。

利用上述系统，本发明实施例还提供了一种视觉检测流水线调控方法，图5是本实施例提供的视觉检测流水线调控方法的流程示意图，如图5所示，所述方法包括：

S101：获取进入所述流水线的物料对应的生产标识，根据所述生产标识分配相应的检测状态字，其中，所述检测状态字中包括用于表征工艺状态的状态位数据结构。

具体的，利用物料ID识别装置识别，获取进入流水线的每一个物料的生产标识，然后，将该生产标识通过以太网通信模块发送给ICW，ICW根据该生产标识分配相应的已经定义好的监测状态字，其中，所述检测状态字中包括用于表征工艺状态的状态位数据结构。

在本实施中，该检测状态字包括进料次序层、工艺代号层、工艺状态层和丢料监控四层数据结构，其中，具体的，进料次序层，用于表征所述物料进入所述流水线的次序；工艺代号层，用于表征所述物料的检测工艺；工艺状态层，用于表征所述物料在所述流水线中的检测进程和检测结果；丢料监控层，用于表征所述物料是否在所述流水线中丢失或在未进行完所有检测工艺前被移出所述流水线。

上述检测状态字的更新主要由ICW通过路径监控通信模块102与以太网通信模块101来完成，图6是本发明实施例提供的检测状态字的更新过程示意图。

根据上述检测状态字的数据结构，ICW还会根据路径监控网络检测得到的物料进入流水线的顺序，对该检测状态字中的进料次序层数据进行更新，这样检测状态字中的进料次序数据和物料的识生产标识一一对应。

通过上述步骤，ICW会根据物料进入流水线的顺序依次生成和物料识生产标识一一对应的检测状态字列表，合成“生产标识－检测状态字”列表。

S102：对所述物料进行工艺检测和运动监测，分别得到视觉检测信息和运动监测信息，其中，所述工艺检测的工艺参数与所述检测状态字相对应。

具体的，对所述物料进行工艺检测和运动监测，分别得到视觉检测信息和运动监测信息，包括：

1)根据与所述检测状态字对应的工艺组合参数，控制视觉运动控制网络中的图像处理模块和运动控制模块对所述物料进行工艺检测。

根据步骤S101得到的检测状态字中工艺代号层中所表征工艺顺序、内容以及工艺改动的工艺组合参数，ICW对视觉运动控制网络中的图像处理模块和运动控制模块中的视觉和运动参数进行配置后，视觉运动控制网络中的图像处理模块和运动控制模块通过响应网络通信，实现工艺组合参数配置的使能，对所述物料进行工艺检测。

2)对所述工艺检测的检测结果进行数据分析，得到视觉检测信息。

3)控制路径监控网络对物料进行运动监测，其中，所述运动监测的包括物料速度监测和物料位置监测。

4)对所述运动检测的监测结果进行数据分析，得到运动监测信息，其中，所述运动监测信息包括丢料信息和非视觉工艺状态信息。

S103：根据所述视觉检测信息和运动监测信息，对所述检测状态字进行状态位数据更新。

其中，根据所述视觉检测信息和运动监测信息，对所述检测状态字进行状态位数据更新，包括：

1)根据所述视觉检测信息和所述运动检测信息中的非视觉信息，对所述检测状态字中的工艺状态层进行数据更新。

工艺状态层的更新依据主要来自视觉运动控制网络中IPU反馈的视觉检测信息和路径监控网络反馈运动监测信息中的非视觉信息，具体的，通过以太网通信模块将上述视觉检测信息发送给ICW、ICW对状态检测字中工艺状态层的视觉相关数据更新；通过路径监控通信模块将上述非视觉信息发送给ICW、ICW对状态检测字中工艺状态层的非视觉相关数据更新。

2)根据所述运动检测信息中的丢料信息，对所述检测状态字中的丢料监控层进行数据更新。

路径监控网络对物料在路径上的走位和走位时间进行监控，并通过路径监控通信模块向ICW反馈监控信息，ICW按照经过监控节点反馈的信息、或同一节点先后两个来料信息反馈的时间间隔来判断是否丢料，并对检测状态字中的丢料监控层进行数据更新。

通过实时更新并保存检测状态字中的丢料监控层的数据变化，可以帮助质检人员发现由丢料导致的数据缺失或异常的原因。

上述步骤主要为检测状态字的字更新过程，本实施还提供了在工艺检测前的工艺配置过程，具体包括如下步骤：

S201：对所述检测状态字的数据结构和数据含义进行定义。

通过ICW定制描述工序的检测状态字，以表征工艺的顺序和内容以及可能的改动。

S202：将所述检测状态字的数据结构代表的工艺参数发送给视觉运动控制网络。

ICW将检测状态字所代表的工艺组合参数发送给视觉运动控制网络；通过视觉运动控制网络的网络通信协议，对视觉运动控制网络中需要设置具体行为参数的节点进行参数(包括视觉和运动参数)设置，以适应复检、抽检、工艺改动等特定需求，并对该参数设置进行保存，以保证工艺检测信息的真实性和实时性。

S203：所述视觉运动控制网络根据所述工艺参数，对所述视觉运动控制网络中的相应模块进行工艺参数设置。

在完成上述工艺参数配置后，视觉运动控制网络便使能各网络节点，来响应工艺配置，以完成检测状态字的执行，输出正确的检测结果。

本实施还提供了在工艺检测前的工艺记录、解析过程，具体包括如下步骤：

1)判断所述物料是否完成工艺检测；

2)当所述物料完成工艺检测时，对所述物料对应的检测状态字进行工艺解析，获得所述物料的工艺记录。

当物料完成所有的工艺检测后，ICW会保存最终的更新结果，然后ICW根据检测状态字的解析规则，对最终更新的检测状态字进程解析，获得工艺记录。根据该工艺记录，质检人员可以进行完成产品的品质分析、以及追溯物料所经历的工艺过程。

需要说明的是，本说明书中各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。