一种基于多图像获取设备的工件识别与分拣装置和方法与流程

本发明涉及工件识别和分拣技术领域，特别是涉及一种基于多图像获取设备的工件识别与分拣装置和方法。

背景技术：

基于机器视觉的工件分拣、拾取、搬运已在机械、食品、医药、化妆品等生产领域得到日益广泛的应用。在这些生产线中，多个工件混合传送到分拣区，承担分拣、搬运的装置要求能识别分拣区内的工件，拾取后按工序要求搬运或摆放到所需的位置。专利“基于机器视觉的机器人分拣系统及方法”(中船重工716所，cn103706568a)采用单相机获取静止的圆形药片图像后由机器手按形状分拣，吸取位置与物品实际位置的误差范围为0.2mm。专利“基于视觉处理的机器人自动码垛”(沈阳工业大学,cn104058260a)对于处在分拣区的静止工件通过单个相机获取图像，经图象处理后得到工件几何质心，再由码垛机器人按此质心吸取完成码垛。专利“工业机器人分拣系统”(沈阳工业大学，cn204036474u)采用单个相机的运动，获取两个不同位置的图像，由双目立体视觉算法得到工件的几何质心和摆放方向，生成工件在分拣区内的空间位置供机器人实施抓取。专利“一种用于机器人搬运作业的视觉定位方法”(上海fanuc机器人有限公司，cn101637908a)为提高机器人上料的姿态精度，对于固定位置上的单个工件在抓取前由一个2维相机得到位置补偿数据，拾取后由一个3维相机获得姿态特征补偿数据，该方法主要用于解决形状不规则的毛坯零件上料装夹的精度问题。

在上述采用单个相机的专利中，为了在一个视场内得到多个工件图像，除非采用昂贵的高分辨率相机，像素足够多，否则由图像处理得到的测量精度不高。

上述应用均针对单层工件场合，对于只容纳单层工件平铺的分拣区，在有的生产线中因为有新的工件持续流入，分拣区内工件间相互推挤，各个工件会作缓慢平移和转动，在图像获取后的图像处理、运动轨迹计算等抓取前的时间片内，工件位置已有小变化。在实施拣取的吸取或夹爪收紧过程中被抓取物相对于之前的位置也会发生细微的位移。上述专利均未计入这些位置变化，无法保证定位精度。

此外，上述采用单相机的方案中无法实现多个拣取设备，如机器人的协调工作。拣取的效率较低，且相机的使用率也比较低，增加拣取设备势必导致相机数量的成倍增加。而 如果采用单台相机针对不同识别的范围两次成像的方案的话不仅增加了相机需要频繁变换焦距所带来的额外成本，而且还严重影响到了拣取的效率。专利“一种用于机器人搬运作业的视觉定位方法”中，第一台2d相机固定在机器人手臂上，机器人抓取工件后移动到另一台位置固定的3d相机下进行位置补偿和定位。这种方法在多个机器人的应用场合中也会导致相机的数量会成倍增加。无法充分发挥相机的使用效率。

技术实现要素：

本发明所要解决的技术问题是提供一种基于多图像获取设备的工件识别与分拣装置和方法，进行工件识别时能同时保证识别范围与识别精度，解决对于生产线上持续流入的工件在识别和抓取的时间差产生的位移变化对精度的影响。

本发明解决其技术问题所采用的技术方案是：提供一种基于多图像获取设备的工件识别与分拣装置，包括第一图像获取设备、第二图像获取设备、工件传送装置、拣取装置和计算机，所述工件传送装置用于将工件沿一个方向进行输送；所述第一图像获取设备位于所述工件传送装置的上游，用于获取位于工件传送装置上游的所有工件的图像；所述拣取装置根据所述计算机的控制拣取位于工件传送装置上的工件；所述第二图像获取设备位于所述工件传送装置的下游，用于获取拣取装置所拣取的单个工件的局部图像；所述计算机用于计算每个工件的拣取时间、拣取位置和释放位置，所述计算机分别与第一图像获取设备、第二图像获取设备、工件传送装置和拣取装置连接。

所述计算机根据每一个工件被识别时的位置和工件传输装置移动速度计算出拣取装置针对每一个工件的拣取时间和拣取位置。

所述计算机还根据所述第二图像获取设备得到的工件定位特征的位置信息计算出工件位置校正补偿量，并根据工件释放的目标位置计算出工件的释放位置。

所述工件定位特征是指工件被拣取的一面上未被拣取装置所遮挡的部位的形状或轮廓线。

所述拣取装置通过吸取或抓取的方式进行拣取工件。

所述第一图像获取设备和第二图像获取设备均为工业相机。优选地，所述相机分辨率不超过500万像素，或像素阵列小于或等于1920*2560。

所述工件传送装置上还设有与计算机相连的传感器，所述传感器用于检测工件传送装置的传送位置和/或速度。

所述拣取装置为两个以上，所述第二图像获取设备的数量少于或等于拣取装置的数量，所述拣取装置和第二图像获取设备在工件传送装置的下游间隔布置。

所述拣取装置为两个以上，所述拣取装置在移动路径上避免干涉碰撞。

本发明解决其技术问题所采用的技术方案是：提供一种基于多图像获取设备的工件识别与分拣方法，包括以下步骤：

(1)第一图像获取设备获取工件传送装置上游的包含多个工件的图像，并进行图像处理，识别出所要拣取的工件的第一位置的信息传输给计算机；

(2)计算机控制拣取装置定位到工件的第二位置，等待工件到达第二位置时拣取工件；

(3)第二图像获取设备对拣取装置所拣取工件的定位特征进行图像采集，经过图像处理得到工件定位特征相对于拣取装置的位置信息；

(4)计算机根据得到的工件定位特征相对于拣取装置的位置信息控制拣取装置定位到释放位置释放工件。

所述步骤(1)和步骤(2)之间还包括计算机根据每一个工件被识别时的第一位置和工件传送装置移动速度计算出拣取装置针对每一个工件的拣取时间和第二位置的步骤。

所述步骤(4)中计算机根据得到的工件定位特征相对于拣取装置的位置信息计算出拣取装置释放工件的目标位置的补偿量。

所述步骤(3)的定位特征是指工件被拣取的一面上未被拣取装置所遮挡的部位的形状或轮廓线。

所述步骤(3)具体为对所拣取工件进行图像采集和灰度阈值处理，提取出轮廓线，并获得角点的坐标以及轮廓线的转角，通过角点坐标获取偏置量，通过轮廓线的转角获取角度偏置量。

所述拣取装置为两个以上时，在步骤(2)中计算机分别控制多个拣取装置定位到工件的第二位置，等待工件到达第二位置时拣取工件，然后多个拣取装置依次移动到第二图像获取设备的获取区域中；多个拣取装置在移动路径上避免干涉碰撞。

为了提高识别和分拣的效率，先完成拣取工件的拣取装置先移动到第二图像获取设备的获取区域中。

所述拣取装置为两个以上时，所述第二图像获取设备的数量少于或等于拣取装置的数 量，每个第二图像获取设备至少对应一个拣取装置，在步骤(2)中计算机分别控制多个拣取装置定位到工件的第二位置，等待工件到达第二位置时拣取工件，然后多个拣取装置移动到各自对应的第二图像获取设备的获取区域中。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：

本发明采用多相机可以实现对大范围物品的高精度识别和拣取，解决了传统方法中相机识别范围与相机分辨率之间的矛盾。

本发明中的第一相机得到工件的分拣信息以及可进行工件拣取的位置信息。在拣取工件并完成定位测量前，工件实际空间位置与识别测量得到的空间位置不同，包含了识别照相后到抓取这段时间内工件的移动，以及抓取过程中工件在机构夹紧或完全吸合前的移动或偏移。不同的工件定位特征不同，按所抓取工件的定位特征由第二相机进行精定位测量，由于工件定位特征的尺寸较小，在第二相机成像中可得到较高的图像测量精度，同时由于拣取装置与所抓取的工件间已不再有相对运动，故可以得到足够精度的当前工件的定位信息。因此本发明可应用于持续流入的多品种多个工件混合的分拣区内工件的分拣和定位搬运，从而解决了由于生产线上持续流入的工件在识别和抓取的时间差产生的位移变化对精度的影响，实现了高效率和高精度的机器人物品分拣作业。

本发明中所使用的相机均为普通规格的工业相机，在分辨率和性能上没有特别的要求。因此，本发明方案的整体成本较低。

本发明中所使用的第一相机和第二相机分别在工件传输装置的上游和下游布置，这样两个相机的工作相互没有影响，可以实现相互配合的持续、高效率的工作。第一相机进行工件区域的工件进行全局的识别，从而实现总体协调的作用，传输装置下游的多个拣取机构和第二相机可以根据第一相机识别的多个工件的位置同时对工件进行拣取，提高了工作效率。

在采用多个拣取设备的使用情况下，多个拣取设备可以共用第一相机的采集结果。同时，在对拣取设备的位置合理布局的情况下，第二相机可以被多个拣取设备交替使用。这样整个装置在效率提升的同时最少化了相机使用数量，提高了相机的利用率，降低了实施的成本。

附图说明

图1是本发明的装置结构示意图；

图2是本发明的俯视图；

图3是本发明的系统方框图；

图4是本发明的工作流程图；

图5是本发明实施例中第一图像获取设备的识别区域示意图；

图6是本发明实施例中第二图像获取设备的识别区域示意图；

图7是本发明实施例中修正补偿量示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明涉及一种基于多图像获取设备的工件识别与分拣装置，如图1和图2所示，包括第一图像获取设备1、第二图像获取设备2、工件传送装置5、拣取装置3和计算机6，所述工件传送装置5用于将工件4沿一个方向进行输送；所述第一图像获取设备1位于所述工件传送装置5的上游，用于获取位于工件传送装置5上游的所有工件的图像；所述拣取装置3根据所述计算机的控制拣取位于工件传送装置5上的工件4；所述第二图像获取设备2位于所述工件传送装置5的下游，用于获取拣取装置3所拣取的单个工件的局部图像；所述计算机6用于计算每个工件的拣取时间、拣取位置和释放位置，所述计算机6分别与第一图像获取设备1、第二图像获取设备2、工件传送装置5和拣取装置3连接。所述工件传送装置5上还设有与计算机6相连的传感器7，所述传感器7用于检测工件传送装置的传送位置和/或速度。整个工件识别与分拣装置的两侧还设有工件码放区8，该工件码放区8即为拣取装置3的释放位置。

其中，计算机可以根据每一个工件被识别时的位置和工件传输装置移动速度计算出拣取装置针对每一个工件的拣取时间和拣取位置；计算机还可以根据第二图像获取设备得到的工件定位特征的位置信息计算出工件位置校正补偿量，并根据工件释放的目标位置计算出工件的释放位置，从而实现对大范围物品的高精度识别和拣取。第一图像获取设备和第二图像获取设备均可以采用普通规格的工业相机。

不难发现，本发明采用多图像获取设备可以实现对大范围物品的高精度识别和拣取，解决了传统方法中相机识别范围与相机分辨率之间的矛盾。本发明中的第一图像获取设备 得到工件的分拣信息以及可进行工件拣取的位置信息。在拣取工件并完成定位测量前，工件实际空间位置与识别测量得到的空间位置不同，包含了识别图像获取后到抓取这段时间内工件的移动，以及抓取过程中工件在机构夹紧或完全吸合前的移动或偏移。不同的工件定位特征不同，按所抓取工件的定位特征由第二图像获取设备进行精定位测量，由于工件定位特征的尺寸较小，在第二图像获取设备成像中可得到较高的图像测量精度，同时由于拣取装置与所抓取的工件间已不再有相对运动，故可以得到足够精度的当前工件的定位信息。因此本发明可应用于持续流入的多品种多个工件混合的分拣区内工件的分拣和定位搬运，从而解决了由于生产线上持续流入的工件在识别和抓取的时间差产生的位移变化对精度的影响，实现了高效率和高精度的机器人物品分拣作业。

本发明中所使用的图像获取设备均可以为普通规格的工业相机，在分辨率和性能上没有特别的要求。因此，本发明方案的整体成本较低。本发明中所使用的第一图像获取设备和第二图像获取设备分别在工件传输装置的上游和下游布置，这样两个图像获取设备的工作相互没有影响，可以实现相互配合的持续、高效率的工作。第一图像获取设备进行工件区域的工件进行全局的识别，从而实现总体协调的作用，传输装置下游的多个拣取装置和第二图像获取设备可以根据第一图像获取设备识别的多个工件的位置同时对工件进行拣取，提高了工作效率。

本发明还涉及一种基于多图像获取设备的工件识别与分拣方法，如图3和图4所示，包括以下步骤：第一图像获取设备获取工件传送装置上游的包含多个工件的图像，并进行图像处理，识别出所要拣取的工件的第一位置的信息传输给计算机；计算机控制拣取装置定位到工件的第二位置，等待工件到达第二位置时拣取工件；第二图像获取设备对拣取装置所拣取工件的定位特征进行图像采集，经过图像处理得到工件定位特征相对于拣取装置的位置信息；计算机根据得到的工件定位特征相对于拣取装置的位置信息控制拣取装置定位到释放位置释放工件。计算机通过传感器得到工件传送装置的传送位置和/或速度，以完成整个工作流程。其中，第一图像获取设备的识别区域如图5所示，虚线框9即为第一图像获取设备的识别区域，第二图像获取设备的识别区域如图6所示，虚线圆圈10即为第二图像获取设备的识别区域，其与工件4重叠的部分即为定位特征11。

下面通过三个具体的实施例来进一步描述该方法。

实施例一：

工件传输装置为传送带，拾取装置为一台多关节机器人，工件为箱体。第一相机和第 二相机均采用普通规格的工业相机，其分辨率为500万像素。传送带通过旋转电机驱动，电机上安装有旋转编码器，检测电机旋转角度，计算机通过不断读取编码器反馈的角度计算传送带的移动距离和速度。

第一相机固定安装在传送带工件进入方向上游的正上方，镜头垂直向下指向分拣区域，第二相机为一台并固定安装在传送带下游工件分拣区域的正上方，镜头垂直向下指向分拣区域，

a)第一相机采集传送带上游的包含多个工件的图像并进行图像处理，识别出所要拣取的工件的位置的信息传输给计算机；

b)计算机根据每一个工件被识别时的位置和传送带移动速度计算出机器人针对每一个工件的拣取时间和拣取位置；

c)计算机控制机器人定位到拣取位置等待工件到达拣取位置时拣取工件，然后移动到第二相机的下方；

d)第二相机对机器人所拣取工件的定位特征进行图像采集，经过图像处理得到工件定位特征相对于拣取装置的位置信息；

e)计算机根据上一步骤中得到的工件定位特征相对于拣取装置的位置信息计算出拣取装置释放工件的目标位置的补偿量，从而得到机器人所要释放的工件码放区的释放位置；

f)计算机控制机器人定位到工件码放区的释放位置释放工件；

g)重复步骤c直到工件全部被拣取。

其中步骤d)中第二相机是对被拣取箱体的向上一面边缘的一个角的轮廓线进行定位特征识别。在特定的光照条件下对箱体边缘一个角的轮廓线进行图像采集和灰度阈值处理，提取出轮廓线，并获得角点的坐标以及轮廓线的转角，见图7。通过角点的坐标获取偏置量x’和y’。通过两条轮廓线的转角获取角度偏置量α’。将x’，y’和α’的数值传送给计算机，并计算出修正后的工件位置参数x、y和α。图7中虚线框即为工件校正后的位置。

实施例二：

工件传输装置为传送带，拾取装置为二台多关节机器人，第二相机也为两台并分别与二台机器人的位置相对应。工件为箱体。第一相机和第二相机均采用普通规格的工业相机，其像素阵列为1920*2560。传送带通过旋转电机驱动，电机转速恒定，计算机通过电机转速设定计算传送带的移动距离和速度。

第一相机固定安装在传送带工件进入方向上游的正上方，镜头垂直向下指向分拣区域，第二相机固定安装在传送带下游工件分拣区域的正上方，镜头垂直向下指向分拣区域，

两台多关节机器人与两台第二相机在传送带的下游间隔一定距离布置，相互不干涉，

a)第一相机采集传送带上游的包含多个工件的图像并进行图像处理，识别出所要拣取的工件的位置的信息传输给计算机；其中，计算机根据工件传送带的移动状态计算工件的移动距离，并在第一相机已识别工件随工件传送带离开第一相机图像采集区域前通过第一相机再次识别后续的工件；

b)计算机根据每一个工件被识别时的位置和传送带移动速度计算出机器人针对每一个工件的拣取时间和拣取位置；

c)计算机分别控制两台机器人定位到两个不同的工件的拣取位置等待工件到达拣取位置时拣取工件然后分别移动到各自对应的第二相机的下方；

d)第二相机分别对两台机器人所拣取工件的定位特征进行图像采集，经过图像处理得到工件定位特征相对于拣取装置的位置信息；

e)计算机根据上一步骤中得到的工件定位特征相对于拣取装置的位置信息计算出拣取装置释放工件的目标位置的补偿量，从而得到两台机器人所要释放的工件码放区的释放位置；

f)计算机分别控制两台机器人定位到工件码放区的释放位置释放工件；

g)重复步骤c直到工件全部被拣取。

其中步骤d中第二相机是对被拣取箱体的向上一面边缘的一个角的轮廓线进行定位特征识别。在特定的光照条件下对箱体边缘一个角的轮廓线进行图像采集和灰度阈值处理，提取出轮廓线，并获得角点的坐标以及轮廓线的转角，见图7。通过角点的坐标获取偏置量x’和y’。通过两条轮廓线的转角获取角度偏置量α’。将x’，y’和α’的数值传送给计算机，并计算出修正后的工件位置参数x、y和α。图7中虚线框即为工件校正后的位置。

实施例三：

工件传输装置为传送带，拣取装置为二台多关节机器人，第二相机为一台。工件为箱体。第一相机和第二相机均采用普通规格的工业相机，其像素阵列为1920*2560。传送带通过旋转电机驱动，电机上安装有旋转编码器，检测电机旋转角度，计算机通过不断读取编码器反馈的角度计算传送带的移动距离和速度。

第一相机固定安装在传送带工件进入方向上游的正上方，镜头垂直向下指向分拣区域，第二相机固定安装在传送带下游工件分拣区域的正上方，镜头垂直向下指向分拣区域，

两台多关节机器人在传送带的下游间隔一定距离布置，相互不干涉，第二相机位于两台机器人之间，

a)第一相机采集传送带上游的包含多个工件的图像并进行图像处理，识别出所要拣取的工件的位置的信息传输给计算机；其中，计算机根据工件传送带的移动状态计算工件的移动距离，并在第一相机已识别工件随工件传送带离开第一相机图像采集区域前通过第一相机再次识别后续的工件；

b)计算机根据每一个工件被识别时的位置和传送带移动速度计算出机器人针对每一个工件的拣取时间和拣取位置；

c)计算机控制机器人定位到拣取位置等待工件到达拣取位置时拣取工件，然后移动到第二相机的下方；

d)第二相机对机器人所拣取工件的定位特征进行图像采集，经过图像处理得到工件定位特征相对于拣取装置的位置信息；

e)计算机根据上一步骤中得到的工件定位特征相对于拣取装置的位置信息计算出拣取装置释放工件的目标位置的补偿量，从而得到机器人所要释放的工件码放区的释放位置；

f)计算机控制机器人定位到工件码放区的释放位置释放工件；

g)重复步骤c直到工件全部被拣取。

为了提高识别和分拣的效率，先完成拣取工件的机器人先移动到第二相机的下方，后完成拣取工件的拣取装置后移动到第二相机的下方，依次进行。当第一台机器人执行完步骤c时另一台机器人同时开始执行步骤c。两台机器人在移动路径上应避免干涉碰撞。

其中步骤d中第二相机是对被拣取箱体的向上一面边缘的一个角的轮廓线进行定位特征识别。在特定的光照条件下对箱体边缘一个角的轮廓线进行图像采集和灰度阈值处理，提取出轮廓线，并获得角点的坐标以及轮廓线的转角，见图7。通过角点的坐标获取偏置量x’和y’。通过两条轮廓线的转角获取角度偏置量α’。将x’，y’和α’的数值传送给计算机，并计算出修正后的工件位置参数x、y和α。图7中虚线框即为工件校正后的位置。

由此可见，在采用多个拣取设备的使用情况下，多个拣取设备可以共用第一相机的采集结果。同时，在对拣取设备的位置合理布局的情况下，第二相机可以被多个拣取设备交替使用。这样整个装置在效率提升的同时最少化了相机使用数量，提高了相机的利用率，降低了实施的成本。