涂装生产线工件上件视觉识别系统及识别方法与流程

本发明涉及涂装设备，尤其涉及一种涂装生产线工件上件视觉识别系统及识别方法。

背景技术：

1、随着中国制造业的快速发展，特别是工程机械行业向集中型、智能化、环保型发展。智能化系统的应用，冲压、焊接、涂装、总装四大工艺已经做到高效的连接。但在自动化发展的今天，设备有严格的使用空间及边界条件。特别是涂装工艺，对于设备的通过性有严格的要求，最为经济合理的通过性尺寸，是涂装线设计合理与否的关键。

2、同时，由于现有涂装生产线兼容性强，对于不同的工件又有不同姿态的工艺要求，自动化上件加人工辅助的条件下难免出现失误，现有的解决方法是采用扫描二维码的方式对工件进行识别，但该方法在面对不同姿态的工件时会导致无法完整的扫描到二维码，致使识别结果不准确，因此，亟需一种涂装生产线工件上件视觉识别系统及识别方法。

技术实现思路

1、针对现有技术的不足，本发明提供一种涂装生产线工件上件视觉识别系统及识别方法，用于解决上述问题。

2、一种涂装生产线工件上件视觉识别系统，包括：双目图像采集模块，用于获取工件的双目立体图像信息；干扰信息剔除模块，用于剔除双目立体图像信息中的多余干扰信息，得到干净待识别图像信息；多维信息合成模块，用于对干净待识别图像信息进行多维度合成，生成多维度合成结果；多维结果识别模块，用于根据多维度合成结果确定当前工件的识别结果。

3、作为本发明的一种实施例，双目图像采集模块执行包括如下操作：获取第一用户指令，根据第一用户指令设定双目视觉相机拍摄的涂装生产线范围；当涂装生产线范围内出现新工件时，根据预设采集时长，基于双目视觉相机实时采集新工件的双目立体图像信息，得到多个不同时间点的双目立体图像信息，采集完成后，对新工件进行已采集标记。

4、作为本发明的一种实施例，干扰信息剔除模块执行包括如下操作：获取同一工件的多个双目立体图像信息，根据数字图像处理方法对每一双目立体图像信息进行去背景处理，得到多个无背景的第一图像信息；获取第二用户指令，根据第二用户指令确定像素阈值；基于像素阈值，去除第一图像信息中像素值小于像素阈值的部分图像信息，得到干净待识别图像信息；其中，去除部分在干净待识别图像信息中用空白代替。

5、作为本发明的一种实施例，多维信息合成模块执行包括如下操作：获取当前工件的全部干净待识别图像信息，提取每一干净待识别图像信息中当前工件的五视图；获取当前工件任一视角的若干平面图作为待拼接平面图，以任一待拼接平面图为基准图，以另外其他的待拼接平面图为比对图，根据比对图对基准图进行完善，确定多维图像信息；根据五个视角的拼接关系和双目立体图像信息的立体图像轮廓，对五个多维图像信息进行合成，生成多维度合成结果。

6、作为本发明的一种实施例，根据比对图对基准图进行完善，确定多维图像信息，包括：步骤1、基于图像重叠识别方法，确定基准图与比对图的重叠区域；基于重叠区域确定图像叠加定位点，根据图像叠加定位点对基准图与比对图进行图像叠加操作，其中，在进行图像叠加操作时，若基准图在叠加区域范围内的图像不为空白，则叠加时以基准图为主，过滤掉该叠加区域范围内比对图的图像；若基准图在叠加区域范围内的图像为空白，则叠加时以比对图为主，以该叠加区域范围内比对图的图像覆盖掉基准图在该叠加区域范围内的空白，叠加完成后得到新的基准图；步骤2、根据新的比对图对新的基准图进行完善，直至最新的基准图内不存在空白时结束完善，确定多维图像信息。

7、作为本发明的一种实施例，多维结果识别模块执行包括如下操作：获取多维度合成结果，基于预设匹配规则，根据多维度合成结果与数据库中的若干工件图像信息进行相似度匹配，确定多维度合成结果对应的工件图像信息，根据对应的工件图像信息确定当前工件的识别结果。

8、作为本发明的一种实施例，多维结果识别模块还执行包括如下操作：当数据库中不存在与多维度合成结果成功匹配的工件图像信息时，判定当前工件为存疑工件，发送抓取指令至机械臂，抓取存疑工件至存疑区域。

9、作为本发明的一种实施例，发送抓取指令前，还包括：获取多维度合成结果，基于图片识别文字技术，对多维度合成结果进行文本提取，得到多段文本信息；根据数据库中已有工件图像信息中的关键文本信息所在位置，确定关键文本的关联分布特征；获取多段文本信息在多维度合成结果上的所在位置信息，根据关联分布特征，对多段文本信息进行筛选，确定多段关键文本信息；根据关联分布特征，确定每一位置信息的有效文本信息，根据有效文本信息对多段关键文本信息进行文本识别及关键词提取，得到有效关键词；判断是否得到有效关键词，若有效关键词为空，则返回无法识别指令至多维结果识别模块，多维结果识别模块发送未知存疑工件抓取指令至机械臂，抓取存疑工件至未知存疑区域；若有效关键词不为空且唯一，获取有效关键词对应的工件图像信息确定当前工件的识别结果，返回识别结果至多维结果识别模块，多维结果识别模块发送识别存疑工件抓取指令至机械臂，抓取存疑工件至相应识别工件图像信息存疑区域。

10、作为本发明的一种实施例，一种涂装生产线工件上件视觉识别系统还包括：云服务模块，用于显示存疑信息、抓取指令信息和系统运行数据。

11、一种涂装生产线工件上件视觉识别方法，包括：获取工件的双目立体图像信息，剔除双目立体图像信息中的多余干扰信息，得到干净待识别图像信息；对干净待识别图像信息进行多维度合成，生成多维度合成结果；根据多维度合成结果确定当前工件的识别结果。

12、本发明的有益效果为：

13、本发明提供一种涂装生产线工件上件视觉识别系统及识别方法，通过双目视觉系统采集三维图像信息，根据三维图像信息对上件工件进行多维度识别，有益于精确识别工件，相较于二维码扫描的方式，通过双目视觉系统能够在工件任何姿态下准确识别工件信息，有益于提高识别的可靠性。

14、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

15、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

技术特征：

1.一种涂装生产线工件上件视觉识别系统，其特征在于，包括：双目图像采集模块，用于获取工件的双目立体图像信息；干扰信息剔除模块，用于剔除双目立体图像信息中的多余干扰信息，得到干净待识别图像信息；多维信息合成模块，用于对干净待识别图像信息进行多维度合成，生成多维度合成结果；多维结果识别模块，用于根据多维度合成结果确定当前工件的识别结果。

2.根据权利要求1所述的一种涂装生产线工件上件视觉识别系统，其特征在于，双目图像采集模块执行包括如下操作：获取第一用户指令，根据第一用户指令设定双目视觉相机拍摄的涂装生产线范围；当涂装生产线范围内出现新工件时，根据预设采集时长，基于双目视觉相机实时采集新工件的双目立体图像信息，得到多个不同时间点的双目立体图像信息，采集完成后，对新工件进行已采集标记。

3.根据权利要求1所述的一种涂装生产线工件上件视觉识别系统，其特征在于，干扰信息剔除模块执行包括如下操作：获取同一工件的多个双目立体图像信息，根据数字图像处理方法对每一双目立体图像信息进行去背景处理，得到多个无背景的第一图像信息；获取第二用户指令，根据第二用户指令确定像素阈值；基于像素阈值，去除第一图像信息中像素值小于像素阈值的部分图像信息，得到干净待识别图像信息；其中，去除部分在干净待识别图像信息中用空白代替。

4.根据权利要求1所述的一种涂装生产线工件上件视觉识别系统，其特征在于，多维信息合成模块执行包括如下操作：获取当前工件的全部干净待识别图像信息，提取每一干净待识别图像信息中当前工件的五视图；获取当前工件任一视角的若干平面图作为待拼接平面图，以任一待拼接平面图为基准图，以另外其他的待拼接平面图为比对图，根据比对图对基准图进行完善，确定多维图像信息；根据五个视角的拼接关系和双目立体图像信息的立体图像轮廓，对五个多维图像信息进行合成，生成多维度合成结果。

5.根据权利要求4所述的一种涂装生产线工件上件视觉识别系统，其特征在于，根据比对图对基准图进行完善，确定多维图像信息，包括：步骤1、基于图像重叠识别方法，确定基准图与比对图的重叠区域；基于重叠区域确定图像叠加定位点，根据图像叠加定位点对基准图与比对图进行图像叠加操作，其中，在进行图像叠加操作时，若基准图在叠加区域范围内的图像不为空白，则叠加时以基准图为主，过滤掉该叠加区域范围内比对图的图像；若基准图在叠加区域范围内的图像为空白，则叠加时以比对图为主，以该叠加区域范围内比对图的图像覆盖掉基准图在该叠加区域范围内的空白，叠加完成后得到新的基准图；步骤2、根据新的比对图对新的基准图进行完善，直至最新的基准图内不存在空白时结束完善，确定多维图像信息。

6.根据权利要求1所述的一种涂装生产线工件上件视觉识别系统，其特征在于，多维结果识别模块执行包括如下操作：获取多维度合成结果，基于预设匹配规则，根据多维度合成结果与数据库中的若干工件图像信息进行相似度匹配，确定多维度合成结果对应的工件图像信息，根据对应的工件图像信息确定当前工件的识别结果。

7.根据权利要求6所述的一种涂装生产线工件上件视觉识别系统，其特征在于，多维结果识别模块还执行包括如下操作：当数据库中不存在与多维度合成结果成功匹配的工件图像信息时，判定当前工件为存疑工件，发送抓取指令至机械臂，抓取存疑工件至存疑区域。

8.根据权利要求7所述的一种涂装生产线工件上件视觉识别系统，其特征在于，发送抓取指令前，还包括：获取多维度合成结果，基于图片识别文字技术，对多维度合成结果进行文本提取，得到多段文本信息；根据数据库中已有工件图像信息中的关键文本信息所在位置，确定关键文本的关联分布特征；获取多段文本信息在多维度合成结果上的所在位置信息，根据关联分布特征，对多段文本信息进行筛选，确定多段关键文本信息；根据关联分布特征，确定每一位置信息的有效文本信息，根据有效文本信息对多段关键文本信息进行文本识别及关键词提取，得到有效关键词；判断是否得到有效关键词，若有效关键词为空，则返回无法识别指令至多维结果识别模块，多维结果识别模块发送未知存疑工件抓取指令至机械臂，抓取存疑工件至未知存疑区域；若有效关键词不为空且唯一，获取有效关键词对应的工件图像信息确定当前工件的识别结果，返回识别结果至多维结果识别模块，多维结果识别模块发送识别存疑工件抓取指令至机械臂，抓取存疑工件至相应识别工件图像信息存疑区域。

9.根据权利要求8所述的一种涂装生产线工件上件视觉识别系统，其特征在于，还包括：云服务模块，用于显示存疑信息、抓取指令信息和系统运行数据。

10.一种涂装生产线工件上件视觉识别方法，其特征在于，包括：获取工件的双目立体图像信息，剔除双目立体图像信息中的多余干扰信息，得到干净待识别图像信息；对干净待识别图像信息进行多维度合成，生成多维度合成结果；根据多维度合成结果确定当前工件的识别结果。

技术总结
本发明提供了一种涂装生产线工件上件视觉识别系统及识别方法，系统包括：双目图像采集模块，用于获取工件的双目立体图像信息；干扰信息剔除模块，用于剔除双目立体图像信息中的多余干扰信息，得到干净待识别图像信息；多维信息合成模块，用于对干净待识别图像信息进行多维度合成，生成多维度合成结果；多维结果识别模块，用于根据多维度合成结果确定当前工件的识别结果。

技术研发人员：彭大旭,郭伟,葛志成
受保护的技术使用者：江苏苏力机械股份有限公司
技术研发日：
技术公布日：2024/1/15