本发明涉及智能制造技术领域，尤其涉及一种产品紧固件装配合格性检测方法、系统及存储介质。
背景技术：
在产品生产过程中，螺钉等紧固件的合理装配将影响后期产品的安全搬运和正常使用，因此需要在产品包装前对相关紧固件进行合格性检验。目前对产品紧固件的检测方式主要是人工目识法，这种方法不仅劳动强度大、效率低，而且易造成检测人员的视觉疲劳而经常性出现错检漏检情况，存在质量隐患问题。
技术实现要素：
本发明的目的在于克服现有技术的不足，本发明提供了一种产品紧固件装配合格性检测方法、系统及存储介质，可快速自动地对待检测产品的相关紧固件进行多方面检测并完成产品归类，保证质检可靠性。
为了解决上述问题，本发明提出了一种产品紧固件装配合格性检测方法，所述方法包括：
当机械手将待检测产品抓取并放置在工作台上时，所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
若无空置孔位存在，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
可选的，所述产品检测目录包括n个孔位的中心位置、每一个孔位所关联的紧固件尺寸大小以及每一个孔位所关联的紧固件模板图像。
可选的，所述结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在包括：
根据第i（1≤i≤n）个孔位的中心位置以及第i个孔位所关联的紧固件尺寸大小，在所述表面图像中绘制出第i个孔位所对应的检测线段；
统计所述检测线段上所包含的像素点总数量以及每一个像素点所对应的灰度值，并从中计算出灰度值小于预设值的像素点所占比例；
循环执行上述两个步骤n次，获得n个孔位所对应的n个占比值，并判断每一个占比值是否小于预设比例阈值；
若每一个占比值均小于所述预设比例阈值，识别到所述表面图像中无空置孔位存在；
若至少有一个占比值大于等于所述预设比例阈值，识别到所述表面图像中有空置孔位存在。
可选的，在识别所述表面图像中是否有空置孔位存在之后，还包括：
若有空置孔位存在，所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上。
可选的，所述对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息包括：
对所述表面图像进行中值滤波与二值化，得到二次表面图像；
基于canny边缘检测算法从所述二次表面图像中提取出每一个紧固件区域所对应的轮廓信息，并记录每一个紧固件区域的中心点在所述二次表面图像中的坐标位置。
可选的，所述基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断包括：
根据每一个紧固件轮廓信息所记录的区域中心点，从所述产品检测目录中匹配到与所述区域中心点相近的一个孔位的中心位置，并获取所述孔位所关联的紧固件尺寸大小和紧固件模板图像；
计算每一个紧固件轮廓信息所对应的尺寸大小，判断其与相匹配孔位所关联的紧固件尺寸大小之间的差值是否落在允许误差范围内；
若是，基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对；
若否，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中尺寸不合格的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
可选的，在基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对之后，还包括：
若每一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像吻合，所述工作台基于检测合格指令控制所述机械手将所述待检测产品抓取并移动至成品供应台上；
若至少有一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像不吻合，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中类型不匹配的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
另外，本发明实施例还提供了一种产品紧固件装配合格性检测系统，所述系统包括：
图像采集模块，用于当机械手将待检测产品抓取并放置在工作台上时，触发所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
编号识别模块，用于对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
孔位检测模块，用于结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
轮廓提取模块，用于在识别到所述表面图像中无空置孔位存在时，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
装配验证模块，用于基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
可选的，所述系统还包括：
贴标反馈模块，用于在识别到所述表面图像中有空置孔位存在时，触发所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上。
另外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任意一项所述的产品紧固件装配合格性检测方法。
在本发明实施例中，主要从孔位状态、紧固件尺寸与紧固件类型这三个方面对待检测产品上的相关紧固件进行层层检测，且在不符合其中一方面的检测要求时直接对待检测产品进行区域贴标与归类放置，有利于检修人员直观地发现并修补待检测产品的缺陷；相比于人工目识法，不仅可以缩短检修人员的时间成本，并且可以保证质检可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的产品紧固件装配合格性检测方法的流程示意图；
图2是本发明实施例中的产品紧固件装配合格性检测系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1示出了本发明实施例中的产品紧固件装配合格性检测方法的流程示意图。
如图1所示，一种产品紧固件装配合格性检测方法，所述方法包括如下步骤：
s101、当机械手将待检测产品抓取并放置在工作台上时，所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
需要说明的是，所述图像采集设备在执行对所述工作台上所放置的任意一个产品的拍摄工作时，其设置位置是始终保持不变的，使得对所述待检测产品所采集到的表面图像可与通过预先试验所采集到的合格品表面图像延用同一个平面坐标系进行数据表示。
s102、对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
本发明实施过程包括：由于技术人员在所述待检测产品上已预先标注有产品编号信息来区分紧固件装配规则，且本发明实施例针对每一个产品编号信息所对应的紧固件装配规则均生成有通过对同类合格品进行预先试验所记录得到的产品检测目录，再将每一个产品编号信息所关联的产品检测目录存储至数据库中，此时可利用现有的ocr识别工具对所述表面图像中以数字形式出现的产品编号信息进行读取，再根据所述产品编号信息从所述数据库中直接调用产品检测目录，其中所述产品检测目录包括所述表面图像中应当具备的n个孔位的中心位置、每一个孔位所关联的紧固件尺寸大小以及每一个孔位所关联的紧固件模板图像，用于区分铆钉沉头面、螺丝钉平面等紧固件的基本特征。
s103、结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
本发明实施过程包括：根据第i（1≤i≤n）个孔位的中心位置以及第i个孔位所关联的紧固件尺寸大小，在所述表面图像中绘制出第i个孔位所对应的检测线段；统计所述检测线段上所包含的像素点总数量以及每一个像素点所对应的灰度值，并从中计算出灰度值小于预设值的像素点所占比例；循环执行上述两个步骤n次，获得n个孔位所对应的n个占比值，并判断每一个占比值是否小于预设比例阈值，相应的判断结果为：若每一个占比值均小于所述预设比例阈值，识别到所述表面图像中无空置孔位存在，跳转执行步骤s105；若至少有一个占比值大于等于所述预设比例阈值，识别到所述表面图像中有空置孔位存在，继续执行步骤s104。
具体地，以判断任意一个孔位是否为空置状态为例进行说明：首先从所述产品检测目录中获取孔位1的中心位置以及孔位1所关联的尺寸大小（此处采用直径长度d1），根据孔位1的中心位置在所述表面图像上定位到孔位1的中心点o1，并绘制出一条长度为d1且关于中心点o1对称的检测线段；其次根据空置孔位的深色背景与产品表面的灰色背景之间的区分度较为明显（紧固件表面颜色与产品整体表面颜色相近），技术人员利用所述图像采集设备运作在当前时间段下的成像效果设定一个预设灰度值，此时可统计所述检测线段上所包含的像素点总数量为k1以及每一个像素点所对应的灰度值，再从k1个像素点中筛选出灰度值小于所述预设灰度值的m1（0≤m1≤k1）个像素点并计算出占比值为p1=m1/k1×100%；最后，基于所述占比值p1小于预设比例阈值，说明孔位1为已安装状态；或者基于所述占比值p1大于等于所述预设比例阈值，说明孔位1为空置状态。
s104、所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上；
本发明实施过程包括：在识别到所述表面图像中有空置孔位存在之后，根据对n个占比值的比较结果，从所述n个孔位中筛选出m（1≤m≤n）个空置孔位，此时所述工作台将根据在所述表面图像中m个空置孔位的中心位置生成第一连贯贴标路径，并驱动所述第一贴标控件按照所述第一连贯贴标路径依次按序对所述待检测产品上的m个空置孔位进行黄色标签粘贴，且在所述第一贴标控件完成贴标任务并返回至初始位置时将随即生成孔位检验完毕指令，使得所述工作台可基于所述孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上，以供维修人员可直观判断所述待检测产品的安装不合理之处。
s105、对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
本发明实施过程包括：对所述表面图像进行中值滤波与二值化，得到二次表面图像；基于canny边缘检测算法从所述二次表面图像中提取出每一个紧固件区域所对应的轮廓信息，并记录每一个紧固件区域的中心点在所述二次表面图像中的坐标位置。
具体地，针对所述表面图像进行中值滤波处理表现为：设定一个滤波窗口，利用所述滤波窗口对所述表面图像中每一个像素点的灰度值进行修正，其目的在于保证原有轮廓信息不被破坏的情况下可消除所述表面图像中的干扰噪声，避免对二值化处理后的图像背景划分效果产生影响；针对滤波后的表面图像进行二值化处理表现为：设定一个最优阈值，将当前表面图像中灰度值大于等于所述最优阈值的所有像素点的灰度值替换为0以及将灰度值小于所述最优阈值的所有像素点的灰度值替换为1，以此生成二次表面图像，其目的在于使得所述二次表面图像中所有紧固件区域与不相干背景区域的对比度达到最大，有助于后续对每一个紧固件轮廓信息的快速有效提取。
具体地，针对从所述二次表面图像中提取出每一个紧固件区域所对应的轮廓信息表现为：首先将所述二次表面图像与高斯函数进行卷积运算，得到平滑图像；其次利用一阶微分算子对所述平滑图像进行运算，得到梯度幅值和梯度方向；接着对所述梯度幅值进行抑制并检索出所有边缘点（记录为a个），且确保每一个边缘点对比于其相邻像素点在所述梯度方向上的梯度幅值变化最大；最后利用双阈值算法进行边缘点检测和边缘连接，即从a个边缘点中直接移除小于低阈值的a1个边缘点，同时从a个边缘点中挑选出趋于低阈值和高阈值之间的a2个边缘点并从中移除其邻接像素点均小于高阈值的a21个边缘点，此时再利用近邻聚类方式将剩下的（a-a1-a21）个边缘点划分为n组边缘点，之后将每一组边缘点按照数组模拟队列实现方式进行边缘连接，可得到n个紧固件区域所对应的n个轮廓信息。
s106、基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
本发明实施过程包括：
（1）根据每一个紧固件轮廓信息所记录的区域中心点，从所述产品检测目录中匹配到与所述区域中心点相近的一个孔位的中心位置，并获取所述孔位所关联的紧固件尺寸大小和紧固件模板图像；
（2）计算每一个紧固件轮廓信息所对应的尺寸大小（实际上是统计每一个紧固件轮廓线上的像素点总个数），判断其与相匹配孔位所关联的紧固件尺寸大小（此处采用外轮廓周长）之间的差值是否落在允许误差范围内，相应的判断结果为：若每一个紧固件轮廓信息所关联的尺寸大小与相匹配孔位所关联的紧固件尺寸大小之间的差值均落在所述允许误差范围内，则继续执行步骤（3）；若至少有一个紧固件轮廓信息所关联的尺寸大小与相匹配孔位所关联的紧固件尺寸大小之间的差值未落在所述允许误差范围内，则跳转执行步骤（4）；
（3）基于模板匹配算法原理将每一个紧固件轮廓信息与相匹配孔位所关联的紧固件模板图像进行类型比对，其中模板匹配算法原理主要应用在对紧固件表面类型（如一字型、十字型等）进行核实，其比对结果实际为以上两个区域相关性的计算结果；
在此步骤实施之后，还包括：若每一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像吻合，所述工作台基于检测合格指令控制所述机械手将所述待检测产品抓取并移动至成品供应台上，说明所述待检测产品为合格品；若至少有一个紧固件轮廓信息与相匹配孔位所关联的紧固件图像不吻合，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中类型不匹配的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
其中，所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中类型不匹配的所有紧固件区域进行贴标处理，包括：在识别到所述表面图像中存在已安装紧固件的类型不匹配时，根据对所述表面图像中n个紧固件轮廓信息的类型比对结果，从n个紧固件区域中筛选出m（1≤m≤n）个不匹配紧固件区域，此时所述工作台将根据m个不匹配紧固件区域的中心位置生成第二连贯贴标路径，并驱动所述第二贴标控件按照所述第二连贯贴标路径依次按序对所述待检测产品上的m个不匹配紧固件区域进行红色标签粘贴，且在所述第二贴标控件完成贴标任务并返回至初始位置时将随即生成装配检验完毕指令，使得所述工作台可基于所述装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上，以降低维修人员对不合格品的返工难度。
（4）所述工作台驱动设置在所述工作台上的第二贴标控件对所述待检测产品中尺寸不合格的所有紧固件区域进行贴标处理，再基于装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
具体地，在识别到所述表面图像中存在已安装紧固件的尺寸不合格时，根据对所述表面图像中n个紧固件轮廓信息的尺寸核对结果，从n个紧固件区域中筛选出m（1≤m≤n）个不合格紧固件区域，此时所述工作台将根据m个不合格紧固件区域的中心位置生成第三连贯贴标路径，并驱动所述第二贴标控件按照所述第三连贯贴标路径依次按序对所述待检测产品上的m个不合格紧固件区域进行红色标签粘贴，且在所述第二贴标控件完成贴标任务并返回至初始位置时将随即生成装配检验完毕指令，使得所述工作台可基于所述装配检验完毕指令控制所述机械手将所述待检测产品抓取并移动至回收维修台上。
在本发明实施例中，主要从孔位状态、紧固件尺寸与紧固件类型这三个方面对待检测产品上的相关紧固件进行层层检测，且在不符合其中一方面的检测要求时直接对待检测产品进行区域贴标与归类放置，有利于检修人员直观地发现并修补待检测产品的缺陷；相比于人工目识法，不仅可以缩短检修人员的时间成本，并且可以保证质检可靠性。
实施例
请参阅图2，图2示出了本发明实施例中的产品紧固件装配合格性检测系统的结构组成示意图。
如图2所示，一种产品紧固件装配合格性检测系统，所述系统包括：
图像采集模块201，用于当机械手将待检测产品抓取并放置在工作台上时，触发所述工作台基于检测执行指令控制固定设置在所述工作台上的图像采集设备对所述待检测产品的表面图像进行采集；
编号识别模块202，用于对采集到的表面图像中所设置的产品编号信息进行识别，并根据所述产品编号信息在数据库中调用产品检测目录；
孔位检测模块203，用于结合所述产品检测目录，识别所述表面图像中是否有空置孔位存在；
贴标反馈模块204，用于在识别到所述表面图像中有空置孔位存在时，触发所述工作台驱动设置在所述工作台上的第一贴标控件对所述待检测产品中所存在的所有空置孔位进行贴标处理，再基于孔位检验完毕指令控制所述机械手将所述待检测产品抓取并移动至装配维修台上；
轮廓提取模块205，用于在识别到所述表面图像中无空置孔位存在时，对所述表面图像中的每一个紧固件区域进行轮廓提取与区域中心点记录，得到每一个紧固件轮廓信息；
装配验证模块206，用于基于所述产品检测目录对每一个紧固件轮廓信息所关联的尺寸大小与所属类型进行匹配核对，并利用核对结果对所述待检测产品的紧固件装配合格性进行判断。
关于一种产品紧固件装配合格性检测系统的具体限定可以参见上文中对于一种产品紧固件装配合格性检测方法的限定，在此不再赘述。上述一种产品紧固件装配合格性检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有应用程序，该程序被处理器执行时实现上述实施例中任意一个实施例的一种产品紧固件装配合格性检测方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘（包括软盘、硬盘、光盘、cd-rom、和磁光盘）、rom（read-onlymemory，只读存储器）、ram（randomaccessmemory，随即存储器）、eprom（erasableprogrammableread-onlymemory，可擦写可编程只读存储器）、eeprom（electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备（例如，计算机、手机）以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
以上对本发明实施例所提供的一种产品紧固件装配合格性检测方法、系统及存储介质进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。