技术特征：
1.一种基于中心点识别定位的smt料盘统计方法，其特征在于：包括料盘图像采集，定位分割：基于给定不同数量的样本料盘采集图像，运用局部动态阈值分割方法获取不同料盘相对于采集图像的坐标信息(rect_x, rect_y, rect_w, rect_h)，其中rect_x为料盘roi区域的左上端点横坐标，rect_y为料盘roi区域的左上端点纵坐标，rect_w为料盘roi区域的宽度，rect_h为料盘roi区域的高度；料盘数据离线训练：包括识别料盘roi区域的图像裁剪、料盘位置标注以及中心点识别定位模型的搭建和离线训练，基于目标中心区域特征提取和识别搭建智能检测神经网络模型，可快速实现物料中心点的识别和定位，将图像数据提取模块与数据分类预测模块导出为训练模型文件；料盘图像在线预测定位：smt料盘采集装置重新获取大于1个待检测料盘图像后，分割定位获取待检测料盘roi区域，依次循环调用上述训练模型文件，可获取当前检测料盘roi区域内所有元器件的坐标(predict_x, predict_y)，其中predict_x为当前识别元器件的像素横坐标，predict_y为当前识别元器件的像素纵坐标，统计所有元器件识别坐标信息后即可描述当前料盘内元器件总数量。2.根据权利要求1所述的基于中心点识别定位的smt料盘统计方法，其特征在于，样本料盘图像采集定位分割包括对于采集含有四个料盘的rgba四通道图像，采用公式一转换为灰度图像，最大程度保留原始灰度对比度信息，公式一为，其中gary代表转换后的灰度图像，(p_x,p_y)对应当前像素横纵坐标数值，c为转换灰度信息幅度信息，smt料盘灰度图像转换默认取值为0.5，log为取对数操作，r，g，b，a分别代表原始采集图像的四个单独通道信息，对应0.39，0.59，0.11，0.0为灰度图像通道信息转换系数，对于smt料盘灰度图像，其中含有料盘数量范围为1-4个，采用动态阈值分割方式进一步缩小料盘检测roi区域，对应计算为公式二为，其中light和dark模式分别对应相对料盘发黑或者发亮的料盘呈现效果，g
orginal
为原始料盘图像特征，g
threshold
为图像平滑后的料盘图像特征，offset为偏差阈值，采用上述操作方式即可将料盘图像与背景区域进行划分，背景区域像素值设置为0，识别料盘区域像素值设置为255，统计获取整幅料盘图像中像素值等于255的区域，获取对应轮廓区域后求取最小外接矩形，提取最小外接矩形的坐标信息(rect_x，rect_y，rect_w，rect_h)。3.根据权利要求1所述的基于中心点识别定位的smt料盘统计方法，其特征在于，料盘roi区域的图像裁剪包括获取样本料盘roi图像后，对图像进行裁剪，以固定模型训练图像尺寸，设定待裁剪料盘roi图像信息为(rect_x0,rect_y0, rect_x1,rect_y1)，其中(rect_x0,rect_y0)为左上端点横纵坐标信息，(rect_x1,rect_y1)为右下端点的横纵坐标信息，裁剪图像尺寸为crop_size以及图像裁剪重叠像素值为overlap，所有裁剪图像对应坐标信息可用公式三描述，公式三为
ꢀ
，其中(rect_xi,rect_yi)对应第i个裁剪图像相对料盘roi区域图像的左上端点像素横纵坐标，裁剪图像像素宽度和高度对应均为crop_size，采用公式三即可获取n幅固定尺寸的裁剪图像，其中i=1,2,3,...,n。4.根据权利要求3所述的基于中心点识别定位的smt料盘统计方法，其特征在于，料盘位置标注包括使用标注软件对裁剪后图像进行数据标注，标注在于辅助提取中心点(x_center,y_center)坐标数值，其中x_center和y_center分别代表裁剪图像中对应元器件的像素横纵坐标，人工手动选择不同裁剪料盘图像，通过缩放、平移等操作在所有元器件中心区域鼠标点击自动绘制圆点区域，在获取一定数量的标注文件后，以文本文档形式对标签数据进行存储。5.根据权利要求4所述的基于中心点识别定位的smt料盘统计方法，其特征在于，数据标注适用对象为裁剪图像区域内占比大于60%的单个元器件，对于裁剪图像边缘元器件图像标注，参考元器件显示比例，若显示区域相对整个元器件比例小于60%，不进行标注，避免出现多个中心点识别情况。6.根据权利要求4所述的基于中心点识别定位的smt料盘统计方法，其特征在于，定位模型的搭建和离线训练包括输入信息的归一化和数据增强，模型提供翻转、旋转、仿射变换、扭曲等多种图像扩增模式，以提高模型的兼容适应能力，网络模型层数包括5个3
×
3卷积层和1
×
1池化层串联组合的数据特征提取模块，图像数据特征提取模块后接连flatten层对数据进行一维度化操作同时不影响batch大小。7.根据权利要求6所述的基于中心点识别定位的smt料盘统计方法，其特征在于，分类预测模块包括：p1、p2、p3三个金字塔层，分别对应图像特征维度的底层信息和高层信息，模型最后一层输出经过softmax操作得到每个像素位置对应的料中心点位置概率，采用分值过滤操作即可获取当前训练图像内所有料盘的中心点坐标，然后与人工标注中心点坐标进行二维空间位置计算，所得数据记作当前模型训练损失值，待损失值稳定逐渐收敛区域稳定时，将图像数据提取模块与数据分类预测模块导出即为训练模型文件。8.根据权利要求1所述的基于中心点识别定位的smt料盘统计方法，其特征在于，smt料盘统计方法还包括在线预测准确性评估，对于单类别已知料盘循环测试n大于5次并获取n次预测数量数值，取其平均数为number_predict并与人工矫正料盘内元器件总数量number_target计算绝对误差和相对误差，可初步对基于中心点识别定位的smt料盘智能统计方法进行准确性和稳定性评估。9.根据权利要求8所述的基于中心点识别定位的smt料盘统计方法，其特征在于，对于选取不同类别料盘，统计不同类别料盘预测的绝对误差和相对误差，进一步评估本专利提出smt料盘智能统计方法的兼容性。
技术总结
本发明专利提供一种基于中心点识别定位的SMT料盘统计方法，具体包括料盘图像采集定位分割、料盘数据离线训练、料盘图像在线预测定位和料盘在线预测准确性评估步骤，该识别方法综合应用图像分割与深度学习目标检测技术，保障料盘的识别定位精确度，提高不同类别料盘识别的兼容性，节省人工成本的同时优化仓储管理的快速性与便捷性。理的快速性与便捷性。理的快速性与便捷性。
技术研发人员：宋瑞超 卢坤
受保护的技术使用者：深圳精创视觉科技有限公司
技术研发日：2022.08.10
技术公布日：2022/12/5