一种基于中心点识别定位的SMT料盘统计方法与流程

一种基于中心点识别定位的smt料盘统计方法
技术领域
1.本发明涉及一种smt料盘识别定位方法，具体涉及一种基于中心点识别定位的smt料盘统计方法。


背景技术：

2.smt零器件的多样性和复杂性一定程度上对仓储管理增加人工成本，采用传统传感器逐一计数的方式无法满足繁多料盘的批量入库，如何寻求一种快速精准的料盘分类计数方式成为smt料盘识别领域的热门研究。基于料盘内单个元器件创建模板，全局匹配的方式对于某些离散型料盘具有较好的适用效果，但适应匹配数量有限制，兼容性相对较差，基于深度学习目标检测的smt料盘检测方法一定程度上可以兼容多类别料盘检测效果，但对于多个料盘无法准确定位计数，导致预测准确性偏低。


技术实现要素：

3.鉴于以上，本发明提供一种基于中心点识别定位的smt料盘智能统计方法，可以保证多类别料盘兼容性的基础上实现料盘定位和数量量化的精确性，具体技术方案如下。
4.一种基于中心点识别定位的smt料盘统计方法，其特征在于：料盘图像采集，定位分割：基于给定不同数量的样本料盘采集图像，运用局部动态阈值分割方法获取不同料盘相对于采集图像的坐标信息(rect_x, rect_y, rect_w, rect_h)，其中rect_x为料盘roi区域的左上端点横坐标，rect_y为料盘roi区域的左上端点纵坐标，rect_w为料盘roi区域的宽度，rect_h为料盘roi区域的高度；料盘数据离线训练：包括识别料盘roi区域的图像裁剪、料盘位置标注以及中心点识别定位模型的搭建和离线训练，基于目标中心区域特征提取和识别搭建智能检测神经网络模型，可快速实现物料中心点的识别和定位，将图像数据提取模块与数据分类预测模块导出为训练模型文件；料盘图像在线预测定位：smt料盘采集装置重新获取大于1个待检测料盘图像后，分割定位获取待检测料盘roi区域，依次循环调用上述训练模型文件，可获取当前检测料盘roi区域内所有元器件的坐标(predict_x, predict_y)，其中predict_x为当前识别元器件的像素横坐标，predict_y为当前识别元器件的像素纵坐标，统计所有元器件识别坐标信息后即可描述当前料盘内元器件总数量。
5.进一步，样本料盘图像采集定位分割包括对于采集含有四个料盘的rgba四通道图像，采用公式一转换为灰度图像，最大程度保留原始灰度对比度信息，公式一为，其中gary代表转换后的灰度图像，(p_x,p_y)对应当前像素横纵坐标数值，c为转换灰度信息幅度信息，smt料盘灰度图像转换默认取值为0.5，log为取对数操作，r，g，b，a分别代表原始采集图像的四个单独通道信息，对应0.39，0.59，0.11，0.0为灰度图像通道信息转换系数，smt料盘灰度转换
最大保留原始料盘的g通道信息，去除a通道亮度信息，offset为灰度转换阈值参数，默认值为1.0，原始smt料盘图像信息占用计算容量较大，采用上述方式转换灰度图像后最大程度包括原始料盘对比度信息，同时降低推理计算耗时。对于smt料盘灰度图像，其中含有料盘数量范围为1-4个，采用动态阈值分割方式进一步缩小料盘检测roi区域，对应计算为公式二为，其中light和dark模式分别对应相对料盘发黑或者发亮的料盘呈现效果，gorginal为原始料盘图像特征，gthreshold为图像平滑后的料盘图像特征，offset为偏差阈值，默认取值范围为10-20，采用上述操作方式即可将料盘图像与背景区域进行划分，背景区域像素值设置为0，识别料盘区域像素值设置为255，统计获取整幅料盘图像中像素值等于255的区域，获取对应轮廓区域后求取最小外接矩形，提取最小外接矩形的坐标信息(rect_x，rect_y，rect_w，rect_h)，其中x为矩形所在区域的左上端点像素横坐标，y为矩形所在区域的左上端点像素纵坐标，w为矩形宽度方向的像素占比，h为矩形高度方向的像素占比，通过统计不同料盘区域的最小外接矩形信息，进一步获取不同料盘待检测roi区域。
6.进一步，料盘roi区域的图像裁剪包括料盘roi区域的图像裁剪包括获取样本料盘roi图像后，对图像进行裁剪，以固定模型训练图像尺寸，设定待裁剪料盘roi图像信息为(rect_x0，rect_y0，rect_x1，rect_y1)，其中(rect_x0，rect_y0)为左上端点横纵坐标信息，(rect_x1，rect_y1)为右下端点的横纵坐标信息，裁剪图像尺寸为crop_size以及图像裁剪重叠像素值为overlap，所有裁剪图像对应坐标信息可用公式三描述，公式三为 ，其中(rect_xi，rect_yi)对应第i个裁剪图像相对料盘roi区域图像的左上端点像素横纵坐标，裁剪图像像素宽度和高度对应均为crop_size，采用公式三即可获取n幅固定尺寸的裁剪图像，其中i=1,2,3,...,n。
7.进一步，料盘位置标注包括使用标注软件对裁剪后图像进行数据标注，标注在于辅助提取中心点(x_center,y_center)坐标数值，其中x_center和y_center分别代表裁剪图像中对应元器件的像素横纵坐标，人工手动选择不同裁剪料盘图像，通过缩放、平移等操作在所有元器件中心区域鼠标点击自动绘制圆点区域，在获取一定数量的标注文件后，以文本文档形式对标签数据进行存储。
8.进一步，数据标注适用对象为裁剪图像区域内占比大于60%的单个元器件，对于裁剪图像边缘元器件图像标注，参考元器件显示比例，若显示区域相对整个元器件比例小于60%，不进行标注，避免出现多个中心点识别情况。
9.进一步，定位模型的搭建和离线训练包括输入信息的归一化和数据增强，模型提供翻转、旋转、仿射变换、扭曲等多种图像扩增模式，以提高模型的兼容适应能力。网络模型层数包括5个3
×
3卷积层和1
×
1池化层串联组合的数据特征提取模块，基于中心点定位的料盘识别网络模型以多个小卷积层代替大卷积层以解决处理数据出现局部最优问题，图像
数据特征提取模块后接连flatten层对数据进行一维度化操作同时不影响batch大小。
10.进一步，分类预测模块包括：p1、p2、p3三个金字塔层，分别对应图像特征维度的底层信息和高层信息，最大程度保留图像语义信息，模型最后一层输出经过softmax操作得到每个像素位置对应的料中心点位置概率，采用分值过滤操作即可获取当前训练图像内所有料盘的中心点坐标，然后与人工标注中心点坐标进行二维空间位置计算，所得数据记作当前模型训练损失值，待损失值稳定逐渐收敛区域稳定时，将图像数据提取模块与数据分类预测模块导出即为训练模型文件。
11.进一步，smt料盘统计方法还包括在线预测准确性评估，对于单类别已知料盘循环测试n大于5次并获取n次预测数量数值[number1, number2, number3,...]，取其平均数为number_predict并与人工矫正料盘内元器件总数量number_target计算绝对误差和相对误差，可初步对基于中心点识别定位的smt料盘智能统计方法进行准确性和稳定性评估。对于选取不同类别料盘，统计不同类别料盘预测的绝对误差和相对误差，进一步评估本专利提出smt料盘智能统计方法的兼容性。
[0012]
本发明基于smt料盘识别和智慧仓储管理系统提供一种基于中心点定位的料盘智能识别方法，不同料盘数据均可经过前处理分割定位划分roi区域后加入模型训练中，以保障模型对于多类别料盘的兼容性，同时对应识别定位精度小于0.2
‰
，nvidia rtx 1050ti 4g显卡设备上单盘料盘响应时间小于0.5s，确保检测精确性的同时提高料盘检测速率，为智慧仓储管理系统提供可实施方案。
[0013]
另外，相比于传统视觉检测方式，可以兼容多类别多姿态的料盘图像，相较于目标检测boundingbox检测方式，去除长短边的拟合回归计算，即一个料有且只有一个中心定位点，极大程度上提高料盘定位的精确性和数量计算的准确性。
[0014]
本发明附加的方面和优点将在下面的描述中进一步给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0015]
图1为本发明统计方法流程示意图；图2为smt料盘待识别roi区域提取效果图；图3为smt料盘裁剪图像中心点标注效果图；图4为基于中心点定位smt料盘识别模型网络架构图；图5为smt料盘在线预测流程图；图6为smt料盘在线预测结果图；图7为smt料盘准确性和兼容性评估指标表格。
具体实施方式
[0016]
下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0017]
参照图1，本实施例一种基于中心点识别定位的smt料盘统计方法，包括料盘图像采集定位分割，料盘数据离线训练和料盘图像在线预测定位。
[0018]
料盘图像采集定位分割为基于给定不同数量的样本料盘采集图像，运用局部动态
阈值分割方法获取不同料盘相对于采集图像的坐标信息(rect_x,rect_y,rect_w,rect_h)，其中rect_x为料盘roi区域的左上端点横坐标，rect_y为料盘roi区域的左上端点纵坐标，rect_w为料盘roi区域的宽度，rect_h为料盘roi区域的高度，如图2中a点。
[0019]
本实施例中样本料盘图像采集优选的选取三类料盘图像数据为测试对象，每类料盘采取150张图像，对应包括单个料盘不同空间位置姿态下的采集效果，以及指定类别不同数量料盘的采集效果，获取3
×
150共计450张料盘图像后，顺序打乱后采用1-450序号对料盘图像重新命名，保证数据的杂乱性和不重复性，获取的rgba四通道图像批量转换为灰度图像，采用公式一转换为灰度图像，最大程度保留原始灰度对比度信息。
[0020]
公式一：，其中gary代表转换后的灰度图像，(p_x,p_y)对应当前像素横纵坐标数值，c为转换灰度信息幅度信息，smt料盘灰度图像转换默认取值为0.5，log为取对数操作，r，g，b，a分别代表原始采集图像的四个单独通道信息，对应0.39，0.59，0.11，0.0为灰度图像通道信息转换系数，smt料盘灰度转换最大保留原始料盘的g通道信息，去除a通道亮度信息，offset为灰度转换阈值参数，默认值为1.0，原始smt料盘图像信息占用计算容量较大，采用上述方式转换灰度图像后最大程度包括原始料盘对比度信息，同时降低推理计算耗时。
[0021]
对于smt料盘灰度图像，其中含有料盘数量范围为1-4个，采用动态阈值分割方式进一步缩小料盘检测roi区域，对应计算公式二为，其中light和dark模式分别对应相对料盘发黑或者发亮的料盘呈现效果，gorginal为原始料盘图像特征，gthreshold为图像平滑后的料盘图像特征，offset为偏差阈值，可依据不同料盘进行调整，默认取值范围为10-20，采用上述操作方式即可将料盘图像与背景区域进行划分，背景区域像素值设置为0，识别料盘区域像素值设置为255，统计获取整幅料盘图像中像素值等于255的区域，获取对应轮廓区域后求取最小外接矩形，提取最小外接矩形的坐标信息(rect_x,rect_y,rect_w,rect_h)，通过统计不同料盘区域的最小外接矩形信息，进一步获取不同料盘待检测roi区域，然后保存每张的料盘roi裁剪图像，以当前裁剪对应时间命名，即2022_06_06_14_50_17356.png，txt保存裁剪图像roi区域信息格式为：1.png0:50,50,100,600;800,50,100,700，序号0和1即当前1.png图像内的裁剪roi区域编号，以及对应的坐标信息。
[0022]
料盘数据离线训练包括识别料盘roi区域的图像裁剪、料盘位置标注以及中心点识别定位模型的搭建和离线训练，基于目标中心区域特征提取和识别搭建智能检测神经网络模型，可快速实现物料中心点的识别和定位，将图像数据提取模块与数据分类预测模块导出为训练模型文件。
[0023]
具体而言，获取样本料盘roi图像后，对图像进行裁剪，以固定模型训练图像尺寸，设定样本料盘roi图像信息为(rect_x0，rect_y0，rect_x1，rect_y1)，其中(rect_x0，rect_y0)为左上端点横纵坐标信息，(rect_x1，rect_y1)为右下端点的横纵坐标信息，裁剪图像尺寸为crop_size以及图像裁剪重叠像素值为overlap，所有裁剪图像对应坐标信息可用公
式三描述，公式三为 ，其中(rect_xi，rect_yi)对应第i个裁剪图像相对料盘roi区域图像的左上端点像素横纵坐标，裁剪图像像素宽度和高度对应均为crop_size，采用公式三即可获取n幅固定尺寸的裁剪图像，其中i=1,2,3,...,n。
[0024]
优选的，裁剪图像尺寸crop_size设置为512
×
512，以及裁剪重叠像素overlap设置为128，全部裁剪完毕后共计获取m张固定尺寸裁剪图像，并以当前裁剪划分对应时间进行命名，对于m张裁剪图像，设置训练集比例为0.8，验证集比例为0.1，测试集比例为0.1，对应训练集、验证集和测试集内图像数量为0.8
×
m，0.1
×
m和0.1
×
m，若对应计算结果向上取整数后为0，则可将训练+验证集作为验证集，测试集为空不影响模型训练，从m张裁剪图像中随机取0.8
×
m划分为训练数据集train_dataset，随机取0.1
×
m划分为验证数据集valid_dataset，随机取0.1
×
m划分为验证数据集test_dataset，以保证不同数据集的随机性和类别混杂性。
[0025]
料盘位置标注包括使用标注软件对裁剪后样本图像进行数据标注，标注在于辅助提取中心点(x_center,y_center)坐标数值，如图3，其中x_center和y_center分别代表裁剪图像中对应元器件的像素横纵坐标，人工手动选择不同裁剪料盘图像，通过缩放、平移等操作在所有元器件中心区域鼠标点击自动绘制圆点区域，在获取一定数量的标注文件后，以文本文档形式对标签数据进行存储。数据标注适用对象为裁剪图像区域内占比大于60%的单个元器件，对于裁剪图像边缘元器件图像标注，参考元器件显示比例，若显示区域相对整个元器件比例小于60%，不进行标注，避免出现多个中心点识别情况。
[0026]
优选的，对于训练数据集train_dataset和验证数据集test_dataset，采用人工手动标记料盘内元器件中心点方式对所有图像进行数据标注操作，分别统计train_dataset和test_dataset内图像中每个元器件的中心点坐标，记录格式为：245 65 249 65 245 69 249 69 chip 0; 245 74 249 74 245 78 249 78 chip 1; 229 90 233 90 229 94 233 94 chip 2; 243 99 247 99 243 103 247 103 chip 0; 231 101 235 101 231 105 235 105 chip 1，信息包括所有料盘内元器件的中心点坐标，以及元器件命名chip以及对应类别编号。
[0027]
进一步，定位模型的搭建和离线训练包括输入信息的归一化和数据增强，模型提供翻转、旋转、仿射变换、扭曲等多种图像扩增模式，以提高模型的兼容适应能力。参照图4，网络模型层数包括5个3
×
3卷积层和1
×
1池化层串联组合的数据特征提取模块，基于中心点定位的料盘识别网络模型以多个小卷积层代替大卷积层以解决处理数据出现局部最优问题，图像数据特征提取模块后接连flatten层对数据进行一维度化操作同时不影响batch大小。一张尺寸为w
×
h料盘图像经过单层卷积层后的图像特征维度计算方式可用公式四描述； ，其中input为卷积层输入图像尺寸，output为卷积层输出尺寸，k为卷积层核大小，即k=3，p为卷积层填充步长，设置p=0，s为步长幅度，设置为
p=1，第一层卷积层的输出对应第二层卷积层的输入，经过5层卷积层图像特征信息维度设置为n,h,w,c，其中n为计算图像数量，h和w对应特征层图像尺寸，c对应当前特征层的通道数量，当前模型计算特征维度为feature_size = n
×h×w×
c，引入flatten层后图像特征信息维度为feature_size
×
1，利于卷积层提取所有特征信息的集中处理同时不影响输入图像数量，即参数n。
[0028]
分类预测模块包括p1、p2、p3三个金字塔层，分别对应图像特征维度的底层信息和高层信息，最大程度保留图像语义信息同时避免特征信息的冗余导致出现局部最优，三个金字塔层对图像进行三次上采样操作，最后层输出特征层尺寸等同于输入图像尺寸。基于中心点识别定位的smt料盘图像训练模型网络搭建完成后，设置模型输入尺寸为h
×
w，模型训练总周期数量为total_number，模型初始化学习率设置为0.0001，应用权重衰减策略避免过拟合或者学习率等于0 的情况出现，当图像特征信息经过特征提取模块和分类预测模块后，最后一层采用softmax操作获取每个像素位置对应的料中心点位置概率，即当前像素位置判断为元器件中心点的概率p=[p0, p1, p2, ..., pn]，设置p大于0.5即为预测准确，即当前像素位置可判定为元器件中心点，模型输出该概率值对应中心点(x,y)坐标信息，采用distanceloss损失计算策略统计当前模型训练损失数值，将元器件中心点目标位置设置为(target_x,target_y)，对应模型中心点预测位置设置为(predict_x,predict_y)，统计计算两坐标点的像素距离记作当前训练阶段的模型损失函数值，当distanceloss小于1e-5或者模型迭代训练周期次数等于total_number时，停止模型训练，将不同层上的权重信息文件固化后导出训练模型文件。
[0029]
优选的，本实施例中设置模型迭代周期次数total_number=1000，初始化学习率lr=0.0001，采用权重衰减策略，设置loss损失函数为distanceloss，选取已划分训练数据集train_dataset和验证数据集test_dataset作为模型输入，模型训练平台最低显卡配置为gtx 1660ti 6g设备，设置单次模型计算图像数量为6，即模型输入图像信息维度为6
×
512
×
512
×
3，开始模型训练后观察模型训练loss值损失变化，当loss损失值趋于稳定并出现小于设定值1e-5时，或者当模型训练周期次数达到设置total_number=1000后，即可关闭模型训练，同时将当前模型训练每层权重参数保存固化导出为smt_detection.model文件。
[0030]
积累数据训练结束，在已有数据基础上去预测新的料盘，即料盘图像在线预测定位，如图5。smt料盘采集装置重新获取大于1个待检测料盘图像后，分割定位获取待检测料盘roi区域，然后传递roi区域信息(rect_x, rect_y, rect_w, rect_h)获取当前待检测料盘roi图像，依次循环调用上述smt_detection.model训练模型文件，输出对应像素位置上是否为料中心点的概率数据集p=[p0, p1, p2, ..., pn]，设置预测概率阈值为0.5，保留p大于0.5的预测像素位置坐标(predict_x,predict_y)以及料盘内元器件总数量number_i，i对应不同料盘roi区域编号，将元器件预测中心点坐标(predict_x,predict_y)加上当前料盘roi图像区域对应整张料盘的左上端点像素横纵坐标(rect_x,rect_y)，即可获取整张料盘图像内所有料盘元器件对应的坐标数值(x,y)，如图6，为直观表示预测效果，可以粉红色标记当前料盘内元器件的总数量，以绿色标记料盘内所有元器件的预测位置。
[0031]
进一步，smt料盘统计方法还包括在线预测准确性评估，对于单类别已知料盘循环测试n大于5次并获取n次预测数量数值[number1, number2, number3,...]，取其平均数为number_predict并与人工矫正料盘内元器件总数量number_target计算绝对误差和相对误
差，计算方式可用公式五描述：，其中abs_error和rel_error分别代表当前类别料盘的预测绝对误差和相对误差，可初步对基于中心点识别定位的smt料盘智能统计方法进行准确性和稳定性评估。对于选取不同类别料盘，统计不同类别料盘预测的绝对误差和相对误差，进一步评估本专利提出smt料盘智能统计方法的兼容性。如图7，使用本实施例中的方法对三类料盘进行评估，准确性可达99.99%，稳定性在
±
2左右。
[0032]
本发明基于中心点识别定位的smt料盘识别方法综合应用图像分割与深度学习目标检测技术，基于智能视觉检测技术对不同料盘进行图像信息采集，运用中心点搜索定位策略对料盘中每个料盘进行识别定位，统计对应料盘数量后，可快速进行仓储存储和料盘入库，保障料盘的识别定位精确度，提高不同类别料盘识别的兼容性，节省人工成本的同时优化仓储管理的快速性与便捷性。
[0033]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。