一种芯片引脚焊接方法、设备及存储介质与流程

本发明涉及芯片焊接技术领域，尤其涉及一种芯片引脚焊接方法、设备及存储介质。

背景技术：

在芯片的生产过程中，芯片需要焊接引脚，以实现其功能。

目前，芯片的引脚焊接一般是由人工通过焊枪将引脚和芯片焊接在一起，而人工焊接时，由于人为误差，导致芯片的引脚焊接偏差较大，而且焊接效率较低。

因此，目前出现了芯片引脚焊接机，但是，由于一般芯片的大小较小，故在芯片引脚焊接时，需要极为准确的位置判断，故导致当前芯片引脚的焊接成品率不高，质量较低，无法较好的实现芯片引脚的自动焊接。

技术实现要素：

有鉴于此，有必要提供一种芯片引脚焊接方法、设备及存储介质，用以解决目前无法较好实现芯片引脚自动焊接的问题。

第一方面，本发明提供一种芯片引脚焊接方法，包括如下步骤：

获取待焊接芯片的实时位置；

判断所述待焊接芯片是否在加工工位上，如果是，则控制与加工工位对应的加工装置对所述待焊接芯片进行引脚焊接，否则，控制所述驱动机构动作，以使所述待焊接芯片运动至加工工位上；

发送控制指令至驱动机构，以使所述驱动机构驱动工作台动作后，由所述工作台将引脚焊接完成的芯片输送至下一工位。

优选的，所述的芯片引脚焊接方法中，所述获取待焊接芯片的实时位置的步骤具体包括：

获取摄像机拍摄的包含待焊接芯片的实时图像，其中，所述摄像机为深度相机；

利用预先训练完成的神经网络模型对所述实时图像进行运算，得到所述待焊接芯片在所述实时图像中的二维坐标；

进行像素坐标系与世界坐标系的转换，将所述待焊接芯片的二维坐标转化为世界坐标系中的三维坐标。

优选的，所述的芯片引脚焊接方法中，所述神经网络模型的训练方法具体为：

获取若干个包含待焊接芯片的训练样本，并对所述训练样本进行预处理后，得到包含多个训练样本的训练数据集；

构建训练神经网络，利用所述训练神经网络对所述训练数据集进行训练，得到神经网络模型。

优选的，所述的芯片引脚焊接方法中，采用yolov3算法构建第一神经网络。

优选的，所述的芯片引脚焊接方法中，所述进行像素坐标系与世界坐标系的转换，将所述待焊接芯片的二维坐标转化为世界坐标系中的三维坐标的步骤具体为：

获取所述摄像机的内参数和外参数，根据所述摄像机的内参数和外参数进行像素坐标系与世界坐标系的转换，将所述待焊接芯片的二维坐标转化为世界坐标系中的三维坐标。

优选的，所述的芯片引脚焊接方法中，采用张正友标定法来进行像素坐标系与世界坐标系的转换。

优选的，所述的芯片引脚焊接方法中，所述判断所述待焊接芯片是否在加工工位上的步骤具体包括：

将所述待焊接芯片的三维坐标与加工工位的三维坐标进行对比，并根据其误差判断所述待焊接芯片是否在加工工位上。

优选的，所述的芯片引脚焊接方法中，所述控制所述驱动机构动作，以使所述待焊接芯片运动至加工工位上的步骤具体包括：

根据所述待焊接芯片的三维坐标、加工工位的三维坐标以及待焊接芯片的预设运动轨迹生成待焊接芯片的运动路线，根据所述运动路线以及驱动机构的速率生成运动指令，并将所述运动指令发送至所述驱动机构，以使所述待焊接芯片运动至加工工位上。

第二方面，本发明还提供一种芯片引脚焊接设备，包括：处理器和存储器；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述处理器执行所述计算机可读程序时实现如上所述的芯片引脚焊接方法中的步骤。

第三方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的芯片引脚焊接方法中的步骤。

相较于现有技术，本发明提供的芯片引脚焊接方法、设备及存储介质，通过实时获取待焊接芯片的位置，判断芯片是否在加工工位上，如果不是，则控制驱动机构驱动待焊接芯片运动至加工工位，进而可以保证芯片处于正确的加工位置，从而保证芯片的焊接质量，增加芯片引脚焊接的成品率，也增加了工作效率。

附图说明

图1为本发明提供的芯片引脚焊接方法的一较佳实施例的流程图；

图2为本发明芯片引脚焊接程序的较佳实施例的运行环境示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

请参阅图1，本发明实施例提供的芯片引脚焊接方法，包括如下步骤：

s100、获取待焊接芯片的实时位置。

具体的，为了保证待焊接芯片可以准确的处于加工工位上，进而保证芯片引脚的焊接成功率，需先获取待焊接芯片的实时位置，目前，一般的是采用电机的编码器来获取位置，但是通过编码器计算出的芯片位置误差较大，而且存在一定的延时，故具体的，所述步骤s100具体包括：

获取摄像机拍摄的包含待焊接芯片的实时图像；

利用预先训练完成的神经网络模型对所述实时图像进行运算，得到所述待焊接芯片在所述实时图像中的二维坐标；

进行像素坐标系与世界坐标系的转换，将所述待焊接芯片的二维坐标转化为世界坐标系中的三维坐标。

本实施例中，采用图像识别法来获取待焊接芯片的实时坐标，从而对待焊接芯片进行精准的定位，图像识别法速度较快，能够快速获取位置，具体实施时，通过预先训练完成的神经卷积网络模型对实时图像进行运算处理，即可快速得到待焊接芯片的二维坐标，然后再进行坐标转换即可得到待焊接芯片的三维坐标。需要说明的是，本发明实施例中，所述的二维坐标和三维坐标均为待焊接芯片的中心点的坐标，其中，所述神经网络模型的训练方法具体为：

获取若干个包含待焊接芯片的训练样本，并对所述训练样本进行预处理后，得到包含多个训练样本的训练数据集；

构建训练神经网络，利用所述训练神经网络对所述训练数据集进行训练，得到神经网络模型。

具体来说，在进行训练数据集的获取时，由专业人员控制深度相机拍摄包含待焊接芯片在内的视频，然后将视频转化为帧化的图片作为神经网络的训练数据，然后筛除图像数据中存在模糊、噪声明显以及不存在待焊接芯片的样本，确保每一张图片样本清晰的包含需要检测到的特征数据。图片被保存的格式称为xml格式。

进一步来说，本发明实施例中，采用yolov3算法构建第一神经网络，神经网络模型的训练要将训练数据集放入yolov3模型中进行训练。训练中使用已经训练好的权重来进行迁移学习。迁移学习的好处在于，可以充分借用那些已经训练好的模型中已经配置优秀的参数来加快模型的训练过程，提高效率。在一个具体实施例中，训练中的训练数据集总共有1000张，其中的80％为训练集，用于训练网络；剩下15％是交叉验证集，来调整参数，获取最优模型；剩余5％是测试集，用于测试模型准确度。模型参数包括batch、sub、momentum、dycay、learning_rate、policy、filter和random，其中的batch表示的模型累计多少个样本后进行一次bp运算，与机器学习中的batch有稍许不同；sub指将一个batch中的样本分成sub次进行网络的前项传播；momentum表示的深度学习中最优化方法的动量参数，影响着梯度下降时获取到最优解的速度；dycay表示权重衰减正则项，防止过度拟合；learning_rate代表着学习率，决定权值更新的快慢。设置过大会导致模型无法收敛，设置过小会导致收敛速度过慢，是参数调节中的重要环节；policy代表了学习率调整的策略；filter表示yolov3训练中的总共的参数量；random则表示是否开启随机多尺度训练。

进一步来说，在构建了神经网络模型后，即可利用所述神经网络模型对实时图像进行运算，得到待焊接芯片在像素坐标系中的相对坐标，此时，为了获取待焊接芯片的真实坐标，需要对待焊接芯片进行坐标系的转换。具体的，所述进行像素坐标系与世界坐标系的转换，将所述待焊接芯片的二维坐标转化为世界坐标系中的三维坐标的步骤具体为：

获取所述摄像机的内参数和外参数，根据所述摄像机的内参数、外参数以及所述待焊接芯片对应的深度信息进行像素坐标系与世界坐标系的转换，将所述待焊接芯片的二维坐标转化为世界坐标系中的三维坐标。

具体来说，相机的内参数和外参数均采用标定法获取，所述深度相机的外参数包括三个轴的旋转参数，分别是是(w、δ、θ)，以及三个轴的平移参数，分别是(tx、ty、tz)，所述深度相机的内参数包括fx、fy、u0、v0。fx也就是f*sx，其中f是焦距，sx是像素/每毫米，表示x方向一个像素分别占多少个单位，是反映现实中的图像物理坐标关系与像素坐标系转换的关键。待焊接芯片对应的深度信息可通过深度相机直接获取。

进一步的，通过利用深度相机的内参数、外参数以及深度信息即可进行坐标系的转换，使像素点在像素坐标系中的二维坐标转换为世界坐标系中的三维坐标，具体的采用张正友标定法来进行坐标系的转换，在针孔模型中，世界坐标系下三维点m与图像坐标系投影点m的关系为：

其中，

s为任意数；为二维坐标；a为内参矩阵；r为旋转矩阵；t为平移矩阵；为三维坐标。

若定义h＝[r,t]，则有h则为单应性矩阵，相机平面中的坐标点可以通过角点提取的方式获取，空间平面三维点可以通过已知尺寸的标定板获取，针对每张图片都可以求得一对应的h矩阵，在获取了h矩阵后即可根据h矩阵求取待焊接芯片在世界坐标系中的坐标，完成像素坐标系和世界坐标系的转换。

s200、判断所述待焊接芯片是否在加工工位上，如果是，则控制与加工工位对应的加工装置对所述待焊接芯片进行引脚焊接，否则，控制所述驱动机构动作，以使所述待焊接芯片运动至加工工位上。

具体来说，加工工位有多个，本发明中所述的加工工位是与待焊接芯片的位置最接近、且待焊接芯片未完成的工序的加工工位，当待焊接芯片在加工工位上时，此时则直接控制与加工工位对应的加工装置对待焊接芯片进行引脚焊接，否则，则驱动待焊接芯片运动至加工工位，以保证焊接的准确性，具体的，所述判断所述待焊接芯片是否在加工工位上的步骤具体包括：

将所述待焊接芯片的三维坐标与加工工位的三维坐标进行对比，并根据其误差判断所述待焊接芯片是否在加工工位上。

具体来说，当待焊接芯片的三维坐标与加工工位的三维坐标在预设范围内，例如坐标差小于0.5毫米，则判断所述待焊接芯片在加工工位上，否则判断待加工芯片不在加工工位上。

进一步的，当待焊接芯片不在加工工位上上，则需要使待焊接芯片运动至加工工位，故所述控制所述驱动机构动作，以使所述待焊接芯片运动至加工工位上的步骤具体包括：

根据所述待焊接芯片的三维坐标、加工工位的三维坐标以及待焊接芯片的预设运动轨迹生成待焊接芯片的运动路线，根据所述运动路线以及驱动机构的速率生成运动指令，并将所述运动指令发送至所述驱动机构，以使所述待焊接芯片运动至加工工位上。

具体来说，由于在进行自动生产时，待焊接芯片的运动轨迹已经是预定好的，故可根据两个坐标以及预设轨迹生成待焊接芯片的运动路线，此路线可确保待焊接芯片运动至加工工位，然后根据路线的长度和驱动机构的速率即可算出驱动机构的运动时间，此时只需生成运动指令控制驱动机构按照计算出的运动时间运动，即可确保待焊接芯片可以运动至加工工位上，简单方便。

s300、发送控制指令至驱动机构，以使所述驱动机构驱动工作台动作后，由所述工作台将引脚焊接完成的芯片输送至下一工位。

具体来说，当该工位的工序完成后，即可将焊接完成的芯片输送至下一工位，完成芯片引脚的焊接。

本发明通过实时获取待焊接芯片的位置，判断芯片是否在加工工位上，如果不是，则控制驱动机构驱动待焊接芯片运动至加工工位，进而可以保证芯片处于正确的加工位置，从而保证芯片的焊接质量，增加芯片引脚焊接的成品率，也增加了工作效率。

如图2所示，基于上述芯片引脚焊接方法，本发明还相应提供了一种芯片引脚焊接设备，所述芯片引脚焊接设备可以是移动终端、桌上型计算机、笔记本及服务器等计算设备。

该芯片引脚焊接设备包括处理器10、存储器20及显示器30。图2仅示出了芯片引脚焊接设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述芯片引脚焊接设备的内部存储单元，例如芯片引脚焊接设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述芯片引脚焊接设备的外部存储设备，例如所述芯片引脚焊接设备上配备的插接式硬盘、智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器20还可以既包括芯片引脚焊接设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述芯片引脚焊接设备的应用软件及各类数据，例如所述芯片引脚焊接设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于芯片引脚焊接程序40，该芯片引脚焊接程序40可被处理器10执行，从而实现本申请各实施例的芯片引脚焊接方法。

所述处理器10在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述芯片引脚焊接方法等。

所述显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode，有机发光二极管)触摸器等。所述显示器30用于显示所述芯片引脚焊接设备的信息以及用于显示可视化的用户界面。所述芯片引脚焊接设备的部件10-30通过系统总线相互通信。

在一实施例中，当处理器10执行所述存储器20中芯片引脚焊接程序40时实现如上述实施例所述的芯片引脚焊接方法中的步骤，所述芯片引脚焊接方法的技术效果在所述芯片引脚焊接设备中同样具备，在此不再赘述。

综上所述，本发明提供的芯片引脚焊接方法、设备及存储介质，通过实时获取待焊接芯片的位置，判断芯片是否在加工工位上，如果不是，则控制驱动机构驱动待焊接芯片运动至加工工位，进而可以保证芯片处于正确的加工位置，从而保证芯片的焊接质量，增加芯片引脚焊接的成品率，也增加了工作效率。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。