芯片定位方法、系统、存储介质和电子设备

本发明涉及计算机视觉识别，尤其涉及一种芯片定位方法、系统、存储介质和电子设备。

背景技术：

1、半导体芯片在制作、封装或是组装使用过程中，通过自动抓取方式实现转移、排列、装贴、贴膜等操作，在此过程中，需要对芯片进行位置和姿态的判定。

2、随着技术的进步，针对芯片的生产操作过程，开始采用一些图像识别技术来对芯片的状态进行识别。目前，对于芯片的定位，诸如芯片的坐标位置、旋转角度、尺寸，等等，传统算法方面存在对取像环境要求高、复杂芯片识别难度高、时间延迟高等局限性，深度学习在芯片领域的应用主要集中在种类判定和缺陷检测上。而且，芯片种类和工业操作场景多样，传统图像处理需要专门为特定芯片和使用场景定制特征提取算法以及参数，鲁棒性差、效率低且人力成本高，存在对光学环境敏感的问题，还有对复杂结构或细小特征芯片识别困难的问题。

技术实现思路

1、本发明的目的在于提供一种芯片定位方法，该芯片定位方法能有效提升芯片定位检测的鲁棒性。

2、本发明的目的还在于提供一种芯片定位系统、一种存储介质和一种电子设备。

3、为了实现上述技术目的，本发明采用如下技术方案：

4、一种芯片定位方法，包括：

5、拍摄获取目标识别芯片的图像样本数据集；

6、对图像样本数据集中的芯片图像进行标注，得到标注图像数据集，所述标注包括目标识别芯片的目标检测框的标注和关键点的标注；

7、构建目标检测算法模型，基于标注图像数据集对目标检测算法模型进行训练，得到训练好的目标检测算法模型；

8、采用训练好的目标检测算法模型来对芯片图像进行识别，识别得到芯片上的关键点，依据识别得出的芯片的目标检测框和关键点来确定得出图像中芯片的定位信息。

9、进一步地，在对图像样本数据集中的芯片图像进行标注之前，对图像样本数据集中的芯片图像进行扩增预处理。

10、进一步地，对芯片图像进行的标注是采用labelme软件来实施的。

11、进一步地，在芯片图像上标注的关键点为

12、芯片外轮廓的2至4个角点，

13、或者，

14、芯片封装面轮廓的2至4个角点。

15、进一步地，在对目标检测算法模型进行训练之前，将标注图像数据集划分为训练集、验证集和测试集。

16、进一步地，在构建目标检测算法模型时，采用初始化训练或者迁移学习的方式进行，将训练好的模型存入知识库中，知识库中存放的模型可直接使用或根据需要再训练；根据所述目标检测算法模型对所述获取的目标识别芯片图像进行实时或离线的关键点检测，以识别得到所述目标识别芯片图像中芯片的定位信息，输出位置和姿态信息。

17、进一步地，所述目标检测算法模型采用一阶段模型或两阶段模型。

18、一种芯片定位系统，包括：

19、图像获取模块，用于在图像样本数据集制作阶段，对目标识别芯片的拍摄采集，以及在芯片识别阶段，对目标识别芯片实时图像获取；

20、图像标注模块，用于对图像样本数据集中的芯片图像进行标注，得到标注图像数据集，所述标注包括目标识别芯片的目标检测框的标注和关键点的标注；

21、模型构建训练模块，用于构建目标检测算法模型，基于标注图像数据集对目标检测算法模型进行训练，得到训练好的目标检测算法模型；

22、芯片识别模块，用于采用训练好的目标检测算法模型来对芯片图像进行识别，识别得到芯片上的关键点，依据识别得出的目标识别芯片的目标检测框和关键点来确定得出图像中芯片的定位信息。

23、一种存储介质，该存储介质中存储有计算机程序，所述计算机程序被处理器执行时能实现上述述芯片定位方法。

24、一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时能实现上述芯片定位方法。

25、本发明的芯片定位方法、系统、存储介质和电子设备相对现有技术，其有益效果在于：将深度学习应用到芯片定位技术中，深度学习本身的图像特征提取能力就具有广泛的适应性，在对芯片定位的训练后，将拥有更强的鲁棒性，解决了视觉技术对光学环境敏感的问题，还有对复杂结构或细小特征芯片识别困难的问题，从而实现了芯片定位高准确度的效果；基于2至4个关键点定位的方式，减少了算法在检测识别过程中的运算量，提升了检测速度，配合具体算法的改进和硬件的搭配，可大幅提高生产效率；另外，对于应用场景和新芯片的定位，只需要相机采集新的数据就可以实现再训练或者迁移学习，操作更加简单，无需上传云端，可实现端侧的训练和使用，使检测数据和算法具有保密性；最后使用深度学习的关键点检测实现角度判定，这对于推动深度学习在芯片半导体领域应用十分新颖且具有重要意义。

技术特征：

1.一种芯片定位方法，其特征在于：包括：

2.根据权利要求1所述芯片定位方法，其特征在于：在对图像样本数据集中的芯片图像进行标注之前，对图像样本数据集中的芯片图像进行扩增预处理。

3.根据权利要求1所述芯片定位方法，其特征在于：对芯片图像进行的标注是采用labelme软件来实施的。

4.根据权利要求1所述芯片定位方法，其特征在于：在芯片图像上标注的关键点为

5.根据权利要求1所述芯片定位方法，其特征在于：在对目标检测算法模型进行训练之前，将标注图像数据集划分为训练集、验证集和测试集。

6.根据权利要求1所述芯片定位方法，其特征在于：在构建目标检测算法模型时，采用初始化训练或者迁移学习的方式进行，将训练好的模型存入知识库中，知识库中存放的模型可直接使用或根据需要再训练；根据所述目标检测算法模型对所述获取的目标识别芯片图像进行实时或离线的关键点检测，以识别得到所述目标识别芯片图像中芯片的定位信息，输出位置和姿态信息。

7.根据权利要求1所述芯片定位方法，其特征在于：所述目标检测算法模型采用一阶段模型或两阶段模型。

8.一种芯片定位系统，其特征在于：包括：

9.一种存储介质，该存储介质中存储有计算机程序，其特征在于：所述计算机程序被处理器执行时能实现如权利要求1至7中任一项所述芯片定位方法。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时能实现如权利要求1至7中任一项所述芯片定位方法。

技术总结
本发明公开了一种芯片定位方法、系统、存储介质和电子设备。本发明的芯片定位方法包括：对图像样本数据集中的芯片图像进行标注，得到标注图像数据集，标注包括目标芯片的矩形检测框标注和关键点的标注；基于标注图像数据集对目标检测算法模型进行训练；采用训练好的目标检测算法模型来对芯片图像进行识别，识别得到目标芯片的检测框和芯片上的关键点，依据芯片的检测框和关键点来确定得出图像中芯片的定位信息。本发明的芯片定位方法、系统、存储介质和电子设备，将深度学习的关键点检测应用到芯片定位领域，对工作场景的适应性强，提升芯片检测识别的鲁棒性，此外，通过算法模型的调整，可以获得更高的检测精度和速度，提升作业效率。

技术研发人员：刘涛,孙会
受保护的技术使用者：上海电机学院
技术研发日：
技术公布日：2024/1/15