一种封装工艺中传感器芯片检测方法及系统与流程

本发明涉及目标检测，尤其涉及一种封装工艺中传感器芯片检测方法及系统。

背景技术：

1、当今人工智能时代，传感器芯片作为一种重要的工业产品，其在航空航天、工业制造和消费电子等领域中已成为不可或缺的原材料。而在传感器芯片的生产制造安装过程中，由于受到原材料质量、制造设备和生产环境等因素影响，传感器芯片会出现脱落、漏压、偏移等不同种类的缺陷。因此，为保证传感器芯片的安全性能，必须对其表面进行缺陷检测。传统的传感器芯片表面缺陷检测方法主要有人工检测方法和闪光检测方法，均为非自动化的检测方法。检测人员需要进行大量重复的工作，由于传感器芯片体积较小，检测人员容易产生视觉疲劳，造成漏检或误检的情况，检测指标单一、检测效率低下。

技术实现思路

1、本发明的目的在于提供一种封装工艺中传感器芯片检测方法及系统，旨在解决现有的检测方法的检测效率较低的问题。

2、为实现上述目的，第一方面，本发明提供了一种封装工艺中传感器芯片检测方法，包括以下步骤：

3、通过图像采集装置采集传感器芯片表面图像，并对所述传感器芯片表面图像进行加工处理，扩展数据量，得到传感器芯片图像；

4、对所述传感器芯片图像中的传感器芯片类型进行预处理，得到训练集、验证集和测试集；

5、利用所述训练集、所述验证集和所述测试集训练yolov5s模型和unet网络模型，获取yolov5s模型和unet网络模型的权重参数，记录所述测试集检测过后的结果；

6、基于所述结果对yolov5s网络模型依次进行改进、训练、加入核心检测算法，并将整个模型融入到unet网络模型之中，得到传感器芯片检测模型；

7、采集待检测的传感器芯片图像后进行预处理，然后输入所述传感器芯片检测模型中进行移位检测识别后展示结果。

8、其中，所述对所述传感器芯片表面图像进行加工处理，包括：

9、对所述传感器芯片表面图像进行随机操作获得新图像，扩大数据集；

10、所述随机操作类型包括翻转、降噪和平移。

11、其中，所述对所述传感器芯片图像中的传感器芯片类型进行预处理，得到训练集、验证集和测试集，包括：

12、对所述传感器芯片图像中的传感器芯片类型进行标注并作标签，以传感器芯片移位图像以及对应的标签构建传感器芯片的样本数据集，得到训练集、验证集和测试集。

13、其中，对所述传感器芯片图像中的传感器芯片类型进行标注，包括：

14、使用labelimg工具对传感器芯片图像进行标记，获得与图像样本一一对应的xml文件，作为目标检测样本，再使用labelme工具对传感器芯片图像进行标记，获得与图像样本一一对应的json文件，作为语义分割样本。

15、其中，所述基于所述结果对yolov5s网络模型进行改进，得到改进的yolov5s网络模型，包括：

16、基于所述结果对引用sec3模块替换原yolov5s网络中的c3模块和部分卷积结构，再将在backbone部分引入se注意力机制；接着引入ghostnet模块，加入小目标检测层，得到改进的yolov5s网络模型。

17、其中，所述基于所述结果对yolov5s网络模型依次进行改进、训练、加入核心检测算法，并将整个模型融入到unet网络模型之中，得到传感器芯片检测模型，包括：

18、基于所述结果对yolov5s网络模型进行改进，得到改进的yolov5s网络模型；

19、将所述权重参数迁移到所述改进的yolov5s网络模型中，利用所述训练集、所述验证集和所述测试集对所述改进的yolov5s网络模型进行训练，获得适用于传感器芯片检测的权重参数，并加入核心检测算法，并将整个模型融入到unet网络模型之中，得到传感器芯片检测模型。

20、其中，所述采集待检测的传感器芯片图像后进行预处理，然后输入所述传感器芯片检测模型中进行移位检测识别后展示结果，包括：

21、采集待检测的传感器芯片图像；

22、对所述待检测的传感器芯片图像中的传感器芯片类型进行标注并作标签，以传感器芯片移位图像以及对应的标签构建传感器芯片的样本数据集，得到输入数据，将所述输入数据输入所述传感器芯片检测模型中进行移位检测识别，得到识别结果；

23、用pyqt对所述识别结果进行展示。

24、第二方面，本发明提供了一种封装工艺中传感器芯片检测系统，包括图像采集平台、检测网络模型构建模块和展示模块，所述图像采集平台、所述检测网络模型构建模块和所述展示模块依次连接；

25、所述图像采集平台，用于选择合适的仪器搭建图像采集装置，拍摄并得到传感器芯片图像；

26、所述检测网络模型构建模块，基于所述传感器芯片图像构建传感器芯片检测模型，并将待检测的传感器芯片图像输入所述传感器芯片检测模型中进行移位检测识别，得到识别结果；

27、所述展示模块，用于对所述识别结果进行展示。

28、本发明的一种封装工艺中传感器芯片检测方法，通过通过图像采集装置采集传感器芯片表面图像，并对所述传感器芯片表面图像进行加工处理，扩展数据量，得到传感器芯片图像；对所述传感器芯片图像中的传感器芯片类型进行预处理，得到训练集、验证集和测试集；利用所述训练集、所述验证集和所述测试集训练yolov5s模型和unet网络模型，获取yolov5s模型和unet网络模型的权重参数，记录所述测试集检测过后的结果；基于所述结果对yolov5s网络模型依次进行改进、训练、加入核心检测算法，并将整个模型融入到unet网络模型之中，得到传感器芯片检测模型；采集待检测的传感器芯片图像后进行预处理，然后输入所述传感器芯片检测模型中进行移位检测识别后展示结果，本发明提出的封装工艺中传感器芯片检测方法，能够更加准确、快速地检测出传感器芯片的种类和位置，将检测结果呈现出来，并且还可以判别出内置芯片偏移的情况，对于较小的检测目标，能达到很好的检测效果。解决了现有的检测方法的检测效率较低的问题。

技术特征：

1.一种封装工艺中传感器芯片检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的封装工艺中传感器芯片检测方法，其特征在于，

3.如权利要求2所述的封装工艺中传感器芯片检测方法，其特征在于，

4.如权利要求3所述的封装工艺中传感器芯片检测方法，其特征在于，

5.如权利要求4所述的封装工艺中传感器芯片检测方法，其特征在于，

6.如权利要求5所述的封装工艺中传感器芯片检测方法，其特征在于，

7.如权利要求6所述的封装工艺中传感器芯片检测方法，其特征在于，

8.一种封装工艺中传感器芯片检测系统，应用于权利要求1所述的封装工艺中传感器芯片检测方法，其特征在于，包括图像采集平台、检测网络模型构建模块和展示模块，所述图像采集平台、所述检测网络模型构建模块和所述展示模块依次连接；

技术总结
本发明涉及目标检测技术领域，具体涉及一种封装工艺中传感器芯片检测方法及系统，包括通过图像采集装置采集传感器芯片表面图像，并对传感器芯片表面图像进行加工处理，扩展数据量，得到传感器芯片图像；对传感器芯片图像中的传感器芯片类型进行预处理，得到训练集、验证集和测试集；利用训练集、验证集和测试集训练YOLOv5s模型和Unet网络模型，获取两个模型的权重参数，记录测试集检测过后的结果；基于结果对YOLOv5s网络模型依次进行改进、训练、加入核心检测算法，并将整个模型融入到Unet网络模型之中，得到传感器芯片检测模型；采集待检测的传感器芯片图像后进行预处理，然后输入传感器芯片检测模型中进行移位检测识别后展示结果。

技术研发人员：龙邹荣,叶兵,陈磊,徐艺菲,汤斌
受保护的技术使用者：重庆航伟光电科技有限公司
技术研发日：
技术公布日：2024/3/12