基于全连接网络分类模型的AI涂布抓边处理方法及系统与流程

本发明涉及图像处理，具体涉及一种全连接网络分类模型的ai涂布抓边处理方法及系统。

背景技术：

1、在涂布的涂布区域和at9区域粘贴上溶胶时会形成三种边，分别是虚边、融合边以及实边。虚边是极耳胶与at9区域的交界处；融合边是被溶胶遮盖区域涂布区与at9区域的分界线；实边是溶胶与涂布区的分界线。抓边的目的即用传统算法或者ai算法抓取到虚边、融合边以及实边的准确位置，以便去测量涂膜尺寸。

2、目前技术中，传统抓边算法针对特定边，需调节各种参数，操作成本高，有人为操作失误导致抓边失败风险的问题。当涂布边不均匀，类型多变时，抓不到想要位置，波动大。

3、现有方案的技术缺点如下：

4、1、传统抓边算法针对特定边，需调节各种参数，操作成本高，有人为操作失误导致抓边失败风险。

5、2、传统抓边算法当涂布边不均匀，类型多变时，抓不到想要位置，波动大。

6、3、传统抓边算法难抓虚边，因其像素差异小。难以灵活选择要抓虚边、融合边还是实边。

7、4、传统抓边算法当出现露箔等特殊情况或在能抓到的边之间转换时，抓边会有较大波动，鲁棒性差。

8、5、ai关键点算法对图像边缘的关键点检测效果不好。

9、因此，需要提供一种新的准确性、稳定性、鲁棒特性更高的涂布抓边处理方法及系统。

技术实现思路

1、有鉴于此，为了解决现有技术中的上述问题，本技术提出了一种基于全连接网络分类模型的ai涂布抓边处理方法及系统。

2、本技术通过以下技术手段解决上述问题：

3、本技术第一方面提供一种基于全连接网络分类模型的ai涂布抓边处理方法，其特征在于，包括如下步骤：

4、步骤s100、获取涂布边缘图像并提取对应的关键点特征；

5、步骤s200、采用卷积以及全连接操作对所述关键点特征进行分析，通过分类头确定关键点的纵坐标、横坐标以及可见性；

6、步骤s300、构建全连接网络分类模型并训练至损失函数收敛，将所述关键点的纵坐标、横坐标以及可见性输入到所述全连接网络分类模型，提取出虚边、融合边和实边在涂布边缘图像边缘处的关键点坐标；

7、步骤s400、将涂布边缘图像的关键点的纵坐标、横坐标以及可见性并输入到完成训练的全连接网络分类模型进行检测并获取虚边、融合边和实边在涂布边缘图像边缘处的关键点坐标，根据关键点坐标确定虚边、融合边和实边的位置。

8、作为优选地，所述获取涂布边缘图像并提取对应的关键点特征，包含以下步骤：

9、获取涂布原始图像并进行预处理将图片转换为统一的格式，所述预处理包括以下一种或多种方式：缩放、裁剪、灰度增强、对比度增强；

10、通过边缘提取算法确定预处理后的涂布原始图像的第一边缘位置，以第一边缘位置为中心对涂布原始图像进行裁剪，生成涂布边缘图像；

11、对所述涂布边缘图像进行数据标注，使用带有预训练模型的特征提取网络提取所述涂布边缘图像的关键点特征。

12、作为优选地，所述采用卷积以及全连接操作对所述关键点特征进行分析，通过分类头确定关键点的纵坐标、横坐标以及可见性，包括：

13、所述分类头包含纵坐标分类头、横坐标分类头以及可见性分类头；

14、通过纵坐标分类头确定关键点的纵坐标，通过横坐标分类头确定关键点的横坐标，通过可见性分类头确定关键点的可见性。

15、作为优选地，所述采用卷积以及全连接操作对所述关键点特征进行分析，通过分类头确定关键点的纵坐标、横坐标以及可见性，还包含：

16、纵坐标分类头通过一维卷积以及全连接操作将图像特征变换成n个一维向量，表示关键点的纵坐标；

17、横坐标分类头通过一维卷积以及全连接操作将图像特征变换成n个一维向量，表示关键点的横坐标；

18、可见性分类头通过二维卷积以及全连接操作将图像特征变换成一个长度为n的一维向量，表示关键点的可见性。

19、作为优选地，所述通过纵坐标分类头确定每种关键点的纵坐标，通过横坐标分类头确定每种关键点的横坐标，通过可见性分类头确定每种关键点的可见性，还包含：

20、纵坐标分类头首先对提取的关键点特征通过二维卷积和relu激活函数压缩特征；将压缩特征的横坐标方向特征进行展平，进行全连接操作及relu激活函数，将其特征维度转变为涂布边缘图像高度的ɑ倍；进行尺度不变的横坐标方向一维卷积操作，得到关键点的纵坐标分类头输出结果；

21、横坐标分类头首先对提取的关键点特征通过二维卷积和relu激活函数压缩特征；接下来将压缩特征的纵坐标方向特征进行展平，进行全连接操作及relu激活函数，将其特征维度转变为原图像宽度的ɑ倍；最后，进行尺度不变的纵坐标方向一维卷积操作，得到关键点的横坐标分类头输出结果；

22、可见性分类头首先对提取的关键点特征经过两次二维卷积将特征长宽进行压缩，再将其进行全局池化、展平、以及全连接操作后得到关键点的可见性分类头输出结果。

23、作为优选地，所述获取涂布边缘图像并提取对应的关键点特征，包含：

24、获取涂布边缘图像，在图像边缘逐渐向外填充特定颜色的像素，每一圈像素的颜色均相同，并保持相邻圈层之间的色度差和饱和度差设定在特定范围内；

25、将图像标注数据中位于图像边缘的关键点标签移至填充的像素区域最外圈。

26、作为优选地，所述全连接网络分类模型进行推理时需要根据不同关键点类型将预测的关键点移至图像边缘处；

27、所述全连接网络分类模型提取的关键点包括虚边、实边、融合边在图像边缘位置的两个关键点坐标，根据两点确定一条直线的原理确定虚边、融合边和实边的位置。。

28、本技术第二方面提供一种基于全连接网络分类模型的ai涂布抓边处理系统，包括：

29、处理模块，用于获取涂布边缘图像并提取对应的关键点特征；

30、分析模块，采用卷积以及全连接操作对所述关键点特征进行分析，通过分类头确定关键点的纵坐标、横坐标以及可见性；

31、训练模块，构建全连接网络分类模型并训练至损失函数收敛，将所述关键点的纵坐标、横坐标以及可见性输入到所述全连接网络分类模型，提取出虚边、融合边和实边在涂布边缘图像边缘处的关键点坐标；

32、检测模块，将涂布边缘图像的关键点的纵坐标、横坐标以及可见性并输入到完成训练的全连接网络分类模型进行检测并获取虚边、融合边和实边在涂布边缘图像边缘处的关键点坐标，根据关键点坐标确定虚边、融合边和实边的位置。

33、本技术第三方面提供一种计算机设备，包括处理器和存储器，所述存储器用于存储可执行的指令，所述指令用于控制所述处理器执行本技术第一方面任一项所述的方法。

34、本技术第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如本技术第一方面任一项所述的方法。

35、与现有技术相比，本发明的有益效果至少包括：

36、本发明提供了一种基于全连接网络分类模型的ai涂布抓边处理方法及系统，结合了传统算法和先进的机器学习算法，提升了抓边识别的准确度，提高了识别的鲁棒性和稳定性；与传统的算法相比，消除了人工因为个体差异与身体状态造成的主观因素对缺陷判断的影响、涂布边缘不均匀与类型多变时易影响识别结果准确度、难以识别虚边的缺点，同时解决了人工智能关键点算法对图像边缘的关键点检测效果不好以及填充后图像边缘容易过检的问题，有效解决涂布抓边识别准确度不高的问题。