一种面板产品自动修补方法、系统、设备及存储介质与流程

本发明涉及面板质检，具体而言，涉及一种面板产品自动修补方法、系统、设备及存储介质。

背景技术：

1、面板生产制造复杂且繁琐，制造过程中容易引入各种各样的产品缺陷，特别是针对于面板线路短路的问题；产生缺陷的玻璃基板需要送到面板修补厂进行修补，面板修补厂一般都需要人工手动操作修补机台，以完成修补过程。以最常用的激光修补为例，首先通过修补机台对载台上的玻璃基板进行拍照，然后将需要修补的缺陷部分图像传输到机台自带的修补软件界面，最后由人工通过鼠标选择激光切割的路线，以完成整个修补动作。

2、由于生产过程中产生的缺陷数量很多，配备的修补机台往往也达到十台以上，这些修补机台也需要配备相应的修补技术人员，人力成本较高，修补效率较低。

技术实现思路

1、为了解决现有面板产品缺陷修补人力成本较高、修补效率较低的问题，本发明实施例提供一种面板缺陷定位方法、定位系统、修补方法及修补系统。

2、在第一方面，本发明实施例中提供一种面板产品自动修补方法，所述方法包括以下步骤：

3、基于历史的面板产品图构造线路模板，并且对线路模板进行背景线路区分处理，以获取线路mask图；

4、对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框；

5、基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图；

6、基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框；

7、基于背景线路对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。

8、于上述实施例中，采用深度学习图像分割技术和计算机视觉（cv）图像处理技术，实现对面板产品图像中缺陷和线路的定位，以及缺陷对线路影响的量化分析，计算出激光切割的路径，从而通过后台激光修补操作，以实现修补过程的自动化，有效减少人力成本，提高面板修补效率。

9、作为本技术一些可选实施方式，获取线路mask图的流程如下：

10、对历史的面板产品图进行线路区域截取处理，以得到线路模板；

11、对线路模板进行背景线路区分处理，并且以不同灰度值填充不同线路区域，以形成线路mask图。

12、于上述实施例中，由于需要判断缺陷影响的线路位置，因此将不同线路区域进行划分，并且用不同灰度值对不同线路区域进行填充，用于标志不同的线路位置。

13、作为本技术一些可选实施方式，获取所有核心部件的矩形框的流程如下：

14、对线路模板/线路mask图进行核心部件定位处理、标注以及记录处理，以得到核心部件的坐标集；

15、基于核心部件的坐标集对不同线路区域进行划分，以得到所有核心部件对应矩形框的坐标集，其中，每个核心部件对应至少一个矩形框。

16、于上述实施例中，通过核心部件定位、标注、记录，可以获取线路模板中所有核心部件的位置信息，并且通过对所有核心部件进行区域划分，将若干核心部件的不同区域分别用不同矩形框进行标注，便于后期对待检测的面板产品图进行核心部件、线路区域定位。

17、作为本技术一些可选实施方式，获取缺陷轮廓图的流程如下：

18、基于训练后的缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图；

19、基于训练后的缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图像。

20、作为本技术一些可选实施方式，获取背景线路对应核心部件的矩形框的流程如下：

21、将缺陷轮廓图像的坐标集与所有核心部件的矩形框的坐标集比对，以判定缺陷影响的核心部件；

22、将缺陷轮廓图像填充指定灰度值，并且将灰度值填充后的缺陷轮廓图像与线路mask图像素叠加，基于像素叠加取值判定缺陷影响的线路区域；

23、基于缺陷影响的核心部件和线路区域获取背景线路对应核心部件的矩形框。

24、于上述实施例中，通过模板匹配和缺陷轮廓分割处理，并且结合所有核心部件的矩形框的坐标集，可以确定缺陷影响的核心部件位置，并且将灰度值填充后的缺陷轮廓图像与线路mask图像素叠加，通过叠加值的情况即可判定缺陷影响到线路的哪些线路区域。

25、作为本技术一些可选实施方式，基于背景线路对应核心部件的矩形框获取产品修补路径的流程如下：

26、以背景线路对应核心部件矩形框的左下角坐标为修补路径的起点坐标；

27、以缺陷轮廓图像纵向坐标的最小值为终点的纵坐标，并且结合固定的切割夹角，以获得终点的横坐标，即获得产品修补路径的终点坐标。

28、于上述实施例中，通过对缺陷影响到的线路背景进行定位之后，可以获取到对应的矩形框，通过矩形框的坐标集信息即可制定合理的激光切割路径，以实现面板自动修补。

29、作为本技术一些可选实施方式，基于产品修补路径对待检测的面板产品进行产品自动修补处理即是基于产品修补路径进行激光切割处理。

30、于上述实施例中，基于获取的产品修补路径通过捕获桌面鼠标，通过控制鼠标点击激光修补，并划出对应的产品修补路径，即可完成产品自动修补过程。

31、在第二方面，本发明提供一种面板产品自动修补系统，所述系统包括：

32、mask图获取单元，所述mask图获取单元基于历史的面板产品图构造线路模板，并且对线路模板进行背景线路区分处理，以获取线路mask图；

33、矩形框获取单元，所述矩形框获取单元用于对线路模板/线路mask图进行核心部件定位处理，以获取所有核心部件的矩形框；

34、缺陷轮廓获取单元，所述缺陷轮廓获取单元基于缺陷定位模型对待检测的面板产品图进行模板匹配处理，以定位到待修补产品图，并且基于缺陷分割模型对待检测的面板产品图像进行缺陷轮廓分割处理，以获取缺陷轮廓图；

35、缺陷定位单元，所述缺陷定位单元基于所有核心部件对应矩形框的坐标集判定缺陷轮廓图在待修补产品图上的背景线路，并且获取背景线路对应核心部件的矩形框；

36、自动修补单元，所述自动修补单元基于背景线路位置对应核心部件的矩形框获取产品修补路径，并且基于产品修补路径对待检测的面板产品进行产品自动修补处理。

37、在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述一种面板产品自动修补方法。

38、在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种面板产品自动修补方法。

39、本发明的有益效果为：本发明通过采用深度学习图像分割技术和计算机视觉（cv）图像处理技术，实现对面板产品图像中缺陷和线路的定位，以及缺陷对线路影响的量化分析，进而计算出激光切割的路径，从而通过后台激光修补操作，以实现修补过程的自动化，有效减少人力成本，提高面板修补效率。