显示屏外围电路检测方法、装置、电子设备及存储介质与流程

文档序号:16393415发布日期:2018-12-25 19:33阅读:181来源:国知局
显示屏外围电路检测方法、装置、电子设备及存储介质与流程

本发明涉及缺陷检测技术,尤其涉及一种显示屏外围电路检测方法、装置、电子设备及存储介质。

背景技术

随着科技的发展,信息显示技术在人们生活中的作用与日俱增,显示屏也因其体积小、重量轻、功率低、分辨率高、亮度高和无几何变形诸多特点被广泛应用。但在显示屏的生产过程中,由于工艺及环境的原因可能导致显示屏外围电路存在缺陷,例如,点类缺陷、异物类缺陷和划痕类缺陷等。因而,显示屏外围电路检测是生产过程中的重要环节。

现有技术中,显示屏外围电路检测主要采用人工检测或机器辅助的人工检测方法。具体的,人工检测方法是指依赖行业专家肉眼观察从生产环境中采集到的图片给出判断;机器辅助的人工检测方法是指首先利用固化有行业专家经验的质检系统对待检测的显示屏外围电路图像进行检测,初步筛选出疑似存在缺陷的图片,再由行业专家对疑似存在缺陷的图片进行人工检测判断。

然而,不管是人工检测方法,还是机器辅助的人工检测方法均受人的主观影响因素较大,检测准确度低、系统性能差,业务扩展能力低。



技术实现要素:

本发明提供一种显示屏外围电路检测方法、装置、电子设备及存储介质,以克服现有显示屏外围电路缺陷检测方法中由于受人的主观影响因素较大,致使检测准确度低、系统性能差、业务扩展能力低的问题。

根据本发明的第一方面,提供一种显示屏外围电路检测方法,包括:

接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;

将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行图片分类算法训练得到的;

将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;

根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

可选地,在第一方面的一种可能实现方式中,在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,还包括:

以历史缺陷显示屏外围电路图像的实际类型对所述缺陷检测模型进行所述图片分类算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测类型,与所述实际类型之间的损失值低于预设损失阈值。

可选地,在第一方面的另一种可能实现方式中,在所述将所述显示屏外围电路图像放大或缩小之前,还包括:

对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:

裁边、剪切、旋转。

可选地,在第一方面的再一种可能实现方式中,所述将所述待测图像输入到缺陷检测模型中得到缺陷检测结果,包括:

根据负载均衡策略,确定承载处理资源的检测模型服务器;

将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

可选地,在第一方面的又一种可能实现方式中,所述缺陷检测结果,包括:缺陷的类型;

所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏,包括:

根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

可选地,在第一方面的又一种可能实现方式中,在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,还包括:

若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:

通过控制器向生产管理者发送报警信息;

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;

通过控制器向所述控制台发送生产控制指令以便消除缺陷;

将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

本申请第二方面提供一种显示屏外围电路检测装置,包括:

接收模块,用于接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;

预处理模块,用于将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行图片分类算法训练得到的;

处理模块,用于将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;

确定模块,用于根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

可选地,在第二方面的一种可能实现方式中,所述处理模块,还用于在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,以历史缺陷显示屏外围电路图像的实际类型对所述缺陷检测模型进行所述图片分类算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测类型,与所述实际类型之间的损失值低于预设损失阈值。

可选地,在第二方面的另一种可能实现方式中,所述预处理模块,还用于在所述将所述显示屏外围电路图像放大或缩小之前对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。

可选地,在第二方面的再一种可能实现方式中,所述处理模块,具体用于根据负载均衡策略,确定承载处理资源的检测模型服务器;将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

可选地,在第二方面的又一种可能实现方式中,所述缺陷检测结果,包括:缺陷的类型;

所述确定模块,具体用于根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

可选地,在第二方面的又一种可能实现方式中,所述处理模块,还用于在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:

通过控制器向生产管理者发送报警信息;

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;

通过控制器向所述控制台发送生产控制指令以便消除缺陷;

将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

本申请第三方面提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本申请第四方面提供一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本发明提供的显示屏外围电路检测方法、装置、电子设备及存储介质,通过接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像;将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是对历史缺陷显示屏外围电路图像进行图片分类算法训练得到的;将所述待测图像输入到缺陷检测模型中得到缺陷检测结果;根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。由于上述缺陷检测模型是对历史缺陷显示屏外围电路图像进行图片分类训练得到的,因而,利用该缺陷检测模型得到的缺陷检测结果的分类精度高,智能化能力强,系统性能有所提高,业务可扩展能力高,解决了现有显示屏外围电路缺陷检测方法中由于受人的主观影响因素较大,致使检测准确度低、系统性能差、业务扩展能力低的问题。

附图说明

图1为本发明实施例提供的一种显示屏外围电路检测系统的结构示意图;

图2为本申请实施例提供的显示屏外围电路检测方法实施例一的流程示意图;

图3为本申请实施例提供的显示屏外围电路检测方法实施例二的流程示意图;

图4为本申请实施例提供的显示屏外围电路检测装置实施例的结构示意图;

图5为本发明实施例提供的一种电子设备实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

应当理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。

应当理解,在本申请中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解,在本申请中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

应当理解,在本申请中,“与a相对应的b”、“a与b相对应”或者“b与a相对应”,表示b与a相关联,根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b,还可以根据a和/或其他信息确定b。a与b的匹配,是a与b的相似度大于或等于预设的阈值。

取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

现阶段,3c产业(3c产业是指结合电脑、通讯、和消费性电子三大科技产品整合应用的资讯家电产业)的整体智能自动化程度较低,通过对手机屏等显示屏外围电路行业的调研分析可知,大部分生产厂家对手机屏采用的检测方式可以分为两种,即:人工检测方法和机器辅助的人工检测方法。

其中,人工检测方法是指依赖于行业专家肉眼观察从生产环境中采集到的图像进行判断,该方法受人的主观影响因素较大、检测效率较低,且对人眼的伤害较大,此外,由于显示屏外围电路的生成车间一般为无尘环境,工作人员进去前需要进行清洁准备,穿戴无尘衣服,其还可能对工作人员的健康和安全会产生不利影响。

机器辅助的人工检测方法也可以称为基于液晶模组检测设备检测方法,具体原理为:首先由具有一定判断能力的质检系统过滤掉不存在缺陷的图像,再由行业专家对疑似存在缺陷的图像进行检测判断。在机器辅助的人工检测方法中,质检系统多为专家系统和特征工程系统发展而来,是指专家将经验固化在质检系统中,使其具有一定的自动化能力。因此,机器辅助的人工检测方法不仅准确率低,系统性能差,无法覆盖厂商所有的检测标准,而且这种方法还效率低,容易漏判误判,检测后的图像数据很难进行二次利用挖掘。此外,在上述质检系统中,特征和判定规则都是基于行业专家的经验固化到机器中的,难以随业务的发展迭代,导致随着生产工艺的发展,质检系统的检测精度越来越低,甚至可能降低到完全不可用的状态。另外,质检系统的特征都由第三方供应商预先固化在硬件中,升级时不仅需要对生产线进行重大改造,而且价格昂贵,其在安全性、规范化、可扩展性等方面都存在着明显不足,不利于显示屏外围电路生产线的优化升级,业务扩展能力低。

综上所述,人工检测方法和机器辅助的人工检测方法均存在如下缺点:不仅效率低下、容易出现误判,而且这两种方法产生的工业数据不易存储、管理和二次挖掘再利用。

本申请实施例基于人工智能技术在计算机视觉中的最新发展,研发一种自动化、高精度、自适应修正升级的显示屏外围电路检测方法,利用图像采集设备在显示屏外围电路生产线上实时采集的显示屏外围电路图像,实时对显示屏外围电路的表面质量进行检测判断,如果检测到当前图像采集设备采集到的显示屏外围电路存在缺陷,则确定出缺陷的类型。

可选地,本申请实施例中所述的缺陷可以包括,但是不局限于包括点类缺陷、异物类缺陷和划痕类缺陷等不同类型的缺陷问题。此处不进行一一介绍。

应当理解,在本申请中,图片分类算法,是建立在卷积神经网络(convolutionalneuralnetworks,cnns)上的有效的分类检测算法。图片分类算法主要是由卷积层、池化层、全连接层等组成,对于卷积神经网络的粒度和层次选择可以根据实际情况确定,本申请实施例并不对其进行限定。卷积层的卷积操作是指利用权值不同的卷积核对显示屏外围电路图像或者经过至少一次卷积处理后得到的图像特征图进行扫描卷积,从中提取出各种类别的特征,并重新得到一个图像特征图的过程。其中,卷积核就是权矩阵,即卷积时使用到的权用一个矩阵表示,该矩阵与对应的图像区域大小相同,其行、列都是奇数,是一个权矩阵。池化层的池化操作则是指对卷积层输出的特征图进行降维操作,保留特征图中的主要特征。在cnns结构中,全连接层将卷积层产生的特征图映射成一个固定长度(一般为输入图像数据集中的图像类别数)的特征向量,这个特征向量包含了输入图像所有特征的组合信息,即将图像中含有最具有特点的图像特征保留了下来以此完成图像分类任务。图片分类可以对输入图片中物体的类型进行识别,例如可以识别出待测图像中包含了某个类型的缺陷。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。

下面首先针对本申请实施例所适用的应用场景进行简要说明。参见图1,为本发明实施例提供的一种显示屏外围电路检测系统的结构示意图。在图1所示的系统中应用了本发明提供的显示屏外围电路检测方法对显示屏外围电路进行缺陷检测。如图1所示,该显示屏外围电路检测系统主要包括:控制台12、服务器组13、控制器14、数据库15、训练器16和部署在显示屏外围电路生产线上的图像采集设备11。

其中,图像采集设备11采集显示屏外围电路生产线上的显示屏外围电路图像,控制台12接收图像采集设备11采集的显示屏外围电路图像,并将该显示屏外围电路图像发送给服务器组13中的检测模型服务器130,检测模型服务器130将接收到的显示屏外围电路图像输入到本身运行的缺陷检测模型中得到缺陷检测结果,控制器14接收检测模型服务器130的缺陷检测结果,并结合生产阶段信息给出业务响应,控制器14还可以将缺陷检测结果作为日志存储到数据库15中。此外,图像采集设备11采集到的显示屏外围电路图像还可以直接存储到数据库15中,作为缺陷检测模型训练的原始数据。训练器16提取数据库中的历史缺陷显示屏外围电路图像基于图片分类算法训练得到缺陷检测模型。

可选地,上述数据库15可以包括生产数据库151和训练数据库152,生产数据库151可以接收并保存控制器14发送的缺陷检测结果以及图像采集设备11采集到的显示屏外围电路图像,训练数据库152可以存储从生产数据库151提取的历史缺陷显示屏外围电路图像和对应的原始显示屏外围电路图像,以使训练器16训练得到检测准确率高的缺陷检测模型。

可选地,本申请实施例中的训练器16可以是由硬件和/或软件功能实现的训练引擎,作为缺陷检测模型的训练工具。本申请实施例的显示屏外围电路检测系统中还可以包括处理器、存储器等其他实体模块,本实施例不限于此。

参见图2,为本申请实施例提供的显示屏外围电路检测方法实施例一的流程示意图,图2所示方法的执行主体可以是软件装置,也可以是硬件装置,或者是软件与硬件相结合的装置。包括步骤s101至步骤s104,具体如下:

s101,接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像。

可选地,在本申请实施例中,显示屏外围电路生产线上部署有图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备。图像采集设备可以是高精度图像采集摄像头,在显示屏外围电路的生产过程中,通过调整图像采集设备的角度、光线、滤镜、倍镜、聚焦等,可以采集到多张正处于生产过程中的显示屏外围电路对应的显示屏外围电路图像。

当显示屏外围电路生产线上的图像采集设备采集到显示屏外围电路图像之后,部署在显示屏外围电路生产线上的控制台则可以向显示屏外围电路生产线上部署有缺陷检测模型的服务器组发送质量检测请求,该质量检测请求中包含上述图像采集设备采集的显示屏外围电路图像,以使服务器组中接收到该质量检测请求的服务器对接收到的显示屏外围电路图像进行处理。

s102,将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像。

s103,将所述待测图像输入到缺陷检测模型中得到缺陷检测结果。

其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行图片分类算法训练得到的。由图片分类算法训练得到的缺陷检测模型对输入的图像有大小要求,一旦输入图像的大小与模型输入要求的大小不一致,缺陷检测模型将无法对其进行处理。对显示屏外围电路进行检测时,全局图像所示意的线路走向、绕线形状更能表现其可能存在的缺陷问题,因此本实施例中在输入缺陷检测模型之前,先对显示屏外围电路图形进行缩放处理,以使得待测图像的大小与缺陷检测模型的输入大小要求一致。

对显示屏外围电路图像放大或缩小,可以理解为像素不变的放大或缩小,也可以理解为像素降低的放大或缩小。像素过高可能超出缺陷检测模型的处理能力,因此在显示屏外围电路图像像素过高的情况下,也可以先对显示屏外围电路图像进行降像素处理,在此不做限定。

可选地,接收到质量检测请求的服务器将质量检测请求中的显示屏外围电路图像获取出来,并进行放大或缩小的预处理,得到大小与缺陷检测模型的输入大小要求一致的待测图像。然后将待测图像输入到服务器上运行着的缺陷检测模型中,由缺陷检测模型执行缺陷检测,进而得到缺陷检测结果。

在一种实现方式中,在所述将所述显示屏外围电路图像放大或缩小之前,还可以对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。可以理解为,部署在显示屏外围电路生产线上的图像采集设备一般是高精度摄像头,因而,利用该图像采集设备采集到的显示屏外围电路图像可能尺寸较大、或者像素较高、或者位置不合适等。因而,当接收到控制台发送的包含在质量检测请求中的显示屏外围电路图像之后,需要根据实际情况对显示屏外围电路图像进行预处理。例如,若显示屏外围电路图像的边缘区域较大,此时,可以对显示屏外围电路图像进行裁边处理,保留显示屏外围电路图像的有用部分。

值得说明的是,服务器上运行的缺陷检测模型是对历史缺陷显示屏外围电路图像进行图片分类算法训练得到的。具体的,本实施例是用图片分类算法来进行图片分类。图片分类是指让计算机根据图像中是什么物体进行检测,即对待测图像中是否包含缺陷,以及在包含缺陷时的缺陷类型进行识别。在本申请实施例中,缺陷检测模型采用例如cnns算法模型的图片分类算法结构。具体的,显示屏外围电路生产线上的显示屏外围电路图像作为缺陷检测模型的输入,利用缺陷检测模型的图片分类算法结构识别显示屏外围电路图像的特征,即得到哪些待测图像是不存在缺陷的正常图像,哪些图像是存在缺陷的缺陷图像,而对于缺陷图像又可以识别出图像包含的是什么缺陷类型。

作为一种示例,在所述将所述待测图像输入到缺陷检测模型中得到缺陷检测结果之前,还可以包括模型训练过程。具体地,可以是以历史缺陷显示屏外围电路图像的实际类型对所述缺陷检测模型进行所述图片分类算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测类型,与所述实际类型之间的损失值低于预设损失阈值。

本申请实施例可以利用图片分类算法模型,对显示屏外围电路生产线上由图像采集设备采集到的显示屏外围电路图像的变形、模糊、光照变化等特征具有较高的鲁棒性,对于分类任务具有更高的可泛化性。

值得说明的是,在本申请实施例中,对于不同的生产场景和显示屏外围电路图像的特点,训练上述缺陷检测模型所需要的图片分类算法模型的组织方式均可能不同,其可以根据实际情况进行确定,本实施例并不对其进行限定。

s104,根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

可选地,在本申请的实施例中,当根据缺陷检测模型得出缺陷检测结果之后,可以依据该缺陷检测结果确定上述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

可选地,在本申请的一实施例中,上述缺陷检测结果,可以包括:缺陷的类型。例如,当显示屏外围电路图像中存在缺陷时,该缺陷检测模型可以得出的缺陷检测结果中可以包括缺陷类型(显示屏外围电路上共存在几类缺陷)。

相应的,s104(根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏)可以替换为:根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

具体的,显示屏外围电路的生产厂家、生产环境、以及类型等多种不同的生产阶段信息均可能在显示屏外围电路检测过程中得到不同的缺陷检测结果。对于不同种类的显示屏外围电路,所其经历的生产阶段不同,因而,对上述得到的缺陷检测结果进行分析时,需要结合各显示屏外围电路的生产阶段信息进行来确定显示屏外围电路的质量好坏。

值得说明的是,本申请实施例的缺陷检测模型可以检测出显示屏外围电路图像中存在缺陷的类型,而不对具体的缺陷轮廓和缺陷个体进行识别,降低了运算负荷。

本申请实施例提供的显示屏外围电路检测方法,通过接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,该质量检测请求中包含显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像,将显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果,并根据该缺陷检测结果确定显示屏外围电路图像对应的显示屏外围电路的质量好坏。由于上述缺陷检测模型是对历史缺陷显示屏外围电路图像进行图片分类算法训练得到的,因而,利用该缺陷检测模型得到的缺陷检测结果的分类精度高,智能化能力强,系统性能有所提高,业务可扩展能力高。

参见图3,为本申请实施例提供的显示屏外围电路检测方法实施例二的流程示意图。在上述实施例的基础上,图3所示实施例中,上述s104(将所述待测图像输入到缺陷检测模型中得到缺陷检测结果)可以通过步骤s301-s302实现,具体如下:

s301,根据负载均衡策略,确定承载处理资源的检测模型服务器。

可选地,在本申请的实施例中,显示屏外围电路生产线上部署有一个服务器组,该服务器组中的服务器数量可以为多个,每个服务器上均运行着缺陷检测模型。可选地,每个服务器上运行的缺陷检测模型均是相同的,因此,每个服务器均可接收控制台发送的质量检测请求,进而可以利用自身承载的缺陷检测模型对显示屏外围电路图像进行质量检测。

作为一种示例,由于部署在显示屏外围电路生产线上的图像采集设备实时采集显示屏外围电路图像,因而,控制台也可以实时向服务器组中的任一服务器发送质量检测请求。

可选地,由于服务器组中每个服务器上运行的缺陷检测模型是相同的,因而,为了提高服务器上的缺陷检测模型的检测效率,保证缺陷检测模型的负载均衡,可以根据预先设置的负载均衡策略,从服务器组中确定一个服务器作为承载处理资源的检测模型服务器,即根据显示屏外围电路生产线上缺陷检测模型的部署情况实时进行负载均衡和调度。

s302,将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

可选地,在本申请实施例中,当从服务器组中确定出承载处理资源的检测模型服务器之后,便可以将上述待测图像输入到该检测模型服务器上运行的缺陷检测模型中,利用该缺陷检测模型对待测图像的缺陷进行检测,进而得到缺陷检测结果。可选地,该缺陷检测模型是由训练模块对历史缺陷显示屏外围电路图像的预设类型和实际类型进行训练得到的。

本申请实施例提供的显示屏外围电路检测方法,通过根据负载均衡策略,确定承载处理资源的检测模型服务器,并且将上述待测图像输入到运行在上述检测模型服务器上的缺陷检测模型中得到缺陷检测结果,能够实现服务器上的负载均衡,提高显示屏外围电路图像的检测效率,提升显示屏外围电路检测系统的性能。

在一种实现方式中,在上述步骤s302(将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果)之后,还可以包括如下步骤:

若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:

通过控制器向生产管理者发送报警信息;

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;

通过控制器向所述控制台发送生产控制指令以便消除缺陷;

将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

可选地,在本申请实施例中,测试人员可以根据显示屏外围电路的生产场景和生产阶段信息,预先设置当确定显示屏外围电路为坏屏时的解决方案,比如,通过控制器向生产管理者发送报警信息,和/或,通过控制器将上述缺陷检测结果作为日志存储到生产数据库中,和/或,通过控制器向控制台发送生产控制指令以便消除缺陷,和/或,将上述显示屏外围电路图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型等。

具体的,作为一种示例,当根据上述缺陷检测结果确定出显示屏外围电路图像对应的显示屏外围电路是损坏电路,即显示屏外围电路中存在缺陷时,可以发出报警信息,以使生产管理者及时定位缺陷的类型和产生该缺陷的产品(与显示屏外围电路图像相对应),并且给出解决方案。

作为另一种示例,当根据上述缺陷检测结果确定显示屏外围电路中存在缺陷时,可以通过控制器将上述缺陷检测结果作为日志存储到生产数据库中,即将显示屏外围电路的缺陷的类型作为日志存储到生产数据库中,进而可以将其筛选到训练数据库中,由训练模块(可以是训练引擎等软件程序)根据存在缺陷的显示屏外围电路图像更新上述缺陷检测模型。

作为再一种示例,当根据上述缺陷检测结果确定显示屏外围电路中存在缺陷时,还可以通过控制器向控制台发送生产控制指令以便消除缺陷。即,承载缺陷检测模型的检测模型服务器可以通过控制器确定出缺陷出现的原因,进而根据相应的调整生产流程,也即,检测模型服务器通过控制器向控制台发送生产控制指令以消除显示屏外围电路上出现的缺陷,以减少损坏电路出现的概率。

作为又一种示例,当根据上述缺陷检测结果确定显示屏外围电路中存在缺陷时,也可以直接将上述显示屏外围电路图像和上述缺陷检测结果输入到上述缺陷检测模型中以便优化上述缺陷检测模型,即直接将损坏电路对应的显示屏外围电路图像作为缺陷检测模型的训练集,以优化该缺陷检测模型,进而提高缺陷检测模型的检测准确度。

值得说明的是,本申请实施例并不限定在确定显示屏外围电路为损坏电路时检测模型服务器可执行的上述一项或多项操作,其可根据实际情况进行确定,此处不再赘述。

可选地,对于显示屏外围电路生产线上部署的图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备,也可以将显示屏外围电路检测方法对应的操作步骤分散到上述多个不同的设备来执行。例如,图像采集设备采集显示屏外围电路图像,控制台根据负载均衡策略,将图像采集设备采集到的显示屏外围电路图像发送给服务器组中的检测模型服务器,由检测模型服务器上运行的缺陷检测模型对显示屏外围电路图像进行预设的预处理之后进行缺陷检测,并给出缺陷检测结果。检测模型服务器可以将缺陷检测结果发送给控制器,一方面由控制器结合实际业务场景,并根据业务需求,根据上述缺陷检测结果做出符合实际业务场景要求的响应,如报警、存储日志、控制生产控制指令等,另一方面,控制器还可以将缺陷检测结果及上述响应的处理行为作为日志存储到生产数据库中,以使训练模块根据训练数据库中的显示屏外围电路图像和缺陷检测结果更新上述得到的缺陷检测模型,该训练数据库中存储的是从生产数据库中筛选的具有缺陷的显示屏外围电路图像和对应的缺陷检测结果等数据。本实施例中历史缺陷显示屏外围电路图像,可以是已经过大小缩放预处理的图像,也可以是原图像,若是经过缩放处理的图像,则在作为训练集输入缺陷检测模型时,可以不再进行预处理,而若是原图像,则在作为训练集输入缺陷检测模型时,需要进行预处理。

值得说明的是,对于每一次优化的缺陷检测模型可通过小流量上线的方式逐步取代正在服务器上运行的缺陷检测模型,以达到缺陷检测模型随业务场景和生产阶段信息动态扩展泛化的目的。当本申请实施例中显示屏外围电路检测方法在显示屏外围电路生产线上运行一段时间后,可以人工通过生产数据库中的信息,复查上述缺陷检测和缺陷定位的准确率,然后更新上述训练数据库,重新训练缺陷检测模型,以提高缺陷检测准确率。

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

参见图4,为本申请实施例提供的显示屏外围电路检测装置实施例的结构示意图。如图4所示,本申请实施例提供的显示屏外围电路检测装置可以主要包括:接收模块41、预处理模块42、处理模块43和确定模块44。

其中,接收模块41,用于接收部署在显示屏外围电路生产线上的控制台发送的质量检测请求,所述质量检测请求中包含所述显示屏外围电路生产线上的图像采集设备采集的显示屏外围电路图像。

预处理模块42,用于将所述显示屏外围电路图像放大或缩小,得到大小与缺陷检测模型的输入大小要求一致的待测图像,其中,所述缺陷检测模型是用历史缺陷显示屏外围电路图像进行图片分类算法训练得到的。

处理模块43,用于将所述待测图像输入到缺陷检测模型中得到缺陷检测结果。

确定模块44,用于根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

图4所示实施例的显示屏外围电路检测装置对应地可用于执行图2所示方法实施例中的步骤,其实现原理和技术效果类似,此处不再赘述。

可选地,所述处理模块43,还用于在所述将所述显示屏外围电路图像输入到缺陷检测模型中得到缺陷检测结果之前,以历史缺陷显示屏外围电路图像的实际类型对所述缺陷检测模型进行所述图片分类算法训练,以使所述缺陷检测模型对所述历史缺陷显示屏外围电路图像输出的预测类型,与所述实际类型之间的损失值低于预设损失阈值。

可选地,所述预处理模块42,还用于在所述将所述显示屏外围电路图像放大或缩小之前对所述显示屏外围电路图像进行图像预处理,其中,所述图像预处理包括下述处理中的一项或多项:裁边、剪切、旋转。

可选地,所述处理模块43,具体用于根据负载均衡策略,确定承载处理资源的检测模型服务器;将所述待测图像输入到运行在所述检测模型服务器上的所述缺陷检测模型中得到缺陷检测结果。

可选地,所述缺陷检测结果,包括:缺陷的类型。

所述确定模块44,具体用于根据生产阶段信息以及所述缺陷检测结果,确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏。

可选地,所述处理模块43,还用于在所述根据所述缺陷检测结果确定所述显示屏外围电路图像对应的显示屏外围电路的质量好坏之后,若确定所述显示屏外围电路为损坏电路,则执行以下一项或多项操作:

通过控制器向生产管理者发送报警信息;

通过控制器将所述缺陷检测结果作为日志存储到生产数据库中;

通过控制器向所述控制台发送生产控制指令以便消除缺陷;

将所述显示屏外围电路图像和所述缺陷检测结果输入到所述缺陷检测模型中以便优化所述缺陷检测模型。

上述装置实施例的显示屏外围电路检测装置可用于执行图2至图3所示方法实施例的实现方案,具体实现方式和技术效果类似,这里不再赘述。

参见图5,为本发明实施例提供的一种电子设备实施例的结构示意图,该电子设备包括:处理器51、存储器52和计算机程序;其中

存储器52,用于存储所述计算机程序,该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。

处理器51,用于执行所述存储器存储的计算机程序,以实现上述方法中电子设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。

可选地,存储器52既可以是独立的,也可以跟处理器51集成在一起。

当所述存储器52是独立于处理器51之外的器件时,所述电子设备还可以包括:

总线53,用于连接所述存储器52和处理器51。

本申请还提供一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如图2至图3所示方法实施例的方法。

其中,存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(applicationspecificintegratedcircuits,简称:asic)中。另外,该asic可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。

本申请还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在存储介质中。显示屏外围电路检测装置的至少一个处理器可以从存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得显示屏外围电路检测装置执行图2至图3所示方法实施例的方法。

在上述电子设备的实施例中,应理解,处理器可以是中央处理单元(英文:centralprocessingunit,简称:cpu),还可以是其他通用处理器、数字信号处理器(英文:digitalsignalprocessor,简称:dsp)、专用集成电路(英文:applicationspecificintegratedcircuit,简称:asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1