智能产线监测系统及监测方法与流程

文档序号:25860006发布日期:2021-07-13 16:15阅读:136来源:国知局
本发明涉及机器学习、影像辨识、影像处理与瑕疵检测等技术,尤指一种可提高检测效率与准确度、可复判分类器的判断结果、可调整历史判读数据、可适用于训练样本数较少的被检物、以及可避免漏判瑕疵的智能产线监测系统及监测方法。
背景技术
::随着科技进步,电子零件的精密度要求日益趋高,为确保产品良率,在电子零件的制作过程通常会经过光学检测与复判两个阶段,光学检测阶段主要以一自动外观检测装置取得待检物影像,并判断待检物是否存在瑕疵,复判阶段是以人工方式对光学检测阶段所判定的瑕疵进一步检查标记。然而,虽自动外观检测装置的检测效率优于传统的人工检测方式,而可降低制作过程中所耗费的大量人力,但自动外观检测装置的判读结果若发生误判与漏判,将可能使有瑕疵的产品流向客户端,并且,为了降低复判阶段的工作量,作业员通常仅能针对自动外观检测装置判断为瑕疵品的影像进行检查标记,并无法针对完整或其它部分的待检物影像进行检查标记。并且,目前于复判阶段,由于作业员仍须对自动外观检测装置所判断的每张瑕疵影像进行检查标记,故仍有人力消耗大的缺点,且可能因为人的视觉疲劳等原因,而仍存在一定的漏检机率,并且,若部分电子零件的瑕疵训练样本数不足,则复判阶段的作业员将可能因为自动外观检测装置难以判别是否有瑕疵,而导致其需要自行判断每张待检物影像是否有瑕疵与进行标记,故针对极少数瑕疵的情况,仍有复判阶段人力消耗较大的缺点。因此,由于现有的瑕疵监测系统,仍有上述缺点,故如何基于人机协作模式,而提出一种可改善工业流程、可提高瑕疵检测效率与准确度、可适用于训练样本数较少的待检物、以及可避免漏判瑕疵特征的瑕疵监测技术,仍为有待解决的问题。技术实现要素:为解决上述现有技术中不足,本发明的其中一个目的在于提供一种智能产线监测系统,可监测一取像装置对一被检物所取像的一被检物影像,系统主要包括一训练子系统、一操作站主机及一分类器子系统;训练子系统储存有对应于被检物的类型的一训练模组;操作站主机连接于该训练子系统并运行有一标记模组;分类器子系统分别连接于该取像装置、该训练子系统及该操作站主机,分类器子系统可读取训练模组以解析被检物影像的图像特征,并作出一分类决定以发送至操作站主机,其中,若分类决定若被视为异常,则分类决定可包括一完整影像及具有至少一复判标记的一异常影像;标记模组可输入关联于异常影像的一复判操作,以更新分类决定,并由操作站主机发送至训练子系统,标记模组也用于标记关联于完整影像的一漏判标记,以输入一第二复判操作而生成取代分类决定的一第二分类决定,并由操作站主机发送至训练子系统,接着,训练子系统可依据更新后的分类决定及第二分类决定,即时更新训练模组及连接于训练模组的一标记资料库。本发明依本实施例据以实施后,因操作站主机不止可监测到具有复判标记的异常影像,还可对完整的被检物影像进行检查标记,故相较于作业员仅能对自动外观检测装置所发出的瑕疵影像进行检查标记的现有作法,本发明可使操作站主机于复判阶段时,分别监测到完整影像、及分类器子系统判断为异常的异常影像,而能避免使分类器子系统漏判的异常被检物输送至产线的下一阶段,而至少可达成降低瑕疵产品流向客户端的机率的有利功效。于另一实施例中,还可包括一影像相关性分析模组,其可对多张被检物影像构成的一被检物群组影像进行分析,若多张被检物影像之间存在差异,则可从被检物群组影像中比对出至少一差异图像特征,依此,分类器子系统可解析影像相关性分析模组所生成的差异图像特征,以作出分类决定。本发明依本实施例据以实施后,可使影像相关性分析模组将取像装置所获取的多张被检物影像(即原始影像)、或取像装置基于自动光学检测技术而过滤出的多张异常被检物影像,均视为被检物群组影像,并进行差异图像特征的比对,而可适用于某些被检物的异常影像(即瑕疵影像的训练样本)普遍较少的情况,并且,前述的异常被检物影像还可包括对应于复判标记的瑕疵位置资讯。于再一实施例中,还可包括一第二取像装置,分别连接于该操作站主机与该训练子系统,其可对基于异常影像而完成修补的被检物进行取像,以取得至少一修补后被检物影像,并可标记被检物影像与修补后被检物影像之间的至少一图像差异特征,并将被标记的图像差异特征、及修补后被检物影像即时发送至训练子系统。本发明依本实施例据以实施后,针对作废成本高于修补成本、且人工修补成本普遍低于客户端的退货成本的被检物,尤其适于即时修补的被检物,并且,本实施例的操作站主机借此可无需运行标记模组,以由训练子系统自行依据修补前后的被检物影像,学习瑕疵位置的所在,以及学习是否存在瑕疵的价值判断。其中,分类器子系统可具有一标记筛选单元,其可筛选出可信度较低的分类决定,再由分类器子系统发送至操作站主机。其中,操作站主机可运行有一历史标记复判模组,其可显示与分类决定形成高度相关的一历史分类决定,该历史分类决定包括具有至少一历史标记的一历史影像,历史标记复判模组可输入关联于历史分类决定的一第三复判操作,以更新储存于训练子系统的历史分类决定。其中,分类器子系统从该取像装置取得的至少一该被检物影像,为该取像装置基于aoi技术而过滤出的至少一异常被检物影像。其中,该第二取像装置为一扩增实境显示器,用于使该分类决定呈现在该扩增实境显示器,且该第二取像装置也用于记录该被检物于修补时的一修补点资讯,以指定该修补点资讯为该被检物影像、及该修补后被检物影像之间的至少一图像差异特征,并由该第二取像装置发送至该训练子系统,以供该训练子系统依据被标记的该图像差异特征、以及该修补后被检物影像,即时更新该训练模组、及连接于该训练模组的一标记资料库。本发明的另一目的在于提供一种智能产线监测方法,一取像装置对一被检物进行取像,而获取至少一被检物影像后,可执行以下步骤:(a)一解析图像特征与作出分类决定步骤:一分类器子系统读取一训练模组以解析该被检物影像的图像特征,并作出至少一分类决定以发送至一操作站主机,该分类决定若被视为异常,则该分类决定包括一完整影像及具有一复判标记的一异常影像;(b)一自动筛选标记步骤:如该复判标记为多个,则该分类器子系统筛选出可信度较低的该分类决定,再由该分类器子系统发送至该操作站主机;(c)一输入复判操作步骤:该操作站主机的一标记模组输入关联于该异常影像的一复判操作,以更新该分类决定,并由该操作站主机发送至该训练子系统;以及(d)一即时更新训练模组步骤:该训练子系统依据更新后的该分类决定,即时更新该训练模组、及连接于该训练模组的一标记资料库。其中,(c)步骤执行时,该标记模组也标记关联于该完整影像的一漏判标记,以输入一第二复判操作而生成取代该分类决定的一第二分类决定,并由该操作站主机发送至该训练子系统,其后,(d)步骤执行时,该训练子系统也依据该第二分类决定,即时更新该训练模组及该标记资料库。其中,(b)步骤执行时,该操作站主机显示与该分类决定形成高度相关的一历史分类决定,该历史分类决定包括具有至少一历史标记的一历史影像,并使一历史标记复判模组输入关联于该历史分类决定的一第三复判操作,以更新储存于该训练子系统的该历史分类决定。其中,(a)步骤执行前,该分类器子系统从该取像装置取得的至少一该被检物影像,为该取像装置基于aoi技术而过滤出的至少一异常被检物影像。本发明的另一目的在于提供一种智能产线监测方法,一取像装置对一被检物进行取像,而获取至少一被检物影像后,可执行以下步骤:(a)一分析群组影像步骤:一影像相关性分析模组对多张该被检物影像构成的一被检物群组影像进行分析,若多张该被检物影像之间存在差异,则该影像相关性分析模组从群组影像中比对出至少一差异图像特征,若多张该被检物影像之间不存在差异,则该影像相关性分析模组将该被检物群组影像转传至该分类器子系统;(b)一解析图像特征与作出分类决定步骤:若多张该被检物影像之间存在差异,则一分类器子系统读取一训练模组以解析该差异图像特征,并作出一分类决定;若多张该被检物影像之间不存在差异,则该分类器子系统读取该训练模组以解析该多张该被检物影像的图像特征,并作出该分类决定,该分类决定由该分类器子系统发送至一操作站主机,其中,该分类决定若被视为异常,则该分类决定包括一完整影像及具有至少一复判标记的一异常影像;(c)一自动筛选标记步骤:如该复判标记为多个,则该分类器子系统筛选出可信度较低的该分类决定,再由该分类器子系统发送至该操作站主机;(d)一输入复判操作步骤:该操作站主机的一标记模组输入关联于该异常影像的一复判操作,以更新该分类决定,并由该操作站主机发送至该训练子系统;以及(e)一即时更新训练模组步骤:该训练子系统依据更新后的该分类决定,即时更新该训练模组、及连接于该训练模组的一标记资料库。其中,(d)步骤执行时,该标记模组也标记关联于该完整影像的一漏判标记,以输入一第二复判操作而生成取代该分类决定的一第二分类决定,并由该操作站主机发送至该训练子系统,其后,(e)步骤执行时,该训练子系统也依据该第二分类决定,即时更新该训练模组及该标记资料库。其中,(c)步骤执行时,该操作站主机显示与该分类决定形成高度相关的一历史分类决定,该历史分类决定包括具有至少一历史标记的一历史影像,并使一历史标记复判模组输入关联于该历史分类决定的一第三复判操作,以更新储存于该训练子系统的该历史分类决定。其中,(a)步骤执行前,该分类器子系统从该取像装置取得的至少一该被检物影像,为该取像装置基于aoi技术而过滤出的至少一异常被检物影像。本发明的另一目的在于提供一种智能产线监测方法,一取像装置对一被检物进行取像,而获取至少一被检物影像后,可执行以下步骤:(a)一解析图像特征与作出分类决定步骤:一分类器子系统读取一训练模组以解析该被检物影像的图像特征,并作出至少一分类决定以发送至一操作站主机,该分类决定若被视为异常,则该分类决定至少包括一异常影像;(b)一撷取修补后影像与标记步骤:一第二取像装置对基于该异常影像而完成修补的该被检物进行取像,以取得至少一修补后被检物影像,并标记该被检物影像与该修补后被检物影像之间的至少一图像差异特征,并将该修补后被检物影像视为一非异常影像,并由该第二取像装置发送至该训练子系统;以及(c)一即时更新训练模组步骤:该训练子系统依据被标记的该图像差异特征、以及该修补后被检物影像,即时更新该训练模组、及连接于该训练模组的一标记资料库。其中,(a)步骤执行前,该分类器子系统从该取像装置取得的至少一该被检物影像,为该取像装置基于aoi技术而过滤出的至少一异常被检物影像。附图说明下面结合附图和具体实施方式对本发明作进一步详细的说明。图1:本发明第一实施例的方块示意图(一);图2:本发明第一实施例的方块示意图(二);图3:本发明第一实施例的复判操作示意图;图4:本发明第一实施例的一变化例的方块示意图;图5:本发明第一实施例的一变化例的方法流程图;图6:本发明第一实施例的另一变化例的方块示意图;图7:本发明第二实施例的方块示意图;图8:本发明第二实施例的方法流程图;图9:本发明第二实施例的一变化例的方块示意图;图10:本发明第二实施例的另一变化例的方块示意图;图11:本发明第三实施例的方块示意图;图12:本发明第三实施例的方法流程图;图13:本发明第三实施例的一变化例的方块示意图。附图标记说明10智能产线监测系统101取像装置102训练子系统1021训练模组1022标记资料库103操作站主机1031标记模组r参考影像e异常影像op1复判操作c1’更新后分类决定op2第二复判操作c2第二分类决定1032历史标记复判模组hc历史分类决定op3第三复判操作hc’更新后历史分类决定104分类器子系统1041标记筛选单元c1分类决定c1_low分类决定t复判标记105影像相关性分析模组106第二取像装置ard扩增实境显示器fix修补点资讯i被检物影像i_g被检物群组影像i’修补后被检物影像s1智能产线监测方法s105分析群组影像s110解析图像特征与作出分类决定s120自动筛选标记s130输入复判操作s140即时更新训练模组s2智能产线监测方法s210解析图像特征与作出分类决定s220撷取修补后影像与标记s230即时更新训练模组。具体实施方式下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。请参阅图1~图2,其皆为本发明第一实施例的方块示意图,并请搭配参阅图3,本实施例的智能产线监测系统10可监测一取像装置101对一被检物所取像的一被检物影像i,主要包括一训练子系统102、一操作站主机103及一分类器子系统104,分类器子系统104可分别通过一网络与取像装置101、训练子系统102及操作站主机103通讯连接,其中:取像装置101可包括多个影像感测单元(图中未绘示),这些影像感测单元可为一电荷耦合元件(ccd)或一互补式金属氧化物半导体(cmos)元件,取像装置101还可包括至少一镜头(图中未绘示),其用于将被检物影像i聚焦于影像感测单元;训练子系统102可储存对应于被检物类型(例如对应于特定料号)的至少一训练模组1021,训练模组1021可为例如lenet、alexnet、vggnet、nin、googlenet,mobilenet、squeezenet、resnet、siamesenet、nasnet、rnn或其它基于卷积神经网络的训练模型,但不以此为限,且部分的训练模型可对应至例如物件检测(detection)、物件切割、物件分类等任务的训练模型,并且训练模组1021可连接于一标记资料库1022,标记资料库1022本身可为一资料库主机,或是储存于训练子系统102的多个资料表(table)的集合,标记资料库1022可储存多笔预训练资料集,例如包括预先标记的分类决定及对应的训练样本影像,标记资料库1022也可储存随时更新的多张被检物影像i及多个对应的分类决定(更新自操作站主机103的回传资料,分类决定可为更新后分类决定c1’及/或第二分类决定c2,细节详述如后);操作站主机103连接于训练子系统,且操作站主机103运行有一标记模组1031,操作站主机103也可读取训练子系统102,以通过网络即时调整各训练模组1021的训练模型的权重参数,或是通过网络即时调整训练模组1021所使用的预训练资料集等资讯;分类器子系统104可读取训练模组1021以解析被检物影像i的图像特征,并作出一分类决定c1以发送至操作站主机103,分类决定c1若被视为异常,则分类决定c1可包括一完整影像及具有至少一复判标记t的一异常影像;较佳地,本实施例的分类决定c1还可包括一参考影像;较佳地,在分类器子系统104作出分类决定c1前,分类器子系统104或取像装置101可先对被检物影像i执行一影像处理程序,前述的影像处理程序可被定义为一影像预处理程序、一图像分割程序(regionsegmentation)及一特征提取程序的其中一种或其组合;较佳地,分类器子系统104从取像装置101所接收的被检物影像i,也可为取像装置101基于一自动光学检测(automatedopticalinspection,aoi)技术而过滤出的多张异常被检物影像,并且,前述的异常被检物影像还可包括对应于复判标记t的瑕疵位置资讯;标记模组1031可输入关联于异常影像的一复判操作op1,以生成一更新后分类决定c1’,并由操作站主机103发送至训练子系统102,标记模组1031也可标记关联于完整影像的一漏判标记(图中未绘示),以输入一第二复判操作op2,而生成取代分类决定c1的一第二分类决定c2,并由操作站主机103发送至训练子系统102;其中,标记模组1031得以一图形化使用者介面(gui)的形式呈现于操作站主机103的显示屏幕,即如图3所示,图中例示了分类决定c1可包括完整影像、复判标记t、参考影像r及异常影像e,而复判操作op1可通过例如触发图中所示的“good”或“ng”按钮元件(button)而产生,而完整影像则可通过例如显示模式的切换予以呈现,但并不以此为限;依此,训练子系统102可依据更新后分类决定c1’及第二分类决定c2,即时更新训练模组1021及连接于训练模组1021的标记资料库1022,意即可将更新后分类决定c1’及第二分类决定c2即时输入至标记资料库1022的预训练资料集,以使训练模组1021依据更新后的预训练资料集,即时训练训练模组1021的训练模型;其中,作为示例,被检物可为一印刷电路板(pcba)、一紧固件(fasteners)、一软性印刷电路板(flexibleprintcircuit)、一橡胶品(rubber)、一医疗影像(例如x光、超音波、ct、mri等影像)、一数码病理影像或一影像感测器(imagesensor)等,但均不以此为限;若检测印刷电路板,则可监测其是否存在有短路、空焊、锡多、锡少、锡洞、异物等情形;若检测紧固件,则可监测其是否存在有刮伤、异物、缺角等情形;若检测软性印刷电路板或橡胶品,则可监测其是存在有刮伤、毛边、缺角、异物等情形;若检测影像感测器,则可监测其是否存在有瑕疵、异物等情形,若检测医疗影像,则可监测例如其病灶之处。承上,本发明依第一实施例据以实施后,因操作站主机103不止可监测到具有复判标记t的异常影像,还可对完整的被检物影像i进行检查标记,故相较于作业员仅能对自动外观检测装置所发出的瑕疵影像进行检查标记的现有作法,本发明可使操作站主机103于复判阶段时,分别监测到完整影像、及分类器子系统104判断为异常的异常影像,而能避免使分类器子系统104漏判的异常被检物输送至产线的下一阶段,而至少可达成降低瑕疵产品流向客户端的机率的有利功效,并且,假设被检物为一般螺丝,由于其修补成本(内部成本)可能普遍高于客户端的退货成本(外部成本),故本实施例尤其适于此种不需即时修补的被检物。请接续参阅图4及图5,其分别为本发明第一实施例的一变化例的方块示意图及方法流程图,作为进一步的改进,本实施例的智能产线监测系统10的分类器子系统104还具有可被调整为开启或关闭状态的一标记筛选单元1041,且本发明于此实施例提出一智能产线监测方法s1,当分类器子系统104对被检物影像i解析图像特征与作出分类决定(步骤s110:解析图像特征与作出分类决定)后,标记筛选单元1041可例如依据各复判标记t所对应的一信心分数(confidence),自动筛选出可信度较低的分类决定c1_low,其中,分类决定c1_low可包括复判标记t与异常影像,较佳地,本实施例的分类决定c1_low也可包括参考影像,其后,分类器子系统104可将可信度较低的分类决定c1_low发送至操作站主机103(步骤s120:自动筛选标记),以由标记模组1031依据可信度较低的分类决定c1_low接续生成更新后分类决定c1’及/或第二分类决定c2(步骤s130:输入复判操作),并更新训练子系统102的标记资料库1022与训练模组1021(步骤s140:即时更新训练模组),借此,可信度较高的复判标记t及其对应的异常影像将无需再由操作站主机103进行复判,故操作站主机103的标记模组1031可无需一一对各张异常影像进行复判标记t的验证(或称复判),而可减少操作站主机103输入复判操作的次数,进而能减少于复判阶段的人力消耗。请接续参阅图6,其为本发明第一实施例的另一变化例的方块示意图,并请参照图2,为使操作站主机103的标记模组1031于当下输入复判操作op1及/或第二复判操作op2的同时,有机会对此前误判的分类决定进行修正,以避免下次操作站主机103再次从分类器子系统104接收不够正确的分类决定c1,故作为进一步的改进,本实施例的智能产线监测系统10的操作站主机103可运行有一历史标记复判模组1032,其可显示与分类决定c1形成高度相关的一历史分类决定hc,其中,历史分类决定hc可包括具有至少一历史标记的一历史影像,更具体而言,例如当操作站主机103接收的分类决定c1若包括出现“短路”特征的异常影像时,则历史标记复判模组1032可从训练子系统102的标记资料库1022读取出历史分类决定hc同样包括“短路”特征,但该笔历史分类决定hc却未被归类于“异常”(即此前复判为良品)的历史影像,而本实施例的历史标记复判模组1032可供输入关联于历史分类决定hc的一第三复判操作op3,以修改过去的历史分类决定hc,进而将原先储存于训练子系统102的历史分类决定hc,更新为一更新后历史分类决定hc’,意即将更新后历史分类决定hc’即时输入至标记资料库1022的预训练资料集中,以使训练模组1021依据更新后的预训练资料集,即时训练训练模组1021储存的训练模型。请参阅图7及图8,其分别为本发明第二实施例的方块示意图与方法流程图,本实施例与图1~图3所示实施例的技术类同,主要差异在于,本实施例的智能产线监测系统10还可包括连接于取像装置101的一影像相关性分析模组105,故当智能产线监测方法s1中的取像装置101对被检物完成取像后,影像相关性分析模组105可先对多张被检物影像i构成的一被检物群组影像i_g进行分析(步骤s105:分析群组影像),若多张被检物影像i之间存在差异,则影像相关性分析模组105可从被检物群组影像i_g中比对出至少一差异图像特征,例如抓取该些被检物影像i中于特定影像位置的差异,而作出分类决定c1;反之,若多张被检物影像i之间不存在差异,则影像相关性分析模组105可直接将多张被检物影像i转传至分类器子系统104,以由分类器子系统104直接对多张被检物影像i进行图像特征的解析,而作出分类决定c1,本实施例的分类器子系统104可分别连接于训练子系统102、影像相关性分析模组105及操作站主机103,其中,本实施例的分类器子系统104可读取训练模组1021以解析被检物群组影像i_g所发送的差异图像特征,并作出分类决定c1以发送至操作站主机103,另外,分类决定c1可包括的资讯包括标记模组1031所能输入的资讯、以及操作站主机103发送至训练子系统102的资讯,皆与第一实施例类同,于此不再赘述。承上,本发明依第二实施例据以实施后,可使影像相关性分析模组105将取像装置101所获取的多张被检物影像i(即原始影像)、或取像装置101基于自动光学检测(aoi)技术而过滤出的多张异常被检物影像,均视为被检物群组影像i_g,并进行差异图像特征的比对,而可适用于某些被检物的异常影像(即瑕疵影像的训练样本)普遍较少的情况,并且,前述的异常被检物影像还可包括对应于复判标记t的瑕疵位置资讯。请接续参阅图9,其为本发明第二实施例的一变化例的方块示意图,并请搭配参阅图1,作为进一步的改进,本实施例的智能产线监测系统10的分类器子系统104还可具有一标记筛选单元1041,其可例如依据各复判标记(t、…)所对应的一信心分数,筛选出可信度较低的分类决定c1_low,其中,此分类决定c1_low可包括复判标记t与异常影像,较佳地,本实施例的分类决定c1_low还可包括参考影像,其后,分类器子系统104可将可信度较低的分类决定c1_low发送至操作站主机103,进而由标记模组1031接续生成更新后分类决定c1’及/或第二分类决定c2,借此,本实施例的标记模组1031可使使用者无需一一对各张异常影像均进行复判标记t的验证(或称复判),而可减少操作站主机103输入复判操作的次数,而能减少人力消耗。请接续参阅图10,其为本发明第二实施例的另一变化例的方块示意图,作为进一步的改进,本实施例的智能产线监测系统10的操作站主机103可运行有一历史标记复判模组1032,其可显示与分类决定c1形成高度相关的一历史分类决定hc,其中,历史分类决定hc可包括具有至少一历史标记的一历史影像,历史标记复判模组1032可供输入关联于历史分类决定hc的一第三复判操作op3,以修改过去的分类决定,而将储存于训练子系统102的历史分类决定hc,更新为一更新后历史分类决定hc’,意即将更新后历史分类决定hc’即时输入至标记资料库1022的预训练资料集中,以使训练模组1021依据更新后的预训练资料集,即时训练训练模组1021储存的训练模型。请参阅图11及图12,其分别为本发明第三实施例的方块示意图与方法流程图,本实施例的智能产线监测系统10与图1所示实施例的技术类同,主要差异在于,本实施例的智能产线监测系统10还可包括分别连接于操作站主机103与训练子系统102的一第二取像装置106,且本发明于此实施例提出一智能产线监测方法s2,当分类器子系统104对被检物影像i解析图像特征与作出分类决定c1后(步骤s210:解析图像特征与作出分类决定),第二取像装置106可对基于分类器子系统104所发送的异常影像(本实施例的分类决定c1可不具有复判标记)而完成修补的被检物进行取像,以取得至少一修补后被检物影像i’(步骤s220:撷取修补后影像与标记),并可由第二取像装置106标记(例如基于自动光学检测(aoi)技术)被检物影像i与修补后被检物影像i’之间的至少一图像差异特征,以及将修补后被检物影像i’视为一非异常影像,并由第二取像装置106发送至训练子系统102,以供训练子系统102依据被标记的图像差异特征,以及修补后被检物影像i’,即时更新训练模组1021及连接于训练模组1021的标记资料库1022(步骤s230:即时更新训练模组);其中,作为示例,本实施例所提及的第二取像装置106可通过设置于操作站主机103的方式完成资讯连接,并且,操作站主机103本身也可具备修补功能,且操作站主机103可为一工业用或消费用机器人;另外,第二取像装置106的元件组成可类同于第一或第二实施例的取像装置101,于此不再赘述;另外,操作站主机103或分类器子系统104也可标记被检物影像i与修补后被检物影像i’之间的图像差异特征。承上,本发明依第三实施例据以实施后,针对作废成本高于修补成本、且人工修补成本普遍低于客户端的退货成本的被检物,例如生产完即需出货的pcba插件(dualin-linepackage,dip),第三实施例尤其适于此种须即时修补的被检物,并且,本实施例的操作站主机103借此可无需运行标记模组1031,以由训练子系统102自行依据修补前后的被检物影像,学习瑕疵位置的所在,以及学习是否存在瑕疵的价值判断。请接续参阅图13,其为本发明第三实施例的一变化例的方块示意图,作为进一步的改进,本实施例的智能产线监测系统10的第二取像装置可为一扩增实境显示器ard,用于使分类决定c1包括的异常影像可呈现在扩增实境显示器ard,而本实施例的分类决定c1中的复判标记及参考影像也可同步呈现在扩增实境显示器ard,且本实施例的第二取像装置(即扩增实境显示器ard)也可记录被检物于修补时的一修补点资讯fix,以指定修补点资讯fix为一图像差异特征,并由第二取像装置发送至训练子系统102,以供训练子系统102即时更新训练模组1021及连接于训练模组1021的标记资料库1022,依此,本实施例由于可使使用者通过扩增实境显示器ard一边修补被检物,一边自动记录被检物的修补点资讯,故可达到替代图1所示标记模组1031的功能,而无需使使用者进行复判操作或第二复判操作的输入。其中,作为示例,本发明所称的取像装置、训练子系统、操作站主机、分类器子系统、影像相关性分析模组及第二取像装置若皆为实体装置,则其皆可包括一处理器,其可具备逻辑运算、暂存运算结果、保存执行指令位置等功能,且处理器可以例如是一中央处理器(cpu)、一虚拟处理器(vcpu)、一微处理器(mpu)、一微控制器(mcu)、一应用处理器(ap)、一嵌入式处理器、一特殊应用积体电路(asic)、一张量处理器(tpu)或一图形处理器(gpu)等,但均不以此为限。其中,作为示例,本发明所称的训练子系统、分类器子系统及影像相关性分析模组可为一伺服器或一软件模组,且前述的伺服器及操作站主机可为实体的伺服器、或以虚拟机器(vm)形式运行的伺服器、或以虚拟专属主机(virtualprivateserver)形式运行的伺服器、或一公有云、或一私有云、或一边缘终端装置(edgedevice)、或一嵌入式系统(embeddedsystem)或一移动装置(例如手机),但均不以此为限。其中,作为示例,本发明所称的网络可为公众或私人网络,如无线网络(例如3g、4glte、wi-fi、蓝牙)、有线网络、区域网络(lan)、广域网络(wa)等,但均不以此为限。综上可知,本发明据以实施后,至少可达成改善工业流程、提高瑕疵检测效率与准确度、适用于训练样本数较少的待检物、可避免漏判瑕疵、可减少瑕疵复判次数、可修正历史误判决定、可自动记录修补点而无需复判分类器结果、以及可线上即时训练模型的有益功效。以上说明内容仅为本发明较佳实施例,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1