一种基于机器视觉的显示器底座生产用检测系统以及方法与流程

本公开涉及人工智能领域，具体而言，涉及一种基于机器视觉的显示器底座生产用检测系统以及方法。

背景技术：

1、随着显示器产品的不断发展，显示器底座作为固定和支撑显示器的重要组件，其质量和功能的稳定性对于整个显示器产品的性能和可靠性具有重要影响。传统的显示器底座生产过程中，通常采用人工检测的方式进行质量控制，存在效率低下、易受主观因素影响等问题。为了克服传统检测方法的不足，近年来，机器视觉技术在工业生产中得到了广泛应用。机器视觉技术利用计算机对图像信息进行处理和分析，能够实现对复杂工件的自动化检测和识别，具有高速、高精度、无疲劳等优点。在显示器底座生产过程中，利用机器视觉技术进行检测可以有效提高生产效率和质量控制的精度，以快速检测显示器底座的缺陷类型，如划痕、凹陷、变形、裂纹、色差、正常等。基于机器视觉进行缺陷检测，往往依赖大量样本调试得到检测神经网络，基于该神经网络来对图像进行检测，然而，现有方式在图像检测过程中，效果过低，此外，在网络调试环节，由于工业生产中，具有缺陷的样本数量非常少，基于少量样本进行特征抽取后训练得到的网络，其泛化能力往往达不到要求，使得检测效果差。

技术实现思路

1、本发明的目的在于提供一种基于机器视觉的显示器底座生产用检测系统以及方法，以改善上述问题。

2、本公开实施例的技术方案是这样实现的：

3、第一方面，本公开实施例提供了一种基于机器视觉的显示器底座生产用检测方法，所述方法包括：

4、获取目标显示器底座对应的表面图像；

5、将所述目标显示器底座对应的表面图像输入目标图像缺陷检测网络，得到所述目标显示器底座对应的推理图像缺陷检测分类指示信息；所述目标图像缺陷检测网络是通过携带注释图像和未携带注释图像组，对基础图像缺陷检测网络进行调试得到的，所述携带注释图像是已注释显示器底座缺陷检测分类的显示器底座对应的表面图像，所述未携带注释图像组中的图像是没有注释显示器底座缺陷检测分类的显示器底座对应的表面图像，所述未携带注释图像组中的各图像为近似的图像；所述显示器底座缺陷检测分类用以指示所述显示器底座具有缺陷或不具有缺陷；

6、在所述目标显示器底座对应的推理图像缺陷检测分类指示信息指示所述目标显示器底座属于目标缺陷检测分类时，将所述目标显示器底座对应的表面图像和预设缺陷类型图像库进行对比，得到所述目标显示器底座包含的目标缺陷类型图像；

7、通过所述目标缺陷类型图像，确定所述目标显示器底座对应的显示器底座缺陷类型。

8、可选地，所述方法还包括：

9、获取多个待注释图像，抽取各个所述待注释图像分别对应的图像表征向量；

10、在各个待注释图像中确定目标图像；

11、通过所述目标图像对应的图像表征向量在第一图像库中索引目标图像对应的目标匹配图像，得到索引结果；

12、如果所述索引结果为索引到目标图像对应的目标匹配图像，将目标图像添加到所述第一图像库，如果索引结果为没有索引到目标图像对应的目标匹配图像，将目标图像分别添加到第一图像库和第二图像库；

13、在所述各个待注释图像中获取后一待注释图像确定为目标图像，返回所述通过目标图像对应的图像表征向量在第一图像库中索引目标图像对应的目标匹配图像，得到索引结果的操作进行执行，直至所述各个待注释图像得到遍历；

14、对遍历完成时获得的第二图像库中的各个待注释图像所属的显示器底座进行缺陷检测分类注释，得到多个携带注释图像。

15、可选地，所述通过目标图像对应的图像表征向量在第一图像库中索引目标图像对应的目标匹配图像，得到索引结果，包括：

16、通过目标图像对应的图像表征向量分别和第一图像库中各图像各自的图像表征向量之间的向量共性度量结果，在第一图像库包含的各图像中确定目标图像对应的基础匹配图像；

17、在目标图像和对应的基础匹配图像之间的向量空间误差不小于设定空间误差时，将目标图像对应的基础匹配图像确定为目标图像对应的目标匹配图像，得到索引结果；

18、在目标图像和对应的基础匹配图像之间的向量空间误差小于所述设定空间误差，或者目标图像未索引到对应的基础匹配图像，确定索引结果为没有索引到目标图像对应的目标匹配图像。

19、可选地，所述方法还包括：

20、获取携带注释图像库和未携带注释图像库；

21、通过所述携带注释图像库对候选图像缺陷检测网络进行调试，得到过渡图像缺陷检测网络；

22、将所述未携带注释图像库中各个未携带注释图像输入所述过渡图像缺陷检测网络，得到所述各个未携带注释图像分别对应的推理图像缺陷检测分类指示信息；其中，所述未携带注释图像组应的推理图像缺陷检测分类指示信息用于作为未携带注释图像组应的假注释；

23、通过所述假注释对所述各个未携带注释图像进行选取，得到目标未携带注释图像库；

24、对所述目标未携带注释图像库中的每一目标未携带注释图像分别进行生成转换，得到所述每一目标未携带注释图像分别对应的匹配图像；

25、将目标未携带注释图像和对应的匹配图像组成未携带注释图像组，得到多个未携带注释图像组。

26、可选地，所述通过所述假注释对所述各个未携带注释图像进行选取，得到目标未携带注释图像库，包括：

27、确定各个假注释中积极注释和消极注释的数目，得到积极注释数目和消极注释数目；

28、在所述积极注释数目和所述消极注释数目中获取较少的注释数目作为对照注释数目，将所述对照注释数目对应的图像缺陷检测分类指示信息作为对照注释；

29、在包括所述对照注释的各个未携带注释图像中，获取第一数目的未携带注释图像确定为目标未携带注释图像；其中，所述第一数目小于所述对照注释数目；

30、在不包括所述对照注释的各个未携带注释图像中，获取第二数目的未携带注释图像确定为目标未携带注释图像；其中，所述第一数目和所述第二数目的比值位于设定比值区间；

31、通过各个目标未携带注释图像得到目标未携带注释图像库；

32、所述对所述目标未携带注释图像库中的每一目标未携带注释图像分别进行生成转换，得到所述每一目标未携带注释图像分别对应的匹配图像，包括：

33、对所述目标未携带注释图像库中的每一目标未携带注释图像分别进行生成对抗操作，得到所述每一目标未携带注释图像分别对应的生成图像，将目标未携带注释图像组应的生成图像确定为目标未携带注释图像组应的匹配图像。

34、可选地，所述方法还包括：

35、将所述携带注释图像、所述未携带注释图像组中的第一图像和第二图像分别输入所述基础图像缺陷检测网络，得到所述携带注释图像、所述第一图像和所述第二图像分别对应的推理图像缺陷检测分类指示信息；

36、通过所述携带注释图像对应的推理图像缺陷检测分类指示信息和注释图像缺陷检测分类指示信息之间的误差，得到第一网络质量评估指标，通过所述未携带注释图像组中的第一图像和第二图像分别对应的推理图像缺陷检测分类指示信息之间的误差，得到第二网络质量评估指标；

37、通过所述第一网络质量评估指标和所述第二网络质量评估指标，优化所述基础图像缺陷检测网络的网络可学习变量，直至符合调试截止要求，得到所述目标图像缺陷检测网络。

38、可选地，所述通过所述携带注释图像对应的推理图像缺陷检测分类指示信息和注释图像缺陷检测分类指示信息之间的误差，得到第一网络质量评估指标，包括：

39、在各个携带注释图像中删除推理图像缺陷检测分类指示信息的指示值大于指示设定值的携带注释图像；

40、在余下的各个携带注释图像中，通过同一携带注释图像对应的推理图像缺陷检测分类指示信息和注释图像缺陷检测分类指示信息之间的误差，得到第一网络质量评估指标；

41、其中，所述指示设定值不小于对照值，所述对照值为基于注释图像缺陷检测分类指示信息对应的分类指示信息类型数目对推理图像缺陷检测分类指示信息对应的数值区间进行确定得到；其中，所述指示设定值在网络调试次数递增时，数值随之上升；

42、所述通过所述未携带注释图像组中的第一图像和第二图像分别对应的推理图像缺陷检测分类指示信息之间的误差，得到第二网络质量评估指标，包括：

43、在各个未携带注释图像组中，删除推理图像缺陷检测分类指示信息的指示值在设定数值范围内的未携带注释图像组；其中，所述设定数值范围是推理图像缺陷检测分类指示信息对应的数值区间中的中间值；

44、在余下的各个未携带注释图像组中，通过同一未携带注释图像组中第一图像和第二图像分别对应的推理图像缺陷检测分类指示信息之间的误差，得到第二网络质量评估指标。

45、可选地，所述推理图像缺陷检测分类指示信息包括在积极注释和消极注释上分别对应的推理概率；所述通过所述未携带注释图像组中的第一图像和第二图像分别对应的推理图像缺陷检测分类指示信息之间的误差，得到第二网络质量评估指标，包括：

46、通过所述未携带注释图像组中的第一图像和第二图像分别对应的推理图像缺陷检测分类指示信息之间的误差，得到分类指示信息代价；

47、通过同一推理图像缺陷检测分类指示信息包含的各个推理概率进行不确定度确定，各自获得所述各个未携带注释图像组所对应的不确定度；

48、通过各个未携带注释图像组所对应的不确定度，得到不确定度代价；

49、通过所述分类指示信息代价和所述不确定度代价，得到第二网络质量评估指标。

50、可选地，所述将所述目标显示器底座对应的表面图像和预设缺陷类型图像库进行对比，得到所述目标显示器底座包含的目标缺陷类型图像，包括：

51、获取缺陷类型图像查询拓扑和索引向量库；其中，所述缺陷类型图像查询拓扑是通过预设缺陷类型图像库生成的，所述索引向量库包括所述预设缺陷类型图像库中各个缺陷类型图像的特征向量；

52、从所述目标显示器底座对应的表面图像中确定目标图像块的图像块表征向量；

53、如果在所述索引向量库中索引到目标图像块的图像块表征向量时，将目标图像块的图像块表征向量对应的目标图像块的图像块表征向量元素和所述缺陷类型图像查询拓扑进行对比；

54、如果目标图像块的图像块表征向量对应的目标图像块的图像块表征向量元素在所述缺陷类型图像查询拓扑中索引到拓扑分支时，将索引到的拓扑分支对应的缺陷类型图像确定为所述目标显示器底座中包含的目标缺陷类型图像；

55、从所述目标显示器底座对应的表面图像中获取后一个图像块作为目标图像块的图像块表征向量，返回所述如果在所述索引向量库中索引到目标图像块的图像块表征向量时，将目标图像块的图像块表征向量对应的目标图像块的图像块表征向量元素和所述缺陷类型图像查询拓扑进行对比的操作进行执行，直至所述目标显示器底座对应的表面图像中每一个图像块都完成对比，得到所述目标显示器底座包含的各个目标缺陷类型图像。

56、第二方面，本公开提供了一种显示器底座生产用检测系统，包括互相通信连接的摄像设备和检测设备，所述检测设备包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述的方法。

57、本公开至少具有的有益效果：

58、本公开提供的基于机器视觉的显示器底座生产用检测方法，通过获取目标显示器底座对应的表面图像，将目标显示器底座对应的表面图像输入目标图像缺陷检测网络，得到目标显示器底座对应的推理图像缺陷检测分类指示信息，目标图像缺陷检测网络是通过携带注释图像和未携带注释图像组，对基础图像缺陷检测网络进行调试得到的，携带注释图像是已注释显示器底座缺陷检测分类的显示器底座对应的表面图像，未携带注释图像组中的图像是没有注释显示器底座缺陷检测分类的显示器底座对应的表面图像，未携带注释图像组中的各图像为近似的图像，在目标显示器底座对应的推理图像缺陷检测分类指示信息指示目标显示器底座属于目标缺陷检测分类时，将目标显示器底座对应的表面图像和预设缺陷类型图像库进行对比，得到目标显示器底座包含的目标缺陷类型图像，通过目标缺陷类型图像，确定目标显示器底座对应的显示器底座缺陷类型。基于此，采用目标图像缺陷检测网络高效检测目标显示器底座对应的显示器底座的缺陷检测分类，在目标显示器底座属于目标缺陷检测分类时，再依据预设缺陷类型图像库检测目标显示器底座包含的目标缺陷类型图像，最后通过目标缺陷类型图像确定目标显示器底座对应的显示器底座缺陷类型。根据目标图像缺陷检测网络的显示器底座的缺陷检测分类结果根据实际情况进行缺陷类型检测，不是无差别统一进行缺陷类型检测，可以减少计算开销，增加缺陷类型检测的速度。此外，对于网络的调试过程，未携带注释图像组为不用进行注释的样本图像，可以缓解样本图像的注释需求，仅对少数样本图像的注释得到携带注释图像，进而通过未携带注释图像组和携带注释图像对基础图像缺陷检测网络进行调试，可以加快调试得到目标图像缺陷检测网络，进一步提升缺陷类型检测的速度。

59、在后面的描述中，将部分地陈述其他的特征。在检查后面内容和附图时，本领域的技术人员将部分地发现这些特征，或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面，当前申请中的特征可以被实现和获得。