神经网络模型优化的评估方法、存储介质和计算机与流程

1.本发明涉及人工智能领域技术领域，尤其涉及一种神经网络模型优化的评估方法、存储介质和计算机。


背景技术：

2.在图像识别领域中，深度学习作为新兴的技术手段，凭借其在实际场景中较高的预测准确率，在不同领域中，如人脸识别、医学图像识别、遥感图像分类和工业产品缺陷检测等获得了广阔的应用前景。其主要特性就是利用卷积神经网络(cnn)，自动学习图像中的特征，而后生成的神经网络模型就能用来将未知图像进行图像分类、图像语义分割或把图像中的特定目标从背景中分离出来。
3.但是在实际的工业场景应用中，为了得到较高预测准确率的神经网络模型，往往需要将神经网络模型应用于测试图像进行检测以评判神经网络模型的效果，然后再根据神经网络模型的检测结果与被检测图像真实缺陷的对比对神经网络模型进行调参，优化神经网络模型。多次往复以后，才能得到能够应用到现场的具有较高预测准确率的神经网络模型。在优化神经网络模型的过程中，最关键的也是最耗费人力的就是神经网络模型的检测结果与被检真实图像的标注图之间的比对。
4.因此，有必要提出一种改进的方案来克服上述问题。


技术实现要素：

5.本发明的目的在于提供一种神经网络模型优化的评估方法、存储介质和计算机，其自动对比被检测图像的检测结果图和标注图，这样方便后续根据实际检测结果来提升神经网络模型的精度，可以极大的提升神经网络模型优化速度，从而提升效率。
6.为实现发明目的，根据本发明的一个方面，本发明提供一种神经网络模型优化的评估方法，其特征在于，其包括：将被检测图像输入已训练的神经网络模型得到被检测图像的检测结果图；自动识别被检测图像的标注图的轮廓，自动识别被检测图像的检测结果图的轮廓，将被检测图像的标注图的轮廓与被检测图像的检测结果的轮廓进行对比，将被检测图像中的漏检位置、过检位置和检出位置的部分裁剪下来分别保存到漏检文件夹、过检文件夹和检出文件夹。
7.根据本发明的另一个方面，本发明提供一种存储介质，其存储有程序指令，在所述程序执行被运行上文所述的神经网络模型优化的评估方法。
8.根据本发明的再一个方面，本发明提供一种计算机，其包括处理器和存储器，所述存储器中存储有程序指令，所述处理器运行所述程序指令以执行上文所述的神经网络模型优化的评估方法。
9.与现有技术相比，本发明利用传统图像处理方法自动的比对被检测图像的检测结果图和标注图，并自动进行评判将其分别裁剪归类为检出、过检和漏检，这样方便后续根据实际检测结果来提升神经网络模型的精度，可以极大的提升神经网络模型优化速度，从而
提升效率。
附图说明
10.图1为本发明中的神经网络模型优化的评估方法在一个实施例中的流程示意图；
11.图2为被检测图像的一个示例；
12.图3为被检测图像的标注图的一个示例；
13.图4为被检测图像的检测结果图的一个示例；
14.图5为漏检位置的裁剪部分的示例，
15.图6为过检位置的裁剪部分的示例，
16.图7为检出位置的裁剪部分的示例，
17.图8为具有填充区域的裁剪部分的示例。
具体实施方式
18.为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。
19.本发明提出一种神经网络模型优化的评估方法，其可以自动对比被检测图像的检测结果图和标注图，而不需要人工去对比，减少了大量的人工工作量，这样方便后续根据实际检测结果来提升神经网络模型的精度，可以极大的提升神经网络模型优化速度，从而提升效率。
20.图1为本发明中的神经网络模型优化的评估方法100在一个实施例中的流程示意图。如图1所示的，所述神经网络模型优化的评估方法100包括如下步骤。
21.步骤110，将被检测图像输入已训练的神经网络模型得到被检测图像的检测结果图。
22.所述神经网络模型是由训练集训练形成的，所述训练集包括有多张被标注好的被检测图像。训练好的神经网络模型已经学习到了被检测图像中需要标注的特征，在将被检测图像输入已训练的神经网络模型后，所述神经网络模型会自动在被检测图像上进行标注以形成检测结果图。
23.所述被检测图像可以有很多张，有的被检测图像可以用来对所述神经网络模型进行训练，有的被检测图像可以用来对所述神经网络模型进行测试。
24.图2为被检测图像的一个示例。图3为被检测图像的标注图的一个示例。图4为被检测图像的检测结果图的一个示例。
25.步骤120，自动识别被检测图像的标注图的轮廓，自动识别被检测图像的检测结果图的轮廓。
26.可以采用传统图像处理算法自动识别被检测图像或检测结果图的轮廓。在一个实施例中，自动识别被检测图像的标注图或检测结果图的轮廓具体包括：
27.利用轮廓提取算法对被检测图像的标注图或检测结果图进行轮廓提取，得到关于被检测图像的标注图或检测结果图的轮廓集合。
28.当然，在另一个实施例中，也可以采用其他传统图像处理算法自动识别被检测图像或检测结果图的轮廓
29.步骤130，将被检测图像的标注图的轮廓与被检测图像的检测结果的轮廓进行对比，将被检测图像中的漏检位置、过检位置和检出位置的部分裁剪下来分别保存到漏检文件夹、过检文件夹和检出文件夹。
30.具体的，在将被检测图像的标注图的轮廓与被检测图像的检测结果的轮廓进行对比时，如果在所述标注图中找到的轮廓但未在所述检测结果图中对应位置找到，则将所述被检测图像中对应位置的部分裁剪下来，归类为漏检，保存入漏检文件夹中。在将被检测图像的标注图的轮廓与被检测图像的检测结果的轮廓进行对比时，如果在所述检测结果图中找到的轮廓在所述标注图中对应位置未能找到，则将所述被检测图中对应位置的部分裁剪下来，归类为过检，保存入过检文件夹中。在将被检测图像的标注图的轮廓与被检测图像的检测结果的轮廓进行对比时，如果在所述检测结果图中找到的轮廓在所述标注图中对应位置也能找到，将所述被检测图像中对应位置的部分裁剪下来，归类为检出，保存入检出文件夹中。
31.若轮廓区域处在边缘且以轮廓中心裁剪的小图超出所述检测图像边缘时，则需要按照设置的填充参数填充超出部分，然后再将被检测图像中对应位置的部分裁剪下来。
32.在一个实施例中，可以提前设置裁剪参数和填充参数。所述裁剪参数包括裁剪区域的尺寸和/或形状，所示裁剪区域的尺寸可以长和宽，裁剪区域的形状可以是矩形。所述填充参数包括填充方式、填充颜色和边缘轮廓扩展像素，比如填充方式可以选择轮廓填充和比例填充，填充颜色可以选择白色和黑色。根据设置的裁剪参数对被检测图像中的相应部分进行裁剪，根据填充参数进行填充。
33.图5为漏检位置的裁剪部分的示例，其示出了六处漏检位置的裁剪部分。图6为过检位置的裁剪部分的示例。图7为检出位置的裁剪部分的示例，其中其示出了两处检出位置。图8为具有填充区域的裁剪部分的示例。
34.在一个实施例中，可以提前设置标注图路径、检测结果图路径、漏检保存路径、过检保存路径和检出保存路径。这样可以实现自运行。
35.针对原有的人工复检检测结果后再去分别归类，以及可能出现一张图同时有过检、漏检等情况无法分类时，本发明利用传统图像处理方法自动的比对被检测图像的检测结果图和标注图，并自动进行评判将其分别裁剪归类为检出、过检和漏检，这样方便后续根据实际检测结果来提升神经网络模型的精度，可以极大的提升神经网络模型优化速度，从而提升效率。
36.步骤140，利用漏检和/或过检的被检测图像重新对所述神经网络模型进行优化，以使得优化后的神经网络模型在再次检测漏检和/或过检的被检测图像时，在原来的漏检位置和过检位置不再出现漏检和/或过检。
37.在另一个实施例中，也可以所述神经网络模型优化的评估方法100也可以省去步骤140，即到步骤130就结束，此时已经可以得到所述神经网络模型的测试结果，基于这些测试结果可以对所述神经网络模型进行重新优化。
38.在一个应用示例中，某光伏企业的光伏面板缺陷检测，由于光伏面板本身的特性，在缺陷图像中包含着隐裂、脏污、破片、黑片、划伤和虚焊等缺陷，而在非专业一线员工的人眼检查中，这些缺陷中的隐裂、虚焊和划伤等缺陷又与正常非缺陷图差别不大，所以在使用人工复检迭代优化神经网络模型的时候，往往因为真实缺陷图与无缺陷图差别不大，而容
易被误分类、错分类，要求对于非一线员工也能光伏面板的缺陷图像也能快速分类，快速优化神经网络模型。检测难点包括光伏面板本身特性，缺陷和非缺陷图的辨别较为困难。在基于深度学习的神经网络模型的缺陷检测，仍然需要不断迭代和优化神经网络模型。采用本发明中的神经网络模型优化的评估方法100，可以自动比对被检测图像的检测结果图和标注图，并自动进行评判将其分别裁剪归类为检出、过检和漏检，这样方便后续根据实际检测结果来提升神经网络模型的精度，从而提升神经网络模型的优化速度和项目的开发效率。
39.根据本发明的另一个方面，本发明提供一种存储介质，其存储有程序指令，在所述程序执行被运行以执行上文所述神经网络模型优化的评估方法。为了简便，所述神经网络模型优化的评估方法的具体内容在此处不再重复。
40.根据本发明的另一个方面，本发明提供一种计算机，其包括处理器和存储器，所述存储器中存储有程序指令，所述处理器运行所述程序指令以执行上文所述神经网络模型优化的评估方法。为了简便，所述神经网络模型优化的评估方法的具体内容在此处不再重复。
41.在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
42.在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本技术请求保护的范围。
43.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
44.本技术是参照根据本技术实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
45.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
46.这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上，使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
47.尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。