图像分类方法、装置、测试系统及存储介质与流程

1.本发明是有关于一种图像分类方法，且特别是有关于一种基于人工智能的图像分类方法、装置、测试系统及存储介质。


背景技术：

2.自动光学检测(aoi)系统广泛应用于产品缺陷的自动化检测，随着人工智能(ai)技术的发展，人工智能与自动光学检测的结合大大提高了检测的准确率以及效率。
3.当前人工智能在进行ai模型训练前期和过程中需要用户先进行图像搜集和分类工作，传统人工分类的方式需要重复多个步骤，特别是首次使用ai应用，会因为大量的人工搜集和分类工作导致用户对ai技术望而却步，搜集并分类300张图像需要2～3天甚至一周的时间，严重影响了ai的应用效果。而且，ai数据的分类繁多复杂，数量达到几十上百种，人工学习周期长，人工分类时间长了也会造成视觉疲劳，导致分类错误，影响ai的训练效果。
4.因此，如何提供一种能够提高图像分类效率及准确性的图像分类方法，实为需要解决的问题之一。


技术实现要素：

5.本发明的实施例提供一种图像分类方法、装置、测试系统及存储介质，可以通过自动分类与人工复判相结合的方式，提高图像分类的速度及准确性，提高生产效率。
6.本发明一实施方式的图像分类方法，包括：获取至少一待分类图像；设置分类参数；根据所述分类参数，对所述待分类图像进行第一聚类处理，获得第一分类结果；对所述第一分类结果进行特征提取并进行第二聚类处理，获得第二分类结果；显示所述第二分类结果；对所述第二分类结果进行人工复判，获得第三分类结果。
7.上述的方法，其中，所述获得第一分类结果的步骤进一步包括：
8.将所述待分类图像划分为m组图像，并将所述m组图像分别存储至所对应的存储区域。
9.上述的方法，其中，所述获得第二分类结果的步骤进一步包括：
10.将每一所述m组图像，分别划分为n1、n2...nm类图像，并将每一所述n1、n2...nm类图像分别存储至所对应的所述m组图像的存储区域。
11.上述的方法，其中，所述显示所述第二分类结果的步骤进一步包括：
12.采用图像轮播的方式分别显示每一所述n1、n2...nm类图像。
13.上述的方法，其中，所述对所述第二分类结果进行人工复判的步骤进一步包括：
14.根据所述分类参数，设定快捷键，通过所述快捷键对所述第二分类结果进行人工复判。
15.上述的方法，其中，所述快捷键可通过输入设备或触控方式进行操作。
16.上述的方法，其中，所述第一聚类处理或所述第二聚类处理采用无监督聚类算法。
17.上述的方法，其中，所述方法进一步包括：
18.根据所述第三分类结果创建学习模型；
19.根据所述学习模型进行训练并获得分类模型。
20.上述的方法，其中，所述方法进一步包括：
21.根据所述分类模型对所述待分类图像进行分类，获得第四分类结果；
22.显示所述第四分类结果；
23.对所述第四分类结果进行人工复判，获得第五分类结果。
24.上述的方法，其中，所述通过所述快捷键对所述第二分类结果进行人工复判的步骤进一步包括：
25.通过所述快捷键整体改变其中一所述m组图像或其中一所述n1、n2...nm类图像的存储区域。
26.上述的方法，其中，所述通过所述快捷键对所述第二分类结果进行人工复判的步骤进一步包括：
27.与其中一所述m组图像或其中一所述n1、n2...nm类图像所对应的另一所述m组图像或另一所述n1、n2...nm类图像的存储区域适应性改变。
28.上述的方法，其中，所述通过所述快捷键对所述第二分类结果进行人工复判的步骤进一步包括：
29.通过所述快捷键改变所述m组图像或所述n1、n2...nm类图像中至少一图像的存储区域。
30.本发明一实施方式的图像分类装置，包括：一图像获取模块，用于获取至少一待分类图像；一参数设置模块，用于设置分类参数；一聚类处理模块，用于根据所述分类参数，对所述待分类图像进行第一聚类处理，获得第一分类结果，对所述第一分类结果进行特征提取并进行第二聚类处理，获得第二分类结果；一显示模块，用于显示所述第二分类结果；一操作模块，用于对所述第二分类结果进行人工复判，获得第三分类结果。
31.上述的装置，其中，所述聚类处理模块进一步包括：
32.一分类单元，用于将所述待分类图像划分为m组图像，并将每一所述m组图像，分别划分为n1、n2...nm类图像。
33.上述的装置，其中，所述聚类处理模块进一步包括：
34.一存储单元，用于将所述m组图像分别存储至所对应的存储区域，并将每一所述n1、n2...nm类图像分别存储至所对应的所述m组图像的存储区域。
35.上述的装置，其中，所述显示模块采用图像轮播的方式分别显示每一所述n1、n2...nm类图像。
36.上述的装置，其中，所述操作模块包括快捷键，所述快捷键根据所述分类参数进行设定。
37.上述的装置，其中，所述快捷键可通过输入设备或触控方式进行操作。
38.上述的装置，其中，所述第一聚类处理或所述第二聚类处理采用无监督聚类算法。
39.上述的装置，其中，所述装置进一步包括：
40.一学习模型创建模块，用于根据所述第三分类结果创建学习模型；
41.一分类模型生成模块，用于根据所述学习模型进行训练并获得分类模型。
42.上述的装置，其中，所述装置进一步包括：
43.一自动分类模块，用于根据所述分类模型对所述待分类图像进行分类，获得第四分类结果；
44.所述操作模块还用于对所述第四分类结果进行人工复判，获得第五分类结果。
45.上述的装置，其中，通过所述快捷键整体改变其中一所述m组图像或其中一所述n1、n2...nm类图像的存储区域。
46.上述的装置，其中，与其中一所述m组图像或其中一所述n1、n2...nm类图像所对应的另一所述m组图像或另一所述n1、n2...nm类图像的存储区域适应性改变。
47.上述的装置，其中，通过所述快捷键改变所述m组图像或所述n1、n2...nm类图像中至少一图像的存储区域。
48.本发明一实施方式的测试系统，包括至少一个如上所述的任意一种图像分类装置。
49.本发明一实施方式的存储介质，用于存储计算机程序，所述计算机程序用于执行如上所述的任意一种图像分类方法。
50.以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
51.图1是本发明一实施例图像分类方法的流程示意图。
52.图2是本发明一实施例步骤s103的流程示意图。
53.图3是本发明一实施例步骤s104的流程示意图。
54.图4是本发明又一实施例图像分类方法的流程示意图。
55.图5是本发明一实施例图像分类装置的结构示意图。
56.图6是本发明又一实施例图像分类装置的结构示意图。
57.其中，附图标记：
58.100：图像分类方法
59.s101-s109：步骤
60.200：图像分类装置
61.201：图像获取模块
62.202：参数设置模块
63.203：聚类处理模块
64.2031：分类单元
65.2032：存储单元
66.204：显示模块
67.205：操作模块
68.206：学习模型创建模块
69.207：分类模型生成模块
70.208：自动分类模块
具体实施方式
71.下面结合附图对本发明的结构原理和工作原理作具体的描述：
72.图1是本发明一实施例图像分类方法的流程示意图。如图1所示，本发明的图像分类方法100包括以下步骤：
73.s101，获取待分类图像。于本发明中，待分类图像可以是从自动光学检测(aoi)系统中所获得，也可以通过其他方式获得，通常包括产品各种零部件、电路板或其他图像，本发明并不以此为限。
74.s102，设置分类参数。可以根据所获取的待分类图像，将待分类图像中所包括的元件类别，例如电阻、电容、电感等，每一类元件作为一组，可以划分为m组，则设定第一级参数为元件类别数m，元件类别数为m。对于其中的每一组图像，既可以将其简单划分为合格、缺陷两类，也可以根据缺陷类型，例如缺件、刮伤、断线、异物等，划分为多种不同的类型，每一组图像可以分别划分为n1、n2...nm类图像，则设定第二级参数为缺陷类别数n1、n2...nm，n1、n2...nm之间可以相同，也可以不同。举例来说，待分类图像中包括电阻、电容两种元件的图像，则第一级参数设定为2，再将电阻、电容划分为合格、缺陷两类，则第二级参数同样设定为2，如果还包括其他元件，或者需要再划分更细的类别，则第一级参数或第二级参数可以设定为3、4或者其他数字。当然，也可以根据元件数量的多少，类别的不同，设定更多级参数，本发明并不以此为限。以下仅以合格、缺陷两种类型的划分为例进行详细说明。
75.s103，第一聚类处理，获得第一分类结果。图2是本发明一实施例步骤s103的流程示意图。如图2所示，步骤s 103进一步包括：
76.s1031，元件特征提取。对待分类图像中的元件进行特征提取。
77.s1032，将待分类图像划分为m组图像。根据步骤s102中所设定分类参数中的第一级参数m，将待分类图像进行第一聚类处理，将待分类图像划分为m组图像。举例来说，将具有第一种相同特征的图像划分至第一组，具有第二种相同特征的图像划分至第二组，具有第三种相同特征的图像划分至第三组，...划分至第m组，直至将所有的待分类图像均划分至不同的组为止。
78.s1033，将m组图像分别存储。将所划分的m组图像分别存储至不同的存储区域，例如，将第一组图像存储至文件夹“1”，将第二组图像存储至文件夹“2”，将第三组图像存储至文件夹“3”，...存储至文件夹“m”，直至将所有的待分类图像均复制并存储至不同的文件夹为止。
79.由此，根据所设置的第一级参数，对待分类图像进行了第一次聚类处理，并获得了第一分类结果。
80.s104，第二聚类处理，获得第二分类结果。图3是本发明一实施例步骤s104的流程示意图。如图3所示，步骤s104进一步包括：
81.s1041，缺陷特征提取。步骤s103中第一分类结果中的每一组图像均进行缺陷特征提取。
82.s1042，将m组图像，分别划分为n1、n2...nm类图像。根据步骤s102中所设定分类参数中的第二级参数n1、n2...nm，将m组图像进行第二聚类处理，对每一组图像分别进行划分。举例来说，将第一组图像中具有相同的第一缺陷特征的划分至第n1-1类，将第一组图像中具有相同的第二缺陷特征的划分至第n1-2类，将第二组图像中具有相同的第一缺陷特征的划分至第n2-1类，将第二组图像中具有相同的第二缺陷特征的划分至第n2-2类，以此类推，将第m组图像中具有相同的第一缺陷特征的划分至第nm-1类，将第m组图像中具有相同
的第二缺陷特征的划分至第nm-2类，直至将所有的m组图像均划分至不同的类为止。需要说明的是，本发明所称的缺陷特征也可以包括无缺陷的缺陷特征，即合格的类型。
83.s1043，将n1、n2...nm类图像分别存储至所对应的m组图像的存储区域。将所划分的n1、n2...nm类图像分别存储至相对应的存储区域，例如，将第n1-1类、第n1-2类图像分别存储至文件夹“1”下的“1-1”以及“1-2”子文件夹，将第n2-1类、第n2-2类图像分别存储至文件夹“2”下的“2-1”以及“2-2”子文件夹，以此类推，将第nm-1类、第nm-2类图像分别存储至文件夹“m”下的“m-1”以及“m-2”子文件夹，直至将所有m组图像均复制并存储至不同的子文件夹为止。
84.由此，根据所设置的第二级参数，对第一分类结果中的m组图像进行了第二次聚类处理，并获得了第二分类结果。
85.需要说明的是，步骤s103、步骤s104中的第一聚类处理或第二聚类处理均采用无监督聚类处理的方式，自动进行分类处理。可以大大减少人工分类所花费的时间，很好的提高图像分类速度，提升生产效率。
86.s105，显示第二分类结果。采用轮播或逐一显示的方式，将步骤s104中的第二分类结果进行显示，分别显示每一子文件夹下所存储的图像，并显示每一张图像所属的类别，例如“合格”或者“缺陷”。每一次可显示一张或多张图像，本发明并不以此为限。
87.s106，人工复判，获得第三分类结果。对显示的第二分类结果，采用人工的方式，利用快捷键进行复判。快捷键的数量和种类可根据所设置的分类参数或者所划分的n1、n2...nm类进行自定义。例如，可以设定“合格”、“缺陷”两种快捷键。当显示的图像为合格时，人工复判结果同样为“合格”，则不需要进行操作，图像可以自动间隔一定时间进入下一张图像，当显示的图像为合格时，人工复判结果为“缺陷”，则通过快捷键“缺陷”，将当前显示的图像重新分类至“缺陷”类，并对应的将该图像由合格类所对应的子文件夹移动至缺陷类所对应的子文件夹。同样的，也可以对图像的分组进行人工复判。
88.举例说明如下：当显示第二分类结果的某一子文件夹中的图像时，可通过人工识别的方式判断图像所属的“组”以及“类”是否正确，对应的，其所存储的文件夹或子文件夹是否正确。如果正确，则不改变图像所处的文件夹或子文件夹；如果当所述的“组”或“类”不正确时，可以通过快捷键的方式快速改变文件夹或子文件夹的名称。例如，当电阻被分类成电容，并存储在电容的文件夹下时，可以通过快捷键一键修改文件夹的名称，将名称为电容的文件夹修改为名称为电阻；或者，当合格的图像被分类成缺陷，并存储在缺陷的子文件夹下时，可以通过快捷键一键修改子文件夹的名称，将名称为缺陷的文件夹修改为名称为合格。
89.于不同的实施例中，可以设定为修改其中一文件夹或子文件夹的名称时，对应修改其他文件夹或子文件夹的名称。例如，将电容的文件夹修改为电阻时，对应的修改电阻的文件夹为电容；将合格的子文件夹修改为缺陷时，对应的修改缺陷的子文件夹为合格。
90.由此，在进行人员复判时，可以对文件夹或子文件夹中的图像通过快捷键进行批量处理，而不用对其中的图像一张一张进行复判。
91.当对文件夹或子文件夹中的图像批量复判完成之后，再次显示第二分类结果的某一子文件夹中的图像，此时，第二分类结果中存在分类错误的图像很少，且分类错误的图像与其所属文件夹或子文件夹中其他图像的差别较大，可以快速的被人员复判出来，并再次
利用快捷键的方式对其中的一张或几张图像进行分类。
92.于本发明中，快捷键可通过输入设备(键盘、鼠标等)或触控方式(手、触控笔等)进行操作，本发明并不以此为限。
93.由此，采用人工复判的方式，对第二分类结果中的每一张图像进行人工复判，获得第三分类结果。
94.以上所述实施例中的图像分类方法，尤其适用于首次使用ai时对训练图像的收集，或者使用新机种对训练图像的收集。
95.图4是本发明又一实施例图像分类方法的流程示意图。结合图1-图3，如图4所示，本发明的图像分类方法100还可以进一步包括以下步骤：
96.s107，创建学习模型，训练并获得分类模型。根据步骤s106人工复判后的第三分类结果，创建学习模型供ai进行训练，并生成分类模型。对于训练初期，分类模型的准确度相对较低，但随着所获取图像的数量越来越多，ai进行更深入的训练、学习之后，分类模型准确度会变得更高。
97.s108，根据分类模型，获得第四分类结果。当分类模型准确度达到一定程度之后，可以将所获取的待分类图像直接提供给ai，由ai根据分类模型进行自动分类，获得第四分类结果。
98.s109，人工复判，获得第五分类结果。对于ai自动分类获得的第四分类结果，同样可以采用人工复判的方式进行校验。可以采用如步骤s105、s106的步骤，对第四分类结果进行一次或循环多次的人工复判。
99.图5是本发明一实施例图像分类装置的结构示意图。如图5所示，本发明的图像分类装置200包括图像获取模块201、参数设置模块202、聚类处理模块203、显示模块204以及操作模块205。
100.具体的，图像获取模块201用于获取待分类图像。于本发明中，待分类图像可以是从自动光学检测(aoi)系统中所获得，也可以通过其他方式获得，通常包括产品各种零部件、电路板或其他图像，本发明并不以此为限。
101.参数设置模块202用于设置分类参数。可以根据所获取的待分类图像，将待分类图像中所包括的元件类别，例如电阻、电容、电感等，每一类元件作为一组，可以划分为m组，则设定第一级参数为元件类别数m，元件类别数为m。对于其中的每一组图像，既可以将其简单划分为合格、缺陷两类，也可以根据缺陷类型，例如缺件、刮伤、断线、异物等，划分为多种不同的类型，每一组图像可以分别划分为n1、n2...nm类图像，则设定第二级参数为缺陷类别数n1、n2...nm，n1、n2...nm之间可以相同，也可以不同。举例来说，待分类图像中包括电阻、电容两种元件的图像，则第一级参数设定为2，再将电阻、电容划分为合格、缺陷两类，则第二级参数同样设定为2，如果还包括其他元件，或者需要再划分更细的类别，则第一级参数或第二级参数可以设定为3、4或者其他数字。当然，也可以根据元件数量的多少，类别的不同，设定更多级参数，本发明并不以此为限。以下仅以合格、缺陷两种类型的划分为例进行详细说明。
102.聚类处理模块203用于根据分类参数，对待分类图像进行第一聚类处理，获得第一分类结果，并对第一分类结果进行特征提取进行第二聚类处理，获得第二分类结果。聚类处理模块203进一步包括分类单元2031以及存储单元2032。
103.其中，分类单元2031用于对待分类图像中的元件进行特征提取，并将待分类图像划分为m组图像。根据所设定分类参数中的第一级参数m，将待分类图像进行第一聚类处理，将待分类图像划分为m组图像。举例来说，将具有第一种相同特征的图像划分至第一组，具有第二种相同特征的图像划分至第二组，具有第三种相同特征的图像划分至第三组，...划分至第m组，直至将所有的待分类图像均划分至不同的组为止。
104.存储单元2032用于将m组图像分别存储。将所划分的m组图像分别存储至不同的存储区域，例如，将第一组图像存储至文件夹“1”，将第二组图像存储至文件夹“2”，将第三组图像存储至文件夹“3”，...存储至文件夹“m”，直至将所有的待分类图像均复制并存储至不同的文件夹为止。
105.由此，根据所设置的第一级参数，对待分类图像进行了第一次聚类处理，并获得了第一分类结果。
106.分类单元2031还用于对第一分类结果中的每一组图像均进行缺陷特征提取，再将m组图像，分别划分为n1、n2...nm类图像。根据所设定分类参数中的第二级参数n1、n2...nm，将m组图像进行第二聚类处理，对每一组图像分别进行划分。举例来说，将第一组图像中具有相同的第一缺陷特征的划分至第n1-1类，将第一组图像中具有相同的第二缺陷特征的划分至第n1-2类，将第二组图像中具有相同的第一缺陷特征的划分至第n2-1类，将第二组图像中具有相同的第二缺陷特征的划分至第n2-2类，以此类推，将第m组图像中具有相同的第一缺陷特征的划分至第nm-1类，将第m组图像中具有相同的第二缺陷特征的划分至第nm-2类，直至将所有的m组图像均划分至不同的类为止。需要说明的是，本发明所称的缺陷特征也可以包括无缺陷地缺陷特征，即合格的类型。
107.存储单元2032还用于将n1、n2...nm类图像分别存储至所对应的m组图像的存储区域。将所划分的n1、n2...nm类图像分别存储至相对应的存储区域，例如，将第n1-1类、第n1-2类图像分别存储至文件夹“1”下的“1-1”以及“1-2”子文件夹，将第n2-1类、第n2-2类图像分别存储至文件夹“2”下的“2-1”以及“2-2”子文件夹，以此类推，将第nm-1类、第nm-2类图像分别存储至文件夹“m”下的“m-1”以及“m-2”子文件夹，直至将所有m组图像均复制并存储至不同的子文件夹为止。
108.由此，根据所设置的第二级参数，对第一分类结果中的m组图像进行了第二次聚类处理，并获得了第二分类结果。
109.需要说明的是，第一聚类处理或第二聚类处理均采用无监督聚类处理的方式，自动进行分类处理。可以大大减少人工分类所花费的时间，很好的提高图像分类速度，提升生产效率。
110.显示模块204用于显示第二分类结果。采用轮播或逐一显示的方式，将第二分类结果进行显示，分别显示每一子文件夹下所存储的图像，并显示每一张图像所属的类别，例如“合格”或者“缺陷”。每一次可显示一张或多张图像，本发明并不以此为限。
111.操作模块205用于人工复判，获得第三分类结果。对显示的第二分类结果，采用人工的方式，利用快捷键进行复判。快捷键的数量和种类可根据所设置的分类参数或者所划分的n1、n2...nm类进行自定义。例如，可以设定“合格”、“缺陷”两种快捷键。当显示的图像为合格时，人工复判结果同样为“合格”，则不需要进行操作，图像可以自动间隔一定时间进入下一张图像，当显示的图像为合格时，人工复判结果为“缺陷”，则通过快捷键“缺陷”，将
当前显示的图像重新分类至“缺陷”类，并对应的将该图像由合格类所对应的子文件夹移动至缺陷类所对应的子文件夹。同样的，也可以对图像的分组进行人工复判。
112.举例说明如下：当显示第二分类结果的某一子文件夹中的图像时，可通过人工识别的方式判断图像所属的“组”以及“类”是否正确，对应的，其所存储的文件夹或子文件夹是否正确。如果正确，则不改变图像所处的文件夹或子文件夹；如果当所述的“组”或“类”不正确时，可以通过快捷键的方式快速改变文件夹或子文件夹的名称。例如，当电阻被分类成电容，并存储在电容的文件夹下时，可以通过快捷键一键修改文件夹的名称，将名称为电容的文件夹修改为名称为电阻；或者，当合格的图像被分类成缺陷，并存储在缺陷的子文件夹下时，可以通过快捷键一键修改子文件夹的名称，将名称为缺陷的文件夹修改为名称为合格。
113.于不同的实施例中，可以设定为修改其中一文件夹或子文件夹的名称时，对应修改其他文件夹或子文件夹的名称。例如，将电容的文件夹修改为电阻时，对应的修改电阻的文件夹为电容；将合格的子文件夹修改为缺陷时，对应的修改缺陷的子文件夹为合格。
114.由此，在进行人员复判时，可以对文件夹或子文件夹中的图像通过快捷键进行批量处理，而不用对其中的图像一张一张进行复判。
115.当对文件夹或子文件夹中的图像批量复判完成之后，再次显示第二分类结果的某一子文件夹中的图像，此时，第二分类结果中存在分类错误的图像很少，且分类错误的图像与其所属文件夹或子文件夹中其他图像的差别较大，可以快速的被人员复判出来，并再次利用快捷键的方式对其中的一张或几张图像进行分类。
116.于本发明中，快捷键可通过输入设备(键盘、鼠标等)或触控方式(手、触控笔等)进行操作，本发明并不以此为限。
117.由此，采用人工复判的方式，对第二分类结果中的每一张图像进行人工复判，获得第三分类结果。
118.以上所述实施例中的图像分类装置，尤其适用于首次使用ai时对训练图像的收集，或者使用新机种对训练图像的收集。
119.图6是本发明又一实施例图像分类装置的结构示意图。结合图5、图6所示，本发明的图像分类装置200还可以进一步包括：
120.学习模型创建模块206用于根据人工复判后的第三分类结果，创建学习模型供ai进行训练。
121.分类模型生成模块207用于生成分类模型。对于训练初期，分类模型的准确度相对较低，但随着所获取图像的数量越来越多，ai进行更深入的训练、学习之后，分类模型准确度会变得更高。
122.自动分类模块208用于根据分类模型，获得第四分类结果。当分类模型准确度达到一定程度之后，可以将所获取的待分类图像直接提供给ai，由ai根据分类模型进行自动分类，获得第四分类结果。
123.对于ai自动分类获得的第四分类结果，同样可以采用人工复判的方式进行校验。可以采用操作模块205对第四分类结果进行一次或循环多次的人工复判。
124.本发明还提供一种测试系统，包括至少一个如上所述的任意一种图像分类装置。
125.本发明还提供一种存储介质，用于存储计算机程序，计算机程序用于执行如上所
述的任意一种图像分类方法。
126.依照本发明的实施例，对于首次使用ai时对训练图像的收集，或者使用新机种对训练图像的收集时，可以采用无监督聚类算法、并通过快捷键人工复判的方式，提高分类效率，而随着样本(图像)数量的不断增加，ai的分类越来越准确，可以采用ai与人工复判相结合的方式，进一步提升工作效率。
127.当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。