一种基于多模型融合的图像分类方法

1.本发明涉及图像分类技术领域，特别涉及一种基于多模型融合的图像分类方法。


背景技术：

2.目前，图像分类是根据输入图像的不同特征来实现不同类别图像的自动划分，其在目标检测、物体识别[1]等领域都有着广泛应用。在过去几十年中，众多学者在该领域进行了大量研究，但仍无法满足实际需求。图像分类主要存在干扰信息较多、图像部分失真等难点[2]，这都给分类任务带来了较大的挑战。
[0003]
早期的图像分类方法侧重于人工设计图像特征[3]，这种方法需要通过人工操作来标注目标特征，不仅耗费人工成本，而且泛化能力较差，不能在实际工程中大范围推广应用，具有较大的局限性。随着科学技术的不断发展，人们尝试利用计算机强大的数据处理和计算能力，来模仿人类对图像的观察和理解方式，实现对目标图像的自动分类。深度学习[4]作为机器学习领域的重要分支，为图像分类领域提供了新的思路和解决方案。深度学习能够模拟人脑处理方式[5]，具有强大的自主学习和抽象表达能力，它不需要人工设计，能够自动地从数据中学习目标特征，同时模拟大脑的认知方式，获得多层次的特征表达，最大限度地利用特征信息实现对图像的自动分类。与传统的分类方法相比，基于深度学习的图像分类方法减少了人工标注过程，具有更好的泛化能力和特征表达能力，分类准确率更高，具有更广泛的应用场景，但是现有基于深度学习的图像分类方法一般是分为训练集和测试集之后，直接进行分类，但是，分类的准确度不高。


技术实现要素：

[0004]
本发明提供一种基于多模型融合的图像分类方法，用以解决图像分类准确度不高的情况。
[0005]
一种基于多模型融合的图像分类方法，包括：
[0006]
获取待分类图像数据集，将所述待分类图像数据集进行预处理，获取训练数据集和测试数据集；
[0007]
将所述训练数据集和测试数据集中的图像进行灰度处理，并对灰度处理后的训练数据集和测试数据集进行特征提取，生成训练特征集和测试特征集；
[0008]
通过所述训练特征集在多个预设的网络模型中分别进行训练，得到训练的多个网络训练模型；
[0009]
通过所述测试特征集在多个预设的网络模型中分别进行测试，得到测试的多个测试模型；
[0010]
分别对所述多个网络训练模型和多个测试模型进行聚类融合，并生成训练聚类中心和测试聚类中心；
[0011]
根据所述训练聚类中心，对所述待分类图像数据集进行分类，获取分类结果；
[0012]
将所述分类结果传输至所述测试聚类中心，判断所述分类结果是否正确，并在分
类结果正确时，并将对应的图像进行类型标记。
[0013]
作为本发明的一种实施例：所述获取待分类图像数据集，将所述待分类图像数据集进行预处理，获取训练数据集和测试数据集，包括：
[0014]
将所述待分类图像数据集导入rgb颜色空间进行颜色增强处理，生成第一增强图像数据集；
[0015]
将所述第一增强图像数据集导入hsv颜色空间进行明度增强处理，生成第二增强图像数据集；
[0016]
分别计算所述第二增强图像数据集的图像权重，并生成权重数据集；
[0017]
将所述权重数据集的权重值按照从大到小进行排序，生成权重梯度序列；
[0018]
将所述权重梯度序列进行均匀划分为至少两个权重范围层；
[0019]
通过预设的训练数据集和测试数据集的划分比例，将所述权重范围层中的按照所述比例进行划分训练权重数据集和测试权重数据集；
[0020]
根据所述训练权重数据集和测试权重数据集，将对应的待分类图像数据集划分为训练数据集和测试数据集。
[0021]
作为本发明的一种实施例：所述将所述训练数据集和测试数据集中的图像进行灰度处理，并对灰度处理后的训练数据集和测试数据集进行特征提取，生成训练特征集和测试特征集，包括以下步骤：
[0022]
步骤1：根据所述训练数据集和测试数据集，确定每张图像的原始灰度值和色差值；
[0023]
步骤2：根据所述原始灰度值，通过下式确定每张图像灰度函数：
[0024][0025]
其中，h(g)表示灰度函数；g
ij
表示第i张图像的第j个像素点的灰度值；μ
ij
表示待分类图像数据集中第i张图像的第j个像素点的色差值；τ表示待分类图像数据集；i＝1，2，3
……
n；n表示待分类图像数据集中图像的总数量；j＝1，2，3
……
m；m表示待分类图像数据集中每张图像的像素点的总数量；
[0026]
步骤3：根据所述灰度函数，基于颜色映射对所述待分类图像数据集的中每张图片进行灰度处理，确定每张图片的显著性：
[0027][0028]
其中，n(h(g))i表示第i张图像的灰度增强函数；δd表示每张图片灰度处理后和灰度处理前的预设欧式距离；δc表示每张图片灰度处理后和灰度处理前像素颜色的预设标准差；
[0029]
步骤4：根据所述显著性，通过下式确定每张图片灰度处理后和灰度处理前的视觉对比度：
[0030][0031]
其中，δ表示每张图片的权重；
[0032]
步骤5：将所述视觉对比度代入每张图像灰度函数，确定灰度处理后每张图像的灰度函数：
[0033][0034]
其中，表示灰度处理后每张图像的灰度函数；
[0035]
步骤6：根据所述灰度函数，分别对所述训练数据集和测试数据集进行处理，通过下式进行特征提取：
[0036][0037]
其中，t(i)表示第i张图像的特征值；
[0038]
步骤7：根据所述特征提取，分别训练数据集的训练特征集和测试数据集的测试特征集。
[0039]
作为本发明的一种实施例：所述通过所述训练特征集在多个预设的网络模型中分别进行训练，得到训练的多个网络训练模型，包括：
[0040]
预先搭建第一网络模型模板，并确定所述第一网络模型模板中预设的第一通用网络模型；其中，
[0041]
所述第一通用网络模型包括：颜色网络模型，像素位置网络模型，色调网络模型，饱和度网络模型和明度网络模型；
[0042]
在所述第一通用网络模型中添加训练规则，构成训练网络模型模板；
[0043]
将所述训练特征集导入所述训练网络模型模板中进行训练，分别确定：颜色训练模型、像素位置训练模型、色调训练模型、饱和度训练模型和明度训练模型。
[0044]
作为本发明的一种实施例：所述通过所述测试特征集在多个预设的网络模型中分别进行测试，得到测试的多个测试模型，包括：
[0045]
预先搭建第二网络模型模板，并确定所述第二网络模型模板中预设的第二通用网络模型；其中，
[0046]
所述第二通用网络模型包括：颜色对比模型、像素位置对比模型、色调对比模型、饱和度对比模型和明度对比模型；
[0047]
在所述第二通用网络模型在添加测试规则，构成测试网络模型模板；
[0048]
将所述测试特征集导入所述测试网络模型模板进行训练分别确定：颜色测试模型、像素位置测试模型、色调测试模型、饱和度测试模型和明度测试模型。
[0049]
作为本发明的一种实施例：所述分别对所述多个网络训练模型和多个测试模型进行聚类融合，并生成训练聚类中心和测试聚类中心，包括：
[0050]
将所述多个网络训练模型作为训练聚类成员，将所述多个测试模型作为测试聚类成员；
[0051]
将所述训练聚类成员和测试聚类成员分别代入多聚类算法，确定聚类成员的相似性；
[0052]
根据所述相似性，确定相似矩阵，将所述相似矩阵代入凝聚层次聚类算法构建训练层次树和测试层次树，并将所述曾次数分割为多个训练子树和测试子树；
[0053]
将所述训练子树通过融合算法进行处理，生成训练聚类中心；
[0054]
将所述测试子树通过融合算法进行处理，生成测试聚类中心。
[0055]
作为本发明的一种实施例：所述根据所述训练聚类中心，对所述待分类图像数据集进行分类，获取分类结果，包括：
[0056]
基于待分类图像数据集，从预设图像类型的图像序列模式中确定与所述待分类数据集相匹配的目标图像序列模式；
[0057]
将所述待分类图像代入所述训练聚类中心和目标图像序列模式进行处理，确定所述待分类图像的图像类型，生成分类结果。
[0058]
作为本发明的一种实施例：所述将所述分类结果传输至所述测试聚类中心，判断所述分类结果是否正确，并在分类结果正确时，并将对应的图像进行类型标记，包括：
[0059]
获取所述分类结果，确定分类后的分类图像；
[0060]
将所述分类图像代入所述测试聚类中心进行图像测试，确定每一张分类图像的置信值；
[0061]
根据所述置信值，判断所述分类图像中每一类分类图像的置信值是否相同；
[0062]
当每一类分类图像的置信值相同时，对相同置信值的分类图像进行类型标记；
[0063]
当每一类分类图像的置信值存在不相同时，对不同置信值的分类图像传输至所述训练聚类中心进行重新分类。
[0064]
本发明有益效果在于：本发明得到的分类结果更加的精确，而且多模型融合确定了结果的精确性。聚类的方式可以在类型未知的情况下进行分类。
[0065]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
[0066]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0067]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0068]
图1为本发明实施例中一种基于多模型融合的图像分类方法的方法流程图。
具体实施方式
[0069]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0070]
如附图1所示，本发明为一种基于多模型融合的图像分类方法，包括：
[0071]
获取待分类图像数据集，将所述待分类图像数据集进行预处理，获取训练数据集和测试数据集；
[0072]
将所述训练数据集和测试数据集中的图像进行灰度处理，并对灰度处理后的训练数据集和测试数据集进行特征提取，生成训练特征集和测试特征集；
[0073]
通过所述训练特征集在多个预设的网络模型中分别进行训练，得到训练的多个网络训练模型；
[0074]
通过所述测试特征集在多个预设的网络模型中分别进行测试，得到测试的多个测试模型；
[0075]
分别对所述多个网络训练模型和多个测试模型进行聚类融合，并生成训练聚类中心和测试聚类中心；
[0076]
根据所述训练聚类中心，对所述待分类图像数据集进行分类，获取分类结果；
[0077]
将所述分类结果传输至所述测试聚类中心，判断所述分类结果是否正确，并在分类结果正确时，并将对应的图像进行类型标记。
[0078]
上述技术方案的原理和有益效果在于：本发明在起始步骤和现有技术采用了相同的预处理方法，将需要分类的图像划分为训练数据集和测试数据集。灰度处理的目的是通过灰度增强的方式，在提高图片的灰度之后，更加容易进行特征提取，而且，也可以将训练数据集和测试数据集转换为训练特征集和测试特征集。本发明在将训练特征集通过多个网络模型进行训练，这使得能够得到多个网络训练的结果，将测试特征集通过多个网络模型进行测试，得到多个测试模型，训练模型在聚类后进行分类，测试模型在聚类后对分类的结果进行验证，进而保证了分类的结果是正确的。相对于现有技术，本发明得到的分类结果更加的精确，而且多模型融合确定了结果的精确性。聚类的方式可以在类型未知的情况下进行分类。
[0079]
作为本发明的一种实施例：所述获取待分类图像数据集，将所述待分类图像数据集进行预处理，获取训练数据集和测试数据集，包括：
[0080]
将所述待分类图像数据集导入rgb颜色空间进行颜色增强处理，生成第一增强图像数据集；
[0081]
将所述第一增强图像数据集导入hsv颜色空间进行明度增强处理，生成第二增强图像数据集；
[0082]
分别计算所述第二增强图像数据集的图像权重，并生成权重数据集；
[0083]
将所述权重数据集的权重值按照从大到小进行排序，生成权重梯度序列；
[0084]
将所述权重梯度序列进行均匀划分为至少两个权重范围层；
[0085]
通过预设的训练数据集和测试数据集的划分比例，将所述权重范围层中的按照所述比例进行划分训练权重数据集和测试权重数据集；
[0086]
根据所述训练权重数据集和测试权重数据集，将对应的待分类图像数据集划分为训练数据集和测试数据集。
[0087]
上述技术方案的原理和有益效果在于：rgb颜色空间适用于实现图像在纹理、形状、空间关系和颜色上进行增强；hsv颜色空间是为了对图片进行色调、饱和度和明度三方面的增强；在两次增强之后，待分类图像的权重实现了增强，而权重梯度是了为将待分类的图像能够均匀且均衡的进行划分，使得不管是训练集还是测试集，两者的状态是相差不大
的。
[0088]
作为本发明的一种实施例：所述将所述训练数据集和测试数据集中的图像进行灰度处理，并对灰度处理后的训练数据集和测试数据集进行特征提取，生成训练特征集和测试特征集，包括以下步骤：
[0089]
步骤1：根据所述训练数据集和测试数据集，确定每张图像的原始灰度值和色差值；
[0090]
步骤2：根据所述原始灰度值，通过下式确定每张图像灰度函数：
[0091][0092]
其中，h(g)表示灰度函数；g
ij
表示第i张图像的第j个像素点的灰度值；μ
ij
表示待分类图像数据集中第i张图像的第j个像素点的色差值；τ表示待分类图像数据集；i＝1，2，3
……
n；n表示待分类图像数据集中图像的总数量；j＝1，2，3
……
m；m表示待分类图像数据集中每张图像的像素点的总数量；
[0093]
步骤3：根据所述灰度函数，基于颜色映射对所述待分类图像数据集的中每张图片进行灰度处理，确定每张图片的显著性：
[0094][0095]
其中，n(h(g))i表示第i张图像的灰度增强函数；δd表示每张图片灰度处理后和灰度处理前的预设欧式距离；δc表示每张图片灰度处理后和灰度处理前像素颜色的预设标准差；
[0096]
步骤4：根据所述显著性，通过下式确定每张图片灰度处理后和灰度处理前的视觉对比度：
[0097][0098]
其中，δ表示每张图片的权重；
[0099]
步骤5：将所述视觉对比度代入每张图像灰度函数，确定灰度处理后每张图像的灰度函数：
[0100][0101]
其中，表示灰度处理后每张图像的灰度函数；
[0102]
步骤6：根据所述灰度函数，分别对所述训练数据集和测试数据集进行处理，通过下式进行特征提取：
[0103]
[0104]
其中，t(i)表示第i张图像的特征值；
[0105]
步骤7：根据所述特征提取，分别训练数据集的训练特征集和测试数据集的测试特征集。
[0106]
上述技术方案的原理和有益效果在于：本发明会通过图像的原始灰度值，构建灰度函数，在灰度处理的过程中，基于颜色映射提高了每张图像的显著性，然后在显著性提高以后，本发明构建视觉对比模型，确定灰度处理前后的视觉对比度，即，图片处理前后状况的对比，然后通过对比度，对每张图像灰度函数进行计算，确定灰度处理后的灰度函数，灰度函数确定后，可以直接通过灰度函数进行特征提取，进而根据特征确定训练数据集的训练特征集和测试数据集的测试特征集。
[0107]
作为本发明的一种实施例：所述通过所述训练特征集在多个预设的网络模型中分别进行训练，得到训练的多个网络训练模型，包括：
[0108]
预先搭建第一网络模型模板，并确定所述第一网络模型模板中预设的第一通用网络模型；其中，
[0109]
所述第一通用网络模型包括：颜色网络模型，像素位置网络模型，色调网络模型，饱和度网络模型和明度网络模型；
[0110]
在所述第一通用网络模型中添加训练规则，构成训练网络模型模板；
[0111]
将所述训练特征集导入所述训练网络模型模板中进行训练，分别确定：颜色训练模型、像素位置训练模型、色调训练模型、饱和度训练模型和明度训练模型。
[0112]
上述技术方案的原理和有益效果在于：在网络训练的过程中，本发明建立网络训练模板，这个网络训练模板中存在多种训练模型，这多种训练模型是由通用的训练模型添加训练规则之后确定最终的训练模型。
[0113]
作为本发明的一种实施例：所述通过所述测试特征集在多个预设的网络模型中分别进行测试，得到测试的多个测试模型，包括：
[0114]
预先搭建第二网络模型模板，并确定所述第二网络模型模板中预设的第二通用网络模型；其中，
[0115]
所述第二通用网络模型包括：颜色对比模型、像素位置对比模型、色调对比模型、饱和度对比模型和明度对比模型；
[0116]
在所述第二通用网络模型在添加测试规则，构成测试网络模型模板；
[0117]
将所述测试特征集导入所述测试网络模型模板进行训练分别确定：颜色测试模型、像素位置测试模型、色调测试模型、饱和度测试模型和明度测试模型。
[0118]
上述技术方案的原理和有益效果在于：在测试的过程中，本发明建立测试模板，这个测试模板中存在多种测试模型，这多种测试模型是由通用的测试模型添加测试规则之后确定最终的测试模型。
[0119]
作为本发明的一种实施例：所述分别对所述多个网络训练模型和多个测试模型进行聚类融合，并生成训练聚类中心和测试聚类中心，包括：
[0120]
将所述多个网络训练模型作为训练聚类成员，将所述多个测试模型作为测试聚类成员；
[0121]
将所述训练聚类成员和测试聚类成员分别代入多聚类算法，确定聚类成员的相似性；
[0122]
根据所述相似性，确定相似矩阵，将所述相似矩阵代入凝聚层次聚类算法构建训练层次树和测试层次树，并将所述曾次数分割为多个训练子树和测试子树；
[0123]
将所述训练子树通过融合算法进行处理，生成训练聚类中心；
[0124]
将所述测试子树通过融合算法进行处理，生成测试聚类中心。
[0125]
上述技术方案的原理和有益效果在于：本发明在进行聚类的过程中，测试模型和训练模型就是具体的聚类成员，两者单独进行聚类，聚类使用的算法是多聚类算法，多聚类算法能够确定相似性，然后基于相似性构建相似矩阵，通过相似矩阵和凝聚层次的聚类算法生成层次树由层次树分割后进行算法融合的到训练聚类中心和测试聚类中心。
[0126]
作为本发明的一种实施例：所述根据所述训练聚类中心，对所述待分类图像数据集进行分类，获取分类结果，包括：
[0127]
基于待分类图像数据集，从预设图像类型的图像序列模式中确定与所述待分类数据集相匹配的目标图像序列模式；
[0128]
将所述待分类图像代入所述训练聚类中心和目标图像序列模式进行处理，确定所述待分类图像的图像类型，生成分类结果。
[0129]
上述技术方案的原理和有益效果在于：本发明在最终的分类环节，目标图像序列模式是由预设的图像序列模式通过匹配得到，而分类时，通过训练聚类中心和目标图像序列模式实现图像分类，得到的分类结果也更加迅速。
[0130]
作为本发明的一种实施例：所述将所述分类结果传输至所述测试聚类中心，判断所述分类结果是否正确，并在分类结果正确时，并将对应的图像进行类型标记，包括：
[0131]
获取所述分类结果，确定分类后的分类图像；
[0132]
将所述分类图像代入所述测试聚类中心进行图像测试，确定每一张分类图像的置信值；
[0133]
根据所述置信值，判断所述分类图像中每一类分类图像的置信值是否相同；
[0134]
当每一类分类图像的置信值相同时，对相同置信值的分类图像进行类型标记；
[0135]
当每一类分类图像的置信值存在不相同时，对不同置信值的分类图像传输至所述训练聚类中心进行重新分类。
[0136]
上述技术方案的原理和有益效果在于：在分类之后，本发明通过测试聚类中心对分类后的结果进行测试，判断分类的结果是否正确，而置信值，就是分类结果是否正确的值，置信值相同的表示为同一类的图像，置信值不同就不是同一类的图像，进而可以实现精准分类，进而也判断了分类的结果。明确分类是否正确，在分类正确时，进行类型标记。
[0137]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。