一种结合超像素显著性特征与HOG特征的图像分类算法和系统的制作方法

本发明属于图像分类技术领域，适合于待分类图像数据集特征不明显、难以捕捉、相似度过高等分类场景，可用于目标识别、目标检索、数据库管理等领域。

背景技术：

近些年来，随着人工智能技术不断融入人类生活和工业生产，机器视觉的探索被认为是未来十年研究热点。目标检测、模式识别、图像分割等技术作为机器视觉的重要领域至关重要，如何提高图像分类算法的时效性、分类精度、鲁棒性是研究人员面临的一大挑战。图像分类主要包括特征提取、特征工程、特征分类过程，针对图像特征提取过程，继hog(histogramoforientedgradient)特征提取方法以后，提出了lbp局部二值模式特征编码方法、sift局域特征检测方法、surf稳健性局部特征提取、harr(边缘特征、线性特征、点特征)多尺度特征描述等方法；针对特征降维过程，除了传统的pca主成分分析法以外，还提出了lda有监督线性降维方法、fast-pca改进性主成分分析法、lle局部线性嵌入降维、le拉普拉斯特征映射降维等方法；针对特征分类器的选择，最常用的分类器为svm支持向量机、k-mens聚类算法、随机森林算法，还有一些优化型小波算法、双层svm、改进型贝叶斯分类器等。这一系列的改进方式都只是在单一工程上作改进，针对不同的数据集需作出不同的决策。

往后深度学习得到了学者的一致好评，卷积神经网络、循环神经网络、对抗神经网络等一系列深度学习网络被应用于图像处理领域，虽然分类精度得到了显著性提升，但是数据量的严重不足、机器设备的内存不足、消耗时间的过长等一系列问题接踵而来。针对数据量较少、对分类时间要求苛刻的小型工程设计来说，如何提高传统的机器学习分类算法依然至关重要。

技术实现要素：

本发明的目的是针对上述分类方法中的不足，引入深度学习中注意力机制的思想，提出了一种结合图像超像素显著性特征与原始图像hog特征进行分类的算法，较好地满足了小型工程设计对传统机器学习算法的要求，一定程度上提好了图像分类精度。

本发明的技术方案为一种结合超像素显著性特征与hog特征的图像分类算法，包括如下步骤：

步骤1，将原始数据集进行hog特征提取得到特征集a；

步骤2，利用超像素分割对原始数据集进行处理，得到重构显著性图像数据集；

步骤3，将重构后的显著性图像集利用slbp编码方式得到新的特征集b，所述slbp编码方式是对传统lbp编码方式的改进；

步骤4，特征融合，将步骤1和步骤3所得到特征集a和特征集b进行相加；

步骤5，结合步骤4得到的训练数据，利用knn分类器对测试数据进行监督分类并计算分类精度。

进一步的，步骤3中所述slbp的编码方式为，针对3*3的像素空间，首先进行归一化为0或者1之后，将中心像素点设置为1，从中心像素左侧的像素点按照逆时针顺序，以2进制进位方式编码直到最后一个像素点停止。

进一步的，步骤1中hog特征提取的具体实现包括如下子步骤，

1a，将原始数据集中的rgb图像进行灰度转换，并采用gamma校正法对图像进行归一化处理；

1b，计算图像横坐标和纵坐标方向的梯度，以此计算每个像素的梯度大小和方向，并将图像分成若干细胞单元cells，

gi(i，j)＝h(i+1，j)-h(i-1，j)(1-1)

gi(i，j)＝h(i，j+1)-h(i，j-1)(1-2)

式中i,j为像素点的横纵坐标，gi(i，j)、gj(i，j)是二维梯度值，g(i，j)是整体梯度，α(i，j)是梯度的方向，h(i，j)是cells中的二维坐标值；

1c，统计每个cell梯度直方图，利用检测窗口来划分block块，检测出n*n个cell组成一个block，如果划分存在不够的情况下就会出现重叠，将block内的所有cells特征向量串联得到该block的hog特征；

1d，将所有重叠的block进行对比度归一化处理，结合所有block的hog特征以及重叠block的对比度归一化处理结果，获得最终的特征向量即为特征集a。

进一步的，步骤2中获得重构显著性图像数据集的具体实现包括如下子步骤，

步骤2a，将原始数据集利用高斯滤波算子进行高斯滤波得到平滑图像数据集；

步骤2b，对平滑后的数据集进行超像素分割，其中同一标签数字的像素属于同一超像素，超像素分割个数为m；

步骤2c，根据所求超像素信息矩阵，分别求出每个超像素的全局、边缘、和局部显著性特征，然后分别对每个超像素的全局、边缘、和局部显著性特征进行归一化处理，并将归一化结果进行相加。

进一步的，步骤2a中的的高斯滤波算子大小为6*6，高斯滤波函数如式(2-1)所示：

式中i,j表示像素点的横纵坐标，σ是标准差，hi，j表示滤波后的向量，k指高斯滤波核的大小。

进一步的，步骤2c中全局显著性计算公式如式(2-3)所示，边缘显著性计算公式如(2-4)所示，局部显著性计算公式如(2-5)所示，

式中i,j表示像素点的横纵坐标，xi，j和yi，j分别表示不同像素点的坐标信息，n表示像素点的个数，dist(i，j)表示像素点距离，w^*为权重，edge表示边缘区域限制；sa1(i)表示全局显著性矢量空间，sa2(i)表示边缘显著性矢量空间，sa3(i)表示局部显著性矢量空间。

进一步的，步骤5的具体实现方式如下，

步骤5a，计算测试数据与各个训练数据(即步骤4特征融合后得到的数据)之间的欧式距离；

步骤5b，按照距离的递增关系进行排序；

步骤5c，选取距离最小的k个点并确定其所在类别的出现概率；

步骤5d，返回前k个点中出现频率最高的类别作为测试数据的测试分类。

本发明还提供一种结合超像素显著性特征与hog特征的图像分类系统，包括如下模块；

hog特征提取模块，用于将原始数据集进行hog特征提取得到特征集a；

超像素分割模块，用于利用超像素分割对原始数据集进行处理，得到重构显著性图像数据集；

slbp编码模块，用于将重构后的显著性图像集利用slbp编码方式得到新的特征集b，所述slbp编码方式是对传统lbp编码方式的改进；

特征融合模块，用于特征融合，将hog特征提取模块和slbp编码模块所得到特征集a和特征集b进行相加；

knn分类模块，用于结合特征融合模块得到的训练数据，利用knn分类器对测试数据进行监督分类并计算分类精度。

进一步的，slbp编码模块中所述slbp的编码方式为，针对3*3的像素空间，首先进行归一化为0或者1之后，将中心像素点设置为1，从中心像素左侧的像素点按照逆时针顺序，以2进制进位方式编码直到最后一个像素点停止。

进一步的，所述超像素分割模块中获得重构显著性图像数据集的具体实现包括如下子模块，

第一子模块，用于将原始数据集利用6*6的高斯滤波算子进行高斯滤波得到平滑图像数据集，其中高斯滤波函数如式(2-1)所示：

式中i,j表示像素点的横纵坐标，σ是标准差，hi，j表示滤波后的向量，k指高斯滤波核的大小；

第二子模块，用于对平滑后的数据集进行超像素分割，其中同一标签数字的像素属于同一超像素，超像素分割个数为m；

第三子模块，用于根据所求超像素信息矩阵，分别求出每个超像素的全局、边缘、和局部显著性特征，然后分别对每个超像素的全局、边缘、和局部显著性特征进行归一化处理，并将归一化结果进行相加，

其中全局显著性计算公式如式(2-3)所示，边缘显著性计算公式如(2-4)所示，局部显著性计算公式如(2-5)所示，

式中i,j表示像素点的横纵坐标，xi，j和yi，j分别表示不同像素点的坐标信息，n表示像素点的个数，dist(i，j)表示像素点距离，w^*为权重，edge表示边缘区域限制；sa1(i)表示全局显著性矢量空间，sa2(i)表示边缘显著性矢量空间，sa3(i)表示局部显著性矢量空间。

本发明与传统的图像分类算法相比，有如下优点：

1、本发明中超像素作为图像一种紧凑表达方式，不仅以摒弃多余的信息而且降低了空间的复杂度，是一种在前端进行降维的思想。

2、本发明中超像素分割将上千万像素转换为几百像素表达，这有利于提高计算效率，同时利用图像总体、边缘、局部显著性来表达更是结合了更丰富的图像缺漏信息。

3、本发明中针对传统图像中纹理较弱的图像区域，传统的方法处理难以找到相关的特征电脑，进而导致这部分信息丢失，而本算法则能较高的保留下来。

4、本发明中特征融合部分利用了深度学习中注意力机制的思想，将注意力集中在图像重要部分的视觉注意力机制技术，同时兼顾原始图像特征，从而获得一个双赢的融合特征集。

实验结果表明，本发明能有效地解决普通图像分类问题，并且获得了比传统分类算法更高精度的分类结果，可进一步应用于遥感、医学、舰船等重要场景下。

附图说明

图1是本发明算法过程流程图；

图2是本发明超像素数据构建过程图；

图3是本发明中hog特征提取过程图；

图4是本发明slbp编码方式图；

图5是本发明knn算法原理图；

图6是本发明测试样本中随机抽取10个分类结果图；

具体实施方式

下面将结合附图对本发明技术方案进一步说明。

如图1过程所示，本发明提供的一种结合超像素显著性特征与hog特征的图像分类算法，包括如下步骤；

步骤1，将原始数据集进行hog特征提取得到特征集a；

如图3所示，hog特征提取的具体实现包括如下子步骤，

1a，将原始数据集中的rgb图像进行灰度转换，并采用gamma校正法对图像进行归一化处理；

1b，计算图像横坐标和纵坐标方向的梯度，以此计算每个像素的梯度大小和方向，并将图像分成若干细胞单元cells，

gi(i，j)＝h(i+1，j)-h(i-1，j)(1-1)

gi(i，j)＝h(i，j+1)-h(i，j-1)(1-2)

式中i,j为像素点的横纵坐标，gi(i，j)、gj(i，j)是二维梯度值，g(i，j)是整体梯度，α(i，j)是梯度的方向，h(i，j)是cells中的二维坐标值；

1c，统计每个cell梯度直方图，利用检测窗口来划分block块，检测出n*n个cell组成一个block，如果划分存在不够的情况下就会出现重叠，将block内的所有cells特征向量串联得到该block的hog特征；

1d，将所有重叠的block进行对比度归一化处理，结合所有block的hog特征以及重叠block的对比度归一化处理结果，获得最终的特征向量即为特征集a。

步骤2，利用超像素分割对原始数据集进行处理，得到重构显著性图像数据集；

步骤2a，如图2过程所示，将原始数据集利用6*6的高斯滤波算子进行高斯滤波得到平滑图像数据集，高斯滤波函数如式(2-1)所示：

式中i,j表示像素点的横纵坐标，σ是标准差，hi，j表示滤波后的向量，k指高斯滤波核的大小。

步骤2b，对平滑后的数据集进行超像素分割，其中同一标签数字的像素属于同一超像素，超像素分割个数为500；

步骤2c，根据所求超像素信息矩阵，分别求出每个超像素的全局、边缘、和局部显著性，然后进行归一化处理进行相加。全局显著性计算公式如式(2-3)所示，边缘显著性计算公式如(2-4)所示，局部显著性计算公式如(2-5)所示，然后对全局显著性、边缘显著性、局部显著性分别进行归一化处理。

式中i,j表示像素点的横纵坐标，xi，j和yi，j分别表示不同像素点的坐标信息，n表示像素点的个数，dist(i，j)表示像素点距离，w^*为权重，edge表示边缘区域限制，其中w^*和edge的取值可以预先设定，本领域技术人员也可以根据需要进行设定；sa1(i)表示全局显著性矢量空间，sa2(i)表示边缘显著性矢量空间，sa3(i)表示局部显著性矢量空间。

步骤3，如图4编码方式所示，lbp编码方式为传统编码，slbp为本发明中改进的编码方式。将重构后的显著性图像集利用slbp编码方式得到新的特征集b，对3*3的像素空间进行以下编码：首先进行归一化为0或者1之后，将中心像素点设置为1，从中心像素左侧的像素点按照逆时针顺序，以2进制进位方式编码直到最后一个像素点停止，即其他8个像素点依次为2、4、8、16、32、64、126、258。

步骤4，特征融合，将步骤1和步骤3所得到特征集a和特征集b进行相加；

t＝t1(i，j)+t2(i，j)

式中t1(i，j)为特征集a的空间，t2(i，j)为特征集b的空间。

步骤5，利用knn分类器进行监督分类并计算分类精度；

步骤5a，如图5所示，计算测试数据与各个训练数据(即步骤4特征融合后得到的数据)之间的欧式距离；

步骤5b，按照距离的递增关系进行排序；

步骤5c，选取距离最小的k个点并确定其所在类别的出现概率；

步骤5d，返回前k个点中出现频率最高的类别作为测试数据的测试分类。

本发明实施例还提供一种结合超像素显著性特征与hog特征的图像分类系统，包括如下模块；

hog特征提取模块，用于将原始数据集进行hog特征提取得到特征集a；

超像素分割模块，用于利用超像素分割对原始数据集进行处理，得到重构显著性图像数据集；

slbp编码模块，用于将重构后的显著性图像集利用slbp编码方式得到新的特征集b，所述slbp编码方式是对传统lbp编码方式的改进；

特征融合模块，用于特征融合，将hog特征提取模块和slbp编码模块所得到特征集a和特征集b进行相加；

knn分类模块，用于结合特征融合模块得到的训练数据，利用knn分类器对测试数据进行监督分类并计算分类精度。

各模块的具体实现和各步骤相应，本发明实施例不予撰述。

本发明的效果可以通过以下实验来进行验证：

1.实验条件

在cpu为i7-6700hq，内存16g，gpu为nvidia1080，windows10系统上使用matlab2018a软件进行实验。

2.实验内容

实验场景假设为现场采集到50张某种特殊图像数据待分类，但相似属性的图像数据量有限，此时引用对相似属性大数据集训练模型参数迁移得到的迁移学习模型。针对本场景目的对50张随机采集的5类样本进行分类，网站收集相似属性待分类val数据集100张任意尺寸rgb图像。

3.实验参数设置

提取hog特征时，因为提取图像为256*256尺寸，所以每次分割的hogcell大小设置为[8,8]，如需捕获大尺度空间信息可增大单元尺寸；为了使单元局部亮度变换适中，block设置为[2,2]大小；为了保证提取时间较短，hog特征长度适中，numbins(方向直方图分段)设置为9；方向直方图中所取方向的范围为[-180,180]。利用超像素距离计算全局显著性时的初始权重设置为0.1，计算边缘显著性时的初始阈值设为0.1.计算局部显著性的判定二维阈值设为0.12和0.18。

4.实验结果

利用本发明结合超像素显著性特征的分类算法与其余6组分类方式对本组实验数据进行分类得到分类结果如表1所示。从表中可见，对数据进行传统的hog、lbp、slbp提取后导入knn分类器中进行分类，分类精度难以理想要求；将提取后的特征进行特征工程处理(pca、le、lle降维)在本数据集下测试，分类精度也并未得到有效提高，主要原因还是原始图像数据中提取的特征量不够充分，考虑到这一点，本算法针对图像原始特征与超像素处理结合，分类精度在某些固定类别，比如bus、dinosaur上提高了5％个精度点，整体分类精度也有4％精度点的提高。综上所述，本发明相比传统的机器学习算法上一定地提高。

表1分类结果比较

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。