一种非平行结构支持向量机的构造方法

1.本发明涉及机器学习技术领域，尤其是涉及一种非平行结构支持向量机的构造方法。


背景技术：

2.支持向量机(support vector machine，svm)由vapnik等人提出，适用于模式识别等领域。svm的特点是可以兼顾经验风险和结构风险，即通过寻找一个既能保证分类精度，又能使两类数据之间间隔最大化的超平面来实现监督学习。svm具有一些良好的特性，比如核技巧、稀疏性和全局解等等，因其坚实的理论基础和良好的推广性使得其在遥感图像分类上被广泛应用。支持向量机分类模型前提假定正负类别边界是呈现平行状态的，然而对于实际遥感数据而言，这种假定很难成立，影响了模型的泛化能力。针对这一问题，jayadeva等人提出双子支持向量机(twin support vector machine，twsvm)。twsvm的目标是寻找一对非平行(平行可视为非平行的一种特殊状态)的超平面。每类的数据点都接近于两个非平行超平面中的一个，并且远离另一个，通过比较样本到两个超平面的距离大小来决定其所属的类别。twsvm尤其成功的一面，但仍然存在明显的不足：twsvm模型只考虑了经验风险而没有考虑结构风险，其泛化性能受到影响，以至在很多情况下其分类效果不如传统支持向量机。所以twsvm直接用于高光谱图像分类效果较差，部分学者结合其他算法在高光谱数据上有所使用。本文旨在提出新的非平行向量机算法，在算法本身的基础上进一步提高高光谱图像的分类精度。
3.针对以上情况，本文在传统平行支持向量机的基础上通过添加样本的最小二乘项及经验风险最小化附加项构建一种非平行支持向量机模型，即additional empirical risk minimization nonparallel support vector machine,aerm-nsvm，以下称其为本专利方法。


技术实现要素：

4.本发明的目的是提供一种非平行结构支持向量机的构造方法，提出新的非平行向量机算法，在算法本身的基础上进一步提高高光谱图像的分类精度，以获得更好的分类性能。
5.为实现上述目的，本发明提供了一种非平行结构支持向量机的构造方法，包括以下步骤：
6.s1、数据预处理；
7.s2、求解正类超平面的拉格朗日乘子；
8.s3、求解负类超平面的拉格朗日乘子；
9.s4、求解正负分类超平面的参数；
10.s5、新数据点类别判定。
11.优选的，所述步骤s1中的数据预处理具体包括以下步骤：
12.(1)读取二分类m个n维的训练数据集，并做标准化处理，得到m
×
n的训练数据样本矩阵c，读取标签信息为向量y；
13.(2)按照标签信息正负将训练样本区分开，得到m
+
×
n的矩阵a和m-×
n的矩阵b；
14.(3)将标签项y转换为对角矩阵y。
15.优选的，所述步骤s2中求解正类超平面的拉格朗日乘子具体包括以下步骤：
16.(1)构建m
+
维度单位向量i
+
，由公式(1)得到矩阵p
+
；
[0017][0018]
(2)构建m维度全1向量e，由公式(2)得到矩阵q
+
；
[0019]q+
＝-e
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0020]
(3)构建m维度单位矩阵i，由公式(3)得到矩阵h
+
；
[0021][0022]
(4)由公式(4)得到矩阵j
+
；
[0023]j+
＝[c3×et
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0024]
(5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵k
+
；
[0025][0026]
(6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0027][0028]
或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0029][0030]
优选的，所述步骤s2中求解正类超平面的拉格朗日乘子具体包括以下步骤：
[0031]
(1)构建m
+
维度单位向量i
+
，由公式(1)得到矩阵p
+
；
[0032][0033]
(2)由公式(19)得到矩阵q
+
；
[0034][0035]
(3)构建m维度单位矩阵i，由公式(3)得到矩阵h
+
；
[0036][0037]
(4)构建m维度全1向量e，由公式(4)得到矩阵j
+
；
[0038][0039]
(5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵k
+
；
[0040][0041]
(6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0042][0043]
或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0044][0045]
s.t.0≤[λ
t
α
t
]≤j
+
,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)。
[0046]
优选的，所述步骤s3中求解负类超平面的拉格朗日乘子具体包括以下步骤：
[0047]
(1)构建m-维度单位矩阵i-，由公式(7)得到矩阵p-；
[0048][0049]
(2)构建m维度全1向量e，由公式(8)得到矩阵q-；
[0050]q_
＝-e
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
[0051]
(3)由公式(9)得到矩阵h
_
；
[0052][0053]
(4)由公式(10)得到矩阵j
_
；
[0054]j_
＝[c4×et
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
[0055]
(5)构建m-维度全1向量e-，由公式(11)得到矩阵k
_
；
[0056][0057]
(6)由公式(12)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0058][0059]
0≤[θ
t
γ
t
]≤j-,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；
[0060]
或由公式(24)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0061][0062]
优选的，所述步骤s3中求解负类超平面的拉格朗日乘子具体包括以下步骤：
[0063]
(1)构建m-维度单位矩阵i-，由公式(7)得到矩阵p-；
[0064][0065]
(2)由公式(20)得到矩阵q-；
[0066][0067]
(3)由公式(9)得到矩阵h
_
；
[0068][0069]
(4)构建m维度全1向量e，由公式(10)得到矩阵j
_
；
[0070][0071]
(5)构建m-维度全1向量e-，由公式(11)得到矩阵k
_
；
[0072][0073]
(6)由公式(12)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0074][0075]
0≤[θ
t
γ
t
]≤j-,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；
[0076]
或由公式(24)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0077][0078]
s.t.0≤[θ
t
γ
t
]≤j-,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)。
[0079]
优选的，所述步骤s4中求解正负分类超平面的参数具体包括以下步骤：(1)由公式(13)得到正类分类超平面法向量ω
+
；
[0080]
ω
+
＝-a
t
λ+c
tyt
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
[0081]
(2)由公式(14)得到正类分类超平面偏移量b
+
；
[0082][0083]
(3)由公式(15)得到负类分类超平面法向量ω-；
[0084]
ω-＝b
t
θ+c
tyt
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)；
[0085]
(4)由公式(16)得到负类分类超平面偏移量b-；
[0086][0087]
优选的，所述步骤s4中求解正负分类超平面的参数具体包括以下步骤：
[0088]
(1)由公式(13)得到正类分类超平面法向量ω
+
；
[0089]
ω
+
＝-a
t
λ+c
tyt
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
[0090]
(2)由公式(21)得到正类分类超平面偏移量b
+
；
[0091][0092]
(3)由公式(15)得到负类分类超平面法向量ω-；
[0093]
ω-＝b
t
θ+c
tyt
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)；
[0094]
(4)由公式(22)得到负类分类超平面偏移量b-；
[0095][0096]
优选的，所述步骤s5中新数据点类别判定具体包括以下步骤：
[0097]
(1)获取测试数据x，由公式(17)得到x到正类分类超平面的欧氏距离；
[0098][0099]
(2)由公式(18)得到x到负类分类超平面的欧氏距离；
[0100][0101]
(3)判断d
+
和d
_
哪个更小，如果d
+
＜d-则的x类别为正类，反之则为负类。
[0102]
优选的，构建方法均使用线性方式进行，若在非线性情况使用，其扩展方式与平行svm一致；
[0103]
二分类情况的说明，若在多分类情况使用，其扩展方式与平行svm一致。
[0104]
因此，本发明采用上述一种非平行结构支持向量机的构造方法，提出新的非平行向量机算法，在算法本身的基础上进一步提高高光谱图像的分类精度，以获得更好的分类性能。
[0105]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0106]
图1为本发明方法分类超平面，其中a部分原点代表正样本点，b部分原点代表负样本点，带有三角形的线代表的是求解正样本优化问题所获取的两个平行平面，带有圆形的线代表的是求解负样本优化问题所获取到的两个平行平面；
[0107]
图2为pavia center高光谱图像分类结果图像，其中a为ground truth，b为svm，c为twsvm，d为本发明方法；
[0108]
图3为pavia university高光谱图像分类结果图像，其中a为ground truth，b为svm，c为twsvm，d为本发明方法。
具体实施方式
[0109]
以下通过附图和实施例对本发明的技术方案作进一步说明。
[0110]
实施例1
[0111]
本发明提供了一种非平行结构支持向量机的构造方法，包括以下步骤：
[0112]
s1、数据预处理，具体包括以下步骤；
[0113]
(1)读取二分类m个n维的训练数据集，并做标准化处理，得到m
×
n的训练数据样本矩阵c，读取标签信息为向量y；
[0114]
(2)按照标签信息正负将训练样本区分开，得到m
+
×
n的矩阵a和m
‑×
n的矩阵b；
[0115]
(3)将标签项y转换为对角矩阵y。
[0116]
s2、求解正类超平面的拉格朗日乘子，具体包括以下步骤：
[0117]
(1)构建m
+
维度单位向量i
+
，由公式(1)得到矩阵p
+
；
[0118][0119]
(2)构建m维度全1向量e，由公式(2)得到矩阵q
+
；
[0120]q+
＝-e
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0121]
(3)构建m维度单位矩阵i，由公式(3)得到矩阵h
+
；
[0122][0123]
(4)由公式(4)得到矩阵j
+
；
[0124][0125]
(5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵k
+
；
[0126][0127]
(6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0128][0129]
或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0130][0131]
s3、求解负类超平面的拉格朗日乘子，具体包括以下步骤：
[0132]
(1)构建m-维度单位矩阵i-，由公式(7)得到矩阵p-；
[0133][0134]
(2)构建m维度全1向量e，由公式(8)得到矩阵q-；
[0135]q_
＝-e
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
[0136]
(3)由公式(9)得到矩阵h
_
；
[0137][0138]
(4)由公式(10)得到矩阵j
_
；
[0139]j_
＝[c4×et
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
[0140]
(5)构建m-维度全1向量e-，由公式(11)得到矩阵k
_
；
[0141][0142]
(6)由公式(12)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0143][0144]
0≤[θ
t
γ
t
]≤j-,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；
[0145]
或由公式(24)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0146][0147]
s4、求解正负分类超平面的参数，具体包括以下步骤：
[0148]
(1)由公式(13)得到正类分类超平面法向量ω
+
；
[0149]
ω
+
＝-a
t
λ+c
tyt
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
[0150]
(2)由公式(14)得到正类分类超平面偏移量b
+
；
[0151][0152]
(3)由公式(15)得到负类分类超平面法向量ω-；
[0153]
ω-＝b
t
θ+c
tyt
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)；
[0154]
(4)由公式(16)得到负类分类超平面偏移量b-；
[0155][0156]
s5、新数据点类别判定，具体包括以下步骤：
[0157]
(1)获取测试数据x，由公式(17)得到x到正类分类超平面的欧氏距离；
[0158][0159]
(2)由公式(18)得到x到负类分类超平面的欧氏距离；
[0160][0161]
(3)判断d
+
和d
_
哪个更小，如果d
+
＜d-则的x类别为正类，反之则为负类。
[0162]
实施例2
[0163]
本发明提供了一种非平行结构支持向量机的构造方法，包括以下步骤：
[0164]
s1、数据预处理，具体包括以下步骤；
[0165]
(1)读取二分类m个n维的训练数据集，并做标准化处理。得到m
×
n的训练数据样本矩阵c，读取标签信息为向量y；
[0166]
(2)按照标签信息正负将训练样本区分开，得到m
+
×
n的矩阵a和m-×
n的矩阵b；
[0167]
(3)将标签项y转换为对角矩阵y。
[0168]
s2、求解正类超平面的拉格朗日乘子，具体包括以下步骤：
[0169]
(1)构建m
+
维度单位向量i
+
，由公式(1)得到矩阵p
+
；
[0170][0171]
(2)由公式(19)得到矩阵q
+
；
[0172][0173]
(3)构建m维度单位矩阵i，由公式(3)得到矩阵h
+
；
[0174][0175]
(4)构建m维度全1向量e，由公式(4)得到矩阵j
+
；
[0176]j+
＝[c3×et
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0177]
(5)构建m
+
维度全1向量e
+
，由公式(5)得到矩阵k
+
；
[0178][0179]
(6)由公式(6)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0180][0181]
或由公式(23)，得到拉格朗日乘子向量α＝(α1,...,αm)和
[0182][0183]
s.t.0≤[λ
t
α
t
]≤j
+
,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)。
[0184]
s3、求解负类超平面的拉格朗日乘子，具体包括以下步骤：
[0185]
(1)构建m-维度单位矩阵i-，由公式(7)得到矩阵p-；
[0186][0187]
(2)由公式(20)得到矩阵q-；
[0188][0189]
(3)由公式(9)得到矩阵h
_
；
[0190][0191]
(4)构建m维度全1向量e，由公式(10)得到矩阵j
_
；
[0192]j_
＝[c4×et
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
[0193]
(5)构建m-维度全1向量e-，由公式(11)得到矩阵k
_
；
[0194][0195]
(6)由公式(12)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0196][0197]
0≤[θ
t
γ
t
]≤j-,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)；
[0198]
或由公式(24)得到拉格朗日乘子向量θ＝(θ1,...,θm)和
[0199][0200]
s.t.0≤[θ
t
γ
t
]≤j-,i＝1,...,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)。
[0201]
s4、求解正负分类超平面的参数，具体包括以下步骤：
[0202]
(1)由公式(13)得到正类分类超平面法向量ω
+
；
[0203]
ω
+
＝-a
t
λ+c
tyt
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)；
[0204]
(2)由公式(21)得到正类分类超平面偏移量b
+
；
[0205][0206]
(3)由公式(15)得到负类分类超平面法向量ω-；
[0207]
ω-＝b
t
θ+c
tyt
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)；
[0208]
(4)由公式(22)得到负类分类超平面偏移量b-；
[0209][0210]
本发明构建方法均使用线性方式进行，若在非线性情况使用，其扩展方式与平行svm一致；二分类情况的说明，若在多分类情况使用，其扩展方式与平行svm一致。
[0211]
如图1，每个二次规划问题均可获得与svm一样的一对平行超平面，但他们均向相对应的样本发生偏移，带有三角形的线代表的是求解正样本优化问题所获取的两个平行平面，带有圆形的线代表的是求解负样本优化问题所获取到的两个平行平面，此时分别取靠近正样本点的直线和靠近负样本点的直线作为aerm-nsvm的一对分类决策超平面。
[0212]
为了说明本发明的有效性，特进行如下实验论证。
[0213]
1、pavia center数据集
[0214]
pavia center数据集是由rosis传感器在意大利北部帕维亚获取。帕维亚中心的光谱带数量为102。帕维亚中心是1096
×
1096像素的图像，它包含9个类别。训练集测试集样本划分情况如表1所示：
[0215]
表1 pavia center scene各类别样本数目
[0216][0217][0218]
其分类结果如图2所示，分类精度如表2所示。
[0219]
表2 pavia center高光谱图像分类结果
[0220][0221]
pavia center数据集数据量较大，分别取了等量的样本进行训练。从表2可以看出，在pavia center数据集twsvm分类结果依旧略低于svm，并且kappa系数也是低于svm，本发明方法的分类精度均超过了标准svm的分类精度，并且kappa系数也高于svm。
[0222]
2、pavia university数据集
[0223]
pavia university数据集是由rosis传感器在意大利北部帕维亚获取。帕维亚大学的光谱带数量为103。帕维亚大学是610
×
610像素，它包含9个类别。训练集测试集样本划分情况如表3所示：
[0224]
表3 pavia university各类别样本数目
[0225][0226][0227]
其分类结果如图3所示，分析精度如表4所示。
[0228]
表4 pavia university高光谱图像分类结果
[0229][0230]
从表4可以看出，在pavia university数据集twsvm分类精度高于svm，并且kappa系数与svm相近，在此数据集上更适合非平行分类平面情况。本发明方法的分类精度相较于标准svm和twsvm有着更加优异的表现。本发明方法精度比标准svm高了1.05％，并且kappa系数比svm高了1.29％。本发明方法精度比标准svm高了0.95％，并且kappa系数比svm高了1.16％。说明了拥有结构风险最小化的本发明方法比只进行经验风险最小化的twsvm能取得更佳的效果。
[0231]
因此，本发明采用上述一种非平行结构支持向量机的构造方法，提出新的非平行向量机算法，在算法本身的基础上进一步提高高光谱图像的分类精度，以获得更好的分类性能。
[0232]
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修
改后的技术方案脱离本发明技术方案的精神和范围。