一种基于奇异值选择的集成学习器的制作方法

技术特征：

1.一种基于奇异值选择的集成学习器，其特征在于：包括如下步骤：

步骤一、对训练样本集进行归一化预处理；

步骤二、从归一化预处理后的训练样本集中采用Bootstrap随机抽样方法有放回地抽样，产生M个新的样本集；

步骤三、对M个新的样本集中的每个样本进行部分SVD分解，得到每个样本相应的奇异值和左右奇异向量；

步骤四、每次随机抽取k个奇异值及其相应的左右奇异向量，生成2D SVM基学习器，分别对M个新的样本集进行训练，得到M个2D SVM基分类器；

步骤五、根据相对多数投票准则合并基分类器得到集成学习器，用得到的集成学习器对待分类样本进行分类识别。

2.根据权利要求1所述的一种基于奇异值选择的集成学习器，其特征在于：步骤一所述的对训练样本集进行归一化预处理的方法如下：

S101、对训练样本集中的每个样本分别进行预处理，得到归一化后的训练样本X_i'及其类别标签y_i：

${X_i}^{\′}=\frac{X_i-repmat\left\{min\left(X_i\right)\right\}}{max\left(X_i\right)-\min \left(X_i\right)},y_i=y_i$

其中，max(X_i)表示训练样本X_i中的最大值，min(X_i)表示训练样本X_i中的最小值，repmat{min(X_i)}∈R^p×q表示样本最小值矩阵，矩阵中的元素为min(X_i)；

S102、用所有预处理后的训练样本X_i'及其类别标签y_i构成预处理后的训练样本集

3.根据权利要求1所述的一种基于奇异值选择的集成学习器，其特征在于：步骤三所述对M个新的样本集中的每个样本进行部分SVD分解的方法如下：

S301、样本X_i的SVD分解形式为：X_i＝UΣV^T，其中X_i∈R^p×q是一个二维的矩阵，U∈R^p×p是X_i的左奇异向量组成的矩阵，Σ∈R^p×q是X_i的奇异值组成的对角矩阵，V^T∈R^q×q是X_i的右奇异向量组成的矩阵；

S302、用前r大的奇异值来近似描述样本X_i，部分奇异值分解形式如下：

其中σ_ip，μ_ip，v_ip为X_i的第p个奇异值及其对应的左右奇异向量。

4.根据权利要求3所述的一种基于奇异值选择的集成学习器，其特征在于：步骤四所述2D SVM基学习器的生成方法如下：

S401、对于二分类任务，给定一个训练数据集其中X_i∈R^p×q是第i个输入样本，y_i∈{-1,1}是样本X_i对应的类标签；

S402、2D SVM支持向量机定义如下：

$\left\{\begin{array}{c}\underset{W,b,{\mathrm{\ξ}}_i}{min}J(W,b,{\mathrm{\ξ}}_i)=\frac{1}{2}\left|\right|W|{|}_F^2+C\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ξ}}_i\\ \begin{array}{cc}s.t.& y_i(\<W,X_i\>+b)\≥1-{\mathrm{\ξ}}_i,i=1,...,n\end{array}\\ {\mathrm{\ξ}}_i\≥0,i=1,...,n\end{array}\right.$

其中，W为法矩阵，b为位移项；

通过拉格朗日乘子法得到2D SVM支持向量机的对偶问题为：

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{max}\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i-\frac{1}{2}\underset{i,j}{\overset{n}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j\<X_i,X_j\>\\ \begin{array}{cc}s.t.& \underset{i=1}{\overset{n}{\Σ}}{\mathrm{\α}}_i{y}_i=0\end{array}\\ 0\≤{\mathrm{\α}}_i\≤C,i=1,...,n\end{array}\right.---\left(1\right)$

其中，<X_i,X_j>是X_i∈R^p×q与X_j∈R^p×q的内积，C＝α_i+β_i,i＝1,…,n，式中：α_i≥0，β_i≥0是拉格朗日乘子；

S403、从每个样本的r个奇异值和相应的左右奇异向量中随机选取k个奇异值及其相应的左右奇异向量，分别为和则矩阵X_i和X_j的内积计算如下：

将式(2)代入式(1)中，得2D SVM的最终形式如下：

$\left\{\begin{array}{c}\underset{\mathrm{\&alpha;}}{\max }\underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i-\frac{1}{2}\underset{i,j}{\overset{n}{\&Sigma;}}\underset{p=1}{\overset{k}{\&Sigma;}}\underset{q=1}{\overset{k}{\&Sigma;}}{\mathrm{\&alpha;}}_i{\mathrm{\&alpha;}}_j{y}_i{y}_j{\mathrm{\&lambda;}}_{ip}{\mathrm{\&lambda;}}_{jp}\&lt;u_{ip},u_{jq}\&gt;\&lt;v_{ip},v_{jq}\&gt;\\ \underset{i=1}{\overset{n}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i=0\\ 0\&le;{\mathrm{\&alpha;}}_i\&le;C,i=1,\mathrm{...},n\end{array}\right.$

基学习器2D SVM分类器f(X)分类决策函数为：

$h\left(X\right)=f\left(X\right)=sign(\underset{i,j}{\overset{n}{\&Sigma;}}\underset{p=1}{\overset{k}{\&Sigma;}}\underset{q=1}{\overset{k}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i{\mathrm{\&sigma;}}_{ip}{\mathrm{\&sigma;}}_q\&lt;u_{ip},u_{iq}\&gt;\&lt;v_{ip},v_q\&gt;+b)$

其中，σ_ip、σ_q、u_ip、u_q、v_ip和v_q分别为X_i和X的奇异值以及对应的左奇异向量和右奇异向量；

S404、对于2D SVM多分类任务采用一对一的策略进行分类决策。

5.根据权利要求4所述的一种基于奇异值选择的集成学习器，其特征在于：步骤S404所述采用一对一的策略进行分类决策的方法为：给定数据集X_i∈R^p×q,y_i∈{C₁,C₂,…,C_N}，将N个类别两两配对，从而产生N(N-1)/2个二分类任务。

6.根据权利要求4所述的一种基于奇异值选择的集成学习器，其特征在于：步骤五所述根据相对多数投票准则合并基分类器的方法为：

$y\left(X\right)=H\left(X\right)={\mathrm{argmax}}_{y\&Element;Y}\underset{t=1}{\overset{M}{\&Sigma;}}l(y=h_t(X\left)\right).$