一种面向数据分类的特征权重确定方法及装置与流程

本发明涉及机器学习技术领域，特别是涉及一种面向数据分类的特征权重确定方法及装置。

背景技术：

数据分类问题就是根据数据的特征对数据所属的类别进行判定。例如，对一个国家的经济水平，可以根据GDP、国民收入、国土面积等特征，来判定该国家属于发达国家或发展中国家。数据分类方法的基础思想是，选取一些已知类别的训练数据，确定每个训练数据的特征权重，并利用各特征权重训练多个分类器，之后利用各分类器，对未知类别的测试数据进行分类。具体地，可以计算测试数据属于每种类别的置信度，最后将测试数据归属于置信度最大的类别。

现有技术中，数据分类方法主要是选取已知类别的训练数据，然后对所有训练数据确定一个统一的特征权重，并利用确定的特征权重，训练分类器，之后利用分类器，对未知类别的测试数据进行分类。

但是，每个训练数据对数据分类的重要程度是不同的，重要的训练数据有助于数据分类，不重要训练数据可能会干扰数据分类。如上述例子，训练数据中的国土面积对经济水平的判定不重要，而且还会干扰经济水平的判定。这样的话，由于每个训练数据对数据分类的重要程度不同，如果将所有训练数据的特征权重设置为相同，将导致不重要的训练数据对数据分类造成干扰，进而致使数据分类不准确。

技术实现要素：

本发明实施例的目的在于提供一种面向数据分类的特征权重确定方法及装置，以准确的对数据进行分类。具体技术方案如下：

一种面向数据分类的特征权重确定方法，包括：

获取各类别的训练数据，初始化每个训练数据的当前特征权重为相同值，并获取预设的执行数量；

将各训练数据的当前特征权重确定为对应各训练数据的第一特征权重；

针对每个训练数据，将该训练数据作为第一训练数据，并根据每个训练数据的第一特征权重，计算所述第一训练数据与其他各训练数据的欧式距离；

根据所述第一训练数据与其他各训练数据的欧式距离，确定其他各训练数据的样本权重；

根据其他各训练数据的样本权重、所述第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定所述第一训练数据的当前特征权重；

判断已执行的循环次数是否为所述执行数量；如果否，返回执行所述将各训练数据的当前特征权重确定为对应各训练数据的第一特征权重的步骤。

可选地，所述根据其他各训练数据的样本权重、所述第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定所述第一训练数据的当前特征权重包括：

将所述多目标优化函数转化为单目标优化函数；

求解所述单目标优化函数的帕累托解集；

针对所述帕累托解集中的任一解，采用交叉验证的方法，确定该帕累托解对应的分类准确率；

将分类准确率最大的帕累托解确定为所述第一训练数据的当前特征权重。

可选地，所述针对所述帕累托解集中的任一解，采用交叉验证的方法，确定该帕累托解对应的分类准确率包括：

针对所述帕累托解集中的任一解，利用该帕累托解确定所述第一训练数据的分类器半径；

针对任一其他训练数据，根据所述第一训练数据的分类器半径以及所述第一训练数据与该训练数据的欧式距离，确定该训练数据针对所述第一训练数据的分类信息，其中，所述分类信息包括该训练数据与所述第一训练数据属于同一类别或不属于同一类别；

根据所确定的分类信息以及每个训练数据的所属类别，确定该帕累托解对应的分类准确率。

可选地，所述确定其他各训练数据的样本权重包括：

根据以下公式，确定当第一训练数据为x⁽ⁱ⁾时，任一其他训练数据x^(j)(j＝1,...,N,j≠i)的样本权重：

其中，所述N为训练数据的个数，所述为所述训练数据x^(j)(j＝1,...,N,j≠i)的样本权重，所述d_ij|k为所述第一训练数据x⁽ⁱ⁾与所述训练数据x^(j)的欧式距离d_ij|k，所述所述为训练数据x^(k)(k＝1,...,N)的第一特征权重，所述表示向量按元素相乘，所述所述y⁽ⁱ⁾为所述第一训练数据x⁽ⁱ⁾所属的类别集合，所述y^(j)为所述其他训练数据x^(j)所属的类别集合。

可选地，所述多目标优化函数为：

其中，所述为与所述第一训练数据属于同一类别的训练数据与所述第一训练数据的加权距离和，所述所述f⁽ⁱ⁾为所述第一训练数据x⁽ⁱ⁾的当前特征权重，所述为与所述第一训练数据不属于同一类别的训练数据与所述第一训练数据的加权距离和，所述M为训练数据的特征维度。

可选地，所述单目标优化函数为：

其中，ε∈[0,tr(b⁽ⁱ⁾)]。

为达到上述目的，本发明实施例还提供了一种面向数据分类的特征权重确定装置，包括：

获取单元，用于获取各类别的训练数据，初始化每个训练数据的当前特征权重为相同值，并获取预设的执行数量；

第一确定单元，用于将各训练数据的当前特征权重确定为对应各训练数据的第一特征权重；

计算单元，用于针对每个训练数据，将该训练数据作为第一训练数据，并根据每个训练数据的第一特征权重，计算所述第一训练数据与其他各训练数据的欧式距离；

第二确定单元，用于根据所述第一训练数据与其他各训练数据的欧式距离，确定其他各训练数据的样本权重；

第三确定单元，用于根据其他各训练数据的样本权重、所述第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定所述第一训练数据的当前特征权重；

判断单元，用于判断执行的循环次数是否为所述执行数量，如果否，触发所述第一确定单元。

可选地，所述第三确定单元包括：

转化子单元，用于将所述多目标优化函数转化为单目标优化函数；

求解子单元，用于求解所述单目标优化函数的帕累托解集；

第一确定子单元，用于针对所述帕累托解集中的任一解，采用交叉验证的方法，确定该帕累托解对应的分类准确率；

第二确定子单元，用于将分类准确率最大的帕累托解确定为所述第一训练数据的当前特征权重。

可选地，所述第一确定子单元包括：

第一确定子模块，用于针对所述帕累托解集中的任一解，利用该帕累托解确定所述第一训练数据的分类器半径；

第二确定子模块，用于针对任一其他训练数据，根据所述第一训练数据的分类器半径以及所述第一训练数据与该训练数据的欧式距离，确定该训练数据针对所述第一训练数据的分类信息，其中，所述分类信息包括该训练数据与所述第一训练数据属于同一类别或不属于同一类别；

第三确定子模块，用于根据所确定的分类信息以及每个训练数据的所属类别，确定该帕累托解对应的分类准确率。

可选地，所述第二确定单元具体用于：

根据以下公式，确定当第一训练数据为x⁽ⁱ⁾时，任一其他训练数据x^(j)(j＝1,...,N,j≠i)的样本权重：

其中，所述N为训练数据的个数，所述为所述训练数据x^(j)(j＝1,...,N,j≠i)的样本权重，所述d_ij|k为所述第一训练数据x⁽ⁱ⁾与所述训练数据x^(j)的欧式距离d_ij|k，所述所述为训练数据x^(k)(k＝1,...,N)的第一特征权重，所述表示向量按元素相乘，所述所述y⁽ⁱ⁾为所述第一训练数据x⁽ⁱ⁾所属的类别集合，所述y^(j)为所述其他训练数据x^(j)所属的类别集合。

本发明实施例提供了一种面向数据分类的特征权重确定方法及装置，首先获取各类别的训练数据，初始化每个训练数据的当前特征权重为相同值，并获取预设的执行数量；然后依次执行循环次数为所述执行数量的下列步骤：将各训练数据的当前特征权重确定为对应各训练数据的第一特征权重；针对每个训练数据，将该训练数据作为第一训练数据，并计算所述第一训练数据与其他各训练数据的欧式距离；根据所述第一训练数据与其他各训练数据的欧式距离，以及每个训练数据的第一特征权重，确定其他各训练数据的样本权重；根据其他各训练数据的样本权重、所述第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定所述第一训练数据的当前特征权重。与现有技术相比，应用本发明实施例，可以确定每个训练数据的特征权重，进而能够准确的对数据进行分类。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的一种面向数据分类的特征权重确定方法的流程示意图；

图2为本发明实施例所提供的一种面向数据分类的特征权重确定方法中确定当前特征权重方法的流程示意图；

图3为本发明实施例所提供的一种面向数据分类的特征权重确定装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了能够准确的对数据进行分类，本发明实施例提供了一种面向数据分类的特征权重确定方法及装置。需要说明的是，本发明实施例所提供的一种面向数据分类的特征权重确定方法及装置可以应用于服务器。本实施例中的公式中所出现的参数均为各个训练数据或测试数据在同一特征空间中的特征值。

如图1所示，本实施例提供了一种面向数据分类的特征权重确定方法，应用于服务器，该方法包括以下步骤：

S110，获取各类别的训练数据，初始化每个训练数据的当前特征权重为相同值，并获取预设的执行数量。

在本发明实施例中，服务器可以针对待分析的各类别，获取每个类别的训练数据。例如，针对国家是否为“发达国家”和“不发达国家”两个类别，获取GDP数据、国民收入数据、国土面积数据，并将这些数据作为训练数据。

然后，服务器可以将每个训练数据映射到同一个特征空间，以保证每个训练数据的特征维度相同。之后将每个训练数据的当前特征权重初始化为相同值，例如可以将每个训练数据的当前特征权重初始化为零向量，零向量的维度为训练数据的特征维度。

在本发明实施例中，在服务器获取训练数据之前，用户可以根据训练数据的收敛函数，预先设定执行数量，并将预设的执行数量保存在服务器本地。服务器可以在初始化每个训练数据的当前特征权重为相同值后，直接在本地获取预设的执行数量。例如，用户可以将执行数量预设为2到5之间的任一整数，并将预设的执行数量保存到服务器本地。

S120，将各训练数据的当前特征权重确定为对应各训练数据的第一特征权重。

服务器可以针对每个训练数据，将该训练数据的当前特征权重确定为该训练数据的第一特征权重。

S130，针对每个训练数据，将该训练数据作为第一训练数据，并根据每个训练数据的第一特征权重，计算所述第一训练数据与其他各训练数据的欧式距离。

可以理解，其他各训练数据可以包括第一训练数据所属的类别中除第一训练数据之外的其他各训练数据，以及其他类别中的各训练数据。

具体地，服务器将每个训练数据映射到同一个特征空间后，可以首先选取一个训练数据作为第一训练数据x⁽ⁱ⁾，然后，计算第一训练数据x⁽ⁱ⁾与其他各训练数据x^(j)(j＝1,...,N,j≠i)的欧式距离d_ij|k。其中，为训练数据x^(k)(k＝1,...,N)的第一特征权重，所述表示向量按元素相乘。

例如，假设第一训练数据为x¹，其他训练数据有5个，为{x²,x³,x⁴,x⁵,x⁶}，则服务器在将每个训练数据{x¹,x²,x³,x⁴,x⁵,x⁶}映射到同一个特征空间后，根据公式分别计算第一训练数据x¹与其他5个训练数据{x²,x³,x⁴,x⁵,x⁶}的欧式距离d_ij|k。

需要说明的是，服务器计算目标训练数据与其他训练数据的欧式距离的过程，还可以采用现有的任一种方法，本发明实施例对此不进行赘述。

S140，根据所述第一训练数据与其他各训练数据的欧式距离，确定其他各训练数据的样本权重。

具体地，可以根据以下公式，确定当第一训练数据为x⁽ⁱ⁾时，任一其他训练数据x^(j)(j＝1,...,N,j≠i)的样本权重：

其中，所述N为训练数据的个数，所述为所述训练数据x^(j)(j＝1,...,N,j≠i)的样本权重，所述d_ij|k为所述第一训练数据x⁽ⁱ⁾与所述训练数据x^(j)的加权欧式距离d_ij|k，所述所述为训练数据x^(k)(k＝1,...,N)的第一特征权重，所述表示向量按元素相乘，所述所述y⁽ⁱ⁾为所述第一训练数据x⁽ⁱ⁾所属的类别集合，所述y^(j)为所述其他训练数据x^(j)所属的类别集合。

例如，假设第一训练数据为x¹，其他训练数据有5个，为{x²,x³,x⁴,x⁵,x⁶}，则确定的训练数据x²的样本权重为：

S150，根据其他各训练数据的样本权重、所述第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定所述第一训练数据的当前特征权重。

服务器可以将确定的其他各训练数据的样本权重和第一训练数据的第一特征权重带入到预先构建的多目标优化函数，对多目标函数进行求解，进而确定第一训练数据的当前特征权重。

详细地，预先构建的多目标函数可以为：

其中，M为训练数据的特征维度，为与第一训练数据属于同一类别的训练数据与第一训练数据的加权距离和，f⁽ⁱ⁾为第一训练数据x⁽ⁱ⁾的当前特征权重，为与第一训练数据不属于同一类别的训练数据与第一训练数据的加权距离和，1^T表示f⁽ⁱ⁾的各个元素相加，例如，f⁽¹⁾＝(a b c)^T，则1^Tf⁽¹⁾＝a+b+c。

为了方案布局清晰，后续对根据其他各训练数据的样本权重、第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定第一训练数据的当前特征权重的过程进行详细介绍。

S160，判断执行的循环次数是否为所述执行数量，如果是，结束，如果否，返回S120。

如果循环次数只有一次的话，最终确定的每个训练数据的特征权重的区别很小，可能无法避免不重要的训练数据对数据分类的干扰。因此，为了能够准确的确定每个训练数据的特征权重，进而准确的对数据进行分类，可以迭代更新每个训练数据的样本权重以及当前特征权重。也就是说，在确定出每个训练数据的当前特征权重后，服务器可以判断已执行的循环次数是否为预设的执行数量，如果是，结束，如果否，则返回到S120。可以理解，返回到S120时，此时，S120中，针对各训练数据，该训练数据的第一特征权重为上一次循环确定该训练数据的当前特征权重。

应用本实施例，通过根据选定的第一训练数据与其他各训练数据的欧式距离以及各训练数据的第一特征权重，可以确定其他个训练数据的样本权重。并根据确定样本权重以及第一训练数据的第一特征权重、以及预先构建的多目标优化函数，能够确定第一训练数据的当前特征权重。可以确定每个训练数据的特征权重，进而能够准确的对数据进行分类。

下面介绍根据其他各训练数据的样本权重、第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定第一训练数据的当前特征权重的过程，如图2所示，该过程可以包括：

S210，将所述多目标优化函数转化为单目标优化函数。

可以理解，为便于计算，可以对预先构建的多目标函数进行转化，将其转化为单目标函数。

例如，服务器可以根据主要目标法将预先构建的多目标函数进行转化，转化后的单目标函数为：

其中，ε∈[0,tr(b⁽ⁱ⁾)]，tr(b⁽ⁱ⁾)表示矩阵b(i)的对角线上元素的和。

S220，求解所述单目标优化函数的帕累托解集。

在将多目标函数转化为单目标函数之后，服务器可以对转化后的单目标函数进行求解，得到单目标优化函数的帕累托解集。

例如，在求解S210中的单目标函数的过程中，可以令ε按一定间隔取值，每一个确定的ε对应一个f⁽ⁱ⁾的最优解，取遍所有ε即得到本次循环中该第一训练数据的对应的帕累托解集。例如，ε按间隔0.05取值，则ε的取值有0，0.05，0.1，0.15，0.2……。

可以理解，服务器求解单目标优化函数的帕累托解集的过程，可以采用现有的任一种方法，本发明实施例对此不进行赘述。

S230，针对所述帕累托解集中的任一解，采用交叉验证的方法，确定该帕累托解对应的分类准确率。

具体地，确定该帕累托解对应的分类准确率的过程可以包括：

首先，针对所述帕累托解集中的任一解，利用该帕累托解确定第一训练数据的分类器半径。

具体地，假设第一训练数据x⁽ⁱ⁾对应的帕累托解为其中β＝1,2...P，P为帕累托解集中的帕累托解的个数。则第一训练数据x⁽ⁱ⁾的分类器半径的确定过程可以包括：获取第一训练数据的类别为C_i，将满足预设条件的最大第一预设阈值确定为第一训练数据的分类器半径。其中，预设条件为：与第一训练数据在下的加权距离小于第一预设阈值的所有训练数据中，类别不属于类别C_i的训练数据数量与属于类别是C_i的训练数据数量之比小于第一预设阈值。将第一训练数据的分类器半径记为

需要说明的是，对于确定其他各训练数据的分类器半径的过程，还可以采用现有技术中的任一分类器半径确定方法，被实施例不再赘述。

然后，针对任一其他训练数据，确定该训练数据针对第一训练数据的分类信息，其中，分类信息包括该训练数据与第一训练数据属于同一类别或不属于同一类别。

具体地，可以根据以下公式，确定该训练数据x^(e),e＝1,2,...,N,e≠i针对第一训练数据x⁽ⁱ⁾的分类信息：

其中，d_ei为第一训练数据x⁽ⁱ⁾与训练数据x^(e)的欧式距离，为第一训练数据的分类器半径，为第一训练数据对应的帕累托解。

最后，根据所确定的分类信息以及每个训练数据的所属类别，确定该帕累托解对应的分类准确率。

具体地，针对任一训练数据，如果所确定的分类信息与该训练数据的所属类别一致，则表示第一训练数据对该训练数据分类正确。例如，训练数据x^(e)与第一训练数据x⁽ⁱ⁾属于同一类别，且训练数据x^(e)针对第一训练数据x⁽ⁱ⁾的分类信息为1，则该训练数据所确定的分类信息与该训练数据的所属类别一致，即第一训练数据对该训练数据分类正确。

举例而言，假设第一训练数据为x¹，其他训练数据有5个，为{x²,x³,x⁴,x⁵,x⁶}，第一训练数据x⁽ⁱ⁾以及训练数据x²,x³属于类比C₁，训练数据x⁴,x⁵,x⁶属于类比C₂，{x²,x³,x⁴,x⁵,x⁶}针对第一训练数据x⁽ⁱ⁾的分类信息分别为：{1,1,1,0,0}，根据每个训练数据的所属类别，x⁴的分类信息中是错误的，{x²,x³,x⁵,x⁶}的分类信息中是正确的，则该帕累托解对应的分类准确率为4/5＝80％。

S240，将分类准确率最大的帕累托解确定为所述第一训练数据的当前特征权重。

服务器在确定出帕累托解集中的所有帕累托解对应的分类准确率后，可以将分类准确率最大的帕累托解确定为第一训练数据的当前特征权重。

作为本实施例的一种可选方案，在计算出每个训练数据的特征权重之后，该方法还可以包括：

首先，获取测试数据x^(q)。

然后，针对每个类别，计算该类别中各个训练数据与测试数据x^(q)的欧氏距离。

例如假设有三个类别，则服务器计算测试数据x^(q)与这三个类别中的每个训练数据x⁽ⁱ⁾的欧式距离d_qi。具体地，其中，f⁽ⁱ⁾为训练数据x⁽ⁱ⁾的特征权重。可以理解，公式中的x^(q)以及x⁽ⁱ⁾为测试数据x^(q)与训练数据x⁽ⁱ⁾在同一特征空间的特征值。

之后，根据该类别中各个训练数据对应的欧氏距离，以及该训练数据的分类器半径，确定该训练数据针对测试数据的分类信息，其中，分类信息包括该训练数据与测试数据属于同一类别或不属于同一类别。

具体地，针对该类别中每个训练数据，根据以下公式，确定该训练数据针对测试数据的分类信息：

其中，r⁽ⁱ⁾是该训练数据x⁽ⁱ⁾的分类器半径，d_qi为该训练数据x⁽ⁱ⁾与测试数据x^(q)的欧氏距离，s⁽ⁱ⁾(x^(q))为该训练数据xⁱ针对测试数据x^(q)的分类信息。

例如，类别C₁中有三个训练数据{x⁽¹⁾,x⁽²⁾,x⁽³⁾}，训练数据x⁽¹⁾的分类器半径为r⁽¹⁾＝0.5，测试数据x^(q)与训练数据x⁽¹⁾的欧式距离为d_q1＝0.4，则有d_q1≤r⁽¹⁾，则训练数据x⁽¹⁾针对测试数据x^(q)的分类信息是1。

然后，根据该类别中各个训练数据针对所述测试数据的分类信息，确定测试数据属于该类别的置信度。

具体地，可以根据以下公式，确定测试数据属于该类别的置信度：

其中，为测试数据x^(q)属于该类别C_l的置信度，|C_l|是该类别C_l中包括的训练数据x⁽ⁱ⁾的数量。

例如，类别C₁中有三个训练数据{x⁽¹⁾,x⁽²⁾,x⁽³⁾}，训练数据{x⁽¹⁾,x⁽²⁾,x⁽³⁾}针对测试数据x^(q)的分类信息分别是s⁽¹⁾(x^(q))＝1，s⁽²⁾(x^(q))＝0，s⁽³⁾(x^(q))＝1，则测试数据x^(q)属于类别C₁的置信度为

最后，确定测试数据属于最大置信度对应的类别。

服务器在计算出测试数据属于每个类别的置信度后，确定测试数据属于最大置信度对应的类别，即

例如，有三个类别C₁，C₂，C₃，测试数据x^(q)属于每个类别的置信度为则服务器确定测试数据x^(q)属于类别C₂，即

如图3所示，本实施例提供了一种面向数据分类的特征权重确定装置，应用于服务器，该装置包括：

获取单元310，用于获取各类别的训练数据，初始化每个训练数据的当前特征权重为相同值，并获取预设的执行数量；

第一确定单元320，用于将各训练数据的当前特征权重确定为对应各训练数据的第一特征权重；

计算单元330，用于针对每个训练数据，将该训练数据作为第一训练数据，并计算第一训练数据与其他各训练数据的欧式距离；

第二确定单元340，用于根第一训练数据与其他各训练数据的欧式距离，以及每个训练数据的第一特征权重，确定其他各训练数据的样本权重；

第三确定单元350，用于根据其他各训练数据的样本权重、第一训练数据的第一特征权重、以及预先构建的多目标优化函数，确定第一训练数据的当前特征权重；

判断单元360，用于判断执行的循环次数是否为执行数量，如果否，触发第一确定单元320，如果是，结束。

可选地，第三确定单元350包括：

转化子单元(图3中未示出)，用于将多目标优化函数转化为单目标优化函数；

求解子单元(图3中未示出)，用于求解单目标优化函数的帕累托解集；

第一确定子单元(图3中未示出)，用于针对帕累托解集中的任一解，采用交叉验证的方法，确定该帕累托解对应的分类准确率；

第二确定子单元(图3中未示出)，用于将分类准确率最大的帕累托解确定为第一训练数据的当前特征权重。

可选地，第一确定子单元(图3中未示出)包括：

第一确定子模块(图3中未示出)，用于针对帕累托解集中的任一解，利用该帕累托解确定所述第一训练数据的分类器半径；

第二确定子模块(图3中未示出)，用于针对任一其他训练数据，根据所述第一训练数据的分类器半径以及所述第一训练数据与该训练数据的欧式距离，确定该训练数据针对第一训练数据的分类信息，其中，分类信息包括该训练数据与第一训练数据属于同一类别或不属于同一类别；

第三确定子模块(图3中未示出)，用于根据所确定的分类信息以及每个训练数据的所属类别，确定该帕累托解对应的分类准确率。

可选地，第二确定单元340具体用于：

根据以下公式，确定当第一训练数据为x⁽ⁱ⁾时，任一其他训练数据x^(j)(j＝1,...,N,j≠i)的样本权重：

其中，N为训练数据的个数，为训练数据x^(j)(j＝1,...,N,j≠i)的样本权重，d_ij|k为第一训练数据x⁽ⁱ⁾与训练数据x^(j)的欧式距离d_ij|k，为训练数据x^(k)(k＝1,...,N)的第一特征权重，表示向量按元素相乘，y⁽ⁱ⁾为第一训练数据x⁽ⁱ⁾所属的类别集合，y^(j)为其他训练数据x^(j)所属的类别集合。

具体地，预先构建的多目标优化函数可以为：

其中，为与第一训练数据属于同一类别的训练数据与第一训练数据的加权距离和，f⁽ⁱ⁾为第一训练数据x⁽ⁱ⁾的当前特征权重，为与第一训练数据不属于同一类别的训练数据与第一训练数据的加权距离和，M为训练数据的特征维度。

具体地，转化后的单目标优化函数为：

其中，ε∈[0,tr(b⁽ⁱ⁾)]。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。